JP2968184B2 - 位置および方向評価神経ネットワークシステムおよび方法 - Google Patents
位置および方向評価神経ネットワークシステムおよび方法Info
- Publication number
- JP2968184B2 JP2968184B2 JP7005313A JP531395A JP2968184B2 JP 2968184 B2 JP2968184 B2 JP 2968184B2 JP 7005313 A JP7005313 A JP 7005313A JP 531395 A JP531395 A JP 531395A JP 2968184 B2 JP2968184 B2 JP 2968184B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- orientation
- target object
- neural network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、一般に神経ネットワー
クシステムおよび方法、特に自動ターゲット認識システ
ムにおいて使用することができる位置および方向評価神
経ネットワークシステムおよび処理方法に関する。
クシステムおよび方法、特に自動ターゲット認識システ
ムにおいて使用することができる位置および方向評価神
経ネットワークシステムおよび処理方法に関する。
【０００２】
【従来の技術】コンピュータビジョン装置、特に自動タ
ーゲット認識装置において目標物体を認識するために使
用されている通常の方法がいくつか存在している。グラ
ジエントデセント（gradient descent）方法は一般にこ
のタイプの目標物体認識問題を解決するために使用され
ている。
ーゲット認識装置において目標物体を認識するために使
用されている通常の方法がいくつか存在している。グラ
ジエントデセント（gradient descent）方法は一般にこ
のタイプの目標物体認識問題を解決するために使用され
ている。
【０００３】
【発明が解決しようとする課題】しかしながら、グラジ
エントデセント方法は“ローカルミニマ”で固着される
問題を有し、したがって質の悪い解決方法を生じさせ
る。グラジエントデセントおよび徹底的な探索方法はま
た計算上非効率的であり、実時間ハードウェアシステム
に導入し難い。さらに、通常の方法は高次元の問題の空
間内において実際的な解を提供しない。したがって、本
発明の目的は、通常の方法の限界を克服した位置および
方向評価神経ネットワークシステムを提供することであ
る。自動ターゲット認識システムにおいて使用すること
ができる位置および方向評価神経ネットワークシステム
を提供することもまた本発明の目的である。
エントデセント方法は“ローカルミニマ”で固着される
問題を有し、したがって質の悪い解決方法を生じさせ
る。グラジエントデセントおよび徹底的な探索方法はま
た計算上非効率的であり、実時間ハードウェアシステム
に導入し難い。さらに、通常の方法は高次元の問題の空
間内において実際的な解を提供しない。したがって、本
発明の目的は、通常の方法の限界を克服した位置および
方向評価神経ネットワークシステムを提供することであ
る。自動ターゲット認識システムにおいて使用すること
ができる位置および方向評価神経ネットワークシステム
を提供することもまた本発明の目的である。
【０００４】
【課題を解決するための手段】本発明は、イメージデー
タ中に配置されたターゲット物体に最も良好に整合する
モデル物体の姿勢（移動、回転およびスケール）または
位置および方向を決定する位置および方向評価神経ネッ
トワークシステムおよび処理方法である。本発明は、モ
デル物体がイメージデータに含まれたターゲット物体に
最も良好に整合する状態に収斂するまで、モデル物体の
元の位置および方向に対して小さい調節を行うことによ
って反復プロセスによりこれを実行する。
タ中に配置されたターゲット物体に最も良好に整合する
モデル物体の姿勢（移動、回転およびスケール）または
位置および方向を決定する位置および方向評価神経ネッ
トワークシステムおよび処理方法である。本発明は、モ
デル物体がイメージデータに含まれたターゲット物体に
最も良好に整合する状態に収斂するまで、モデル物体の
元の位置および方向に対して小さい調節を行うことによ
って反復プロセスによりこれを実行する。
【０００５】特に、本発明はデジタル化されたイメージ
中のターゲット物体の位置および方向を決定するシステ
ムである。このシステムは、デジタル化されたイメージ
を処理して、ターゲット物体のエッジを表すエッジデー
タを生成するエッジ検出器を含んでいる。検出されるべ
きターゲット物体のモデル物体に対応するモデルデータ
を記憶するモデル記憶手段が設けられており、このター
ゲットモデルデータはモデル物体のエッジに沿って配置
された複数のデータ点を含んでいる。最小距離ベクトル
計算手段はエッジデータおよびモデルデータを処理し
て、モデル物体とターゲット物体との間に１組の最小距
離ベクトルを生成する。
中のターゲット物体の位置および方向を決定するシステ
ムである。このシステムは、デジタル化されたイメージ
を処理して、ターゲット物体のエッジを表すエッジデー
タを生成するエッジ検出器を含んでいる。検出されるべ
きターゲット物体のモデル物体に対応するモデルデータ
を記憶するモデル記憶手段が設けられており、このター
ゲットモデルデータはモデル物体のエッジに沿って配置
された複数のデータ点を含んでいる。最小距離ベクトル
計算手段はエッジデータおよびモデルデータを処理し
て、モデル物体とターゲット物体との間に１組の最小距
離ベクトルを生成する。
【０００６】神経ネットワークは、最小距離ベクトル計
算手段に応答し、ターゲット物体に関してモデル物体の
歪みを評価するために使用される。位置および方向調節
手段は、神経ネットワークおよびモデル記憶手段に応答
し、神経ネットワークによって評価された歪みに基づい
てターゲット物体に関するモデル物体の位置および方向
を調節するために使用される。モデル物体が実質的にタ
ーゲット物体に重なるまで、モデル物体を再位置調節お
よび再方向調節するように、最小距離ベクトルの反復的
な計算と、歪みの評価と、モデル物体の位置および方向
の調節とがなされ、これによりモデル物体の最終的な位
置および方向が、デジタル化されたイメージ中のターゲ
ット物体の位置および方向の評価を提供する。
算手段に応答し、ターゲット物体に関してモデル物体の
歪みを評価するために使用される。位置および方向調節
手段は、神経ネットワークおよびモデル記憶手段に応答
し、神経ネットワークによって評価された歪みに基づい
てターゲット物体に関するモデル物体の位置および方向
を調節するために使用される。モデル物体が実質的にタ
ーゲット物体に重なるまで、モデル物体を再位置調節お
よび再方向調節するように、最小距離ベクトルの反復的
な計算と、歪みの評価と、モデル物体の位置および方向
の調節とがなされ、これによりモデル物体の最終的な位
置および方向が、デジタル化されたイメージ中のターゲ
ット物体の位置および方向の評価を提供する。
【０００７】神経ネットワークは、後方伝播（ back-pr
opergation）学習アルゴリズムによって訓練される３層
パーセプトロンを含んでいてもよい。神経ネットワーク
はまた２ｎ個の入力ニューロン、50個の隠蔽ニューロン
および４個の出力ニューロンを含む。出力ニューロンの
各出力は、典型的に位置および方向調節手段によって３
部分単位で翻訳される。
opergation）学習アルゴリズムによって訓練される３層
パーセプトロンを含んでいてもよい。神経ネットワーク
はまた２ｎ個の入力ニューロン、50個の隠蔽ニューロン
および４個の出力ニューロンを含む。出力ニューロンの
各出力は、典型的に位置および方向調節手段によって３
部分単位で翻訳される。
【０００８】本発明によるデジタル化されたイメージ中
の物体の位置および方向を決定する１つの方法は以下の
ステップを含む。第１のステップは、（ａ）デジタル化
されたイメージを処理して、ターゲット物体のエッジを
表すエッジデータを生成する。（ｂ）検出されるべきモ
デル物体が記憶される。（ｃ）その後、エッジデータお
よびモデルデータがターゲット物体中の各点に関するモ
デル物体中の各点に対して処理されて、モデル物体とタ
ーゲット物体との間において１組の最小距離ベクトルを
生成する。（ｄ）１組の最小距離ベクトルは神経ネット
ワークを使用して処理され、モデルに対して行われるべ
き移動、回転、スケール調節を評価する。（ｅ）モデル
物体の位置および方向は、評価された移動、回転および
スケール調節に基づいてターゲット物体に関して調節さ
れる。最後の３つのステップ（ｃ）〜（ｅ）は、モデル
物体が実質的にターゲット物体に重なるまでを反復され
る。これは、デジタル化されたイメージ中のターゲット
物体の位置および方向の評価を行う。
の物体の位置および方向を決定する１つの方法は以下の
ステップを含む。第１のステップは、（ａ）デジタル化
されたイメージを処理して、ターゲット物体のエッジを
表すエッジデータを生成する。（ｂ）検出されるべきモ
デル物体が記憶される。（ｃ）その後、エッジデータお
よびモデルデータがターゲット物体中の各点に関するモ
デル物体中の各点に対して処理されて、モデル物体とタ
ーゲット物体との間において１組の最小距離ベクトルを
生成する。（ｄ）１組の最小距離ベクトルは神経ネット
ワークを使用して処理され、モデルに対して行われるべ
き移動、回転、スケール調節を評価する。（ｅ）モデル
物体の位置および方向は、評価された移動、回転および
スケール調節に基づいてターゲット物体に関して調節さ
れる。最後の３つのステップ（ｃ）〜（ｅ）は、モデル
物体が実質的にターゲット物体に重なるまでを反復され
る。これは、デジタル化されたイメージ中のターゲット
物体の位置および方向の評価を行う。
【０００９】本発明は、１つのコンピュータビジョン物
体認識問題に対する解決方法を提供する。本発明のシス
テムは、本出願人によって開発中の大型神経ネットワー
ク自動ターゲット認識システム内の１つのモジュールと
して機能するように構成することが可能である。システ
ムは、同じ問題に適用される通常の方法より優れたいく
つかの利点を有している。例えば、本発明のシステム
は、エネルギ最小原理で動作しないため、グラジエント
デセント方法よりはるかに良好な解決方法を提供する。
したがって、本発明は、多数の通常の方法において認め
られるいくつか限界を克服している。本発明はまたグラ
ジエントデセントまたは徹底的な探索方法のいずれより
も計算上かなり効率的であり、実時間ハードウェアシス
テムに容易に導入することができる。本発明はまた、任
意の他の方法を使用すると実際的ではない高次元の問題
の空間内における解を提供するために使用してもよい。
体認識問題に対する解決方法を提供する。本発明のシス
テムは、本出願人によって開発中の大型神経ネットワー
ク自動ターゲット認識システム内の１つのモジュールと
して機能するように構成することが可能である。システ
ムは、同じ問題に適用される通常の方法より優れたいく
つかの利点を有している。例えば、本発明のシステム
は、エネルギ最小原理で動作しないため、グラジエント
デセント方法よりはるかに良好な解決方法を提供する。
したがって、本発明は、多数の通常の方法において認め
られるいくつか限界を克服している。本発明はまたグラ
ジエントデセントまたは徹底的な探索方法のいずれより
も計算上かなり効率的であり、実時間ハードウェアシス
テムに容易に導入することができる。本発明はまた、任
意の他の方法を使用すると実際的ではない高次元の問題
の空間内における解を提供するために使用してもよい。
【００１０】本発明は、コンピュータビジョンを使用し
て物体認識を達成する任意のシステムにとって有効であ
ることが可能である。可能な商業的な適用の中には、ビ
ジョンベースの工場の自動制御システム、部品検査およ
び自律移動体誘導システムが含まれる。
て物体認識を達成する任意のシステムにとって有効であ
ることが可能である。可能な商業的な適用の中には、ビ
ジョンベースの工場の自動制御システム、部品検査およ
び自律移動体誘導システムが含まれる。
【００１１】
【実施例】本発明の種々の特徴および利点は、以下の詳
細な説明および添付図面を参照して容易に理解される。
なお、同じ参照符号は同じ構成要素を示している。本発
明によって示された位置および方向評価問題は、一般的
なコンピュータビジョン物体認識問題の一部分を構成す
る。位置および方向評価問題とは、背景に含まれている
ターゲット物体のイメージおよびターゲット物体に整合
されるべきモデル物体が与えられた場合、ターゲット物
体に最も良好に整合するモデル物体の位置および方向
（姿勢）は何かであるかということである。
細な説明および添付図面を参照して容易に理解される。
なお、同じ参照符号は同じ構成要素を示している。本発
明によって示された位置および方向評価問題は、一般的
なコンピュータビジョン物体認識問題の一部分を構成す
る。位置および方向評価問題とは、背景に含まれている
ターゲット物体のイメージおよびターゲット物体に整合
されるべきモデル物体が与えられた場合、ターゲット物
体に最も良好に整合するモデル物体の位置および方向
（姿勢）は何かであるかということである。
【００１２】図１を参照すると、図１のａは（示されて
いない）赤外線ＦＬＩＲシステムから導出されたターゲ
ット物体11のデジタル化されたビデオイメージ10（また
はイメージデータ10）を示し、図１のｂは図１のａのイ
メージ10中のターゲット物体11に整合されるべき移動体
のモデル物体12を示す。本発明の原理によると、上記の
質問に答えることが、モデル物体12に対する可能な位置
および方向を含む空間に対応した図２に示された位置お
よび方向空間15（または姿勢空間15）の寸法を結果的に
減少させる。その結果、答えが良好であると、それだけ
結果的な位置および方向空間15は、図２に示されるよう
に小さくなり、これは本発明によって達成される姿勢空
間15または姿勢体積16の減少を表す。このようにして姿
勢体積16の寸法は減少され、減少された姿勢体積16ａを
提供する。
いない）赤外線ＦＬＩＲシステムから導出されたターゲ
ット物体11のデジタル化されたビデオイメージ10（また
はイメージデータ10）を示し、図１のｂは図１のａのイ
メージ10中のターゲット物体11に整合されるべき移動体
のモデル物体12を示す。本発明の原理によると、上記の
質問に答えることが、モデル物体12に対する可能な位置
および方向を含む空間に対応した図２に示された位置お
よび方向空間15（または姿勢空間15）の寸法を結果的に
減少させる。その結果、答えが良好であると、それだけ
結果的な位置および方向空間15は、図２に示されるよう
に小さくなり、これは本発明によって達成される姿勢空
間15または姿勢体積16の減少を表す。このようにして姿
勢体積16の寸法は減少され、減少された姿勢体積16ａを
提供する。
【００１３】モデル物体12に対する可能な位置および方
向の６次元空間の領域、すなわち３次元の位置、地上平
面回転、スケール、ピッチの領域は、姿勢体積16として
知られている。姿勢空間15中のこの体積16の最初の寸法
および形状は、イメージデータ10に関する事前の情報に
よって決定される。例えば、ターゲット物体11の赤外線
（ＦＬＩＲ）イメージ10において、ターゲット物体11は
上下逆にまたは垂直方向に現れないことが知られてい
る。さらに、ターゲット物体11はイメージ10の境界（Ｆ
ＬＩＲ視界）内の何処かに位置されていなければならな
いこともまた知られている。したがって、最初の姿勢体
積16の程度は、この情報によって制限される。モデル物
体12にとって最良の姿勢を発見することは、図２に示さ
れているように姿勢体積16の寸法を減少することに等し
い。姿勢体積16は、単一の点に減少されることが理想的
である。本発明は３次元の位置および方向のうちの１つ
を含む４つの次元における姿勢体積16を１つの点に減少
することができる。それは姿勢体積16の次元の数を６か
ら２に減少する。姿勢体積16の２つの残っている次元は
ピッチおよび地上平面回転である。
向の６次元空間の領域、すなわち３次元の位置、地上平
面回転、スケール、ピッチの領域は、姿勢体積16として
知られている。姿勢空間15中のこの体積16の最初の寸法
および形状は、イメージデータ10に関する事前の情報に
よって決定される。例えば、ターゲット物体11の赤外線
（ＦＬＩＲ）イメージ10において、ターゲット物体11は
上下逆にまたは垂直方向に現れないことが知られてい
る。さらに、ターゲット物体11はイメージ10の境界（Ｆ
ＬＩＲ視界）内の何処かに位置されていなければならな
いこともまた知られている。したがって、最初の姿勢体
積16の程度は、この情報によって制限される。モデル物
体12にとって最良の姿勢を発見することは、図２に示さ
れているように姿勢体積16の寸法を減少することに等し
い。姿勢体積16は、単一の点に減少されることが理想的
である。本発明は３次元の位置および方向のうちの１つ
を含む４つの次元における姿勢体積16を１つの点に減少
することができる。それは姿勢体積16の次元の数を６か
ら２に減少する。姿勢体積16の２つの残っている次元は
ピッチおよび地上平面回転である。
【００１４】図３は、本発明の原理による位置および方
向評価神経ネットワークシステム20を示す。位置および
方向評価神経ネットワークシステム20は、前方監視赤外
線（ＦＬＩＲ）システムのような（示されていない）ビ
デオソースから導出されたデジタル化されたイメージデ
ータ21を処理するように構成されている。デジタル化さ
れたイメージデータ21はエッジ検出器22によって処理さ
れ、イメージデータ10中に存在するターゲット物体11の
エッジを表すエッジデータ23（またはエッジイメージ2
3）を生成する。イメージデータ21中に存在しているタ
ーゲット物体11を表すモデルデータ24とも呼ばれるモデ
ル物体12は、例えばデータベースに記憶される。モデル
データ24は、モデル物体12のエッジに沿って配置された
１組のデータ点を含んでいる。最小距離ベクトル計算25
がエッジデータ23中の各点に関するモデル物体12中の各
データ点に対して行われるように、エッジデータ23およ
びモデルデータ24が処理される。最小距離ベクトル計算
25の出力は、モデルデータ24に対して行われるべき移
動、回転およびスケール調節を評価するように適合され
た神経ネットワーク26に供給される。神経ネットワーク
26の出力は、神経ネットワーク26によって行われた最も
新しい計算に基づいて、ターゲット物体11に関してモデ
ル物体12を再位置設定するように、ターゲット物体11の
エッジデータ23に関するモデルデータ24の位置を調節す
る位置および方向（姿勢）調節モジュール27に供給され
る。モデルデータ24がターゲット物体11を表すエッジデ
ータ23に重なるまで、後続する処理サイクル中、反復が
行われる。
向評価神経ネットワークシステム20を示す。位置および
方向評価神経ネットワークシステム20は、前方監視赤外
線（ＦＬＩＲ）システムのような（示されていない）ビ
デオソースから導出されたデジタル化されたイメージデ
ータ21を処理するように構成されている。デジタル化さ
れたイメージデータ21はエッジ検出器22によって処理さ
れ、イメージデータ10中に存在するターゲット物体11の
エッジを表すエッジデータ23（またはエッジイメージ2
3）を生成する。イメージデータ21中に存在しているタ
ーゲット物体11を表すモデルデータ24とも呼ばれるモデ
ル物体12は、例えばデータベースに記憶される。モデル
データ24は、モデル物体12のエッジに沿って配置された
１組のデータ点を含んでいる。最小距離ベクトル計算25
がエッジデータ23中の各点に関するモデル物体12中の各
データ点に対して行われるように、エッジデータ23およ
びモデルデータ24が処理される。最小距離ベクトル計算
25の出力は、モデルデータ24に対して行われるべき移
動、回転およびスケール調節を評価するように適合され
た神経ネットワーク26に供給される。神経ネットワーク
26の出力は、神経ネットワーク26によって行われた最も
新しい計算に基づいて、ターゲット物体11に関してモデ
ル物体12を再位置設定するように、ターゲット物体11の
エッジデータ23に関するモデルデータ24の位置を調節す
る位置および方向（姿勢）調節モジュール27に供給され
る。モデルデータ24がターゲット物体11を表すエッジデ
ータ23に重なるまで、後続する処理サイクル中、反復が
行われる。
【００１５】特に、システム20の動作中、物体12に対応
した入力データイメージ10のエッジイメージはエッジ検
出器22によって形成される。エッジ検出器22は、例えば
レギュラリゼーションネットワーク（regularization n
etwork）を使用することによって構成してもよい。その
後、サンプルされた輪郭モデル物体12がイメージ10中に
位置される。このサンプルされた輪郭モデル物体12は、
システム20が調節するモデル物体12に対応する。サンプ
ルされた輪郭モデル物体12は、図４に示されているよう
にモデル物体12の完全な輪郭の周囲の６番目毎の輪郭点
をサンプリングすることによって生成される。特に図４
は、システム20によって使用されるサンプルされた輪郭
モデル物体12を示す。システム20は、イメージ10中の最
初の位置から最終の位置までモデル物体12を反復的に調
節し、多数のサイクルにわたって累積する小さい変化を
生じさせる。モデル物体12は、イメージ21中のターゲッ
ト物体11に対する位置および方向評価に対応して最終的
な位置に収斂する。システム20は、２次元の位置、地上
平面回転、スケールの４つの次元で非常に成功的に動作
することが認められた。それはモデル物体12の移動、回
転およびスケールを効果的に調節して、ターゲット物体
11の正しい位置および方向を提供する。２次元イメージ
21内でのモデルの移動、回転およびスケールのこれらの
変化は、上記において定められた元の６次元姿勢空間15
中の位置および方向の計画された変化に対応している。
した入力データイメージ10のエッジイメージはエッジ検
出器22によって形成される。エッジ検出器22は、例えば
レギュラリゼーションネットワーク（regularization n
etwork）を使用することによって構成してもよい。その
後、サンプルされた輪郭モデル物体12がイメージ10中に
位置される。このサンプルされた輪郭モデル物体12は、
システム20が調節するモデル物体12に対応する。サンプ
ルされた輪郭モデル物体12は、図４に示されているよう
にモデル物体12の完全な輪郭の周囲の６番目毎の輪郭点
をサンプリングすることによって生成される。特に図４
は、システム20によって使用されるサンプルされた輪郭
モデル物体12を示す。システム20は、イメージ10中の最
初の位置から最終の位置までモデル物体12を反復的に調
節し、多数のサイクルにわたって累積する小さい変化を
生じさせる。モデル物体12は、イメージ21中のターゲッ
ト物体11に対する位置および方向評価に対応して最終的
な位置に収斂する。システム20は、２次元の位置、地上
平面回転、スケールの４つの次元で非常に成功的に動作
することが認められた。それはモデル物体12の移動、回
転およびスケールを効果的に調節して、ターゲット物体
11の正しい位置および方向を提供する。２次元イメージ
21内でのモデルの移動、回転およびスケールのこれらの
変化は、上記において定められた元の６次元姿勢空間15
中の位置および方向の計画された変化に対応している。
【００１６】図５は、典型的な最小距離ベクトル計算を
示す。処理サイクルの始めに、最小距離ベクトル計算
は、神経ネットワーク26に対して入力するためにイメー
ジデータ10を予め処理するために使用される。それは、
神経ネットワーク26への入力のためにモデル対データの
整合の近さを表すために使用される。モデル物体12とデ
ータ10との間のこの幾何学形状的な関係は、最初にモデ
ル物体12中の各点とそれに最も近いデータ点との間のベ
クトルを形成することによって決定される。その後、モ
デル物体12に結合された基準フレームから計算されるよ
うなこれらのベクトルのｘおよびｙ成分は、神経ネット
ワーク26への入力として使用される。
示す。処理サイクルの始めに、最小距離ベクトル計算
は、神経ネットワーク26に対して入力するためにイメー
ジデータ10を予め処理するために使用される。それは、
神経ネットワーク26への入力のためにモデル対データの
整合の近さを表すために使用される。モデル物体12とデ
ータ10との間のこの幾何学形状的な関係は、最初にモデ
ル物体12中の各点とそれに最も近いデータ点との間のベ
クトルを形成することによって決定される。その後、モ
デル物体12に結合された基準フレームから計算されるよ
うなこれらのベクトルのｘおよびｙ成分は、神経ネット
ワーク26への入力として使用される。
【００１７】図６は、システム20において使用される神
経ネットワーク26を示す。システム20において使用され
る神経ネットワーク26は、後方伝播学習アルゴリズムに
よって訓練された３層パーセプトロンである。神経ネッ
トワーク26は、例えば２ｎ個の入力ニューロン31、50個
の隠蔽ニューロン32および４個の出力ニューロン33（Δ
ｘ、Δｙ、ΔθおよびΔｓに対応した）を含んでいる。
出力ニューロン33の各出力は、姿勢調節を実行する位置
および方向調節モジュール27によって３部分単位で翻訳
される。この方法において、神経ネットワーク26は各反
復時に小さい姿勢補正または調節を出力することによっ
て比較的少数の反復で複雑な４次元状態空間を正確に横
断することができる。
経ネットワーク26を示す。システム20において使用され
る神経ネットワーク26は、後方伝播学習アルゴリズムに
よって訓練された３層パーセプトロンである。神経ネッ
トワーク26は、例えば２ｎ個の入力ニューロン31、50個
の隠蔽ニューロン32および４個の出力ニューロン33（Δ
ｘ、Δｙ、ΔθおよびΔｓに対応した）を含んでいる。
出力ニューロン33の各出力は、姿勢調節を実行する位置
および方向調節モジュール27によって３部分単位で翻訳
される。この方法において、神経ネットワーク26は各反
復時に小さい姿勢補正または調節を出力することによっ
て比較的少数の反復で複雑な４次元状態空間を正確に横
断することができる。
【００１８】位置および方向調節モジュール27は神経ネ
ットワーク26の出力を翻訳し、それにしたがってモデル
物体12の位置および方向を調節する。モデル物体12はｘ
およびｙ方向に移動され、回転され、或はスケールが変
化される。各出力ニューロン33の３部分単位の出力は
（−１，０，１）である。プラスまたはマイナス１の出
力は、移動のプラスまたはマイナス１個の画素、回転の
プラスまたはマイナス１度、或はスケールのプラスまた
はマイナス１％の調節として翻訳される。ゼロ出力は、
無調節に対応する。調節を実行するための規定は、以下
のように与えられている。各調節が実行された後、最小
距離ベクトルに関する新しい組が計算され、システム20
が収斂の状態に達し、イメージデータ10中の物体12に対
する最終的な姿勢評価を生成するまでサイクルが反復さ
れる。システム20において使用される特定の姿勢調節
は、以下に与えられている。システム20は、これらの特
定の調節に限定されるものではないことも理解されるべ
きである。
ットワーク26の出力を翻訳し、それにしたがってモデル
物体12の位置および方向を調節する。モデル物体12はｘ
およびｙ方向に移動され、回転され、或はスケールが変
化される。各出力ニューロン33の３部分単位の出力は
（−１，０，１）である。プラスまたはマイナス１の出
力は、移動のプラスまたはマイナス１個の画素、回転の
プラスまたはマイナス１度、或はスケールのプラスまた
はマイナス１％の調節として翻訳される。ゼロ出力は、
無調節に対応する。調節を実行するための規定は、以下
のように与えられている。各調節が実行された後、最小
距離ベクトルに関する新しい組が計算され、システム20
が収斂の状態に達し、イメージデータ10中の物体12に対
する最終的な姿勢評価を生成するまでサイクルが反復さ
れる。システム20において使用される特定の姿勢調節
は、以下に与えられている。システム20は、これらの特
定の調節に限定されるものではないことも理解されるべ
きである。
【００１９】 0.5 ＞Ｏx ＞0.2 ならば、全てのモデル点ｐi に対してｘi ＝ｘi ＋１ 0.2 ＞Ｏx ＞-0.2ならば、全てのモデル点ｐi に対してｘi ＝ｘi -0.2＞Ｏx ＞-0.5ならば、全てのモデル点ｐi に対してｘi ＝ｘi −１ 0.5 ＞Ｏy ＞0.2 ならば、全てのモデル点ｐi に対してｙi ＝ｙi ＋１ 0.2 ＞Ｏy ＞-0.2ならば、全てのモデル点ｐi に対してｙi ＝ｙi -0.2＞Ｏy ＞-0.5ならば、全てのモデル点ｐi に対してｙi ＝ｙi −１ 0.5 ＞Ｏθ＞0.2 ならば、全てのモデル点ｐi に対してｐi ＝Ｒc （＋１）ｐi 0.2 ＞Ｏθ＞-0.2ならば、全てのモデル点ｐi に対してｐi ＝ｐi -0.2＞Ｏθ＞-0.5ならば、全てのモデル点ｐi に対してｐi ＝Ｒc （−１）ｐi 0.5 ＞Ｏs ＞0.2 ならば、全てのモデル点ｐi に対してｐi ＝Ｓc （＋１）ｐi 0.2 ＞Ｏs ＞-0.2ならば、全てのモデル点ｐi に対してｐi ＝ｐi -0.2＞Ｏs ＞-0.5ならば、全てのモデル点ｐi に対してｐi ＝Ｓc （−１）ｐi ここで、Ｏx ，Ｏy ，Ｏθ，Ｏs はそれぞれｘ方向の移
動方向、ｙ方向の移動方向、地上平面回転の方向、スケ
ールの方向を表しており、Ｒc は回転の補正値、Ｓc は
スケールの補正値を表している。神経ネットワーク26
は、図７に示されているように完全な輪郭モデル物体12
からランダムに移動され、回転されて、スケールが変化
されたサンプルされた輪郭モデル物体12を提供すること
によって訓練される。神経ネットワーク26への入力は、
最小距離ベクトルが計算されたときに得られ、一方神経
ネットワーク26の所望の出力はサンプルされたモデル物
体12の姿勢調節の逆方向であることが認められる。例え
ば、モデル物体12が＋10度回転された場合、回転出力ニ
ューロン33の所望の出力は−１である。その後神経ネッ
トワーク26の加重は、それぞれランダムに調節されたサ
ンプルされたモデル提供の後、後方伝播管理学習アルゴ
リズムを使用して更新される。訓練が生じる容易さは、
神経ネットワーク26に対して量子化された３部分単位出
力（−１，０，１）の使用によって大幅に増加される。
正しい調節決定は学習されることだけでよく、正しい調
節の大きさの学習は不要である。
動方向、ｙ方向の移動方向、地上平面回転の方向、スケ
ールの方向を表しており、Ｒc は回転の補正値、Ｓc は
スケールの補正値を表している。神経ネットワーク26
は、図７に示されているように完全な輪郭モデル物体12
からランダムに移動され、回転されて、スケールが変化
されたサンプルされた輪郭モデル物体12を提供すること
によって訓練される。神経ネットワーク26への入力は、
最小距離ベクトルが計算されたときに得られ、一方神経
ネットワーク26の所望の出力はサンプルされたモデル物
体12の姿勢調節の逆方向であることが認められる。例え
ば、モデル物体12が＋10度回転された場合、回転出力ニ
ューロン33の所望の出力は−１である。その後神経ネッ
トワーク26の加重は、それぞれランダムに調節されたサ
ンプルされたモデル提供の後、後方伝播管理学習アルゴ
リズムを使用して更新される。訓練が生じる容易さは、
神経ネットワーク26に対して量子化された３部分単位出
力（−１，０，１）の使用によって大幅に増加される。
正しい調節決定は学習されることだけでよく、正しい調
節の大きさの学習は不要である。
【００２０】図７を参照すると、いくつかの異なる神経
ネットワーク26は、変化している多数の隠蔽（中間）ニ
ューロン32および出力ニューロン33により訓練された。
異なる地上平面方向における２つの異なる移動体11のい
くつかの異なる景色は、モデル物体12として使用され
た。典型的な訓練セットに対して、サンプルされたモデ
ル姿勢調節の範囲は移動においてプラスまたはマイナス
20個の画素、回転においてプラスまたはマイナス180 °
およびスケールにおいてプラスまたはマイナス20％であ
った。しかしながら、実際の経験ではシステム20の実際
の動作限界が訓練セットの限界を越えて拡大することが
示された。システム20の一般化能力は、入力ニューロン
31のシグモイドアクティベーション関数のしきい値効果
のために良好である。
ネットワーク26は、変化している多数の隠蔽（中間）ニ
ューロン32および出力ニューロン33により訓練された。
異なる地上平面方向における２つの異なる移動体11のい
くつかの異なる景色は、モデル物体12として使用され
た。典型的な訓練セットに対して、サンプルされたモデ
ル姿勢調節の範囲は移動においてプラスまたはマイナス
20個の画素、回転においてプラスまたはマイナス180 °
およびスケールにおいてプラスまたはマイナス20％であ
った。しかしながら、実際の経験ではシステム20の実際
の動作限界が訓練セットの限界を越えて拡大することが
示された。システム20の一般化能力は、入力ニューロン
31のシグモイドアクティベーション関数のしきい値効果
のために良好である。
【００２１】システム20は訓練モデル物体12に関して完
全に動作し、これは神経ネットワーク26が訓練セットを
完全に学習することができることを示す。付加的な試験
が雑音と遮蔽が加えられた元の訓練モデルデータを含む
試験セットで実行された。図８ａ乃至ｄを参照すると、
シミュレートされた移動体データに関するシステム20の
試験を表わしたデータが与えられている。図８ａ乃至ｄ
は、システム20の４つの異なる回数（異なる回数、すな
わちそれぞれ０，10，20および29回の反復後）での位置
および方向を表すデータを示す。このシミュレートされ
たデータを使用して、サンプルされたモデル物体12は、
内部エッジ、輪郭上の付加的な先端および部分的に遮蔽
された下部境界の存在時に正しい整合姿勢に収斂するこ
とを要求される。この例は、いくつかの有効な動作特性
を有するシステム20を示す。それは固着されずにそれに
より移動する能力と共に、付加的な内部エッジの外観に
対して良好な許容誤差を有する。それは失われた輪郭エ
ッジによって頑強に動作し、同時に付加的なターゲット
構造を処理し、一方において移動、回転およびスケール
の正確な調節を行うことができる。
全に動作し、これは神経ネットワーク26が訓練セットを
完全に学習することができることを示す。付加的な試験
が雑音と遮蔽が加えられた元の訓練モデルデータを含む
試験セットで実行された。図８ａ乃至ｄを参照すると、
シミュレートされた移動体データに関するシステム20の
試験を表わしたデータが与えられている。図８ａ乃至ｄ
は、システム20の４つの異なる回数（異なる回数、すな
わちそれぞれ０，10，20および29回の反復後）での位置
および方向を表すデータを示す。このシミュレートされ
たデータを使用して、サンプルされたモデル物体12は、
内部エッジ、輪郭上の付加的な先端および部分的に遮蔽
された下部境界の存在時に正しい整合姿勢に収斂するこ
とを要求される。この例は、いくつかの有効な動作特性
を有するシステム20を示す。それは固着されずにそれに
より移動する能力と共に、付加的な内部エッジの外観に
対して良好な許容誤差を有する。それは失われた輪郭エ
ッジによって頑強に動作し、同時に付加的なターゲット
構造を処理し、一方において移動、回転およびスケール
の正確な調節を行うことができる。
【００２２】同じ問題に対する通常の方法に比較する
と、システム20はいくつかの重要な利点を有する。通常
の徹底的な探察方法は最適な答えを提供するが、それは
非常に計算上面倒である。通常のグラジエントデセント
方法は、徹底的な探察方法より速いがローカルミニマ問
題を有する。システム20は迅速であり、ローカルミニマ
を回避する。この優れた特性は、システム20の訓練する
能力のためである。訓練によりシステム20は、グラジエ
ントデセントにおいて使用されるようなそれらの結合さ
れたコストまたはエネルギのいくつかの単位の代わり
に、最小距離ベクトル入力の実際のパターンに関する姿
勢調節決定を基礎とすることができる。その結果、シス
テム20は、エネルギ最小原理で動作しないため、グラジ
エントデセント方法をトラップするローカルミニマを回
避する。
と、システム20はいくつかの重要な利点を有する。通常
の徹底的な探察方法は最適な答えを提供するが、それは
非常に計算上面倒である。通常のグラジエントデセント
方法は、徹底的な探察方法より速いがローカルミニマ問
題を有する。システム20は迅速であり、ローカルミニマ
を回避する。この優れた特性は、システム20の訓練する
能力のためである。訓練によりシステム20は、グラジエ
ントデセントにおいて使用されるようなそれらの結合さ
れたコストまたはエネルギのいくつかの単位の代わり
に、最小距離ベクトル入力の実際のパターンに関する姿
勢調節決定を基礎とすることができる。その結果、シス
テム20は、エネルギ最小原理で動作しないため、グラジ
エントデセント方法をトラップするローカルミニマを回
避する。
【００２３】グラジエントデセント方法に比較した場
合、システム20の特性はまた正しい回転調節を決定する
時のグラジエントデセント方法の非常に劣った特性によ
って強調される。比較のために図９は通常のグラジエン
トデセントローカルミニマの一例を示す。この例におけ
る別のローカルミニマは、重心を中心としたモデル回転
のほぼ５°ごとに現れ、グラジエントデセント方法で回
転調節を行う有効性を厳しく制限する。それに比較する
と、システム20の回転移動の収斂範囲は、図１０に示さ
れているようにグラジエントデセント方法のものよりか
なり大きい。特に、図１０のａ乃至ｈは、異なるシミュ
レートされた移動体に関するシステム20の動作を示す。
図１０のａ乃至ｈは、システム20の８つの異なる回数
（異なる反復の回数、すなわちそれぞれ０，25，50，7
5，100 ，125 ，150 および178 回の後）での位置およ
び方向を表したデータを示す。システム20はまたその最
初の位置が完全に上下逆に正しい結果から180 °ずれて
いても、モデル物体12の姿勢を補正することができる。
合、システム20の特性はまた正しい回転調節を決定する
時のグラジエントデセント方法の非常に劣った特性によ
って強調される。比較のために図９は通常のグラジエン
トデセントローカルミニマの一例を示す。この例におけ
る別のローカルミニマは、重心を中心としたモデル回転
のほぼ５°ごとに現れ、グラジエントデセント方法で回
転調節を行う有効性を厳しく制限する。それに比較する
と、システム20の回転移動の収斂範囲は、図１０に示さ
れているようにグラジエントデセント方法のものよりか
なり大きい。特に、図１０のａ乃至ｈは、異なるシミュ
レートされた移動体に関するシステム20の動作を示す。
図１０のａ乃至ｈは、システム20の８つの異なる回数
（異なる反復の回数、すなわちそれぞれ０，25，50，7
5，100 ，125 ，150 および178 回の後）での位置およ
び方向を表したデータを示す。システム20はまたその最
初の位置が完全に上下逆に正しい結果から180 °ずれて
いても、モデル物体12の姿勢を補正することができる。
【００２４】システム20に対する計算上の要求を比較す
ると、グラジエントデセント方法および徹底的な探索方
法は効率において明確な相違を示す。システム20は、少
なくとも効率が１桁以上他の２つの方法より優れてい
る。比較のために、各方法に対して要求される計算時間
の差は、主として各方法が最小距離ベクトル計算を実行
しなければならない回数の差によるものと仮定する。こ
の比較のために、その他全ての差は無視できるものとす
る。システム20は、１反復当たり１組だけの最小距離ベ
クトル計算を行うことが必要である。それは、その収斂
点に達する前に、50回の反復の評価された平均のために
これを行う。グラジエントデセント方法は、各可能な調
節方向に対して１組の最小距離ベクトル計算を必要とす
る。移動すべきでないオプションを含む９個の可能な移
動、３個の回転オプションおよび３個のスケーリングオ
プションの積から計算される合計81の可能性が存在して
いる。グラジエントデセント方法は、収斂するために約
50回の反復を要求することもまた考えられる。徹底的な
探索方法は、各自由度に対してプラスまたはマイナス20
単位内における調節を仮定すると、結果的に256,000 回
の最小距離ベクトル計算を必要とする。システム20対グ
ラジエントおよび徹底的な探索方法の計算効率の最終的
な比較では、結果的に比率で１：81：5120である。
ると、グラジエントデセント方法および徹底的な探索方
法は効率において明確な相違を示す。システム20は、少
なくとも効率が１桁以上他の２つの方法より優れてい
る。比較のために、各方法に対して要求される計算時間
の差は、主として各方法が最小距離ベクトル計算を実行
しなければならない回数の差によるものと仮定する。こ
の比較のために、その他全ての差は無視できるものとす
る。システム20は、１反復当たり１組だけの最小距離ベ
クトル計算を行うことが必要である。それは、その収斂
点に達する前に、50回の反復の評価された平均のために
これを行う。グラジエントデセント方法は、各可能な調
節方向に対して１組の最小距離ベクトル計算を必要とす
る。移動すべきでないオプションを含む９個の可能な移
動、３個の回転オプションおよび３個のスケーリングオ
プションの積から計算される合計81の可能性が存在して
いる。グラジエントデセント方法は、収斂するために約
50回の反復を要求することもまた考えられる。徹底的な
探索方法は、各自由度に対してプラスまたはマイナス20
単位内における調節を仮定すると、結果的に256,000 回
の最小距離ベクトル計算を必要とする。システム20対グ
ラジエントおよび徹底的な探索方法の計算効率の最終的
な比較では、結果的に比率で１：81：5120である。
【００２５】システム20は元来自動ターゲット認識のた
めに設計されたものであるが、コンピュータビジョンに
よって物体認識を使用するシステムと共に使用するのに
適合することができる。本発明の適用のいくつかは、ビ
ジョンベースの工場の自動制御システム、部品検査シス
テムおよび自律移動体誘導システムを含んでいる。
めに設計されたものであるが、コンピュータビジョンに
よって物体認識を使用するシステムと共に使用するのに
適合することができる。本発明の適用のいくつかは、ビ
ジョンベースの工場の自動制御システム、部品検査シス
テムおよび自律移動体誘導システムを含んでいる。
【００２６】以上、新しい改良された位置および方向評
価神経ネットワークシステムを説明してきた。上記の実
施例は、本発明の原理の適用を表した多数の特定の実施
例のいくつかの単なる例示に過ぎないなことが理解され
るべきである。明らかに、種々の他の構造は本発明の技
術的範囲から逸脱することなく当業者によって容易に実
施されることが可能である。
価神経ネットワークシステムを説明してきた。上記の実
施例は、本発明の原理の適用を表した多数の特定の実施
例のいくつかの単なる例示に過ぎないなことが理解され
るべきである。明らかに、種々の他の構造は本発明の技
術的範囲から逸脱することなく当業者によって容易に実
施されることが可能である。
【図１】本発明によって処理された物体の典型的なデジ
タル化されたビデオイメージ、およびイメージ中の物体
に整合されるべきモデル物体を示した図。
タル化されたビデオイメージ、およびイメージ中の物体
に整合されるべきモデル物体を示した図。
【図２】本発明によって達成された姿勢空間の減少を示
した概略図。
した概略図。
【図３】本発明の原理による位置および方向評価神経ネ
ットワークシステムの概略図。
ットワークシステムの概略図。
【図４】図３のシステムによって使用されるサンプルさ
れた輪郭モデルを示した図。
れた輪郭モデルを示した図。
【図５】典型的な最小距離ベクトル計算の説明図。
【図６】図３のシステムにおいて使用される神経ネット
ワークシステムの概略図。
ワークシステムの概略図。
【図７】図６の神経ネットワークの訓練の説明図。
【図８】シミュレートされたＭ1 タンクデータに関する
図４のシステムの試験を示したデータの図。
図４のシステムの試験を示したデータの図。
【図９】グラジエントデセントローカルミニマの一例を
示した図。
示した図。
【図１０】シミュレートされたＴ62タンクに関する本発
明の動作を示した図。
明の動作を示した図。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−127185（ＪＰ，Ａ) 特開 平５−12443（ＪＰ，Ａ) 特開 平２−137072（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 7/00 G06T 7/60
Claims (5)
- 【請求項１】 デジタル化されたイメージを処理して、
ターゲット物体のエッジを表すエッジデータを生成する
エッジ検出器と、 モデル物体のエッジに沿って配置された複数のデータ点
を含み、検出されるべきターゲット物体のモデル物体に
対応するモデルデータを記憶するモデル記憶手段と、 エッジデータおよびモデルデータを処理し、ターゲット
物体とモデル物体との間において１組の最小距離ベクト
ルを生成する最小距離ベクトル計算手段と、 最小距離ベクトル計算手段に応答し、ターゲット物体に
関してモデル物体の歪みを評価する神経ネットワーク
と、 神経ネットワークおよびモデル記憶手段に応答し、神経
ネットワークによって評価された歪みに基づいてターゲ
ット物体に関するモデル物体の位置および方向を調節す
る位置および方向調節手段と具備し、 モデル物体が実質的にターゲット物体に重なるまで、モ
デル物体を再位置調節および再方向調節するように、最
小距離ベクトルの反復的な計算と、歪みの評価と、モデ
ル物体の位置および方向の調節とがなされ、これにより
モデル物体の最終的な位置および方向が、デジタル化さ
れたイメージ中のターゲット物体の位置および方向の評
価を提供することを特徴とするデジタル化されたイメー
ジの中のターゲット物体の位置および方向を決定するシ
ステム。 - 【請求項２】 神経ネットワークは後方伝播学習アルゴ
リズムによって訓練された３層パーセプトロンを有して
いることを特徴とする請求項１記載のシステム。 - 【請求項３】 神経ネットワークは２ｎ個の入力ニュー
ロン、50個の隠蔽ニューロンおよび４個の出力ニューロ
ンを有し、ここにおいてｎはサンプルされた輪郭モデル
中のモデル点の数であることを特徴とする請求項１記載
のシステム。 - 【請求項４】 出力ニューロンの各出力は位置および方
向調節手段によって３部分単位で翻訳されることを特徴
とする請求項３記載のシステム。 - 【請求項５】 （ａ）デジタル化されたイメージの信号
を処理して、ターゲット物体のエッジを表すエッジデー
タを生成し、 （ｂ）モデル物体のエッジに沿って配置された複数のデ
ータ点を含み、検出されるべきターゲット物体のモデル
物体に対応するモデルデータを記憶し、 （ｃ）ターゲット物体中の各点に関するモデル物体中の
各データ点に対してエッジデータおよびモデルデータを
処理し、モデル物体とターゲット物体との間において１
組の最小距離ベクトルを生成し、 （ｄ）神経ネットワークを使用して１組の最小距離ベク
トルを処理して、ターゲット物体に関してモデル物体を
移動、回転およびスケール調節するように構成された、
モデル物体に対して行われるべき移動、回転、スケール
調節を評価し、 （ｅ）評価された移動、回転およびスケール調節に基づ
いてターゲット物体に関するモデル物体の位置および方
向を調節し、 （ｆ）モデル物体が実質的にターゲット物体に重なるま
で、モデル物体を連続的に再位置調節および再方向調節
するように、ステップ（ｃ）〜（ｅ）を反復し、これに
よりデジタル化されたイメージ中のターゲット物体の位
置および方向の評価を提供するステップを含んでいるこ
とを特徴とする電気信号により表されるデジタル化され
たイメージの中のターゲット物体の位置および方向を決
定する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US186181 | 1994-01-14 | ||
| US08/186,181 US5459636A (en) | 1994-01-14 | 1994-01-14 | Position and orientation estimation neural network system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07311849A JPH07311849A (ja) | 1995-11-28 |
| JP2968184B2 true JP2968184B2 (ja) | 1999-10-25 |
Family
ID=22683951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7005313A Expired - Fee Related JP2968184B2 (ja) | 1994-01-14 | 1995-01-17 | 位置および方向評価神経ネットワークシステムおよび方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5459636A (ja) |
| EP (1) | EP0665507B1 (ja) |
| JP (1) | JP2968184B2 (ja) |
| DE (1) | DE69516733T2 (ja) |
| ES (1) | ES2145168T3 (ja) |
| IL (1) | IL112328A (ja) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69331518T2 (de) * | 1993-02-19 | 2002-09-12 | Ibm | Neuronales Netz zum Vergleich von Merkmalen von Bildmustern |
| US6463176B1 (en) * | 1994-02-02 | 2002-10-08 | Canon Kabushiki Kaisha | Image recognition/reproduction method and apparatus |
| US5617490A (en) * | 1994-06-27 | 1997-04-01 | Sanyo Electric Co., Ltd. | Camera system with neural network compensator for measuring 3-D position |
| IT1275664B1 (it) * | 1994-11-16 | 1997-10-17 | Consorzio Telerobot | Sistema per il controlllo e guida automatica di un gruppo elevatore a forche |
| WO1997008654A1 (de) * | 1995-08-28 | 1997-03-06 | Siemens Aktiengesellschaft | Verfahren zur abschätzung einer bewegung eines objekts in einer folge von bildern |
| US5741213A (en) * | 1995-10-25 | 1998-04-21 | Toa Medical Electronics Co., Ltd. | Apparatus for analyzing blood |
| EP0910833A1 (en) * | 1997-05-05 | 1999-04-28 | Shell Oil Company | Visual recognition method |
| JP2984652B2 (ja) | 1997-08-22 | 1999-11-29 | 富士通株式会社 | 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体 |
| US6658145B1 (en) * | 1997-12-31 | 2003-12-02 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern inspection |
| US6975764B1 (en) * | 1997-11-26 | 2005-12-13 | Cognex Technology And Investment Corporation | Fast high-accuracy multi-dimensional pattern inspection |
| US6856698B1 (en) * | 1997-11-26 | 2005-02-15 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern localization |
| US6434271B1 (en) * | 1998-02-06 | 2002-08-13 | Compaq Computer Corporation | Technique for locating objects within an image |
| US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| JP4392886B2 (ja) * | 1999-01-22 | 2010-01-06 | キヤノン株式会社 | 画像抽出方法及び装置 |
| US6944319B1 (en) * | 1999-09-13 | 2005-09-13 | Microsoft Corporation | Pose-invariant face recognition system and process |
| US6741756B1 (en) * | 1999-09-30 | 2004-05-25 | Microsoft Corp. | System and method for estimating the orientation of an object |
| US6771808B1 (en) * | 2000-12-15 | 2004-08-03 | Cognex Corporation | System and method for registering patterns transformed in six degrees of freedom using machine vision |
| US6980685B2 (en) * | 2001-01-22 | 2005-12-27 | Siemens Corporate Research, Inc. | Model-based localization and measurement of miniature surface mount components |
| US6853998B2 (en) * | 2001-02-07 | 2005-02-08 | International Business Machines Corporation | Customer self service subsystem for classifying user contexts |
| US7574045B2 (en) * | 2001-07-27 | 2009-08-11 | Matrox Electronic Systems Ltd. | Model-based recognition of objects using a calibrated image system |
| US7016885B1 (en) | 2001-08-28 | 2006-03-21 | University Of Central Florida Research Foundation, Inc. | Self-designing intelligent signal processing system capable of evolutional learning for classification/recognition of one and multidimensional signals |
| DE10148064A1 (de) * | 2001-09-28 | 2003-04-10 | Ibeo Automobile Sensor Gmbh | Verfahren zur Erkennung und Verfolgung von Objekten |
| US8081820B2 (en) * | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
| US7190834B2 (en) | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
| US7895141B2 (en) * | 2004-04-08 | 2011-02-22 | Petra Perner | Methods for case-based recognition of HEp-2 cells in digital images of HEp-2 cell sections |
| US20060061599A1 (en) * | 2004-09-17 | 2006-03-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for automatic image orientation normalization |
| US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| JP4585983B2 (ja) * | 2006-03-27 | 2010-11-24 | 株式会社日立製作所 | プラント制御方法及びプラント制御装置 |
| US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
| US9111349B2 (en) * | 2011-12-16 | 2015-08-18 | Microsoft Technology Licensing, Llc | Object identification using 3-D curve matching |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| DE102014018789A1 (de) * | 2014-12-19 | 2016-06-23 | Rheinmetall Air Defence Ag | Verfahren zur Bekämpfung von Militärfahrzeugen |
| US20190026588A1 (en) * | 2017-07-19 | 2019-01-24 | GM Global Technology Operations LLC | Classification methods and systems |
| GB2568286B (en) * | 2017-11-10 | 2020-06-10 | Horiba Mira Ltd | Method of computer vision based localisation and navigation and system for performing the same |
| US20190303763A1 (en) * | 2018-03-29 | 2019-10-03 | Ca, Inc. | Trinary neural network and back-propagation methodology |
| CN109101966B (zh) * | 2018-06-08 | 2022-03-08 | 中国科学院宁波材料技术与工程研究所 | 基于深度学习的工件识别定位和姿态估计系统和方法 |
| CN112753007A (zh) * | 2018-07-27 | 2021-05-04 | 奇跃公司 | 虚拟角色的姿势空间变形的姿势空间维度减小 |
| US10332245B1 (en) * | 2018-12-11 | 2019-06-25 | Capital One Services, Llc | Systems and methods for quality assurance of image recognition model |
| CN109859216B (zh) * | 2019-02-16 | 2021-06-25 | 深圳市未来感知科技有限公司 | 基于深度学习的测距方法、装置、设备及存储介质 |
| US10832444B2 (en) * | 2019-02-18 | 2020-11-10 | Nec Corporation Of America | System and method for estimating device pose in a space |
| US20210150757A1 (en) * | 2019-11-20 | 2021-05-20 | Nvidia Corporation | Training and inferencing using a neural network to predict orientations of objects in images |
| CN112417896B (zh) * | 2020-11-03 | 2024-02-02 | 中国科学技术大学 | 一种领域数据获取方法、机器翻译方法及相关设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5959397A (ja) * | 1982-09-29 | 1984-04-05 | オムロン株式会社 | 特徴点のラベリング装置 |
| JP2605295B2 (ja) * | 1987-08-18 | 1997-04-30 | スズキ株式会社 | 自動車の車種判別方法 |
| JP2700260B2 (ja) * | 1988-11-18 | 1998-01-19 | 株式会社日立製作所 | 画像処理装置 |
| JP2885823B2 (ja) * | 1989-04-11 | 1999-04-26 | 株式会社豊田中央研究所 | 視覚認識装置 |
| JP2810152B2 (ja) * | 1989-10-13 | 1998-10-15 | 株式会社日立製作所 | ポイントパターンマッチング方法 |
| US5227830A (en) * | 1989-11-27 | 1993-07-13 | Olympus Optical Co., Ltd. | Automatic camera |
| US5208763A (en) * | 1990-09-14 | 1993-05-04 | New York University | Method and apparatus for determining position and orientation of mechanical objects |
| JPH0512443A (ja) * | 1991-07-05 | 1993-01-22 | Nippon Telegr & Teleph Corp <Ntt> | 動物体の輪郭追跡方法 |
| US5333210A (en) * | 1992-07-02 | 1994-07-26 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Method and system for pattern analysis using a coarse-coded neural network |
| US5351311A (en) * | 1992-07-28 | 1994-09-27 | The United States Of America As Represented By The Secretary Of The Navy | Neural network for detection and correction of local boundary misalignments between images |
| US5311600A (en) * | 1992-09-29 | 1994-05-10 | The Board Of Trustees Of The Leland Stanford Junior University | Method of edge detection in optical images using neural network classifier |
-
1994
- 1994-01-14 US US08/186,181 patent/US5459636A/en not_active Expired - Lifetime
-
1995
- 1995-01-12 IL IL112328A patent/IL112328A/en not_active IP Right Cessation
- 1995-01-13 DE DE69516733T patent/DE69516733T2/de not_active Expired - Lifetime
- 1995-01-13 ES ES95100447T patent/ES2145168T3/es not_active Expired - Lifetime
- 1995-01-13 EP EP95100447A patent/EP0665507B1/en not_active Expired - Lifetime
- 1995-01-17 JP JP7005313A patent/JP2968184B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE69516733T2 (de) | 2000-12-28 |
| DE69516733D1 (de) | 2000-06-15 |
| IL112328A0 (en) | 1995-03-30 |
| ES2145168T3 (es) | 2000-07-01 |
| US5459636A (en) | 1995-10-17 |
| JPH07311849A (ja) | 1995-11-28 |
| EP0665507A1 (en) | 1995-08-02 |
| EP0665507B1 (en) | 2000-05-10 |
| IL112328A (en) | 1998-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2968184B2 (ja) | 位置および方向評価神経ネットワークシステムおよび方法 | |
| Beal et al. | A graphical model for audiovisual object tracking | |
| JP4644248B2 (ja) | 多重視野特徴記述子を用いた同時位置決め及びマッピング | |
| US20200311855A1 (en) | Object-to-robot pose estimation from a single rgb image | |
| Chowdhury et al. | Face reconstruction from monocular video using uncertainty analysis and a generic model | |
| CN114503162A (zh) | 具有不确定性的特征点位置估计的图像处理系统和方法 | |
| Zhao et al. | Palletizing robot positioning bolt detection based on improved YOLO-V3 | |
| CN111127519A (zh) | 一种双模型融合的目标跟踪控制系统及其方法 | |
| GB2612029A (en) | Lifted semantic graph embedding for omnidirectional place recognition | |
| Ayi et al. | Interfacing of MATLAB with Arduino for face detection and tracking algorithm using serial communication | |
| CN107798329B (zh) | 基于cnn的自适应粒子滤波目标跟踪方法 | |
| Chesi et al. | Automatic segmentation and matching of planar contours for visual servoing | |
| Pajares et al. | Local stereovision matching through the ADALINE neural network | |
| Ackerman et al. | Robot steering with spectral image information | |
| Holzer et al. | Adaptive linear predictors for real-time tracking | |
| JP2001034756A (ja) | 被写体認識装置および記録媒体 | |
| KR102150794B1 (ko) | 손 자세 인식 및 적응적 공간 탐색을 활용한 손 관절 추적 방법 및 그 장치 | |
| Eslamian et al. | Det-SLAM: A semantic visual SLAM for highly dynamic scenes using Detectron2 | |
| Choi et al. | Real-time recognition of facial expression using active appearance model with second order minimization and neural network | |
| Koker et al. | Development of a vision based object classification system for an industrial robotic manipulator | |
| Hafez et al. | Target model estimation using particle filters for visual servoing | |
| Georgescu et al. | Multi-model component-based tracking using robust information fusion | |
| Mitschke et al. | Image-based visual servoing of rotationally invariant objects using a u-net prediction | |
| Roy-Chowdhury et al. | 3D face modeling from monocular video sequences | |
| Rao | Robust Kalman filters for prediction, recognition, and learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |