JP4976402B2 - 実用的な３ｄビジョンシステムの方法および装置 - Google Patents
実用的な３ｄビジョンシステムの方法および装置 Download PDFInfo
- Publication number
- JP4976402B2 JP4976402B2 JP2008534751A JP2008534751A JP4976402B2 JP 4976402 B2 JP4976402 B2 JP 4976402B2 JP 2008534751 A JP2008534751 A JP 2008534751A JP 2008534751 A JP2008534751 A JP 2008534751A JP 4976402 B2 JP4976402 B2 JP 4976402B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- cameras
- image
- training
- expected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
本発明は、マシンビジョンに関し、より詳細には、３次元（３Ｄ）マシンビジョンに関する。本発明は、いくつか分野を挙げるとすれば、製造、品質管理、ロボットシステム（robotics）に応用される。
マシンビジョンは、画像内に示される物体（object）の特性を求めるための、画像の自動解析を指す。これはしばしば自動製造ラインに使用され、部品の選別を容易にするために、また組立てができるように部品の配置および位置合せを決定するために、構成部品の画像が解析される。ロボットが自動組立ての手段であり、画像の自動解析が部品の選別、配置および位置合せを容易にするために使用される場合、システムは、ビジョン誘導型ロボットシステム（vision-guided robotics）と呼ばれる。マシンビジョンは、例えばロボットが環境中を移動するときに確実にシーン（scene）を認識するための、ロボットナビゲーションにも使用される。
３次元（３Ｄ）解析については、文献で長い間論じられてきたが、大多数の現代のマシンビジョンシステムは、２次元（２Ｄ）画像解析に頼っている。これには一般に、検査中の物体がビジョンシステムに、制約が加えられた向きおよび位置において「提示」されることが必要である。この目的のために、コンベヤベルトが一般に使用される。組立て中または検査中の物体は一般に、特定の既知の安定した３Ｄ配置形態（configuration）でベルト上に、ただし未知の位置および向きで配置されて、ビジョンシステムの視野内に移動される。システムは、視野内の物体の２Ｄ姿勢（すなわち位置および向き）に基づいて、また物体がコンベヤ上に配設されていることを考慮に入れて（それによって、確かなその「状態（lie）」およびビジョンシステムカメラからのその距離をレンダリングして）、２Ｄ幾何形状を適用することによって、物体の正確な３Ｄ姿勢および／または期待される外観との適合性を求める。
そのような２Ｄビジョン解析を使用した例が、例えば、「Methods and apparatus for machine vision inspection using single and multiple templates or patterns」という名称の特許文献１、「Machine vision methods for inspection of leaded components」という名称の特許文献２、「Nonfeedback-based machine vision methods for determining a calibration relationship between a camera and a moveable object」という名称の特許文献３、「Machine vision calibration targets and methods of determining their location and orientation in an image」という名称の特許文献４、「Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object」という名称の特許文献５、「Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view」という名称の特許文献６、「Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object」という名称の特許文献７、「Fast high-accuracy multi-dimensional pattern localization」という名称の特許文献８、「Fast high-accuracy multi-dimensional pattern inspection」という名称の特許文献９、および「Fast high-accuracy multi-dimensional pattern inspection」という名称の特許文献１０を含む、本明細書の譲受人の以前の研究に示されている。
工場の生産現場から家に至るあらゆるところでロボットシステムに対する依存が増大するのに伴い、実用的な３Ｄビジョンシステムの必要が表面化してきた。これは、こうした環境の多くでは、例えばコンベヤベルト上に提示される物体の場合に普通ならそうなり得るように、検査を受ける物体が全体的な位置および状態において制約が加えられているとは必ずしも限らないためである。すなわち、物体の正確な３Ｄ配置形態が未知の場合がある。
３Ｄシーンにおける姿勢および位置のさらなる自由度に対応するためには、必ずしも必要でないとしても、３Ｄビジョンツールは役に立つ。それらの例には、「System and method for registering patterns transformed in six degrees of freedom using machine vision」という名称の特許文献１１、および「System and method for determining the position of an object in three dimensions using a machine vision system with two cameras」という名称の特許文献１２がある。
他のマシンビジョン技法が当技術分野において提案されてきた。実時間（real-time）での利用に対して実用的となるように過剰な処理装置パワーを必要とするものもあれば、検査を受ける物体が複雑な位置決め手順を経ること、および／または実行中に、物体の特徴の多くが、ビジョンシステムの視野内で同時に見えることを必要とするものもある。
マシンビジョン分野以外に、当技術分野は、接触覚センサ付きのｘ、ｙ、ｚ測定機を使用するような、３Ｄ姿勢を求める接触ベースの方法も提供している。しかしこの方法は、接触を必要とし、比較的遅く、人手による介入を必要とすることがある。３Ｄ姿勢を求めるための電磁波ベースの方法も提供されてきた。この方法は、物理的な接触を必要としないが、検査を受ける物体に送信機を取り付けるというしばしば非実用的なステップを必要とするなど、それ自体の欠点がある。
本発明の一目的は、マシンビジョンのための、より詳細には、３次元マシンビジョンのための改善された方法および装置を提供することである。
本発明の関連目的は、製造、品質管理、およびロボットシステムを含むがそれらに限定されない、実用的な応用分野の範囲を有するような方法および装置を提供することである。
本発明の別の関連目的は、例えば３次元空間における位置および姿勢の特定を可能にするような方法および装置を提供することである。
本発明の別の関連目的は、検査中の物体の、例えば全体的な位置および状態に関しての低減された制約を課すような方法および装置を提供することである。
本発明の別の関連目的は、検査を受ける物体の位置決めに関する要件を最小限に抑えるような方法および装置を提供することである。
本発明の別の目的は、現在および将来のマシンビジョンプラットフォームとして実施できるような方法および装置を提供することである。
前述したことは、とりわけ、物体の姿勢、例えばｘ軸、ｙ軸およびｚ軸に沿った位置、ピッチ、ロールおよびヨー（yaw）（あるいはその姿勢の１つまたは複数の特性）を、物体の複数の画像から収集されたデータの三角測量によって３次元で求める方法および装置を提供する本発明により達成される目的のうちに含まれる。
したがって、例えば一態様では、本発明は、較正ステップ中に、物体の画像をそれぞれの異なる視点から取得するように配設された複数台のカメラが、それぞれのカメラのレンズから発する、そのカメラの視野内のピクセル位置に対応する３Ｄ空間内の光線を特定するマッピング関数（mapping function）を識別するように較正される、３Ｄマシンビジョンのための方法を提供する。トレーニングステップでは、カメラに付随する機能が、取得すべき物体の画像内にある複数の期待パターンを認識するようにトレーニングされる。実行時ステップが、それらのパターンのうち１つまたは複数の３Ｄ空間内での位置を、物体の画像内にあるそれらのパターンのピクセルに関する（pixel-wise）位置、および較正ステップ中に識別されたマッピングから三角測量する。
本発明の別の態様は、実行時ステップが、複数台のカメラによって実質的に同時に撮影された物体の画像から位置を三角測量する、上述の方法を提供する。
本発明の別の目的は、物体の実行時画像を使用して、前述のマッピング関数を、例えば較正から外れたカメラに関して識別する再較正ステップを含むような方法を提供することである。したがって、例えば１台のカメラが画像を生成し、その画像内で、パターンが、（例えばそのカメラに関する３Ｄ光線に対してマッピングされたときに）残りのカメラからの（例えばそれぞれの３Ｄ光線を使用してマッピングされたときの）画像と一致しない、かつ／または大幅に食い違うような位置にあるように見える場合、それらの残りのカメラからの画像を用いて求められたパターン位置を使用して、その１台のカメラを再較正することができる。
本発明の別の態様は、較正ステップが、（例えば較正プレートまたはその他の手段上の標的、十字線などの）各位置決め目標を、３Ｄ空間内の既知の各位置に配置すること、およびそれらの位置と、各カメラの視野内にあるそれぞれの目標のピクセルに関する位置との相関関係を記録する、または例えばアルゴリズム的に特徴付けることを含む、上述の方法を提供する。本発明の諸関連態様は、それらの位置決め目標、較正プレートなどのうち１つまたは複数を使用して、複数台のカメラを同時に、例えば同時結像によって較正するような方法を提供する。
本発明の他の態様は、較正ステップが、視野内の歪みを考慮に入れたマッピング関数をカメラごとに識別することを含む、上述の方法を提供する。
本発明の別の態様は、トレーニングステップが、カメラに付随する機能を、文字、数字、（位置決め目標など）他の記号、隅部、または物体の（暗点や光点など）他の識別可能な特徴などの、例えば測定法および検索／検出モデルがそれに関して当技術分野で既知の期待パターンを認識するようにトレーニングすることを含む、上述の方法を含む。
本発明の別の関連態様は、トレーニングステップが、前述の機能を、「モデル点」、すなわち実行時に検査される物体上にあるパターンの３Ｄ空間内での（例えば絶対的または相対的な）期待位置に関してトレーニングすることを含むような方法を提供する。それらの画像から識別された三角測量された３Ｄ位置と組み合わせて、実行時ステップ中にこの情報を使用することによって、その物体の姿勢を識別することができる。
本発明の諸態様によれば、パターンの期待位置（すなわちモデル点）に関するトレーニングは、そのようなパターンそれぞれの基準点（または「原点」）の２Ｄ姿勢を検出することを含む。２台以上のカメラの視野内に出現することが期待されるパターンの場合、そのような基準点により、３Ｄ空間内でのそれらのパターンの（したがって物体の）位置を求めるための、以下に述べる三角測量が容易になる。
本発明の諸関連態様は、期待パターンに関するトレーニングが、各カメラに付随する機能内で、類似モデルを、異なるカメラ相互間で類似の期待パターンをトレーニングするのに利用することを含むような方法を提供する。これには、実行時に検出されたパターンに関する基準点（または原点）が、それらの異なるカメラによって得られる画像相互間で一致することが確実になるという利点がある。
本発明の別の関連態様は、期待パターンに関するトレーニングが、各カメラに付随する機能内で、異なるモデルを類似パターンとして異なるカメラ相互間で利用することを含むような方法を提供する。こうすることにより、例えば姿勢、視角および／または障害物により、異なるカメラが各パターンを結像する様式が変更される場合に、それらのパターンの検出が容易になる。
本発明の諸関連態様は、モデリングされた各パターンの基準点（または原点）の選択をトレーニングすることを含むような方法を提供する。そのようなトレーニングは、それらの基準点（または原点）が、それらの異なるカメラによって得られた画像相互間で一致することを確実にするために、例えばオペレータの手で、例えばレーザポインタまたはその他の手段を使用して達成することができる。
本発明の諸関連態様は、トレーニングステップが、パターンの位置を、例えば実行時段階（runtime phase）中に実施されるものに類似の三角測量法を利用することによって識別することを含むような方法を提供する。あるいは、パターンの期待（相対）位置を、オペレータの手で入力する、かつ／または他の測定法によって識別することもできる。
本発明の別の関連態様は、トレーニングステップが、１台（または複数台）のカメラからの画像内にある期待パターンを、別のカメラからの画像内にあるそのパターンの以前の特定に基づいて検出することを含むような方法を提供する。したがって、トレーニングステップは、例えばオペレータが１台のカメラから撮影された画像内にある期待パターンを特定した後、残りのカメラからの画像内にあるその同じパターンを自動的に検出することを含むことができる。
本発明の別の態様は、トレーニングステップが、カメラごとに物体の複数のビューを、好ましくはそうした物体上に見られるパターンの原点が一貫して定義されるように取得する、上述の方法を提供する。画像間の潜在的な不一致を補償するために、パターンに関して最高一致得点をもたらすものを使用することができる。これには、任意の姿勢の部品を検出するように、方法をより堅牢にするという利点がある。
本発明の別の態様では、実行時ステップ（runtime step）が、実行時画像（runtime image）内にあるパターンのうち１つまたは複数の位置を、例えばパターンマッチングまたは他の２次元ビジョンツールを使用して、また、それぞれのカメラの視野内にあるそれらのパターンのピクセルに関する位置を、それらのパターンが上にある前述の３Ｄ光線に相関付けるように較正段階中に識別されたマッピングを使用して、三角測量することを含む。
本発明の諸関連態様によれば、パターン位置の三角測量は、例えば所与のパターンの位置が、そのパターンが上にある（複数台のカメラからの）複数本の３Ｄ光線が交差する点（または最小二乗適合点）から求められる場合のような、「直接的」三角測量によるものとすることができる。あるいは、またはそれに加えて、三角測量は、所与のパターンの位置が、そのパターンが上にある１本の光線（または複数本の光線）からだけではなく、（ｉ）残りのパターンが上にある光線、および（ｉｉ）（例えばトレーニング段階中に求められる）それらのパターン相互の相対位置からも求められる場合のような、「間接的」でもよい。
本発明の他の態様は、カメラに付随する機能が、トレーニングまたは実行時中に物体の画像内に期待パターンを検出することができない場合に、例えばそのようなパターンが欠如している、隠されている、または検出されない場合に「タイムアウト」し、それによって、位置特定の際に過度の遅延を回避する、上述の方法を提供する。
本発明の別の態様は、上述の方法に類似し、ＩＤマトリックスコード（あるいはその外観および／または位置が予め定義されたまたは既知の他のパターン）が上記で論じたパターンの代わりに使用される。本発明のこれらの態様では、トレーニングステップが不要になる、または低減される。その代わりに、３Ｄ位置にマッピングするために、そうしたコード（または他のパターン）の２Ｄ位置を、例えば一般的なタイプの特徴に合わせて設計されたビジョンツールによって、トレーニング段階または実行時の画像から識別することができる。
本発明の他の態様は、例えばデジタル処理機能およびカメラを含み、上記の方法に従って動作する、マシンビジョンシステムを提供する。本発明のこれらの態様および他の態様は、図面中および以下の説明において明白である。
本発明の別の関連態様は、物体の検査により、例えばその一部分の相対位置を求めて、妥当性検証することが可能になるような方法および装置を提供する。そのような方法および装置を、非限定的な例として、例えば組立て、品質管理、保守、または他の作業中に、検査および評価を支援するために使用することができる。
本発明の別の関連態様は、物体の部品（または他の部分）の欠如、または不適切な配置を、（例えばその部品／部分に関連する）１つまたは複数の期待パターンが実行時画像から欠如している場合、またはそうした画像内ではあるが、期待されないまたは望ましくない３Ｄ位置に位置するピクセル位置にある場合に、推論するような方法および装置を提供する。
本発明の別の関連態様は、実行時ステップ中に、物体の部品または他の部分の位置が、実行時画像内に見られるパターンに対応する３Ｄ位置のサブセットに基づいて求められ、その３Ｄ位置が、さらに別のパターンの期待位置を求めるのに使用されるような方法および装置を提供する。そうした別のパターンの期待位置は、例えば実行時画像から求められるその実際の３Ｄ位置と比較することができる。比較において特定された位置の差が指定の許容差を超える場合、システムは適切な通知を（例えばオペレータに対して）生成することができる。
本発明によるシステムおよび方法の利点は、それらが従来技術のシステムの手法よりも使用しやすく、より実用的であり、しかもビジョンベースであり、したがって検査を受ける物体との接触または検査を受ける物体の事前準備を必要としないことである。（本発明による）そのようなシステムおよび方法は、容易にセットアップし、次いで「ショーアンドゴー（show-and-go）」を使用してトレーニングすることができる。
さらにそれらは、例えば欠如している結果および間違った結果に対して、迅速な性能および堅牢さを提供する。したがって、例えば本発明の諸態様による方法および装置は、いくつかのパターンが、例えばパターンが１台または複数台のカメラによるビューから隠されているため、またはそれらのパターンの画像を適時取得することができないため、いくつかの（また、いくつかの状況下では、いずれの）実行時画像の中に見られなくても、物体の姿勢を求めることができる。別の例として、本発明の諸態様による方法および装置は、（例えば位置合せ不良のカメラによって生じる）間違った結果に対して、実行時画像内に見られるパターンに対応する３Ｄ位置のサブセットを使用した三角測量をすることによって堅牢さを提供する。サブセットの１つが、より低い二乗和誤差（sum-squared error）をもたらす場合、全てのパターンではなくそのサブセットを、位置三角測量に使用することができる。
本発明のより完全な理解は、図面を参照することによって得ることができる。
図１は、物体１２の姿勢を、物体の複数の画像から収集されたデータを三角測量することによって３次元で求めることができる、本発明によるマシンビジョンシステム１０を示す。図示の実施形態では、姿勢は、３次元空間における物体の位置および向きとして、すなわちより正確には、ｘ軸１４、ｙ軸１６およびｚ軸１８に沿った物体の位置、ならびにそれらに関する物体のピッチ、ロールおよびヨーとして定義される。他の実施形態では、姿勢をこれらの空間的特性のサブセット（例えば、軸１６に沿った位置およびヨー、軸１４〜１８に沿った位置、ロールなど）に限定することができる。図示の軸１４〜１８は、ビジョンシステム１０のフレーム２０に位置合せされているが、他の実施形態では、他の基準フレームを使用することができる。図示の実施形態のフレーム２０は、太線で示すカメラマウント２０ａおよびプラットフォーム２０ｂによって例示されているが、他の実施形態では、他の部材を使用する必要がある、またはそのような部材を使用する必要がない。
システム１０は、デジタルデータ処理装置２２および画像取得装置２４をさらに含む。ここでは、話を簡単にするためにｉＭＡＣ（登録商標）Ｇ５パーソナルコンピュータとして示されるデジタルデータ処理装置２２は、本明細書の教示に従って、物体１２の姿勢を取得装置２４によって供給される画像から求めるようにプログラムされる、またはその他の手段で構成される、プロプライエタリ、オープンソース、または他のオペレーティングシステムが稼動する、メインフレームコンピュータ、ワークステーション、（例えば、Ｗｉｎｄｏｗｓ（登録商標）／Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標） ４プラットフォーム、またはその他のプラットフォームが稼動する）パーソナルコンピュータ、専用のビジョンコンピュータ、組込み処理装置、あるいは他のデジタルデータ装置とすることができる。デジタルデータ処理装置は、全て当技術分野で既知のタイプの、図示の表示装置２２ａ、ならびにキーボード２２ｂ、マウス２２ｃおよび他の入力／出力装置を含むことができる。
画像取得装置２４は、マシンビジョンカメラでも、ビデオカメラでも、スチルカメラでも、物体１２の画像を可視または他の関連するスペクトルにおいて取得することができる他の装置でもよい。一般性を喪失することなく、続く説明では、装置２４は一般に、「カメラ」と呼ばれるが、実際には、どんな様式の画像取得機能を備えてもよい。図示の実施形態では、３台のそうした装置２４が示してあるが、実際には、任意の複数台の装置（例えば２台以上）を使用することができる。これらの装置は、物体１２の画像を、それぞれの異なる視点から取得するように配設される。いくつかの実施形態では、検査中の物体の３Ｄ姿勢を、単一のそうした装置２４からの画像を使用して求めることもでき、したがって実施形態が全て、複数台のカメラからの画像を必要とするとは限らないことも、当業者には理解されよう。
デジタルデータ処理装置２２は、本明細書の教示に従って動作するようにプログラムされているが、当技術分野で既知のタイプの、中央処理装置（ＣＰＵ）、メモリ（ＲＡＭ）、および入力／出力（Ｉ／Ｏ）機能をさらに含む。
具体的には、図示の実施形態では、それらは図２に示す方法に従って３Ｄマシンビジョンを実現するように構成される。図２では、較正ステップ３０において、複数台のカメラ２４がそれぞれ、そのカメラのレンズから発する、そのカメラの視野内のピクセル位置に対応する３Ｄ空間内の光線を特定する、それぞれのマッピング関数を識別するように較正される。
図３を参照すると、この点に関して、較正ステップは、（例えば較正プレート４０またはその他の手段上の標的、十字線などの）各位置決め目標を、３Ｄ空間内の既知の各位置に配置すること、およびそれらの位置と、各カメラの視野内にあるそれぞれの目標のピクセルに関する位置との相関関係を記録する、または例えばアルゴリズム的に特徴付けることを含む。好ましくは、このマッピングには、それぞれのカメラ２４の視野内の歪みが考慮される。
図示の実施形態では、位置決め目標、較正プレート４０などを使用して、複数台のカメラ２４を同時に、例えば同時結像によって較正する。したがって、一例として、オペレータが画像取得装置２４のうち２台以上の視野内に目標を配置して、それらがその目標を、較正目的で同時に結像することができる。較正プレート４０などが較正に使用される場合、それは、好ましくはフィデューシャル（fiducial）４１（例えば、一様なチェッカーボードパターンとは異なる一意のパターン）を原点のところに示し、したがって全ての取得装置２４を、特定の向きを有する同じ一意の基準点に対して較正することができる。装置２４を一貫してそのように較正することによって、それらを全て使用して、その画像座標（例えばパターン原点のピクセルに関する位置）から共通の基準点またはフレームに対してマッピングすることができる。そのような好ましいフィデューシャルは、図面中のＬ字形フィデューシャルの場合と同様に、非対称である。
そのような較正の基礎となる方法および装置が、非限定的な例として、「Methods and apparatus for machine vision inspection using single and multiple templates or patterns」という名称の特許文献１、「Machine vision methods for inspection of leaded components」という名称の特許文献２、「Nonfeedback-based machine vision methods for determining a calibration relationship between a camera and a moveable object」という名称の特許文献３、「Machine vision calibration targets and methods of determining their location and orientation in an image」という名称の特許文献４、「Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object」という名称の特許文献５、「Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view」という名称の特許文献６、「Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object」という名称の特許文献７、「Fast high-accuracy multi-dimensional pattern localization」という名称の特許文献８、「Fast high-accuracy multi-dimensional pattern inspection」という名称の特許文献９、および「Fast high-accuracy multi-dimensional pattern inspection」という名称の特許文献１０に教示され、その全ての教示が、参照により本明細書に組み込まれる。最後の３件の特許文献に記載の方法および装置は、本明細書の別の場所で「ＰａｔＭａｘ」という名称で呼ばれる。
任意選択のトレーニングステップ３２では、それぞれのカメラ２４に付随するモジュール（例えばコードシーケンス、サブルーチン、関数、オブジェクト、他のデータ構造および／または関連ソフトウェア、あるいは他の機能）を、実行時中に取得すべき物体１２の画像内にある期待パターンを認識するようにトレーニングする。期待パターンは、文字、数字、（位置決め目標など）他の記号、隅部、または物体１２の実行時画像内で識別可能であることが期待される（暗点や光点など）他の特徴であり、例えば、測定法および検索／検出モデルがそれに関して当技術分野で既知のものとすることができる。それらのパターンは、永久に物体の一部分でも、物体に添付されてもよい。しかし、それらのパターンは、例えば取外し可能な較正目標の場合と同様に、一時的でもよい。実際には、それらのパターンは、物体に物理的に関連付けられることさえ不要である。例えば、それらのパターンを、トレーニング段階および／または実行時段階中に結像される物体上に、例えばレーザまたは他の装置によって、光学的にまたは他の手段で投影することができる。
各カメラ２４に付随するモジュールまたは他の機能を、パターンを認識するようにトレーニングすることに加えて、図示の実施形態のトレーニングステップ３２は、それらをモデル点位置、すなわち、実行時中に検査される物体上にあるパターンの例えば相互の（すなわち３Ｄ空間内での）期待位置に関してトレーニングすることを含む。これは、例えば、実行時段階中に実施されるものに類似の三角測量法を利用することによるものとすることができる。あるいは、それらのパターンの期待（相対）位置を、オペレータの手で入力する、かつ／または他の測定法（例えば、ルーラ、キャリパ、光学的距離ゲージなど）によって識別することもできる。
三角測量が使用されるか、それとも他の方法が使用されるかに関わらず、トレーニングステップ３２は、好ましくは、各カメラ２４に付随するモジュールまたは他の機能を、そのようなトレーニングされるパターンそれぞれの基準点（または「原点」）に関してトレーニングすることを含む。２台以上のカメラの視野内に出現することが期待されるパターンの場合、そのような基準点に関するトレーニングにより、３Ｄ空間内でのそれらのパターンおよび／または物体の位置を、直接的および間接的に三角測量することが容易になる。
図示の実施形態では、そのようなトレーニングは、類似モデル（例えば「ＰａｔＭａｘ」など）を、異なるカメラ２４相互間で類似期待パターンをトレーニングするのに使用することによって達成することができる。これには、実行時に検出されたパターンに関する基準点（または原点）が、それらの異なるカメラによって得られる画像相互間で一致することが確実になるという利点がある。
姿勢、視角および／または障害物により、異なるカメラ２４が類似パターンを見る見方が変わる場合、そのようなトレーニングには、異なるカメラ相互間で異なるモデルを（類似パターンとして）利用することを含むことができる。モデルが異なれば、類似パターンに関して異なる基準点が特定される傾向があり得るので、図示の実施形態では、類似パターンに関する類似基準点の選択を、オペレータがトレーニングすることが可能である。
これは、一例として、トレーニングステップ３２中に、（ステップ３４において検索するためのテンプレートとして使用すべき）パターンの画像を複数台のカメラ２４から同時に取得し、次いでレーザポインタで物体を照らすことによって達成することができる。レーザ照射を用いて取得された画像から、レーザ点の３Ｄ位置を計算し、それによって、パターンの全ての画像上で一致する原点を定義することができる。（ここでは、異なるモデルをパターントレーニングに使用することに関して説明しているが、この技法は、類似モデルが使用される場合にも適用することができる）。この目的のために、余分なレーザポインタ点がある、またはない画像を使用して、ａｕｔｏＴｈｒｅｓｈｏｌｄｉｎｇおよびｂｌｏｂ解析を実行することによって、全ての画像内でその点の中央を検出し、それによって一貫性のある一致した原点を求めることができる。本明細書の別の場所で論じるように、この点の３Ｄ位置を得るために三角測量を使用することができ、それによってこの技法を、（トレーニング中の）物体上にある複数パターンに、例えば物体が移動しないことを条件として使用することが可能になる。
本発明の好ましい一実施によれば、トレーニングステップ３２は、１台（または複数台）のカメラ２４からの画像内にある期待パターンを、別のカメラからの画像内にあるそのパターンの以前の特定に基づいて検出することを含む。したがって、トレーニングステップは、例えばオペレータが１台のカメラから撮影された画像内にある期待パターンを特定した後、残りのカメラからの画像内にあるその同じパターンを自動的に検出することを含むことができる。
好ましい諸実施形態では、ステップ３２は、カメラ２４ごとに物体の複数のビューを、好ましくはそうした物体上に見られるパターンの原点が一貫して定義されるように取得することを含む。画像間の潜在的な不一致を補償するために、パターンに関して最高一致得点をもたらすものを使用することができる。これには、任意の姿勢の部品を検出するように、方法をより堅牢にするという利点がある。
上述したように、トレーニングステップ３２は任意選択である。本発明のいくつかの実施形態では、トレーニングステップ３２は、能力が低減された状態で使用され、または全く使用されない。例えば、実行時に期待されるパターンがｂｌｏｂモデル（例えば明るい特徴を探すもの）によって検索できる場合、パターントレーニングは必要ないが、上述のタイプの位置トレーニングが依然として使用される。そうしたことは、さらなる例として、ＩＤマトリックスコードであるパターン（あるいはその外観および／または位置が予め定義されたまたは既知の他のパターン）が、上記で論じたトレーニング可能なパターンの代わりに使用される場合にも当てはまる。この場合、３Ｄ位置にマッピングするために、そうしたコード（または他のパターン）の２Ｄ位置が、例えば一般的なタイプの特徴に合わせて設計されたビジョンツールによって、トレーニング段階または実行時の画像から識別される。本発明のそうした実装形態は有用である。というのも、工業用部品はいつでもＩＤマトリックスコードを有することができ、それによって複数のトレーニングレスセンサが、ＩＤマトリックスコードの３Ｄ位置を出力することができるためである。さらに、ＩＤマトリックスコードは長方形の領域に広がるので、そうしたセンサは全て、４隅の２Ｄ位置を出力することができる。さらに、ＩＤマトリックスが特定の工程を用いて印刷される場合、（コードのサイズ／タイプを知ることにより）その３Ｄ位置を知り、３Ｄ姿勢を計算することができる。
実行時ステップ３４では、デジタルデータ処理装置２２が、物体１２上にあるパターン４２ａ〜４２ｃのうちの１つまたは複数の３Ｄ空間内の位置を、物体１２の実行時画像内にあるそれらのパターンを表すピクセルに関する位置に基づいて、また較正ステップ３０中に識別されたマッピングから三角測量する。図示の実施形態では、物体１２のそれらの実行時画像が、好ましくは同時に、または実質的に同時に、装置２４によって取得される。この点に関して、実質的に同時にとは、物体１２、装置２４、フレーム２０、またはその他のものの動きが、実行時画像内のパターンのピクセルに関する位置、および／またはそこから求められるマッピングに実質的に影響を及ぼさないほど、画像取得がほぼ時間的に迫って行われることを指す。そのような同時取得は、カメラ２４を同時に（またはほぼそのように）作動させることによって、あるいは、例えばカメラ２４のシャッタが開いている間に、結像された物体をストロボ照射することを含む他の手段によって達成することができる。
図示の実施形態では、位置三角測量が、パターンマッチングまたは他の２次元ビジョンツールを使用して、実行時画像内にあるパターンのピクセルに関する位置を識別することによって、また、それぞれのカメラ２４の視野内にあるそれらのパターンのピクセルに関する位置を、それらのパターンが上にある前述の３Ｄ光線に相関付けるように較正段階中に識別されたマッピングを使用することによって達成される。そのような２Ｄビジョンツールを使用した例には、前述の参照により組み込まれる特許文献１、特許文献２、特許文献３、特許文献４、特許文献５、特許文献６、特許文献７、特許文献８、特許文献９および特許文献１０がある。
パターン位置の三角測量は、例えば所与のパターンの位置が、そのパターンが上にある（複数台のカメラからの）複数本の３Ｄ光線が交差する点から求められる場合のような、「直接的」三角測量によるものとすることができる。あるいは、またはそれに加えて、三角測量は、所与のパターンの位置が、そのパターンが上にある１本の光線（または複数本の光線）からだけでなく、（ｉ）残りのパターンが上にある光線、および（ｉｉ）結像された物体上にある（例えばトレーニング段階中に求められる）それらのパターン相互の相対位置からも求められる場合のような、「間接的」であってもよい。
図示の実施形態では、１つまたは複数のパターンが上にあるように見える（複数台のカメラ２４からの）複数本の３Ｄ光線相互間または複数本の３Ｄ光線の中で交差（または最寄りの交差）点を検出するために、直接的および／または間接的三角測量で「最小二乗適合」または他のそうした方法を利用することができる。例えば、２台以上のカメラ２４から取得された画像が、所与のパターン（より正確にはそのパターンの明らかな原点）が２本以上の光線上にあることを示す場合、最小二乗適合法を使用して、３Ｄ空間内でのそれらの光線の交差位置、またはそこに最寄りの点（すなわち、それらの光線の最寄りにある空間内の点）を求めることができる。同様に、カメラ２４からの画像が、複数光線上にある複数パターンに関する原点を示す場合、物体上にあるそれらのパターンのモデル点を用いて最小二乗適合を使用することによって、それらのパターンおよび／または物体自体の最も可能性のある位置を求めることができる。
図示の実施形態は、光線とパターンの最小二乗（または二乗平均平方根）適合を見つけ出すために、オプティマイザ（または「ソルバ（solver）」）を利用する。これは、当技術分野で入手可能なタイプの汎用ツールであり、かつ／または以下に詳述するように動作することができる。いずれにせよ、実行時ステップ３４中に、実行時画像から特定されたパターン（より正確にはパターン原点）が上にある３Ｄ光線の定義、ならびに（関連のある場合）物体上にある各パターンの位置または相対位置がソルバに供給される。
一般に、この情報により、過度に制約が加えられた（over-constrained）システムが定義され（すなわち、実際の位置を推論するために必要であるよりも多くの情報が、光線の定義および物体上の相対パターン位置によって供給される）、図示のシステムはそれを、堅牢さを目的として利用する。したがって例えば、実行時ステップ３４は、（例えばパターンが１つまたは複数のカメラのビューから隠されている場合、あるいはパターン画像の適時取得を可能にしない照明または他の状況の場合のように）例えばパターンが物体またはその実行時画像から欠如している場合でさえ、物体の姿勢を求めることができる。また、さらなる例として、実行時ステップ３４は、光線とモデル点、または光線の三角測量との間の適合の二乗平均平方根（ＲＭＳ）誤差を最小限に抑えるために、取得装置２４によって検出されたパターン原点のサブセット（より正確には、パターン原点に対応する位置のサブセット）を試用することを含むことができる。サブセットの１つに、より低い二乗和誤差がある場合、全てのパターン原点ではなくそのサブセットを、位置三角測量に使用することができる。
一般に、この情報により、過度に制約が加えられたシステムが定義され（すなわち、実際の位置を推論するために必要であるよりも多くの情報が、光線の定義および物体上の相対パターン位置によって供給される）、図示のシステムはそれを、堅牢さを目的として利用する。したがって例えば、実行時ステップ３４は、例えばいくつかのパターンが（例えば、あるパターンの位置を、残りの検出されたパターンにより予測される位置と比較することによって検査／妥当性検証するように）考慮から意図的に除外される場合でさえ、物体の姿勢を求めることができる。
また、さらなる例として、実行時ステップ３４は、光線とモデル点、または光線の三角測量との間の適合の二乗平均平方根（ＲＭＳ）誤差を最小限に抑えるために、取得装置２４によって検出されたパターン原点のサブセット（より正確には、パターン原点に対応する位置のサブセット）を試用することを含むことができる。次いで、このステップは、サブセット内に含まれなかった（すなわち、上述のように意図的に除外された）パターンの３Ｄ位置を外挿して、それぞれのカメラ内での２Ｄ画像位置を予測することができる。予測された画像位置は、実際の測定された画像位置と比較することができる。予測された画像位置と実際の測定された画像位置との間の距離が、何らかのユーザ指定の距離許容差を超える場合、システムは適切な警告または他の通知を生成することができる。あるいは、またはそれに加えて、除外されたパターンの外挿された３Ｄ位置を、三角測量によって求められた３Ｄ位置に対して比較することができる。この場合もやはり、外挿された（予測された）位置と実際の位置との間の距離が異なる場合、実行時ステップ３４は、適切な警告または他の通知を生成することを含むことができる。
トレーニング段階と実行時段階のどちらの間でも、パターン認識の速度を向上させるために、図示の実施形態は、１つのパターンの検出された位置を利用して、残りのパターンに対する検索の自由度を制限することができる。例えば、第１のカメラ２４がパターンを１５度で検出し、別のカメラが第１のカメラとほぼ同じ向きである場合、別のカメラは、パターンを向き１５±１０度で探すだけでよい。さらに、１台のカメラから原点の位置が与えられると、その原点が、ある３Ｄ光線に沿って存在することが分かり、それによってその光線を第２のカメラの視野上に投影し、その線に沿ってパターンを探すだけでよい。
２つのパターンが混同しやすい（すなわち、カメラの視野内にあるパターンに類似する２つの具体例がある）場合、図示の実施形態は、可能な異なる対応関係を全て試行することができる。例えば、前述の参照により組み込まれる、「Fast high-accuracy multi-dimensional pattern localization」という名称の特許文献８、「Fast high-accuracy multi-dimensional pattern inspection」という名称の特許文献９、および「Fast high-accuracy multi-dimensional pattern inspection」という名称の特許文献１０に記載の技術を使用すると、（ＰＯＳＴ−ＩＴ（登録商標）Ｎｏｔｅｓラベルからの）文字シーケンス「Ｐ」、「ＳＴ」、「Ｉｔ」および「Ｎｏｔｅｓ」などのパターンはどれも異なり、したがって一致が見られる場合、それが正しい一致であると分かる。
あるいは、「ｂｌｏｂ」解析として知られるマシンビジョンツールを使用して、パターンを（例えばそれが暗い穴である場合に）検出することができる。この場合、ｂｌｏｂ＃１が３Ｄモデル点１に対応し、ｂｌｏｂ＃２が３Ｄモデル点２に対応するなどと仮定することができる。それが機能しない場合、解析は、ｂｌｏｂ＃２が３Ｄモデル点＃２に対応し、ｂｌｏｂ＃１が３Ｄモデル点＃１に対応するという次の仮定に移ることができる。
図示の実施形態の三角測量プロセスは、以下の説明からより完全に理解することができる。
ｎ本の３Ｄ光線と交差するために（すなわち、ｎ本の３Ｄ光線までの二乗和距離を最小限に抑える点を見つけ出すために）、まず、各光線を２つの別々の直交平面として特徴付ける（なぜなら、ある点からある光線までの二乗距離は、その点からその光線を交差する２つの直交面までの二乗距離の和であるためである）。これは、以下のＣ＋＋コードによって例示される。
３Ｄ点を対応する３Ｄ光線上に最良にマッピングする姿勢に関して解決するには、（Ｗａｔｅｒｌｏｏ Ｍａｐｌｅの一部門であるＭａｐｌｅｓｏｆｔから市販されている、Ｍａｐｌｅ数学パッケージにおいて表現される）以下の式を使用すると言うことができる。これは、最適化Ｃコードを生成するのに使用される。
この手法は、（ｘ、ｙ、ｚとして表される）点ｐと（ｐｘ、ｐｙ、ｐｚ、ｐｔ）として表される平面との間の二乗和誤差を最小限に抑える、（変数ａ、ｂ、ｃ、ｄ、ｔｘ、ｔｙ、ｔｚによって表される）姿勢に関して解決する。各３ｄ光線が、そのような２つの平面の制約に対応することに留意されたい。この手法は、二乗和誤差を、代数誤差関数の係数を合計することによって計算する。次いで、この手法は、最適なａ、ｂ、ｃ、ｄ、ｔｘ、ｔｙ、ｔｚに関して、勾配降下を使用して解決する。７つの変数（ａ、ｂ、ｃ、ｄ、ｔｘ、ｔｙ、ｔｚ）があり、６自由度しかないので、ａを１に設定し、変数がｂ、ｃ、ｄである場合、ｂを１に設定し、変数がａ、ｃ、ｄである場合、ｃを１に設定し、変数がａ、ｂ、ｄである場合、およびｄを１に設定し、変数がａ、ｂ、ｃである場合の４つの異なる場合について試行することに留意されたい。
前述したことは、以下の内容を考慮するとさらに理解されよう。以下では、ＧｅｎｅｒｉｃＰｏｌｙ（）が、関数の係数を抽出する関数である。したがって、関数がｘ＊ｘ＋２＊ｘ＊ｙ＋ｙ＊ｙである場合、その汎関数は、ｆ０ｘ２ｙ０＊ｘ＊ｘ＋ｆ０ｘ１ｙ１＊ｘ＊ｙ＋ｆ０ｘ０ｙ２＊ｙ＊ｙ、ただしｆ０ｘ２ｙ０＝１、ｆ０ｘ１ｙ１＝２、ｆ０ｘ０ｙ２＝１である。ＧｅｎｅｒｉｃＰｏｌｙ（）は、例えば非限定的な例としてｗｗｗ．ｃｓ．ｕｎｃ．ｅｄｕ／〜ｇｅｏｍ／ＭＡＲＳから公的に自由に入手可能なＭＡＲＳ、すなわちＭａｐｌｅ Ｍａｔｌａｂ Ｒｅｓｕｌｔａｎｔ Ｓｏｌｖｅｒシステムに含まれている。
（誤差関数は、単に導関数（ｗｅｉｇｈｔＭａｔ＊ｗｅｉｇｈｔＭａｔ）ではなく、実際には（ａに関して偏導関数を計算する場合）(ａ＊ａ＋ｂ＊ｂ＋ｃ＊ｃ＋ｄ＊ｄ)＊導関数(ｗｅｉｇｈｔＭａｔ＊ｗｅｉｇｈｔＭａｔ)マイナス４＊ａ＊ｗｅｉｇｈｔＭａｔ＊ｗｅｉｇｈｔＭａｔであることに留意されたい（これは、
として記載される）。というのも、商に関する連鎖法則
のためである。）
この解析に関して、（偏導関数に関する連鎖法則の分母内の）分母の二乗は、分母（ａ＊ａ＋ｂ＊ｂ＋ｃ＊ｃ＋ｄ＊ｄ）が全ての偏導関数に一律に適用されるので、無視できることに留意されたい。
前述したことのさらなる例として、数値的勾配降下法で誤差関数ならびにその誤差関数の導関数を利用する。誤差関数の導関数は、数値的にまたはシンボリックに計算することができる。数値的に計算される導関数の場合、単に変数の１つを少量だけ変更し、次いで誤差関数を再計算し、そのようにして導関数を数値的に計算することができる。シンボリックに計算される導関数の場合、導関数に対応するシンボリック関数が必要であり、この場合にはシンボリック関数を、誤差関数を記述する代数式があるので使用し、シンボリック関数によってその代数誤差関数をシンボリックに微分することができる。
図示の実施形態では、以下のように、Ｃデータ構造が、代数式用に全ての係数を保持する。
図示の実施形態は、代数式の係数を増やす関数も利用する（そうした関数は、入力として、３Ｄ点（ｘ、ｙ、ｚ）、およびｐｘ、ｐｙ、ｐｚ、ｐｔによって特徴付けられる対応する平面をとる）。
図示の実施形態は、所与の姿勢（ａ、ｂ、ｃ、ｄ、ｔｘ、ｔｙ、ｔｚ）における誤差を計算する関数も利用する。ただし（ａ、ｂ、ｃ、ｄ）は、３Ｄ回転（ロール、ピッチ、ヨー）の四元数表現であり、（ｔｘ、ｔｙ、ｔｚ）は並進運動である。
図示の実施形態は、導関数を計算する関数も提供する。
例えば、係数を増やす関数は、続く抜粋例と整合する形で表現することができる。この完全な関数は、本明細書の教示および提供されるＭａｐｌｅコードを考えれば明白である。
これは、ｆａ．．．が係数であり、変数の名前が、各単項式の次数を符号化するような形で機能することに留意されたい。
これに続いて、（（ｘ、ｙ、ｚ、ｐｘ、ｐｙ、ｐｚ、ｐｔ）によって特徴付けられる）点、平面の組ごとに、関数ｐｔＲａｙＧｅｎｅｒｉｃＰｏｌｙ＿ａｄｄＴｏＶａｌｓ（）に対して呼出しが行われ、それが単項式の係数を累算して、和誤差関数に入れる。
図２の任意選択のステップ３６を参照すると、図示のシステム１０は、例えばカメラのうち１台が較正後に寸動された場合に、位置合せからずれた画像取得装置２４を再較正することができる。（この点に関して、図示の実施形態では、較正段階中に求められたマッピングを失わないようにするために、カメラ２４が較正後に固定されたまま、かつ／または静止したままでであることが好ましくは意図されることが理解されよう。）これは、ステップ３４において実施される位置三角測量中、また場合によってはステップ３２において実施される位置三角測量中に検出することができる。この目的のためには、１台のカメラ２４が画像を生成し、その画像内で、検査中の物体の実行時画像内に見られるパターンが、（例えばそのカメラに関する３Ｄ光線に対してマッピングされたときに）残りのカメラからの（例えばそれぞれの３Ｄ光線を使用してマッピングされたときの）画像と一致しない、かつ／または大幅に食い違うような位置にあるように見える場合、それらの残りのカメラからの画像を用いて求められたパターン位置を使用して、その１台のカメラを、ステップ３０に関連して上述した同じ較正法を用いて再較正することができる。
この点に関して、ステップ３０において（ならびにステップ３６において）求められるマッピングは、カメラ２４が寸動された場合に一定のまま（というのも、これはレンズの作用に他ならず、また例えばレンズをＣＣＤ、ＣＭＯＳまたは他のイメージセンサに対して定位置に接着することができるため）である、糸巻き型歪み（pincushioning）やその他の画像収差などのレンズ歪みと、カメラ２４の作業空間に対する姿勢との、２つの別々の影響に分解できることが理解されよう。カメラが寸動された場合に変化するのは、後者、すなわち姿勢である。ステップ３６では、レンズ歪みが一定のままであると仮定されるので、作業空間内でのカメラの姿勢に帰せられるマッピングの側面を、例えば較正プレートを必要とせずに、再計算することができる。
図示のシステム１０は、好ましくは、期待パターンが実行時段階３４中に取得された画像内で検出されない場合に過度の遅延を回避する、「タイムアウト」機能を含む。この点に関して、システムは単に、（例えばオペレータまたは他の手段によって設定される）指定の遅延間隔内に検出されないパターンを未検出として取り扱い、残りの検出されたパターンに基づいて位置特定を続行する。これには、システム１０を、欠如している特徴に対してより堅牢にし、その動作をより時宜にかなったものにするという利点がある。
とりわけ、上記の目的を満たす方法および装置について上述した。図面中に示し、上述した方法および装置は、本発明の諸実施形態の例に他ならず、変更を中に組み込んだ他の実施形態が、本発明の範囲内にあることが理解されよう。
Claims (24)
- 物体の位置および向きのうちの少なくとも１つを３次元で求めるための、３次元（３Ｄ）ビジョンの方法であって、
Ａ 前記物体の画像をそれぞれの異なる視点から取得するように配設された複数台のカメラを、それぞれのカメラのレンズから発する、そのカメラの視野内のピクセル位置に対応する３Ｄ空間内の光線を特定するマッピング関数を識別するように較正するステップと、
Ｂ 前記複数台のカメラに付随する機能を前記複数台のカメラによって実質的に同時に取得された画像から、前記複数台のカメラによって実行時中に取得されるべき前記物体の画像内にある期待パターンを認識するようにトレーニングし、（ｉ）前記期待パターンの共通の基準点及び（ｉｉ）前記物体上にある前記共通の基準点の３Ｄ空間内での期待位置に関して前記機能をトレーニングするステップであって、前記機能は、コードシーケンス、サブルーチン、関数、オブジェクト、データ構造および関連ソフトウェアのうちの少なくとも１つの機能を含む、それら機能の動作中に行われるトレーニングするステップと、
Ｃ 実行時中に、以下の（ｉ）〜（ｉｉｉ）のステップを行うステップと、
（ｉ）前記複数台のカメラの少なくとも２台以上のカメラで前記物体の画像を取得し、
（ｉｉ）前記期待パターンの３Ｄ空間内での位置を、前記複数台のカメラによって取得された前記物体の画像内にある前記共通の基準点のピクセル位置に対応する３Ｄ空間内の光線の交差する点に基づいて、各カメラのそれぞれについて特定された前記光線に基づいた三角測量を行い、
（ｉｉｉ）３Ｄ空間内での前記物体の位置及び向きの少なくとも１つを、前記物体上の前記期待パターンの前記期待位置における関数として及び３Ｄ空間内のそのようなパターンの前記三角測量された位置における関数として、決定する
を含むことを特徴とする方法。 - 前記ステップ（Ｃ）の（ｉｉ）は、３Ｄ空間内での前記位置を、前記複数台のカメラによって実質的に同時に撮影された前記物体の画像から三角測量することを含むことを特徴とする請求項１に記載の方法。
- Ｄ 前記複数のパターンが残りのカメラからの画像とは一致しない、かつ／または実質的に食い違う位置にあるように見える画像を生成する、選択されたカメラを再較正するステップをさらに含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｄ）は、前記ステップ（Ｃ）において前記残りのカメラからの画像から求められた３Ｄ空間内での位置を使用して、前記選択されたカメラのレンズから発する、そのカメラの視野内のピクセル位置に対応する３Ｄ空間内の光線を特定するマッピング関数を識別することを含むことを特徴とする請求項３に記載の方法。
- 前記ステップ（Ａ）は、各位置決め目標を３Ｄ空間内の既知の各位置に配置すること、およびそれらの位置と前記複数台のカメラの視野内にあるそれぞれの目標の前記ピクセルに関する位置との間の相関関係を特徴付けることを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ａ）は、前記相関関係をアルゴリズム的に特徴付けることを含むことを特徴とする請求項５に記載の方法。
- 前記ステップ（Ａ）は、位置決め目標のうちの１つまたは複数を配置し、それらが前記マッピング関数を識別する目的で複数台のカメラによって同時に結像されることを含むことを特徴とする請求項５に記載の方法。
- 前記ステップ（Ａ）は、前記マッピング関数を識別するために、１つまたは複数の較正プレート上に配設される位置決め目標を結像することを含むことを特徴とする請求項７に記載の方法。
- 前記ステップ（Ａ）は、１台または複数台のカメラに関して、そのカメラの視野内の歪みを考慮に入れたマッピング関数を識別することを含むことを特徴とする請求項５に記載の方法。
- 前記ステップ（Ｂ）は、前記複数台のカメラに付随する前記機能を、結像されることが期待される前記物体の、文字、数字、他の記号、隅部、または他の識別可能な特徴のいずれかを含む期待パターンを認識するようにトレーニングすることを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｂ）は、前記複数台のカメラに付随する前記機能を、結像されることが期待される前記物体上にある前記パターン及び前記共通の基準点の少なくとも１つにおける相互の３Ｄ空間内での期待位置に関してトレーニングすることを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｂ）は、前記複数台のカメラに付随する前記機能を、ユーザ入力に基づく前記期待位置に関してトレーニングすることを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｂ）は、前記複数台のカメラに付随する前記機能を３Ｄ空間内での期待位置に関して、実際の位置を（ｉ）トレーニング中の物体の画像内にあるそれらのパターンのピクセルに関する位置、および（ｉｉ）前記ステップ（Ａ）中に識別されたマッピングから三角測量することによってトレーニングすることを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｂ）は、前記機能を、類似モデルを使用して異なるカメラ相互間で類似パターンを特定するようにトレーニングすることを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｂ）は、前記機能を、（ｉ）異なるモデルを使用して異なるカメラ相互間で類似パターンを特定するように、また（ｉｉ）そのように特定された前記類似パターンに関する類似基準点を特定するようにトレーニングすることを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｂ）は、１台のカメラからの画像内にある期待パターンを、別のカメラからの画像内にあるそのパターンの以前の特定に基づいて検出することを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｃ）は、前記パターンの前記位置を、パターンマッチングまたは他の２次元ビジョンツールを使用して三角測量することを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｃ）は、３Ｄ空間内での前記パターンの前記位置を、複数台のカメラからの複数本の３Ｄ光線であって該パターンがその上にあるように見える複数本の３Ｄ光線の交差する点に最も近い点から三角測量することを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｃ）は、３Ｄ空間内での前記パターンの前記位置を、
（ｉ）複数台のカメラからの複数本の３Ｄ光線であって前記パターンがその上にあるように見える複数本の３Ｄ光線の交差する点に最も近い点
（ｉｉ）前記パターン以外のパターンがその上にあるように見える、１台または複数台のカメラからの１本または複数本の３Ｄ光線、
（ｉｉｉ）前記複数のパターンの期待位置、
のうちの１つまたは複数から三角測量することを含むことを特徴とする請求項１に記載の方法。 - 前記ステップ（Ｃ）は、類似モデルを使用して、異なるカメラによって取得される前記物体の画像内にある前記パターンを特定することを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｃ）は、（ｉ）異なるモデルを使用して、異なるカメラによって取得される前記物体の画像内にある前記パターンを特定すること、および（ｉｉ）当該パターンに関する類似基準点を、それが異なるモデルを使用して特定されたにも関わらず特定することを含むことを特徴とする請求項２０に記載の方法。
- 前記ステップ（Ｃ）は、前記パターンのうちの１つまたは複数が前記物体の画像内で検出されない場合でさえ、前記物体の３Ｄ空間内での前記位置を三角測量することを含むことを特徴とする請求項１に記載の方法。
- 前記ステップ（Ｃ）は、前記物体の画像内にある前記パターンの検出を、そのような検出がある遅延間隔を超える場合に中止することを含むことを特徴とする請求項１に記載の方法。
- 請求項１、２、５、１５のいずれかに従って動作することを特徴とするマシンビジョンシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/246,024 | 2005-10-07 | ||
| US11/246,024 US8111904B2 (en) | 2005-10-07 | 2005-10-07 | Methods and apparatus for practical 3D vision system |
| PCT/US2006/039324 WO2007044629A2 (en) | 2005-10-07 | 2006-10-06 | Methods and apparatus for practical 3d vision system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009511881A JP2009511881A (ja) | 2009-03-19 |
| JP4976402B2 true JP4976402B2 (ja) | 2012-07-18 |
Family
ID=37911111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008534751A Expired - Fee Related JP4976402B2 (ja) | 2005-10-07 | 2006-10-06 | 実用的な３ｄビジョンシステムの方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8111904B2 (ja) |
| JP (1) | JP4976402B2 (ja) |
| DE (1) | DE112006002674B4 (ja) |
| WO (1) | WO2007044629A2 (ja) |
Families Citing this family (95)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8944070B2 (en) | 1999-04-07 | 2015-02-03 | Intuitive Surgical Operations, Inc. | Non-force reflecting method for providing tool force information to a user of a telesurgical system |
| US7542034B2 (en) | 2004-09-23 | 2009-06-02 | Conversion Works, Inc. | System and method for processing video images |
| US9789608B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US8111904B2 (en) | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
| US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US12357400B2 (en) | 2006-06-29 | 2025-07-15 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US10258425B2 (en) | 2008-06-27 | 2019-04-16 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| US10008017B2 (en) | 2006-06-29 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US20090192523A1 (en) * | 2006-06-29 | 2009-07-30 | Intuitive Surgical, Inc. | Synthetic representation of a surgical instrument |
| US8655052B2 (en) * | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
| US8274530B2 (en) | 2007-03-12 | 2012-09-25 | Conversion Works, Inc. | Systems and methods for filling occluded information for 2-D to 3-D conversion |
| US8078436B2 (en) | 2007-04-17 | 2011-12-13 | Eagle View Technologies, Inc. | Aerial roof estimation systems and methods |
| US8145578B2 (en) * | 2007-04-17 | 2012-03-27 | Eagel View Technologies, Inc. | Aerial roof estimation system and method |
| US8126260B2 (en) | 2007-05-29 | 2012-02-28 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
| EP2153410B1 (en) * | 2007-05-29 | 2016-11-16 | Cognex Technology and Investment Corporation | 3d assembly verification from 2d images |
| US9084623B2 (en) | 2009-08-15 | 2015-07-21 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US8620473B2 (en) | 2007-06-13 | 2013-12-31 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US9138129B2 (en) | 2007-06-13 | 2015-09-22 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US9469034B2 (en) | 2007-06-13 | 2016-10-18 | Intuitive Surgical Operations, Inc. | Method and system for switching modes of a robotic system |
| US9089256B2 (en) | 2008-06-27 | 2015-07-28 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US7953511B1 (en) * | 2007-09-21 | 2011-05-31 | National Semiconductor Corporation | System and method for reducing processing errors during wafer fabrication employing a 2D wafer scribe and monitoring system |
| US20090118600A1 (en) * | 2007-11-02 | 2009-05-07 | Ortiz Joseph L | Method and apparatus for skin documentation and analysis |
| EP2076055B1 (en) * | 2007-12-27 | 2012-10-24 | Saab AB | Method for displaying a virtual image |
| US12239396B2 (en) | 2008-06-27 | 2025-03-04 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| RU2513912C2 (ru) * | 2008-12-09 | 2014-04-20 | Сони Корпорейшн | Устройство и способ обработки изображений |
| US8442304B2 (en) * | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
| US9734419B1 (en) * | 2008-12-30 | 2017-08-15 | Cognex Corporation | System and method for validating camera calibration in a vision system |
| JP5316118B2 (ja) | 2009-03-12 | 2013-10-16 | オムロン株式会社 | ３次元視覚センサ |
| JP5245938B2 (ja) * | 2009-03-12 | 2013-07-24 | オムロン株式会社 | ３次元認識結果の表示方法および３次元視覚センサ |
| JP5714232B2 (ja) * | 2009-03-12 | 2015-05-07 | オムロン株式会社 | キャリブレーション装置および３次元計測のためのパラメータの精度の確認支援方法 |
| JP2010210585A (ja) * | 2009-03-12 | 2010-09-24 | Omron Corp | ３次元視覚センサにおけるモデル表示方法および３次元視覚センサ |
| JP5282614B2 (ja) * | 2009-03-13 | 2013-09-04 | オムロン株式会社 | 視覚認識処理用のモデルデータの登録方法および視覚センサ |
| US12266040B2 (en) | 2009-03-31 | 2025-04-01 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US9533418B2 (en) * | 2009-05-29 | 2017-01-03 | Cognex Corporation | Methods and apparatus for practical 3D vision system |
| US8918211B2 (en) | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US9492927B2 (en) | 2009-08-15 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US11699247B2 (en) * | 2009-12-24 | 2023-07-11 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
| AU2011210538B2 (en) | 2010-02-01 | 2015-03-26 | Eagle View Technologies, Inc. | Geometric correction of rough wireframe models derived from photographs |
| JP5448952B2 (ja) * | 2010-03-16 | 2014-03-19 | グローリー株式会社 | 同一人判定装置、同一人判定方法および同一人判定プログラム |
| US9393694B2 (en) * | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
| KR20120011653A (ko) * | 2010-07-29 | 2012-02-08 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US20120062725A1 (en) * | 2010-09-10 | 2012-03-15 | Gm Global Technology Operations, Inc. | System for error-proofing manual assembly operations using machine vision |
| EP2638524A2 (en) * | 2010-11-09 | 2013-09-18 | The Provost, Fellows, Foundation Scholars, & the other members of Board, of the College of the Holy & Undiv. Trinity of Queen Elizabeth near Dublin | Method and system for recovery of 3d scene structure and camera motion from a video sequence |
| US11488322B2 (en) | 2010-12-08 | 2022-11-01 | Cognex Corporation | System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same |
| WO2012076979A1 (en) | 2010-12-08 | 2012-06-14 | Cognex Corporation | Model-based pose estimation using a non-perspective camera |
| US9124873B2 (en) | 2010-12-08 | 2015-09-01 | Cognex Corporation | System and method for finding correspondence between cameras in a three-dimensional vision system |
| US8600192B2 (en) | 2010-12-08 | 2013-12-03 | Cognex Corporation | System and method for finding correspondence between cameras in a three-dimensional vision system |
| DE102011114674C5 (de) * | 2011-09-30 | 2020-05-28 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts |
| DE102012223047B4 (de) * | 2011-12-16 | 2015-09-10 | Cognex Corporation | Mehrteil-Korrespondierer (corresponder) für mehrere Kameras |
| US9749594B2 (en) * | 2011-12-22 | 2017-08-29 | Pelco, Inc. | Transformation between image and map coordinates |
| WO2013103410A1 (en) | 2012-01-05 | 2013-07-11 | California Institute Of Technology | Imaging surround systems for touch-free display control |
| US9530213B2 (en) | 2013-01-02 | 2016-12-27 | California Institute Of Technology | Single-sensor system for extracting depth information from image blur |
| US10507066B2 (en) | 2013-02-15 | 2019-12-17 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| US9747680B2 (en) | 2013-11-27 | 2017-08-29 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
| US9833962B2 (en) | 2014-02-26 | 2017-12-05 | Toyota Motor Engineering & Manufacturing Norh America, Inc. | Systems and methods for controlling manufacturing processes |
| CN104897053A (zh) * | 2014-03-05 | 2015-09-09 | 泰科电子(上海)有限公司 | 可编程数字化机器视觉检测平台 |
| JP6299879B2 (ja) * | 2014-03-21 | 2018-04-11 | オムロン株式会社 | 光学システムにおける光学性能劣化の検出および緩和のための方法および装置 |
| TWI577493B (zh) | 2014-12-26 | 2017-04-11 | 財團法人工業技術研究院 | 校正方法與應用此方法的自動化設備 |
| US10509390B2 (en) | 2015-02-12 | 2019-12-17 | Glowforge Inc. | Safety and reliability guarantees for laser fabrication |
| CN107438494B (zh) | 2015-02-12 | 2023-09-19 | 格罗弗治公司 | 用于激光加工的视觉预览 |
| US20170014945A1 (en) * | 2015-07-17 | 2017-01-19 | Laserax Inc. | Methods and systems for laser marking an identifier on an industrial product |
| US10812778B1 (en) | 2015-11-09 | 2020-10-20 | Cognex Corporation | System and method for calibrating one or more 3D sensors mounted on a moving manipulator |
| US11562502B2 (en) | 2015-11-09 | 2023-01-24 | Cognex Corporation | System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance |
| US10757394B1 (en) | 2015-11-09 | 2020-08-25 | Cognex Corporation | System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance |
| JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
| US10424072B2 (en) | 2016-03-01 | 2019-09-24 | Samsung Electronics Co., Ltd. | Leveraging multi cues for fine-grained object classification |
| US10579860B2 (en) | 2016-06-06 | 2020-03-03 | Samsung Electronics Co., Ltd. | Learning model for salient facial region detection |
| GB2551970B (en) * | 2016-06-29 | 2021-10-27 | Sony Europe Bv | Determining the position of an object in a scene |
| US10482621B2 (en) * | 2016-08-01 | 2019-11-19 | Cognex Corporation | System and method for improved scoring of 3D poses and spurious point removal in 3D image data |
| CN110226137A (zh) | 2016-11-25 | 2019-09-10 | 格罗弗治公司 | 借助图像跟踪进行制造 |
| WO2018098398A1 (en) | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Preset optical components in a computer numerically controlled machine |
| WO2018098393A1 (en) | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Housing for computer-numerically-controlled machine |
| WO2018098399A1 (en) | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Controlled deceleration of moveable components in a computer numerically controlled machine |
| WO2018098396A1 (en) | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Multi-user computer-numerically-controlled machine |
| WO2018098395A1 (en) | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Improved engraving in a computer numerically controlled machine |
| WO2018098397A1 (en) | 2016-11-25 | 2018-05-31 | Glowforge Inc. | Calibration of computer-numerically-controlled machine |
| US12420355B2 (en) | 2016-11-25 | 2025-09-23 | Glowforge Inc. | Laser fabrication with beam detection |
| CN110506297B (zh) * | 2017-04-17 | 2023-08-11 | 康耐视公司 | 高精确度校准系统和方法 |
| US20190012782A1 (en) * | 2017-07-05 | 2019-01-10 | Integrated Vision Systems LLC | Optical inspection apparatus and method |
| CN109672878A (zh) | 2017-10-13 | 2019-04-23 | 康耐视公司 | 对校准物体两相对侧成像的视觉系统的场校准系统和方法 |
| US10503843B2 (en) | 2017-12-19 | 2019-12-10 | Eagle View Technologies, Inc. | Supervised automatic roof modeling |
| TWI822729B (zh) | 2018-02-06 | 2023-11-21 | 美商即時機器人股份有限公司 | 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備 |
| GB2571528A (en) | 2018-02-28 | 2019-09-04 | Rolls Royce Plc | Controlling a robot in an environment |
| WO2019183141A1 (en) * | 2018-03-21 | 2019-09-26 | Realtime Robotics, Inc. | Motion planning of a robot for various environments and tasks and improved operation of same |
| US11291507B2 (en) | 2018-07-16 | 2022-04-05 | Mako Surgical Corp. | System and method for image based registration and calibration |
| TWI873149B (zh) | 2019-06-24 | 2025-02-21 | 美商即時機器人股份有限公司 | 用於多個機械手臂於共用工作空間中之移動規劃系統及方法 |
| WO2020264489A1 (en) | 2019-06-28 | 2020-12-30 | Mako Surgical Corp. | Tracker-based surgical navigation |
| CN110465946B (zh) * | 2019-08-19 | 2021-04-30 | 珞石（北京）科技有限公司 | 一种像素坐标与机器人坐标关系标定方法 |
| CN115297999A (zh) | 2020-03-18 | 2022-11-04 | 实时机器人有限公司 | 在机器人的运动规划中有用的机器人操作环境的数字表示 |
| EP4130646A4 (en) * | 2020-03-31 | 2024-04-24 | Pioneer Corporation | INFORMATION PROCESSING DEVICE, COMPUTER PROGRAM, RECORDING MEDIUM AND METHOD FOR CREATING DISPLAY DATA |
| CN112504137B (zh) * | 2020-12-07 | 2022-07-26 | 北京智博联科技股份有限公司 | 基于云计算的多目标数字图像检测方法 |
| US11740608B2 (en) | 2020-12-24 | 2023-08-29 | Glowforge, Inc | Computer numerically controlled fabrication using projected information |
| US11698622B2 (en) | 2021-03-09 | 2023-07-11 | Glowforge Inc. | Previews for computer numerically controlled fabrication |
| US12075024B2 (en) | 2021-12-20 | 2024-08-27 | Industrial Technology Research Institute | System and method for computing relative rotation and relative translation of back-to-back cameras |
| US20230419533A1 (en) * | 2022-06-24 | 2023-12-28 | Hover Inc. | Methods, storage media, and systems for evaluating camera poses |
Family Cites Families (424)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3816722A (en) | 1970-09-29 | 1974-06-11 | Nippon Electric Co | Computer for calculating the similarity between patterns and pattern recognition system comprising the similarity computer |
| US3727034A (en) | 1972-01-19 | 1973-04-10 | Gen Electric | Counting system for a plurality of locations |
| US3779178A (en) | 1972-02-14 | 1973-12-18 | G Riseley | Restrained access protection apparatus |
| JPS5425782B2 (ja) | 1973-03-28 | 1979-08-30 | ||
| US3967100A (en) | 1973-11-12 | 1976-06-29 | Naonobu Shimomura | Digital function generator utilizing cascade accumulation |
| US3968475A (en) | 1974-11-11 | 1976-07-06 | Sperry Rand Corporation | Digital processor for extracting data from a binary image |
| JPS5177047A (ja) | 1974-12-27 | 1976-07-03 | Naonobu Shimomura | |
| US4000400A (en) | 1975-04-09 | 1976-12-28 | Elder Clarence L | Bidirectional monitoring and control system |
| US4011403A (en) | 1976-03-30 | 1977-03-08 | Northwestern University | Fiber optic laser illuminators |
| CH611017A5 (ja) | 1976-05-05 | 1979-05-15 | Zumbach Electronic Ag | |
| US4183013A (en) | 1976-11-29 | 1980-01-08 | Coulter Electronics, Inc. | System for extracting shape features from an image |
| JPS5369063A (en) | 1976-12-01 | 1978-06-20 | Hitachi Ltd | Detector of position alignment patterns |
| US4200861A (en) | 1978-09-01 | 1980-04-29 | View Engineering, Inc. | Pattern recognition apparatus and method |
| US4385322A (en) | 1978-09-01 | 1983-05-24 | View Engineering, Inc. | Pattern recognition apparatus and method |
| JPS5579590A (en) | 1978-12-13 | 1980-06-16 | Hitachi Ltd | Video data processor |
| US4286293A (en) | 1979-05-30 | 1981-08-25 | Western Electric Company, Inc. | Laser scanning and multiple detection for video image processing |
| US4303851A (en) | 1979-10-16 | 1981-12-01 | Otis Elevator Company | People and object counting system |
| US4300164A (en) | 1980-03-21 | 1981-11-10 | View Engineering, Inc. | Adaptive video processor |
| US4631750A (en) | 1980-04-11 | 1986-12-23 | Ampex Corporation | Method and system for spacially transforming images |
| DE3177271D1 (de) | 1980-04-11 | 1992-03-19 | Ampex | Umstellungsspeicher fuer bildwandlersystem. |
| IL64015A (en) | 1980-10-24 | 1984-10-31 | Pretini Gisberto | Automated bank counter |
| JPS57102017A (en) | 1980-12-17 | 1982-06-24 | Hitachi Ltd | Pattern detector |
| US4435837A (en) | 1981-03-05 | 1984-03-06 | President And Fellows Of Harvard College | Pattern recognition and orientation system |
| US4441124A (en) | 1981-11-05 | 1984-04-03 | Western Electric Company, Inc. | Technique for inspecting semiconductor wafers for particulate contamination |
| US5506682A (en) | 1982-02-16 | 1996-04-09 | Sensor Adaptive Machines Inc. | Robot vision using targets |
| US4519041A (en) | 1982-05-03 | 1985-05-21 | Honeywell Inc. | Real time automated inspection |
| EP0095517B1 (de) | 1982-05-28 | 1985-11-21 | Ibm Deutschland Gmbh | Verfahren und Einrichtung zur automatischen optischen Inspektion |
| US4534813A (en) | 1982-07-26 | 1985-08-13 | Mcdonnell Douglas Corporation | Compound curve-flat pattern process |
| US4736437A (en) | 1982-11-22 | 1988-04-05 | View Engineering, Inc. | High speed pattern recognizer |
| US4577344A (en) | 1983-01-17 | 1986-03-18 | Automatix Incorporated | Vision system |
| FR2540263B1 (fr) | 1983-01-31 | 1988-05-20 | Commissariat Energie Atomique | Procede de reconnaissance automatique d'une image a partir d'une image correspondante de reference |
| US4783829A (en) | 1983-02-23 | 1988-11-08 | Hitachi, Ltd. | Pattern recognition apparatus |
| GB8311813D0 (en) | 1983-04-29 | 1983-06-02 | West G A W | Coding and storing raster scan images |
| US4581762A (en) | 1984-01-19 | 1986-04-08 | Itran Corporation | Vision inspection system |
| JPS60167069A (ja) | 1984-02-09 | 1985-08-30 | Omron Tateisi Electronics Co | 図形認識装置 |
| US4606065A (en) | 1984-02-09 | 1986-08-12 | Imaging Technology Incorporated | Image processing-system |
| US4541116A (en) | 1984-02-27 | 1985-09-10 | Environmental Research Institute Of Mi | Neighborhood image processing stage for implementing filtering operations |
| US4860374A (en) | 1984-04-19 | 1989-08-22 | Nikon Corporation | Apparatus for detecting position of reference pattern |
| US4688088A (en) | 1984-04-20 | 1987-08-18 | Canon Kabushiki Kaisha | Position detecting device and method |
| EP0163885A1 (de) | 1984-05-11 | 1985-12-11 | Siemens Aktiengesellschaft | Anordnung zur Segmentierung von Linien |
| JPS6134583A (ja) | 1984-07-26 | 1986-02-18 | シャープ株式会社 | 照明装置 |
| US4953224A (en) | 1984-09-27 | 1990-08-28 | Hitachi, Ltd. | Pattern defects detection method and apparatus |
| JPS6180222A (ja) | 1984-09-28 | 1986-04-23 | Asahi Glass Co Ltd | メガネ合せ方法及びメガネ合せ装置 |
| WO1986003866A1 (en) | 1984-12-14 | 1986-07-03 | Sten Hugo Nils Ahlbom | Image processing device |
| US4641349A (en) | 1985-02-20 | 1987-02-03 | Leonard Flom | Iris recognition system |
| US4876728A (en) | 1985-06-04 | 1989-10-24 | Adept Technology, Inc. | Vision system for distinguishing touching parts |
| US4831580A (en) | 1985-07-12 | 1989-05-16 | Nippon Electric Industry Co., Ltd. | Program generator |
| JPS6256814A (ja) * | 1985-09-06 | 1987-03-12 | Hitachi Ltd | ３次元位置計測カメラ較正方式 |
| JPS6261390A (ja) | 1985-09-11 | 1987-03-18 | 興和株式会社 | プリント基板検査方法およびその装置 |
| US4617619A (en) | 1985-10-02 | 1986-10-14 | American Sterilizer Company | Reflector for multiple source lighting fixture |
| US4742551A (en) | 1985-10-07 | 1988-05-03 | Fairchild Camera & Instrument Corporation | Multistatistics gatherer |
| US4706168A (en) | 1985-11-15 | 1987-11-10 | View Engineering, Inc. | Systems and methods for illuminating objects for vision systems |
| US4860375A (en) | 1986-03-10 | 1989-08-22 | Environmental Research Inst. Of Michigan | High speed cellular processing system |
| US4728195A (en) | 1986-03-19 | 1988-03-01 | Cognex Corporation | Method for imaging printed circuit board component leads |
| GB8608431D0 (en) | 1986-04-07 | 1986-05-14 | Crosfield Electronics Ltd | Monitoring digital image processing equipment |
| US4891757A (en) * | 1986-04-14 | 1990-01-02 | Picker International, Inc. | Medical imaging system and method having gray scale mapping means for indicating image saturation regions |
| JP2623530B2 (ja) | 1986-04-22 | 1997-06-25 | ミノルタ株式会社 | 固体撮像素子駆動装置 |
| FR2598019B1 (fr) | 1986-04-25 | 1992-09-11 | Thomson Csf | Procede d'utilisation d'une matrice photosensible a transfert de charge, et matrice photosensible ainsi utilisee |
| US4707647A (en) | 1986-05-19 | 1987-11-17 | Gmf Robotics Corporation | Gray scale vision method and system utilizing same |
| US4783828A (en) | 1986-06-02 | 1988-11-08 | Honeywell Inc. | Two-dimensional object recognition using chain codes, histogram normalization and trellis algorithm |
| US4771469A (en) | 1986-06-30 | 1988-09-13 | Honeywell Inc. | Means and method of representing an object shape by hierarchical boundary decomposition |
| DE3623792C1 (de) | 1986-07-15 | 1987-12-10 | Messerschmitt Boelkow Blohm | Einrichtung zur Feststellung der Personenzahl und Richtung innerhalb eines zu ueberwachenden Raumes oder einer Durchgangsschleuse |
| US4783826A (en) | 1986-08-18 | 1988-11-08 | The Gerber Scientific Company, Inc. | Pattern inspection system |
| US4821333A (en) | 1986-08-22 | 1989-04-11 | Environmental Research Inst. Of Michigan | Machine learning procedures for generating image domain feature detector structuring elements |
| FR2604320B1 (fr) | 1986-09-19 | 1988-11-04 | Thomson Csf | Systeme de prise de vues en videographie rapide utilisant un capteur optique matriciel a transfert de charges |
| US4955062A (en) | 1986-12-10 | 1990-09-04 | Canon Kabushiki Kaisha | Pattern detecting method and apparatus |
| US4752898A (en) | 1987-01-28 | 1988-06-21 | Tencor Instruments | Edge finding in wafers |
| GB8706348D0 (en) | 1987-03-17 | 1987-04-23 | Quantel Ltd | Electronic image processing systems |
| US4972359A (en) | 1987-04-03 | 1990-11-20 | Cognex Corporation | Digital image processing system |
| US5005126A (en) | 1987-04-09 | 1991-04-02 | Prevail, Inc. | System and method for remote presentation of diagnostic image information |
| US4764870A (en) | 1987-04-09 | 1988-08-16 | R.A.P.I.D., Inc. | System and method for remote presentation of diagnostic image information |
| US5012433A (en) | 1987-04-27 | 1991-04-30 | International Business Machines Corporation | Multistage clipping method |
| US4982438A (en) | 1987-06-02 | 1991-01-01 | Hitachi, Ltd. | Apparatus and method for recognizing three-dimensional shape of object |
| US5208750A (en) | 1987-06-17 | 1993-05-04 | Nissan Motor Co., Ltd. | Control system for unmanned automotive vehicle |
| CA1318977C (en) | 1987-07-22 | 1993-06-08 | Kazuhito Hori | Image recognition system |
| JPH07120385B2 (ja) | 1987-07-24 | 1995-12-20 | シャープ株式会社 | 光学的読取り方法 |
| JP2630605B2 (ja) | 1987-07-29 | 1997-07-16 | 三菱電機株式会社 | 曲面創成方法 |
| US4903218A (en) | 1987-08-13 | 1990-02-20 | Digital Equipment Corporation | Console emulation for a graphics workstation |
| JPH0790494B2 (ja) | 1987-08-22 | 1995-10-04 | ファナック株式会社 | 視覚センサのキャリブレ−ション方法 |
| US4799243A (en) | 1987-09-01 | 1989-01-17 | Otis Elevator Company | Directional people counting arrangement |
| JPS6478381A (en) | 1987-09-21 | 1989-03-23 | Toshiba Corp | Picture processing method |
| US5119435A (en) | 1987-09-21 | 1992-06-02 | Kulicke And Soffa Industries, Inc. | Pattern recognition apparatus and method |
| US4907169A (en) | 1987-09-30 | 1990-03-06 | International Technical Associates | Adaptive tracking vision and guidance system |
| US4782238A (en) | 1987-10-20 | 1988-11-01 | Eastman Kodak Company | Apparatus for generating edge position signals for use in locating an address element on a mailpiece |
| US5081656A (en) | 1987-10-30 | 1992-01-14 | Four Pi Systems Corporation | Automated laminography system for inspection of electronics |
| US4912659A (en) | 1987-10-30 | 1990-03-27 | International Business Machines Corporation | Parallel surface processing system for graphics display |
| US5621811A (en) | 1987-10-30 | 1997-04-15 | Hewlett-Packard Co. | Learning method and apparatus for detecting and controlling solder defects |
| US5287449A (en) | 1987-11-06 | 1994-02-15 | Hitachi, Ltd. | Automatic program generation method with a visual data structure display |
| JPH01160158A (ja) | 1987-12-17 | 1989-06-23 | Murata Mach Ltd | 遠隔地の機械制御システム |
| JP2622573B2 (ja) | 1988-01-27 | 1997-06-18 | キヤノン株式会社 | マーク検知装置及び方法 |
| US5339163A (en) | 1988-03-16 | 1994-08-16 | Canon Kabushiki Kaisha | Automatic exposure control device using plural image plane detection areas |
| FR2631188A1 (fr) | 1988-05-03 | 1989-11-10 | Thomson Csf | Photodetecteur matriciel a transfert de charges avec dispositif integre de filtrage de charges |
| JP2739130B2 (ja) | 1988-05-12 | 1998-04-08 | 株式会社鷹山 | 画像処理方法 |
| US4891767A (en) | 1988-06-02 | 1990-01-02 | Combustion Engineering, Inc. | Machine vision system for position sensing |
| JP2541631B2 (ja) | 1988-07-26 | 1996-10-09 | ファナック株式会社 | Ｃｎｃのリモ―ト診断方式 |
| DE58908000D1 (de) | 1988-07-28 | 1994-08-11 | Contraves Ag | Automatische Helligkeits- und Kontrast-Steuerung einer Video-Kamera für industrielle/militärische Zwecke. |
| JP2512099B2 (ja) | 1988-08-24 | 1996-07-03 | 松下電器産業株式会社 | ロボットの動作教示方法および制御装置 |
| US5046190A (en) | 1988-09-06 | 1991-09-03 | Allen-Bradley Company, Inc. | Pipeline image processor |
| US5075864A (en) | 1988-10-03 | 1991-12-24 | Lucas Industries Public Limited Company | Speed and direction sensing apparatus for a vehicle |
| US5155775A (en) | 1988-10-13 | 1992-10-13 | Brown C David | Structured illumination autonomous machine vision system |
| US4975972A (en) | 1988-10-18 | 1990-12-04 | At&T Bell Laboratories | Method and apparatus for surface inspection |
| US5054096A (en) | 1988-10-24 | 1991-10-01 | Empire Blue Cross/Blue Shield | Method and apparatus for converting documents into electronic data for transaction processing |
| US4876457A (en) | 1988-10-31 | 1989-10-24 | American Telephone And Telegraph Company | Method and apparatus for differentiating a planar textured surface from a surrounding background |
| US4932065A (en) | 1988-11-16 | 1990-06-05 | Ncr Corporation | Universal character segmentation scheme for multifont OCR images |
| US5717785A (en) | 1992-01-30 | 1998-02-10 | Cognex Corporation | Method and apparatus for locating patterns in an optical image |
| US6067379A (en) | 1988-12-09 | 2000-05-23 | Cognex Corporation | Method and apparatus for locating patterns in an optical image |
| NL8803112A (nl) | 1988-12-19 | 1990-07-16 | Elbicon Nv | Werkwijze en inrichting voor het sorteren van een stroom voorwerpen in afhankelijkheid van optische eigenschappen van de voorwerpen. |
| US5012524A (en) | 1989-02-27 | 1991-04-30 | Motorola, Inc. | Automatic inspection method |
| EP0385009A1 (en) | 1989-03-03 | 1990-09-05 | Hewlett-Packard Limited | Apparatus and method for use in image processing |
| IL89484A (en) | 1989-03-03 | 1992-08-18 | Nct Ltd Numerical Control Tech | System for automatic finishing of machined parts |
| US5081689A (en) | 1989-03-27 | 1992-01-14 | Hughes Aircraft Company | Apparatus and method for extracting edges and lines |
| US5027419A (en) | 1989-03-31 | 1991-06-25 | Atomic Energy Of Canada Limited | Optical images by quadrupole convolution |
| US4970653A (en) | 1989-04-06 | 1990-11-13 | General Motors Corporation | Vision method of detecting lane boundaries and obstacles |
| US5153925A (en) | 1989-04-27 | 1992-10-06 | Canon Kabushiki Kaisha | Image processing apparatus |
| US5060276A (en) | 1989-05-31 | 1991-10-22 | At&T Bell Laboratories | Technique for object orientation detection using a feed-forward neural network |
| US5253308A (en) | 1989-06-21 | 1993-10-12 | Amber Engineering, Inc. | Massively parallel digital image data processor using pixel-mapped input/output and relative indexed addressing |
| DE3923449A1 (de) | 1989-07-15 | 1991-01-24 | Philips Patentverwaltung | Verfahren zum bestimmen von kanten in bildern |
| CA2021865A1 (en) | 1989-07-26 | 1991-01-27 | Seizi Maruo | Multimedia telemeeting terminal device, terminal device system and manipulation method thereof |
| US5204944A (en) | 1989-07-28 | 1993-04-20 | The Trustees Of Columbia University In The City Of New York | Separable image warping methods and systems using spatial lookup tables |
| US5175808A (en) | 1989-09-12 | 1992-12-29 | Pixar | Method and apparatus for non-affine image warping |
| US5097454A (en) | 1989-10-11 | 1992-03-17 | Milan Schwarz | Security door with improved sensor for detecting unauthorized passage |
| US5201906A (en) | 1989-10-11 | 1993-04-13 | Milan Schwarz | Anti-piggybacking: sensor system for security door to detect two individuals in one compartment |
| JP2810152B2 (ja) | 1989-10-13 | 1998-10-15 | 株式会社日立製作所 | ポイントパターンマッチング方法 |
| US5063608A (en) | 1989-11-03 | 1991-11-05 | Datacube Inc. | Adaptive zonal coder |
| JP2523222B2 (ja) | 1989-12-08 | 1996-08-07 | ゼロックス コーポレーション | 画像縮小／拡大方法及び装置 |
| JP3092809B2 (ja) | 1989-12-21 | 2000-09-25 | 株式会社日立製作所 | 検査方法、並びに検査プログラムデータの自動作成機能を有する検査装置 |
| US5164994A (en) | 1989-12-21 | 1992-11-17 | Hughes Aircraft Company | Solder joint locator |
| JPH03210679A (ja) | 1990-01-12 | 1991-09-13 | Hiyuutec:Kk | パターンマッチング方法および装置 |
| US5151951A (en) | 1990-03-15 | 1992-09-29 | Sharp Kabushiki Kaisha | Character recognition device which divides a single character region into subregions to obtain a character code |
| US5271068A (en) | 1990-03-15 | 1993-12-14 | Sharp Kabushiki Kaisha | Character recognition device which divides a single character region into subregions to obtain a character code |
| US5495424A (en) | 1990-04-18 | 1996-02-27 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for inspecting solder portions |
| DE4013308A1 (de) | 1990-04-26 | 1991-10-31 | Zeiss Carl Fa | Verfahren zur optischen untersuchung von prueflingen |
| US4959898A (en) | 1990-05-22 | 1990-10-02 | Emhart Industries, Inc. | Surface mount machine with lead coplanarity verifier |
| AU7989991A (en) | 1990-05-29 | 1991-12-31 | Axiom Innovation Limited | Machine vision stereo matching |
| JP2690603B2 (ja) | 1990-05-30 | 1997-12-10 | ファナック株式会社 | 視覚センサのキャリブレーション方法 |
| JP2754871B2 (ja) | 1990-06-01 | 1998-05-20 | 日産自動車株式会社 | 走行路検出装置 |
| US5243607A (en) | 1990-06-25 | 1993-09-07 | The Johns Hopkins University | Method and apparatus for fault tolerance |
| US5113565A (en) | 1990-07-06 | 1992-05-19 | International Business Machines Corp. | Apparatus and method for inspection and alignment of semiconductor chips and conductive lead frames |
| JPH0475183A (ja) | 1990-07-17 | 1992-03-10 | Mitsubishi Electric Corp | 画像の相関度検出装置 |
| JP2865827B2 (ja) | 1990-08-13 | 1999-03-08 | 株式会社日立製作所 | 会議システムにおけるデータ蓄積方法 |
| US5206820A (en) | 1990-08-31 | 1993-04-27 | At&T Bell Laboratories | Metrology system for analyzing panel misregistration in a panel manufacturing process and providing appropriate information for adjusting panel manufacturing processes |
| JP2591292B2 (ja) | 1990-09-05 | 1997-03-19 | 日本電気株式会社 | 画像処理装置とそれを用いた自動光学検査装置 |
| US5388252A (en) | 1990-09-07 | 1995-02-07 | Eastman Kodak Company | System for transparent monitoring of processors in a network with display of screen images at a remote station for diagnosis by technical support personnel |
| US5115309A (en) | 1990-09-10 | 1992-05-19 | At&T Bell Laboratories | Method and apparatus for dynamic channel bandwidth allocation among multiple parallel video coders |
| US5083073A (en) | 1990-09-20 | 1992-01-21 | Mazada Motor Manufacturing U.S.A. Corp. | Method and apparatus for calibrating a vision guided robot |
| US5168269A (en) | 1990-11-08 | 1992-12-01 | Norton-Lambert Corp. | Mouse driven remote communication system |
| US5327156A (en) | 1990-11-09 | 1994-07-05 | Fuji Photo Film Co., Ltd. | Apparatus for processing signals representative of a computer graphics image and a real image including storing processed signals back into internal memory |
| US5598345A (en) | 1990-11-29 | 1997-01-28 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for inspecting solder portions |
| EP0488828B1 (en) | 1990-11-30 | 1996-08-14 | Honda Giken Kogyo Kabushiki Kaisha | Control device of an autonomously moving body and evaluation method for data thereof |
| US5586058A (en) | 1990-12-04 | 1996-12-17 | Orbot Instruments Ltd. | Apparatus and method for inspection of a patterned object by comparison thereof to a reference |
| US5086478A (en) | 1990-12-27 | 1992-02-04 | International Business Machines Corporation | Finding fiducials on printed circuit boards to sub pixel accuracy |
| US5091968A (en) | 1990-12-28 | 1992-02-25 | Ncr Corporation | Optical character recognition system and method |
| US5133022A (en) | 1991-02-06 | 1992-07-21 | Recognition Equipment Incorporated | Normalizing correlator for video processing |
| TW198107B (ja) | 1991-02-28 | 1993-01-11 | Ibm | |
| JP3175175B2 (ja) | 1991-03-01 | 2001-06-11 | ミノルタ株式会社 | 合焦検出装置 |
| US5143436A (en) | 1991-03-06 | 1992-09-01 | The United States Of America As Represented By The United States Department Of Energy | Ringlight for use in high radiation |
| US5265173A (en) | 1991-03-20 | 1993-11-23 | Hughes Aircraft Company | Rectilinear object image matcher |
| FR2674354A1 (fr) | 1991-03-22 | 1992-09-25 | Thomson Csf | Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles. |
| CA2072198A1 (en) | 1991-06-24 | 1992-12-25 | Scott C. Farrand | Remote console emulator for computer system manager |
| JP2700965B2 (ja) | 1991-07-04 | 1998-01-21 | ファナック株式会社 | 自動キャリブレーション方式 |
| DE4222804A1 (de) | 1991-07-10 | 1993-04-01 | Raytheon Co | Einrichtung und verfahren zur automatischen visuellen pruefung elektrischer und elektronischer baueinheiten |
| US5477138A (en) | 1991-07-23 | 1995-12-19 | Vlsi Technology, Inc. | Apparatus and method for testing the calibration of a variety of electronic package lead inspection systems |
| EP0526064B1 (en) | 1991-08-02 | 1997-09-10 | The Grass Valley Group, Inc. | Video editing system operator interface for visualization and interactive control of video material |
| DE69225034T2 (de) | 1991-08-13 | 1998-08-13 | Canon Kk | Einrichtung zur Bildübertragung |
| US5297238A (en) | 1991-08-30 | 1994-03-22 | Cimetrix Incorporated | Robot end-effector terminal control frame (TCF) calibration method and device |
| US5475766A (en) | 1991-09-05 | 1995-12-12 | Kabushiki Kaisha Toshiba | Pattern inspection apparatus with corner rounding of reference pattern data |
| JPH0568243A (ja) | 1991-09-09 | 1993-03-19 | Hitachi Ltd | 可変長符号化制御方式 |
| FR2683340A1 (fr) | 1991-11-05 | 1993-05-07 | Sgs Thomson Microelectronics | Circuit elevateur au carre de nombres binaires. |
| US5315388A (en) | 1991-11-19 | 1994-05-24 | General Instrument Corporation | Multiple serial access memory for use in feedback systems such as motion compensated television |
| US5159281A (en) | 1991-11-20 | 1992-10-27 | Nsi Partners | Digital demodulator using numerical processor to evaluate period measurements |
| US5179419A (en) | 1991-11-22 | 1993-01-12 | At&T Bell Laboratories | Methods of detecting, classifying and quantifying defects in optical fiber end faces |
| US5145432A (en) | 1991-11-27 | 1992-09-08 | Zenith Electronics Corporation | Optical interprogation system for use in constructing flat tension shadow mask CRTS |
| US5337262A (en) | 1991-12-03 | 1994-08-09 | Hr Textron Inc. | Apparatus for and method of testing hydraulic/pneumatic apparatus using computer controlled test equipment |
| US5299269A (en) | 1991-12-20 | 1994-03-29 | Eastman Kodak Company | Character segmentation using an associative memory for optical character recognition |
| US5216503A (en) | 1991-12-24 | 1993-06-01 | General Instrument Corporation | Statistical multiplexer for a multichannel image compression system |
| US5371690A (en) | 1992-01-17 | 1994-12-06 | Cognex Corporation | Method and apparatus for inspection of surface mounted devices |
| US6002793A (en) | 1992-01-30 | 1999-12-14 | Cognex Corporation | Machine vision method and apparatus for finding an object orientation angle of a rectilinear object |
| DE69329554T2 (de) | 1992-02-18 | 2001-05-31 | Neopath, Inc. | Verfahren zur identifizierung von objekten unter verwendung von datenverarbeitungstechniken |
| JP3073599B2 (ja) | 1992-04-22 | 2000-08-07 | 本田技研工業株式会社 | 画像のエッジ検出装置 |
| US5657403A (en) | 1992-06-01 | 1997-08-12 | Cognex Corporation | Vision coprocessing |
| US5594859A (en) | 1992-06-03 | 1997-01-14 | Digital Equipment Corporation | Graphical user interface for video teleconferencing |
| US5715385A (en) | 1992-07-10 | 1998-02-03 | Lsi Logic Corporation | Apparatus for 2-D affine transformation of images |
| US5475803A (en) | 1992-07-10 | 1995-12-12 | Lsi Logic Corporation | Method for 2-D affine transformation of images |
| JP2597802B2 (ja) | 1992-08-04 | 1997-04-09 | インターナショナル・ビジネス・マシーンズ・コーポレイション | イメージ・キャプチャ装置を制御するための方法、イメージ・キャプチャ装置及びユーザ・インターフェース |
| GB2270581A (en) | 1992-09-15 | 1994-03-16 | Ibm | Computer workstation |
| US5367667A (en) | 1992-09-25 | 1994-11-22 | Compaq Computer Corporation | System for performing remote computer system diagnostic tests |
| CA2146451C (en) | 1992-10-07 | 1999-09-07 | Octrooibureau Kisch N.V. | System for detecting and classifying movement of objects along a passage |
| JP3225635B2 (ja) | 1992-10-20 | 2001-11-05 | 株式会社日立製作所 | 建設支援装置及び方法 |
| US5387768A (en) | 1993-09-27 | 1995-02-07 | Otis Elevator Company | Elevator passenger detector and door control system which masks portions of a hall image to determine motion and court passengers |
| US5506617A (en) | 1992-12-10 | 1996-04-09 | Eastman Kodak Company | Electronic camera incorporating a computer-compatible bus interface |
| EP0604052B1 (en) | 1992-12-23 | 2001-08-08 | AT&T Corp. | A method and system for locating objects with subpixel precision |
| US5367439A (en) | 1992-12-24 | 1994-11-22 | Cognex Corporation | System for frontal illumination |
| US5859923A (en) | 1992-12-29 | 1999-01-12 | Cognex Corporation | Mark quality inspection apparatus and method |
| US5529138A (en) | 1993-01-22 | 1996-06-25 | Shaw; David C. H. | Vehicle collision avoidance system |
| US5461417A (en) | 1993-02-16 | 1995-10-24 | Northeast Robotics, Inc. | Continuous diffuse illumination method and apparatus |
| US5608872A (en) | 1993-03-19 | 1997-03-04 | Ncr Corporation | System for allowing all remote computers to perform annotation on an image and replicating the annotated image on the respective displays of other comuters |
| US5481712A (en) | 1993-04-06 | 1996-01-02 | Cognex Corporation | Method and apparatus for interactively generating a computer program for machine vision analysis of an object |
| JP3051279B2 (ja) | 1993-05-13 | 2000-06-12 | シャープ株式会社 | バンプ外観検査方法およびバンプ外観検査装置 |
| JPH06325181A (ja) | 1993-05-17 | 1994-11-25 | Mitsubishi Electric Corp | パターン認識方法 |
| JP3205432B2 (ja) | 1993-06-10 | 2001-09-04 | 松下電器産業株式会社 | 装着部品検査装置と装着部品検査方法 |
| JP3169483B2 (ja) | 1993-06-25 | 2001-05-28 | 富士通株式会社 | 道路環境認識装置 |
| US5455933A (en) | 1993-07-14 | 1995-10-03 | Dell Usa, L.P. | Circuit and method for remote diagnosis of personal computers |
| EP0638801B1 (en) | 1993-08-12 | 1998-12-23 | International Business Machines Corporation | Method of inspecting the array of balls of an integrated circuit module |
| US5809658A (en) | 1993-09-29 | 1998-09-22 | Snap-On Technologies, Inc. | Method and apparatus for calibrating cameras used in the alignment of motor vehicle wheels |
| US5532739A (en) | 1993-10-06 | 1996-07-02 | Cognex Corporation | Automated optical inspection apparatus |
| US5548326A (en) | 1993-10-06 | 1996-08-20 | Cognex Corporation | Efficient image registration |
| US5640199A (en) | 1993-10-06 | 1997-06-17 | Cognex Corporation | Automated optical inspection apparatus |
| EP0647920A2 (en) | 1993-10-08 | 1995-04-12 | AT&T Corp. | Method for deriving image width & height from raw image data |
| US5652658A (en) | 1993-10-19 | 1997-07-29 | View Engineering, Inc. | Grid array inspection system and method |
| US5544256A (en) | 1993-10-22 | 1996-08-06 | International Business Machines Corporation | Automated defect classification system |
| US5805722A (en) | 1993-11-22 | 1998-09-08 | Cognex Corporation | Method and apparatus for locating, inspecting, and placing large leaded devices |
| US5511015A (en) | 1993-11-30 | 1996-04-23 | Loral Vought Systems Corporation | Double-accumulator implementation of the convolution function |
| US5434927A (en) | 1993-12-08 | 1995-07-18 | Minnesota Mining And Manufacturing Company | Method and apparatus for machine vision classification and tracking |
| US5500906A (en) | 1994-01-14 | 1996-03-19 | Cognex Corporation | Locating curvilinear objects using feathered fiducials |
| CA2113752C (en) | 1994-01-19 | 1999-03-02 | Stephen Michael Rooks | Inspection system for cross-sectional imaging |
| US5519840A (en) | 1994-01-24 | 1996-05-21 | At&T Corp. | Method for implementing approximate data structures using operations on machine words |
| US5581625A (en) | 1994-01-31 | 1996-12-03 | International Business Machines Corporation | Stereo vision system for counting items in a queue |
| US5583954A (en) | 1994-03-01 | 1996-12-10 | Cognex Corporation | Methods and apparatus for fast correlation |
| US5526050A (en) | 1994-03-31 | 1996-06-11 | Cognex Corporation | Methods and apparatus for concurrently acquiring video data from multiple video data sources |
| US5642158A (en) | 1994-05-02 | 1997-06-24 | Cognex Corporation | Method and apparatus to detect capillary indentations |
| US5581632A (en) | 1994-05-02 | 1996-12-03 | Cognex Corporation | Method and apparatus for ball bond inspection system |
| US5550763A (en) | 1994-05-02 | 1996-08-27 | Michael; David J. | Using cone shaped search models to locate ball bonds on wire bonded devices |
| DE4415990A1 (de) | 1994-05-06 | 1995-11-23 | Philips Patentverwaltung | Verfahren zur Wiedergabe insbesondere einer digitalen Röntgenaufnahme als sichtbares Bild sowie Anordnung zur Durchführung des Verfahrens |
| US5557410A (en) | 1994-05-26 | 1996-09-17 | Lockheed Missiles & Space Company, Inc. | Method of calibrating a three-dimensional optical measurement system |
| US5559551A (en) | 1994-05-30 | 1996-09-24 | Sony Corporation | Subject tracking apparatus |
| US5602937A (en) | 1994-06-01 | 1997-02-11 | Cognex Corporation | Methods and apparatus for machine vision high accuracy searching |
| US5495537A (en) | 1994-06-01 | 1996-02-27 | Cognex Corporation | Methods and apparatus for machine vision template matching of images predominantly having generally diagonal and elongate features |
| US6308644B1 (en) | 1994-06-08 | 2001-10-30 | William Diaz | Fail-safe access control chamber security system |
| JP3513916B2 (ja) | 1994-06-20 | 2004-03-31 | 株式会社ニコン | カメラシステム |
| US5539409A (en) | 1994-06-30 | 1996-07-23 | Westinghouse Electric Corp. | Apparatus and method for windshear data processing |
| JP3603285B2 (ja) | 1994-07-21 | 2004-12-22 | 株式会社セガ | 画像処理装置 |
| US5640200A (en) | 1994-08-31 | 1997-06-17 | Cognex Corporation | Golden template comparison using efficient image registration |
| FR2725278B1 (fr) | 1994-10-04 | 1997-08-14 | Telecommunications Sa | Equipement de reconnaissance tridimensionnelle de formes |
| US5649032A (en) | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| US5496106A (en) | 1994-12-13 | 1996-03-05 | Apple Computer, Inc. | System and method for generating a contrast overlay as a focus assist for an imaging device |
| US5642106A (en) | 1994-12-27 | 1997-06-24 | Siemens Corporate Research, Inc. | Visual incremental turn detector |
| US5961571A (en) | 1994-12-27 | 1999-10-05 | Siemens Corporated Research, Inc | Method and apparatus for automatically tracking the location of vehicles |
| JPH08186761A (ja) | 1994-12-30 | 1996-07-16 | Sony Corp | ビデオカメラ装置及びビデオカメラ露出制御方法 |
| US6028626A (en) | 1995-01-03 | 2000-02-22 | Arc Incorporated | Abnormality detection and surveillance system |
| DE69530566T2 (de) | 1995-01-13 | 2004-03-25 | Stmicroelectronics S.R.L., Agrate Brianza | Hough-Transform mit Fuzzy-Gradient und Wahl |
| US5796386A (en) | 1995-01-23 | 1998-08-18 | International Business Machines Corporation | Precise calibration procedure for sensor-based view point control system |
| JPH08201021A (ja) * | 1995-01-23 | 1996-08-09 | Mazda Motor Corp | キャリブレーション方法 |
| US5627915A (en) | 1995-01-31 | 1997-05-06 | Princeton Video Image, Inc. | Pattern recognition system employing unlike templates to detect objects having distinctive features in a video field |
| US5574668A (en) | 1995-02-22 | 1996-11-12 | Beaty; Elwin M. | Apparatus and method for measuring ball grid arrays |
| US5850466A (en) | 1995-02-22 | 1998-12-15 | Cognex Corporation | Golden template comparison for rotated and/or scaled images |
| US5581250A (en) | 1995-02-24 | 1996-12-03 | Khvilivitzky; Alexander | Visual collision avoidance system for unmanned aerial vehicles |
| US5696848A (en) | 1995-03-09 | 1997-12-09 | Eastman Kodak Company | System for creating a high resolution image from a sequence of lower resolution motion images |
| US5553859A (en) | 1995-03-22 | 1996-09-10 | Lazer-Tron Corporation | Arcade game for sensing and validating objects |
| DE69608264T2 (de) | 1995-03-24 | 2000-09-28 | Ppt Vision, Inc. | Maschinensichtsteuersystem |
| US5566877A (en) | 1995-05-01 | 1996-10-22 | Motorola Inc. | Method for inspecting a semiconductor device |
| US5676302A (en) | 1995-06-02 | 1997-10-14 | Cognex Corporation | Method and apparatus for crescent boundary thresholding on wire-bonded leads |
| WO1996039619A1 (en) | 1995-06-06 | 1996-12-12 | Kla Instruments Corporation | Optical inspection of a specimen using multi-channel responses from the specimen |
| US6002738A (en) | 1995-07-07 | 1999-12-14 | Silicon Graphics, Inc. | System and method of performing tomographic reconstruction and volume rendering using texture mapping |
| US5825913A (en) | 1995-07-18 | 1998-10-20 | Cognex Corporation | System for finding the orientation of a wafer |
| DE69616191T2 (de) | 1995-07-19 | 2002-03-14 | Matsushita Electric Industrial Co., Ltd. | Bewegungsmuster-Erkennungseinrichtung zum Bestimmen der Bewegung von Menschen sowie zum Zählen vorbeigegangener Personen |
| US5801966A (en) | 1995-07-24 | 1998-09-01 | Cognex Corporation | Machine vision methods and articles of manufacture for determination of convex hull and convex hull angle |
| US6026176A (en) | 1995-07-25 | 2000-02-15 | Cognex Corporation | Machine vision methods and articles of manufacture for ball grid array inspection |
| US5754679A (en) | 1995-10-31 | 1998-05-19 | Cognex Corp. | Image rotating method for locating bond pads in an image |
| US5757956A (en) | 1995-10-31 | 1998-05-26 | Cognex Corp. | Template rotating method for locating bond pads in an image |
| US5715369A (en) | 1995-11-27 | 1998-02-03 | Microsoft Corporation | Single processor programmable speech recognition test system |
| US5673334A (en) | 1995-11-30 | 1997-09-30 | Cognex Corporation | Method and apparatus for inspection of characteristics on non-rigid packages |
| US5987172A (en) | 1995-12-06 | 1999-11-16 | Cognex Corp. | Edge peak contour tracker |
| US6870566B1 (en) | 1995-12-07 | 2005-03-22 | Canon Kabushiki Kaisha | Image sensing system for sensing an image and converting the image into image signals with a controlled operating rate |
| US20020014533A1 (en) * | 1995-12-18 | 2002-02-07 | Xiaxun Zhu | Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps |
| US5825483A (en) | 1995-12-19 | 1998-10-20 | Cognex Corporation | Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing |
| US5768443A (en) | 1995-12-19 | 1998-06-16 | Cognex Corporation | Method for coordinating multiple fields of view in multi-camera |
| US5796868A (en) | 1995-12-28 | 1998-08-18 | Cognex Corporation | Object edge point filtering system for machine vision |
| US5751853A (en) | 1996-01-02 | 1998-05-12 | Cognex Corporation | Locating shapes in two-dimensional space curves |
| US5845007A (en) | 1996-01-02 | 1998-12-01 | Cognex Corporation | Machine vision method and apparatus for edge-based image histogram analysis |
| SG42307A1 (en) | 1996-01-09 | 1997-08-15 | Peng Seng Toh | Measurement and inspection of leads on integrated circuit packages |
| US5739846A (en) | 1996-02-05 | 1998-04-14 | Universal Instruments Corporation | Method of inspecting component placement accuracy for each first selected circuit board to be assembled of a batch |
| US5872870A (en) | 1996-02-16 | 1999-02-16 | Cognex Corporation | Machine vision methods for identifying extrema of objects in rotated reference frames |
| US5742037A (en) | 1996-03-07 | 1998-04-21 | Cognex Corp. | Method and apparatus for high speed identification of objects having an identifying feature |
| US5909504A (en) | 1996-03-15 | 1999-06-01 | Cognex Corporation | Method of testing a machine vision inspection system |
| US6298149B1 (en) | 1996-03-21 | 2001-10-02 | Cognex Corporation | Semiconductor device image inspection with contrast enhancement |
| US6259827B1 (en) | 1996-03-21 | 2001-07-10 | Cognex Corporation | Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images |
| US5949901A (en) | 1996-03-21 | 1999-09-07 | Nichani; Sanjay | Semiconductor device image inspection utilizing image subtraction and threshold imaging |
| US5848189A (en) | 1996-03-25 | 1998-12-08 | Focus Automation Systems Inc. | Method, apparatus and system for verification of patterns |
| JP3200663B2 (ja) | 1996-03-29 | 2001-08-20 | 技研トラステム株式会社 | 移動体検出方法，移動体検出装置，及び移動体計数装置 |
| US5978502A (en) | 1996-04-01 | 1999-11-02 | Cognex Corporation | Machine vision methods for determining characteristics of three-dimensional objects |
| EP0895696B1 (en) | 1996-04-02 | 2004-01-14 | Cognex Corporation | Image formation apparatus for viewing indicia on a planar specular substrate |
| US5818443A (en) | 1996-05-06 | 1998-10-06 | Cognex Corporation | Single step coarse registration and inspection of circular objects |
| US5847714A (en) | 1996-05-31 | 1998-12-08 | Hewlett Packard Company | Interpolation method and apparatus for fast image magnification |
| US5835099A (en) | 1996-06-26 | 1998-11-10 | Xerox Corporation | Representing a region of a color image using a space-color separable model |
| DE69706611T2 (de) | 1996-06-27 | 2002-07-04 | Kabushiki Kaisha Toshiba, Kawasaki | Stereoskopisches Display-System und -Verfahren |
| AU3663197A (en) | 1996-07-12 | 1998-02-20 | Linker, Frank V. Jr. | Split optics arrangement for vision inspection/sorter module |
| US5859924A (en) | 1996-07-12 | 1999-01-12 | Robotic Vision Systems, Inc. | Method and system for measuring object features |
| JP3233584B2 (ja) | 1996-09-04 | 2001-11-26 | 松下電器産業株式会社 | 通過人数検知装置 |
| US6026172A (en) | 1996-09-06 | 2000-02-15 | Lewis, Jr.; Clarence A. | System and method for zoom lens calibration and method using same |
| JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
| US6137893A (en) | 1996-10-07 | 2000-10-24 | Cognex Corporation | Machine vision calibration targets and methods of determining their location and orientation in an image |
| US6408109B1 (en) | 1996-10-07 | 2002-06-18 | Cognex Corporation | Apparatus and method for detecting and sub-pixel location of edges in a digital image |
| US5960125A (en) | 1996-11-21 | 1999-09-28 | Cognex Corporation | Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object |
| US5918196A (en) | 1996-11-29 | 1999-06-29 | Cognex Corporation | Vision system for analyzing solid-of-revolution radius profile |
| IT1289712B1 (it) | 1996-12-04 | 1998-10-16 | Ist Trentino Di Cultura | Procedimento e dispositivo per la rilevazione ed il conteggio automatico di corpi che attraversano un varco |
| US5912984A (en) | 1996-12-19 | 1999-06-15 | Cognex Corporation | Method and apparatus for in-line solder paste inspection |
| US5912768A (en) | 1996-12-31 | 1999-06-15 | Cognex Corporation | Depth-from-defocus optical apparatus with invariance to surface reflectance properties |
| US5953130A (en) | 1997-01-06 | 1999-09-14 | Cognex Corporation | Machine vision methods and apparatus for machine vision illumination of an object |
| DE19700811A1 (de) | 1997-01-13 | 1998-07-16 | Heinrich Landert | Verfahren und Vorrichtung zur Ansteuerung von Türanlage in Abhängigkeit von der Anwesenheit von Personen |
| US5933523A (en) | 1997-03-18 | 1999-08-03 | Cognex Corporation | Machine vision method and apparatus for determining the position of generally rectangular devices using boundary extracting features |
| US6075881A (en) | 1997-03-18 | 2000-06-13 | Cognex Corporation | Machine vision methods for identifying collinear sets of points from an image |
| US5974169A (en) | 1997-03-20 | 1999-10-26 | Cognex Corporation | Machine vision methods for determining characteristics of an object using boundary points and bounding regions |
| US6005965A (en) | 1997-04-07 | 1999-12-21 | Komatsu Ltd. | Inspection apparatus for semiconductor packages |
| US6069668A (en) | 1997-04-07 | 2000-05-30 | Pinnacle Systems, Inc. | System and method for producing video effects on live-action video |
| US5917937A (en) | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
| US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
| US6141033A (en) | 1997-05-15 | 2000-10-31 | Cognex Corporation | Bandwidth reduction of multichannel images for machine vision |
| US5878152A (en) | 1997-05-21 | 1999-03-02 | Cognex Corporation | Depth from focal gradient analysis using object texture removal by albedo normalization |
| US6295367B1 (en) | 1997-06-19 | 2001-09-25 | Emtera Corporation | System and method for tracking movement of objects in a scene using correspondence graphs |
| US6118540A (en) | 1997-07-11 | 2000-09-12 | Semiconductor Technologies & Instruments, Inc. | Method and apparatus for inspecting a workpiece |
| JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
| US6016152A (en) | 1997-08-01 | 2000-01-18 | Avid Technology, Inc. | Apparatus and method for non-uniform image scaling |
| DE69811472T2 (de) | 1997-09-16 | 2003-12-18 | Invisitech Corp | Personenidentifizierungssystem mit auswertung multipler parameter mit geringer kreuzkorrelation |
| US5978080A (en) | 1997-09-25 | 1999-11-02 | Cognex Corporation | Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view |
| US5978521A (en) | 1997-09-25 | 1999-11-02 | Cognex Corporation | Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object |
| US6205242B1 (en) | 1997-09-29 | 2001-03-20 | Kabushiki Kaisha Toshiba | Image monitor apparatus and a method |
| US6044530A (en) | 1997-10-02 | 2000-04-04 | Stanley Fastening Systems, L.P. | Slotted clip and method |
| US5974365A (en) | 1997-10-23 | 1999-10-26 | The United States Of America As Represented By The Secretary Of The Army | System for measuring the location and orientation of an object |
| US5900975A (en) | 1997-10-30 | 1999-05-04 | Cognex Corporation | Ghost image extinction in an active range sensor |
| US6856698B1 (en) * | 1997-11-26 | 2005-02-15 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern localization |
| US6658145B1 (en) | 1997-12-31 | 2003-12-02 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern inspection |
| US6173070B1 (en) | 1997-12-30 | 2001-01-09 | Cognex Corporation | Machine vision method using search models to find features in three dimensional images |
| US6850646B1 (en) | 1997-12-31 | 2005-02-01 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern inspection |
| US6025854A (en) | 1997-12-31 | 2000-02-15 | Cognex Corporation | Method and apparatus for high speed image acquisition |
| US6072898A (en) * | 1998-01-16 | 2000-06-06 | Beaty; Elwin M. | Method and apparatus for three dimensional inspection of electronic components |
| US6282328B1 (en) | 1998-01-28 | 2001-08-28 | Cognex Corporation | Machine vision systems and methods for morphological transformation of an image with non-uniform offsets |
| US6236769B1 (en) | 1998-01-28 | 2001-05-22 | Cognex Corporation | Machine vision systems and methods for morphological transformation of an image with zero or other uniform offsets |
| US6215915B1 (en) | 1998-02-20 | 2001-04-10 | Cognex Corporation | Image processing methods and apparatus for separable, general affine transformation of an image |
| US6381375B1 (en) | 1998-02-20 | 2002-04-30 | Cognex Corporation | Methods and apparatus for generating a projection of an image |
| US6516092B1 (en) | 1998-05-29 | 2003-02-04 | Cognex Corporation | Robust sub-model shape-finder |
| US6359647B1 (en) | 1998-08-07 | 2002-03-19 | Philips Electronics North America Corporation | Automated camera handoff system for figure tracking in a multiple camera system |
| JP2000073657A (ja) | 1998-09-01 | 2000-03-07 | Mitsubishi Electric Corp | 自動ドアシステム |
| JP3459000B2 (ja) | 1998-09-22 | 2003-10-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 複数のクライアントエリアに表示されたオブジェクトの表示方法およびそれに用いる表示装置 |
| DE19848765C2 (de) | 1998-10-22 | 2000-12-21 | Brainlab Med Computersyst Gmbh | Positionsverifizierung in Kamerabildern |
| US6279579B1 (en) * | 1998-10-23 | 2001-08-28 | Varian Medical Systems, Inc. | Method and system for positioning patients for medical treatment procedures |
| US6389029B1 (en) | 1998-11-10 | 2002-05-14 | Nortel Networks Limited | Local area network incorporating universal serial bus protocol |
| US6381366B1 (en) | 1998-12-18 | 2002-04-30 | Cognex Corporation | Machine vision methods and system for boundary point-based comparison of patterns and images |
| US7068825B2 (en) * | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
| JP4453119B2 (ja) | 1999-06-08 | 2010-04-21 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
| US6477275B1 (en) | 1999-06-16 | 2002-11-05 | Coreco Imaging, Inc. | Systems and methods for locating a pattern in an image |
| US6304050B1 (en) | 1999-07-19 | 2001-10-16 | Steven B. Skaar | Means and method of robot control relative to an arbitrary surface using camera-space manipulation |
| US6341016B1 (en) * | 1999-08-06 | 2002-01-22 | Michael Malione | Method and apparatus for measuring three-dimensional shape of object |
| US6166811A (en) | 1999-08-12 | 2000-12-26 | Perceptron, Inc. | Robot-based gauging system for determining three-dimensional measurement data |
| US6963661B1 (en) | 1999-09-09 | 2005-11-08 | Kabushiki Kaisha Toshiba | Obstacle detection system and method therefor |
| US6710770B2 (en) | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
| US6594623B1 (en) | 1999-11-12 | 2003-07-15 | Cognex Technology And Investment Corporation | Determining three-dimensional orientation of objects |
| US6297844B1 (en) | 1999-11-24 | 2001-10-02 | Cognex Corporation | Video safety curtain |
| US6678394B1 (en) | 1999-11-30 | 2004-01-13 | Cognex Technology And Investment Corporation | Obstacle detection system |
| US6684402B1 (en) | 1999-12-01 | 2004-01-27 | Cognex Technology And Investment Corporation | Control methods and apparatus for coupling multiple image acquisition devices to a digital data processor |
| US7106898B2 (en) * | 1999-12-06 | 2006-09-12 | California Institute Of Technology | 3D scanning using shadows |
| US7042492B2 (en) | 1999-12-10 | 2006-05-09 | The Stanley Works | Automatic door assembly with video imaging device |
| US6990228B1 (en) * | 1999-12-17 | 2006-01-24 | Canon Kabushiki Kaisha | Image processing apparatus |
| US7479980B2 (en) | 1999-12-23 | 2009-01-20 | Wespot Technologies Ab | Monitoring system |
| US6819353B2 (en) | 1999-12-23 | 2004-11-16 | Wespot Ab | Multiple backgrounds |
| JP3873554B2 (ja) | 1999-12-27 | 2007-01-24 | 株式会社日立製作所 | 監視装置、監視プログラムが記録された記録媒体 |
| US6639624B1 (en) * | 1999-12-30 | 2003-10-28 | Cognex Corporation | Machine vision methods for inspection of leaded components |
| US6940545B1 (en) | 2000-02-28 | 2005-09-06 | Eastman Kodak Company | Face detecting camera and method |
| US6748104B1 (en) | 2000-03-24 | 2004-06-08 | Cognex Corporation | Methods and apparatus for machine vision inspection using single and multiple templates or patterns |
| US6301440B1 (en) | 2000-04-13 | 2001-10-09 | International Business Machines Corp. | System and method for automatically setting image acquisition controls |
| EP2204136B1 (en) | 2000-04-19 | 2013-08-28 | OraMetrix, Inc. | Orthodontic archwire |
| US6469734B1 (en) | 2000-04-29 | 2002-10-22 | Cognex Corporation | Video safety detector with shadow elimination |
| US6701005B1 (en) | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
| WO2001088471A1 (de) | 2000-05-16 | 2001-11-22 | Steinbichler Optotechnik Gmbh | Verfahren und vorrichtung zum bestimmen der 3d-form eines objektes |
| US6718074B1 (en) | 2000-06-02 | 2004-04-06 | Cognex Corporation | Method and apparatus for inspection for under-resolved features in digital images |
| US6768509B1 (en) | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
| US6624899B1 (en) | 2000-06-29 | 2003-09-23 | Schmitt Measurement Systems, Inc. | Triangulation displacement sensor |
| JP2002031513A (ja) * | 2000-07-14 | 2002-01-31 | Minolta Co Ltd | ３次元測定装置 |
| US7082209B2 (en) | 2000-08-31 | 2006-07-25 | Hitachi Kokusai Electric, Inc. | Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method |
| CA2421111A1 (en) | 2000-08-31 | 2002-03-07 | Rytec Corporation | Sensor and imaging system |
| US6720874B2 (en) | 2000-09-29 | 2004-04-13 | Ids Systems, Inc. | Portal intrusion detection apparatus and method |
| US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
| US6680745B2 (en) | 2000-11-10 | 2004-01-20 | Perceptive Network Technologies, Inc. | Videoconferencing method with tracking of face and dynamic bandwidth allocation |
| AU2002243265A1 (en) | 2000-11-19 | 2002-06-24 | Canesta, Inc. | Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions |
| US6681151B1 (en) | 2000-12-15 | 2004-01-20 | Cognex Technology And Investment Corporation | System and method for servoing robots based upon workpieces with fiducial marks using machine vision |
| US6728582B1 (en) | 2000-12-15 | 2004-04-27 | Cognex Corporation | System and method for determining the position of an object in three dimensions using a machine vision system with two cameras |
| US6771808B1 (en) * | 2000-12-15 | 2004-08-03 | Cognex Corporation | System and method for registering patterns transformed in six degrees of freedom using machine vision |
| US6751338B1 (en) | 2000-12-15 | 2004-06-15 | Cognex Corporation | System and method of using range image data with machine vision tools |
| US6798925B1 (en) | 2000-12-22 | 2004-09-28 | Cognex Corporation | Method and apparatus for calibrating an image acquisition system |
| US6751361B1 (en) | 2000-12-22 | 2004-06-15 | Cognex Corporation | Method and apparatus for performing fixturing in a machine vision system |
| WO2002056251A1 (en) | 2000-12-27 | 2002-07-18 | Mitsubishi Denki Kabushiki Kaisha | Image processing device and elevator mounting it thereon |
| US7006669B1 (en) * | 2000-12-31 | 2006-02-28 | Cognex Corporation | Machine vision method and apparatus for thresholding images of non-uniform materials |
| JP4639293B2 (ja) | 2001-02-27 | 2011-02-23 | オプテックス株式会社 | 自動ドアセンサ |
| JP2002250607A (ja) | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 物体検知センサ |
| EP1245931A1 (de) * | 2001-03-31 | 2002-10-02 | Leica Geosystems AG | Verfahren zur Kalibrierung eines Messinstrumentes |
| JP3698420B2 (ja) | 2001-06-12 | 2005-09-21 | シャープ株式会社 | 画像監視装置及び画像監視方法及び画像監視処理プログラム |
| US7203337B2 (en) | 2001-06-21 | 2007-04-10 | Wespot Ab | Adjusted filters |
| JP2003015019A (ja) | 2001-06-27 | 2003-01-15 | Minolta Co Ltd | 被写体検出装置およびカメラ |
| US6781618B2 (en) | 2001-08-06 | 2004-08-24 | Mitsubishi Electric Research Laboratories, Inc. | Hand-held 3D vision system |
| US7302080B2 (en) | 2001-09-28 | 2007-11-27 | Secumanagement B.V. | System for installation |
| SE0103279L (sv) | 2001-10-02 | 2003-04-03 | Integrated Vision Prod | Förfarande för mätning av ljusspridning och geometrisk profil |
| US6993177B1 (en) * | 2001-11-02 | 2006-01-31 | Cognex Technology And Investment Corporation | Gauging based on global alignment and sub-models |
| KR100484640B1 (ko) | 2002-01-14 | 2005-04-20 | 삼성에스디아이 주식회사 | 생물분자 고정용 올리고머, 및 이를 포함하는 생물분자고정화 조성물 |
| US7212228B2 (en) | 2002-01-16 | 2007-05-01 | Advanced Telecommunications Research Institute International | Automatic camera calibration method |
| JP3799019B2 (ja) * | 2002-01-16 | 2006-07-19 | オリンパス株式会社 | ステレオ撮影装置及びステレオ撮影装置の撮影方法 |
| CA2369845A1 (en) * | 2002-01-31 | 2003-07-31 | Braintech, Inc. | Method and apparatus for single camera 3d vision guided robotics |
| EP1493130A1 (en) | 2002-04-08 | 2005-01-05 | Newton Security, Inc. | Tailgating and reverse entry detection, alarm, recording and prevention using machine vision |
| AUPS170902A0 (en) | 2002-04-12 | 2002-05-16 | Canon Kabushiki Kaisha | Face detection and tracking in a video sequence |
| US7085622B2 (en) | 2002-04-19 | 2006-08-01 | Applied Material, Inc. | Vision system |
| US6917702B2 (en) | 2002-04-24 | 2005-07-12 | Mitsubishi Electric Research Labs, Inc. | Calibration of multiple cameras for a turntable-based 3D scanner |
| US7003136B1 (en) | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
| US7088236B2 (en) | 2002-06-26 | 2006-08-08 | It University Of Copenhagen | Method of and a system for surveillance of an environment utilising electromagnetic waves |
| CN1300551C (zh) | 2002-07-25 | 2007-02-14 | 索卢申力士公司 | 使用光学标记自动排列三维扫描数据的设备和方法 |
| JP2004062980A (ja) | 2002-07-29 | 2004-02-26 | Toyota Gakuen | 磁性合金、磁気記録媒体、および磁気記録再生装置 |
| US7400744B2 (en) | 2002-09-05 | 2008-07-15 | Cognex Technology And Investment Corporation | Stereo door sensor |
| US7397929B2 (en) | 2002-09-05 | 2008-07-08 | Cognex Technology And Investment Corporation | Method and apparatus for monitoring a passageway using 3D images |
| US20040061781A1 (en) | 2002-09-17 | 2004-04-01 | Eastman Kodak Company | Method of digital video surveillance utilizing threshold detection and coordinate tracking |
| JP4083554B2 (ja) * | 2002-11-29 | 2008-04-30 | 株式会社森精機製作所 | ３次元モデルデータ生成装置 |
| US6999600B2 (en) | 2003-01-30 | 2006-02-14 | Objectvideo, Inc. | Video scene background maintenance using change detection and classification |
| JP3944091B2 (ja) | 2003-02-06 | 2007-07-11 | パルステック工業株式会社 | ３次元画像データ生成方法 |
| US7373270B2 (en) | 2003-03-26 | 2008-05-13 | Sony Corporation | Diagnosing device for stereo camera mounted on robot, and diagnostic method of stereo camera mounted on robot apparatus |
| US6919549B2 (en) | 2003-04-11 | 2005-07-19 | Canesta, Inc. | Method and system to differentially enhance sensor dynamic range |
| US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
| DE10333802B4 (de) | 2003-07-24 | 2005-09-08 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zum Prüfen von Reifen |
| US7538801B2 (en) | 2003-09-15 | 2009-05-26 | Micron Technology, Inc. | Region-based auto gain control and auto exposure control method and apparatus |
| US7127083B2 (en) | 2003-11-17 | 2006-10-24 | Vidient Systems, Inc. | Video surveillance system with object detection and probability scoring based on object class |
| DE102004003941A1 (de) * | 2004-01-26 | 2005-08-11 | Carl Zeiss Industrielle Messtechnik Gmbh | Bestimmung von Koordinaten eines Werkstücks |
| US7636700B2 (en) * | 2004-02-03 | 2009-12-22 | Hrl Laboratories, Llc | Object recognition system incorporating swarming domain classifiers |
| US7609893B2 (en) * | 2004-03-03 | 2009-10-27 | Trw Automotive U.S. Llc | Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model |
| US7356425B2 (en) | 2005-03-14 | 2008-04-08 | Ge Security, Inc. | Method and system for camera autocalibration |
| US7801330B2 (en) | 2005-06-24 | 2010-09-21 | Objectvideo, Inc. | Target detection and tracking from video streams |
| US8111904B2 (en) | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
| EP2153410B1 (en) | 2007-05-29 | 2016-11-16 | Cognex Technology and Investment Corporation | 3d assembly verification from 2d images |
| US7777300B2 (en) | 2007-09-18 | 2010-08-17 | Infineon Technologies Ag | Semiconductor device with capacitor |
| US8442304B2 (en) | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
-
2005
- 2005-10-07 US US11/246,024 patent/US8111904B2/en not_active Expired - Fee Related
-
2006
- 2006-10-06 WO PCT/US2006/039324 patent/WO2007044629A2/en not_active Ceased
- 2006-10-06 DE DE112006002674.7T patent/DE112006002674B4/de active Active
- 2006-10-06 JP JP2008534751A patent/JP4976402B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE112006002674T5 (de) | 2008-09-11 |
| US8111904B2 (en) | 2012-02-07 |
| WO2007044629A2 (en) | 2007-04-19 |
| JP2009511881A (ja) | 2009-03-19 |
| WO2007044629A3 (en) | 2007-10-04 |
| DE112006002674B4 (de) | 2019-05-09 |
| US20070081714A1 (en) | 2007-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4976402B2 (ja) | 実用的な３ｄビジョンシステムの方法および装置 | |
| JP5922572B2 (ja) | 実用型３ｄビジョンシステム装置およびその方法 | |
| JP6685199B2 (ja) | 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 | |
| EP2153410B1 (en) | 3d assembly verification from 2d images | |
| JP6280525B2 (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
| US8559704B2 (en) | Three-dimensional vision sensor | |
| Meng et al. | Autonomous robot calibration using vision technology | |
| JP4418841B2 (ja) | 作業装置及びその校正方法 | |
| US8520067B2 (en) | Method for calibrating a measuring system | |
| US9124873B2 (en) | System and method for finding correspondence between cameras in a three-dimensional vision system | |
| EP3496035B1 (en) | Using 3d vision for automated industrial inspection | |
| US20080298672A1 (en) | System and method for locating a three-dimensional object using machine vision | |
| Samper et al. | Analysis of Tsai calibration method using two-and three-dimensional calibration objects | |
| KR20130075712A (ko) | 레이저비전 센서 및 그 보정방법 | |
| EP3322959B1 (en) | Method for measuring an artefact | |
| El-Hakim et al. | Multicamera vision-based approach to flexible feature measurement for inspection and reverse engineering | |
| KR20170087996A (ko) | 로봇의 캘리브레이션 장치 및 그 방법 | |
| Ravn et al. | Auto-calibration in automation systems using vision | |
| JP2020197495A (ja) | 情報処理装置、計測装置、情報処理方法、プログラム、システム及び物品の製造方法 | |
| Maric et al. | Choice of window size in calibrating the geometry of manipulators based on the regions correlation | |
| Michael | USING 3D VISION FOR AUTOMATED INDUSTRIAL INSPECTION |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100910 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101209 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101216 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110111 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110823 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110830 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110926 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120405 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120412 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4976402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |