JP4553437B2

JP4553437B2 - 画像検査システム及び制御方法

Info

Publication number: JP4553437B2
Application number: JP2000026420A
Authority: JP
Inventors: エムワッサーマンリチャード
Original assignee: Mitutoyo Corp
Current assignee: Mitutoyo Corp
Priority date: 1999-02-03
Filing date: 2000-02-03
Publication date: 2010-09-29
Anticipated expiration: 2020-02-03
Also published as: EP1026637A3; EP1026637A2; JP2000235596A; US7092860B1

Description

【０００１】
【発明の属する技術分野】
本発明は、画像システムにより生成された画像をシミュレートする方法およびシステムに関し、特に、自動化画像検査システムにより生成された画像を正確に近似する合成画像を生成する方法およびシステムに関する。
【０００２】
【従来の技術】
製造環境下で部品または材質の基本的な特徴を認識または測定する多種の非接触コンピュータ画像系システムがある。これらのシステムの多くは、「トレーニング」または「プログラミング」モードを有する。プログラミングモードにおいては、システムは、部品を認識または測定する方法に関する命令を受ける。このプログラミングモードは、システムによって自動的に繰り返される命令組をもたらす。これらの命令は、汎用記述言語でのプログラムとしてまたはマクロシーケンスとして構成することができる。記述またはマクロ言語のいずれかの格納されたプログラム命令シーケンスは、パートプログラムとして知られている。パートプログラムを学習またはつくり込みのシーケンスは、パートプログラミングとして知られている。
【０００３】
【発明が解決しようとする課題】
オフラインプログラミングソフトウェアツールが、伝統的な非画像式座標測定機械およびロボット用として普及している。オフラインプログラミングツールは、プログラマが非画像式座標測定機械およびロボット用プログラムに含める機械命令を選択する際の助けとなる。しかしながら、これらのオフラインプログラミングソフトウェアツールは、物理的レンズ系を介して光学像を形成するときに経験する問題を考慮していない。なぜならこのような事柄が伝統的な非画像式座標測定機械およびロボットに存在しないためである。従って、これら公知のオフラインプログラミングソフトウェアツールは、機械画像システムを含む機械に対して不適当であり、現代の画像式検査および／または運転システムには全く適さない。
【０００４】
本発明の目的は、迅速で且つ直感的なオフラインプログラミングを容易にすることができる画像システムハードウェア構成要素シミュレーションシステムを備えた画像検査システムおよびその制御方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明に係る画像検査システムは、検査対象物の画像を検査することによって前記検査対象物を検査する画像検査システムであって、前記検査対象物の画像を検査するためのハードウェア構成要素を制御する画像検査制御システムと、前記ハードウェア構成要素に代えて前記ハードウェア構成要素のエミュレーションシステムとして前記画像検査制御システムと通信可能に接続されるシミュレーションシステムとを備え、前記シミュレーションシステムは、前記ハードウェア構成要素に対応するように設定された仮想ステージ、仮想光学系及び仮想照明系を用い、前記検査対象物に対応する仮想ワークを前記仮想ステージに載置して前記仮想ワークをシミュレートすることにより前記検査対象物についてシミュレートされた合成画像データを生成する画像生成手段と、前記合成画像データ又は前記合成画像データの生成条件から前記画像検査制御システムが前記ハードウェア構成要素を制御するための制御命令を生成する制御命令生成手段と、前記制御命令を前記画像検査制御システムに送信する通信手段と、を備え、前記画像生成手段は、前記仮想ワーク、前記仮想光学系及び前記仮想照明系の相対的な位置及び方向を関連付けて前記合成画像データを生成することを特徴とする。
【００１５】
本発明は、ワークの三次元（３Ｄ）グラフィックモデルを使用して画像検査システムの物理的ハードウェアにより生成される画像をシミュレートする。本発明に係る一実施の形態は、実際の画像計測システムでの画像のリアルタイム生成に近似する速度でこれら合成画像を供給する。本発明は、画像検査システムにおいてレンズを通してワークを見るカメラにより捕らえられた像に匹敵する合成映像を生成する。
【００１６】
本発明は、機械画像システムを含む機械からのユーザインタフェース、特に画像検査システムからのユーザインタフェースと一体化されて、オフラインプログラミング環境を提供することが可能である。「オフラインプログラミング」とは、物理的画像検査システムの進行中の作業を妨げないでパートプログラムを生成することをいう。
【００１７】
本発明は、画像システム設計者が画像検査システムのソフトウェアのみのバージョンを開発することを可能にする画像シミュレーションシステムを別個に提供する。このようなソフトウェアのみの実現は、対応する物理的画像検査ステーションによって与えられるであろうものと同じユーザインタフェースをオペレータに与える。本発明は、カメラ、照明、レンズ、運動コントロールプラットフォームなどの画像検査ステーションの物理的構成要素をシミュレートする。本発明は、画像システムの状態モデルと測定すべきワークのコンピュータ支援設計モデルに基づき合成画像を生成する。ワークのコンピュータ支援設計モデルは、Parametric Technology Corporation のpro/ENGINEER，Waltham，MA02453などの通常の商業ＣＡＤパッケージによって提供することができ、実際の画像検査ステーション下に最終的に置かれるであろう実際のワークの製造を制御するＣＡＤデータファイルに一致したものにすることができる。
【００１８】
本発明によって生成される合成画像は、ハードウェア画像システムにおけるカメラによって捕らえられた映像の代わりに使用することができる。本発明により、設計者が、ハードウェア式ソフトウェアサブシステムを画像シミュレーションエンジンの仮想構成要素と通信するサブシステムと置き換えることによって、検査システムのオフラインバージョンを容易に開発することが可能になる。オペレータは、仮想検査システムにおけるパラメータを変更することができ、その結果を合成画像における変化として即座に見ることができる。本発明は現存する画像検査システムユーザインタフェースに使用可能であるので、ユーザは実際の物理的画像検査システムと対話する前にユーザインタフェースに精通することが可能である。
【００１９】
本発明によれば、新たな検査パートプログラムを生成することに起因するシステムのダウンタイムが減少する。本発明のシステムおよび方法は、オペレータトレーニングを改良するとともに、画像検査システムのオフサイト販売およびマーケティング用の改良されたツールを供給することもできる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２１】
図１は、物理的画像検査システム１０の一例を示すブロック図である。画像検査システム１０は、画像検査制御システム１２を含む。この画像検査制御システム１２は、ユーザインタフェースサブシステム１４、データ処理サブシステム１６およびハードウェアインタフェース２０を含む。ハードウェアインタフェース２０は、照明制御サブシステム２２、フレームグラバ制御サブシステム２４、レンズ制御サブシステム２６および運動制御サブシステム２８を含む。ハードウェアインタフェース２０は、画像システムハードウェア構成要素３０と通信する。
特に、画像システムハードウェア構成要素３０は、照明ハードウェア３２、フレームグラバ３４、レンズハードウェア３６および運動制御ハードウェア３８を含む。フレームグラバ３４は、モノクロまたはカラーカメラによって見た光景のスチルまたはリアルタイムデジタル表示を生成する内部または外部のフレームグラバ機構を含んでもよい。ここで述べたカメラとフレームグラバ３４の組合せは、アナログおよびデジタルカメラ構成の両方を含むものとする。例えば、デジタルカメラに一体にフレームグラバを含んでもよい。
【００２２】
画像システムハードウェア構成要素３０の各物理的ハードウェア３２〜３８は、一般的な機械画像検査システムの１つ以上の物理的構成要素を表す。本発明のシステムおよび方法は、これらの構成要素の全てを画像システムハードウェア構成要素３０の仮想モデルに置き換えるためにグラフィカルで物理的なモデルリング技術を用いる。
【００２３】
図１の画像検査システムは、一般市販されている。図１の画像検査制御システム１２およびユーザインタフェース１４に相当するユーザインタフェースサブシステムを含む画像検査制御システムも一般市販されている。
【００２４】
図２は、本発明の一実施の形態に係る画像シミュレーションシステム１００を示し、画像検査制御システム１１０と本発明の一実施の形態に係る画像システムハードウェア構成要素シミュレーションシステム１４０とを備える。画像検査制御システム１１０は、図１の画像検査制御システム１２と同じであり、ユーザインタフェースサブシステム１１４、データ処理サブシステム１１６およびハードウェアインタフェース１２０を含む。ハードウェアインタフェース１２０は、照明制御サブシステム１２２、フレームグラバ制御サブシステム１２４、レンズ制御サブシステム１２６および運動制御サブシステム１２８を含む。
【００２５】
画像システムハードウェア構成要素シミュレーションシステム１４０は、好ましくはプログラム化された汎用コンピュータ上で実現される。しかしながら、画像システムハードウェア構成要素シミュレーションシステム１４０を、専用コンピュータ、プログラム式マクロプロセッサまたはマイクロコントローラおよび周辺集積回路素子、ＡＳＩＣまたは他の集積回路、デジタル信号プロセッサ、ディスクリート素子回路のようなハード結線された電子または論理回路、PLD，PLA，FPGAまたはPALなどのようなプログラム可能な論理装置で実現することもできる。一般に、図４（ａ）および図４（ｂ）に示すフローチャートを実行可能な有限状態機械を実現することができるものであれば、如何なる装置でも画像システムハードウェア構成要素シミュレーションシステム１４０を実現するために用いることができる。
【００２６】
ハードウェアインタフェース１２０は、リンク１４２および１４４を通して画像システムハードウェア構成要素シミュレーションシステム１４０と通信する。
画像システムハードウェア構成要素シミュレーションシステム１４０は、構成サブシステム１４８と通信する画像検査システムシミュレーション処理サブシステム１４６、および外部ビュー１５０を含む。
【００２７】
画像システムハードウェア構成要素シミュレーションシステム１４０をハードウェアでまたは画像検査制御システム１１０から遠隔的に実現する場合、リンク１４２および１４４は、画像検査制御システム１１０を画像システムハードウェア構成要素シミュレーションシステム１４０に接続するための現在公知のまたは後に開発される装置またはシステムとすることができ、該装置またはシステムは、直接ケーブル接続、広域ネットワークまたはローカルエリアネットワークを経由した接続、イントラネットを経由した接続、インターネットを経由した接続、または他の分散処理ネットワークまたはシステムを経由した接続を含む。一般に、リンク１４２および１４４は、画像検査制御システム１１０を画像システムハードウェア構成要素シミュレーションシステム１４０に接続するのに使用することが可能なものであれば如何なる公知のまたは後に開発される接続システムまたは構成とすることができる。
【００２８】
画像システムハードウェア構成要素シミュレーションシステム１４０を、ソフトウェアアプリケーションプログラムによるように、画像検査制御システム１１０の近くで実現する場合、リンク１４２および１４４は、画像検査制御システム１１０と画像システムハードウェア構成要素シミュレーションシステム１４０との間でデータおよび制御信号を送るソフトウェア構成とされる。画像システムハードウェア構成シミュレーションシステム１４０は、画像検査制御システム１１０からリンク１４２を介して制御データを受け取り、画像検査制御システム１１０にリンク１４４を介して合成画像データを送る。
【００２９】
構成サブシステム１４８は、仮想世界のモデルを格納するとともに、スチルおよび／またはリアルタイム合成画像を生成するために処理サブシステム１４６によって使用されるシステム照明モデル、運動制御モデル、ワークモデル、並びにレンズおよびカメラ構成データを含む。
【００３０】
図２に示すように、画像システムハードウェア構成要素シミュレーションシステム１４０は、画像検査制御システム１１０と一体化され、物理的画像システムハードウェア構成要素３０を駆動することを目的とする。画像システムハードウェア構成要素シミュレーションシステム１４０は、図１に示す物理的画像システムハードウェア構成要素３０の物理的カメラ、レンズ、照明、ステージなどに取って代わるハードウェアまたはソフトウェアによるエミュレーションシステムである。
【００３１】
画像システムハードウェア構成要素シミュレーションシステム１４０は、仮想光学システムおよびカメラに関して異なる高さでシミュレートされた画像検査対象物の画像を生成することができる。これらの合成画像は、焦点を外れた画像および照明効果を含むことがあり、迅速でかつ直感的なオフラインプログラミングを容易にする。
【００３２】
画像システムハードウェア構成要素シミュレーションシステム１４０は、全体のシミュレートされた画像検査システムの三次元の外部ビュー１５０を生成することもできる。外部ビューは、物理的画像検査システムを物理的に見るときにユーザによって見られるものに近似する。このような外部ビューは、多くの重要な空間的手がかりをシステムオペレータに与えて、迅速でかつ直感的なオフラインプログラミングをさらに容易にする。
【００３３】
本発明のシステムおよび方法のユーザは、コンピュータ支援設計（ＣＡＤ）モデルを導入し、構成サブシステム１４８に保存することによって画像システムハードウェア構成要素シミュレーションシステム１４０の仮想ステージ上にワークのＣＡＤモデルを導入し、据え付けることができる。次いで、該ステージおよびワークのリアルタイムな合成デジタル画像が生成され、画像システムハードウェア構成要素シミュレーションシステム１４０によって画像検査制御システム１１０に与えられる。次いで、ユーザは、画像システムハードウェア構成要素シミュレーションシステム１４０によりシミュレートされた仮想画像検査機械上のシミュレートされたワークを検査し、画像システムハードウェア構成要素シミュレーションシステム１４０によりシミュレートされる物理的画像検査システム上で、物理的システムで実行されるパートプログラムに対する命令を選択することができる。
【００３４】
処理サブシステム１４６は、次の要因の少なくとも１つを考慮することによって合成画像を生成する：カメラ位置およびビュー；光源の位置決め；ワークのステージに対する方向；カメラに対するステージの現在位置および方向；レンズサブシステムパラメータ、例えば焦点距離；モデル化されたレンズ系の形状（geometry）；レンズおよび照明系によって生成された光学的効果；ワークの光学的特性；およびワークの物理的特性。
【００３５】
図３は、本発明に係る画像シミュレーションシステム１００の画像システムハードウェア構成要素シミュレーションシステム１４０の他の実施の形態を示す。
図３に示すように、本実施の形態においては、画像システムハードウェア構成要素シミュレーションシステム１４０は入出力インタフェース２００およびレンダリングエンジン２０２を含む。このインタフェース２００は、仮想ステージの位置、仮想レンズ系用パラメータおよび照明系用パラメータを格納するサブシステムを含む。仮想照明系のパラメータは、当該系における各仮想光源の大きさ、色、方向および種類を含む。仮想レンズ系のパラメータは、シミュレートされたレンズ系の倍率、視野、焦点距離および被写体深度を含む。
【００３６】
画像システムハードウェア構成要素シミュレーションシステム１４０は、各仮想光源から放射される光をモデル化する照明モデル２０６をも含む。照明モデル２０６は、各仮想光源からの光を記述するとともに、各光源からの光の位置、方向、大きさ、色、種類に関する情報を含む。
【００３７】
画像システムハードウェア構成要素シミュレーションシステム１４０は、仮想世界モデル２０８、静的環境モデル２１０、仮想ステージモデル２１２および構成要素モデル２１４をも含む。モデル２０８〜２１４は、仮想ステージおよび仮想ワークの幾何学的および物理的なモデル記述を記録し、更新する。各構成要素は、最新のグラフィカルな表面モデリング技術と一致するシーン階層として対応するモデル２０８〜２１８で記述される。各モデルは、共通ノードの集合部で接続された1組の多面体である。各ノードは、位置、色、材質情報およびテクスチャ座標のような情報を含む。各オブジェクトは、表面の面に適用される１つ以上のテクスチャマップを含む。
【００３８】
仮想世界モデル２０８は、仮想ステージテーブル、仮想可動ステージ構成要素および仮想ステージ上の全ての仮想ワークの完全な最新の３Ｄモデルを格納する。この仮想世界モデル２０８は、静的環境モデル２１０、仮想ステージモデル２１２および構成要素モデル２１４を含む構成要素の階層から構成され、ステージ上のワークの位置および方向を含む。仮想ステージが仮想ステージテーブルに対して動くとき、ステージ上のワークはこれに応じて全体座標系において移動する。
【００３９】
画像システムハードウェア構成要素シミュレーションシステム１４０は、また、視野および遠近関係のような仮想レンズ系データを格納するレンズ系モデル２１６をも含む。レンズ系モデル２１６は、レンズ系データをレンダリングエンジン２０２に伝送する。
【００４０】
上記の記述は、多くの機械画像システムの一般的な場合についてのものであり、この場合は、カメラが全体座標系に固定され、ワークが可動ステージ構成要素例えばＸ−Ｙテーブル、コンベヤベルトなどの手段によってカメラに相対的に移動される。他の場合、即ち、カメラおよび光学系が移動台またはロボットアームの端部に装着されている場合には、カメラおよび光学系は全体座標系に相対的に移動し、ワークは全体座標系に対して固定された状態にある。後者の場合、照明モデル２０６はワークおよびレンズ系に相対的な照明位置および方向を含む必要があり、レンズ系モデル２１６はワーク、ステージ、静的モデルおよび世界モデルに相対的なレンズ系の位置および方向を含む必要がある。後者の場合、ステージモデル２１２は運動的特徴を持たず、静的モデルに含めてもよい。いずれの場合でも、画像シミュレーションにとって非常に重要なデータは光学系、ワークおよび照明系の相対的な位置および方向であり、当業者は、一組の局部的および全体座標系上のオブジェクトを関連付けるための十分に確立された方法に従って、これらの要素の相対位置データを適当なモデルに割り当てることができる。
【００４１】
また、画像システムハードウェア構成要素シミュレーションシステム１４０は、二次元画像を格納するメモリ２１８を含む。
【００４２】
また、画像システムハードウェア構成要素シミュレーションシステム１４０は、レンダリングエンジン２０２を含む。このようなレンダリングエンジンの例としては、OpenGLまたはDirect3Dがある。OpenGLは、OpenGLリファレンスマニュアル（OpenGL Architecture Review Board, Addison-Wesley Developers Press Reading, MA, 1996）に記述された３Ｄ描画の公開されたスタンダードである。Direct3Dは、Windows（登録商標）オペレーティングシステムに対してマイクロソフト社（Microsoft Corporation）によって配布されたツールのDirectＸシステムの構成要素である。レンダリングエンジン２０２は、仮想世界モデル２０８、レンズモデル２１６および照明モデル２０６に格納された３Ｄポリゴンモデルを入力として受け取る。レンダリングエンジン２０２は、グーラウド（Gouraud）シェーディング、レイトレーシングなどを用いて、二次元画像と三次元モデルが与えられた深さマップとを生成するシステムとしてもよい。レンダリングエンジン２０２は、データ３Ｄポリゴンモデルおよび照明データを世界モデル２０８および照明モデル２０６からそれぞれ受け取る。
【００４３】
レンダリングエンジン２０２は、理想ピンホールレンズ系を介して見たような２次元画像データを生成する。この２Ｄ画像データは、仮想カメラからの画像マップにおける各画素の距離を格納する二次元マッピングを含む。また、レンダリングエンジン２０２は、仮想世界の三次元の外部ビューを生成する（図２に示す）。上述したように、三次元外部ビュー１５０は、画像検査システムのオペレータによって見られるであろうシステムのビューをエミュレートする。
【００４４】
二次元カメラ画像データは、実世界カメラ情報をシミュレートするものではない。二次元カメラ画像データは、完全ピンホールカメラを用いて生成されたかのような無限焦点深度を有する。これは、非常に浅い被写界深度を有することがしばしばである実際の機械画像検査システムのビューを正確にシミュレートしない。従って、画像システムハードウェア構成要素シミュレーションシステム１４０は、レンズ効果処理エンジン２０４をも含む。レンズ効果処理エンジン２０４は、レンダリングエンジン２０２から、画素当りの深度を含む二次元カメラ画像データを受け取る。レンズ効果処理エンジン２０４は、仮想レンズパラメータに従ってカメラ画像を修正する。レンズ効果処理エンジン２０４は、二次元画像を出力する。この二次元画像は、システムの仮想光学的形状（geometry）を考慮している。レンズ効果処理エンジンの一例は、A Lens and Aperture Camera Model for Synthetic Image Generation, Computer Graphics, vol.15, no.3, pp.297-305, August 1981に記述されている。
【００４５】
レンズ効果エンジン２０４およびレンダリングエンジン２０２は単一のプロセッサの一部として構成してもよく、または別個のプロセッサとして構成してもよい。さらに、レンダリングエンジン２０２およびレンズ効果エンジン２０４は、互いに結合して単一のレンダリングおよびレンズ効果エンジンとすることができる。このような結合したレンダリングおよびレンズ効果エンジンは、例えば、光学系を介した各光線を追跡するレイトレーシングレンダリングと共に用いることができる。
【００４６】
以上のようにして仮想世界の二次元画像が生成されると、この画像あるいはこの画像の生成条件を元にして、図示しない制御命令生成システムにより制御命令を生成することができる。例えば、ワークがカメラの焦点深度内にない場合は、焦点合わせ命令を生成することができる。また、ワークがカメラの焦点深度内にある場合、測定命令を生成することができる。さらに、この測定命令を実行して得た結果が、公差内であるか否かの検査プログラムを生成することもできる。ここで、例えばこの公差はユーザから入力されたデータを使用するものであってもよい。また、測定や検査終了後にカメラを原点位置へ復帰させる移動命令を生成させることも可能である。さらに、この制御命令生成システムによって生成された制御命令は、制御命令生成システムを含む機械画像システム（画像シミュレーションシステム１００）とは異なる他の機械画像システム（例えば物理的画像検査システム１０）で実行可能である。この場合、画像シミュレーションシステム１００では、物理的画像検査システム１０の画像システムハードウェア構成要素３０をシミュレートする。
【００４７】
図３に示す各モデルは適切にプログラム化された汎用コンピュータの一部として実現可能である。これに代えて、図３に示す各モデルは、ASIC内の物理的に別個のハードウェア回路として、またはFPGA，PDL またはPAL を用いて、またはデイスクリート論理素子またはデイスクリート論理回路素子を用いて実現してもよい。図３に示す各モデルがとる特定の形状は、設計上の選択事項であって、当業者にとっては自明で且つ予測可能なものである。
【００４８】
図４（ａ）および（ｂ）は、本発明による画像検査システムの画像シミュレーションをレンダリングする方法の一例の概要を示すフローチャートである。図４（ａ）に示すように、ステップＳ１００で本制御ルーチンを開始し、ステップＳ１０２に進む。ステップＳ１０２においては、テーブル、カメラ、照明などの仮想世界の構成要素を初期化する。次いで、ステップＳ１０４で、ワークのモデルを仮想世界に付加する。次に、ステップＳ１０６において、ステージ位置を決定する。そしてステップＳ１０８に進む。
【００４９】
ステップＳ１０８においては、仮想ステージおよび仮想ステージ上の全てのワークの位置を更新する。次いで、ステップＳ１１０において、仮想世界モデルを、照明、レンズなどの他のシステムパラメータに基づき更新する。次いで、ステップＳ１１２で、仮想世界を描画して、二次元カメラ画像および対応する画素深度データマップを生成する。そして、図４（ｂ）に示すステップＳ１１４に進む。ステップＳ１１４においては、レンズ効果が必要か否かを判定する。レンズ効果が必要な場合は、ステップＳ１１６に進む。これに代えて、レンズ効果が必要でないときには、ステップＳ１１８に直接ジャンプする。ステップＳ１１６においては、仮想レンズ効果をシミュレートされた画像に付与する。次いで、ステップＳ１１８で、仮想カメラのビューを画像検査コントロールシステムに与える。
そしてステップＳ１２０に進む。
【００５０】
ステップＳ１２０においては、仮想外部ビューが必要か否かを判定する。仮想外部ビューが必要である場合は、ステップＳ１２２に進む。仮想外部ビューが必要でないときには、ステップＳ１２４に直接ジャンプする。ステップＳ１２２においては、システムの仮想外部ビューを描画する。そして、ステップＳ１２４において、画像シミュレーションエンジンを停止すべきか否かを判定する。画像シミュレーションエンジンを停止すべきときには、ステップＳ１２６に進む。画像シミュレーションエンジンを停止すべきでないときには、ステップＳ１０６に戻る。ステップＳ１２６においては、画像シミュレーションエンジンを停止する。
【００５１】
ステップＳ１１２〜Ｓ１１６を単一のステップに結合して画像を描画するとともに同時に画像にレンズ効果を付与するようにしてもよい。例えば、レイトレーシングシステムにおいては、各光線が画像の一部を描画するのに用いられるときに、その光線の経路を辿ることによりレンズ効果を付与する。
【００５２】
さらに、図４（ａ）および（ｂ）で概述したフローチャートは、機械画像システムからのシミュレートされた画像を描画するためのより一般的な方法の一例である。機械画像システムは、ロボットのような他のシステムに付加された画像検査システムまたは画像システムとすることができる。シミュレートされた合成画像を描画するこの方法は、仮想世界における少なくとも１つのオブジェクトを特徴付けるまたは表す第１のモデルと光学系を特徴付けるまたは表す第２のモデルとに基づき仮想世界のシミュレートされた画像を生成することと、該シミュレートされた画像を機械画像制御システムに供給することを含む。機械画像制御システムは、上述した画像検査システム用パートプログラムを生成するためのシステムのような検査プログラム生成システム、または機械検査システムを有するロボットに対して運動指令を生成するためのシステムのような運動指令生成システムとすることができる。
【００５３】
オペレータは、機械画像システムにおけるパラメータを変更することができるとともに、その結果を合成されたまたはシミュレートされた画像における変化として即座に見ることができる。本発明の機械画像シミュレーションシステムおよび方法が、画像検査システムユーザインタフェースのような既存の機械画像システムのユーザインタフェースに使用することが可能であるので、ユーザは実際の物理的画像検査システムと対話する前に機械画像ユーザインタフェースに精通することが可能である。
【００５４】
一方、本発明を上述した実施の形態について説明したが、多くの代替、変更、変形が当業者にとって自明である。従って、上述した好ましい実施の形態は例示的なものであり、これに限定されることはない。種々の変更が本発明の精神および範囲を逸脱しない限り可能である。
【００５５】
【発明の効果】
以上説明したように、本発明によれば、迅速で且つ直感的なオフラインプログラミングを容易にすることができる。また、実際の画像計測システムで得られる画像に高い精度で類似する画像を生成することが可能になる。更に、実際の画像計測システムで得られる画像にさらに高い精度で類似する画像を生成することが可能になる。更に、パラメータの変更に伴う生成された画像の変化を即座に見ることができる。
【００６１】
更に、画像検査システムの少なくとも１つの構成要素と独立した該画像検査システムの少なくとも１つの操作をシミュレートすることにより、ユーザが実際の画像検査システムと対話する前に、ユーザは実際の画像検査システムのユーザインタフェースに精通することが可能である。また、迅速で且つ直感的なオフラインプログラミングを容易にすることができる。
【図面の簡単な説明】
【図１】ハードウェア画像検査システムの一例を示すブロック図である。
【図２】本発明に係る一実施の形態の画像システムハードウェア構成要素シミュレーションシステムを備える画像シミュレーションシステムを示すブロック図である。
【図３】本発明に係る一実施の形態の画像シミュレーションエンジンをさらに詳細に示すブロック図である。
【図４】本発明の一実施の形態に係る合成画像を描画する方法の概要を示すフローチャートである。
【符号の説明】
１００画像シミュレーションシステム
１１４ユーザインタフェース
１２０ハードウェアインタフェース
１４０画像システムハードウェア構成要素シミュレーションシステム
１４２，１４４リンク
１４６画像検査システムシミュレーション処理サブシステム
１４８構成サブシステム
１５０外部ビュー
２００入出力インタフェース
２０２レンダリングエンジン
２０４レンズ効果エンジン
２０６照明モデル
２０８世界モデル
２１０静的モデル
２１２ステージモデル
２１４構成要素モデル
２１６レンズ系モデル
２１８メモリ

Claims

検査対象物の画像を検査することによって前記検査対象物を検査する画像検査システムであって、
前記検査対象物の画像を検査するためのハードウェア構成要素を制御する画像検査制御システムと、前記ハードウェア構成要素に代えて前記ハードウェア構成要素のエミュレーションシステムとして前記画像検査制御システムと通信可能に接続されるシミュレーションシステムとを備え、
前記シミュレーションシステムは、
前記ハードウェア構成要素に対応するように設定された仮想ステージ、仮想光学系及び仮想照明系を用い、前記検査対象物に対応する仮想ワークを前記仮想ステージに載置して前記仮想ワークをシミュレートすることにより前記検査対象物についてシミュレートされた合成画像データを生成する画像生成手段と、
前記合成画像データ又は前記合成画像データの生成条件から前記画像検査制御システムが前記ハードウェア構成要素を制御するための制御命令を生成する制御命令生成手段と、
前記制御命令を前記画像検査制御システムに送信する通信手段と、を備え、
前記画像生成手段は、前記仮想ワーク、前記仮想光学系及び前記仮想照明系の相対的な位置及び方向を関連付けて前記合成画像データを生成することを特徴とする画像検査システム。
前記仮想光学系は前記仮想ワークを見る仮想レンズ系パラメータを有し、前記仮想レンズ系パラメータは、シミュレートされたレンズ系の倍率、視野、焦点距離及び被写体深度を含むことを特徴とする請求項１記載の画像検査システム。
前記照明系は前記仮想ワークに対して照明を行う仮想照明系パラメータを有し、前記仮想照明系パラメータは、仮想光源の大きさ、前記仮想光源の前記仮想ワークに対する位置、前記仮想光源の色、前記仮想光源の種類を含むことを特徴とする請求項１又は２記載の画像検査システム。
前記シミュレーションシステムは、前記仮想レンズ系パラメータを変更する変更手段を更に備えることを特徴とする請求項２記載の画像検査システム。
前記シミュレーションシステムは、前記照明系パラメータを変更する変更手段を更に備えることを特徴とする請求項３記載の画像検査システム。
前記通信手段は、前記画像検査制御システムとは異なる別の画像検査制御システムと前記シミュレーションシステムとを通信可能に接続可能であり、
前記シミュレーションシステムは、前記別の画像検査制御システムと接続された場合に、前記別の画像検査制御システムが制御するハードウェア構成要素を制御するための制御信号を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像検査システム。
検査対象物の画像を検査するためのハードウェア構成要素を制御する画像検査制御システムと、前記ハードウェア構成要素に代えて前記ハードウェア構成要素のエミュレーションシステムとして前記画像検査制御システムと通信可能に接続されるシミュレーションシステムとを備えた画像検査システムの制御方法であって、
前記シミュレーションシステムが、前記ハードウェア構成要素に対応するように設定された仮想ステージ、仮想光学系及び仮想照明系を用い、前記検査対象物に対応する仮想ワークを前記仮想ステージに載置して前記仮想ワークをシミュレートすることにより前記検査対象物についてシミュレートされた合成画像データを生成する画像生成ステップと、
前記シミュレーションシステムが、前記合成画像データ又は前記合成画像データの生成条件から、前記画像検査制御システムが前記ハードウェア構成要素を制御するための制御命令を生成する制御命令生成ステップと、
前記制御命令を前記シミュレーションシステムから前記画像検査制御システムに送信する通信ステップと、
前記画像検査制御システムが前記制御命令によって前記ハードウェア構成要素を制御する制御ステップと、を有し、
前記画像生成ステップにおいて、前記シミュレーションシステムは、前記仮想ワーク、前記仮想光学系及び前記仮想照明系の相対的な位置及び方向を関連付けて前記合成画像データを生成することを特徴とする画像検査システムの制御方法。