JP5249445B2 - シミュレーション装置の画像データ生成装置 - Google Patents

Description

本発明は、検査カメラを使う視覚検査システムを設計する場合に用いるシミュレーション装置において使用するための画像データを生成するシミュレーション装置の画像データ生成装置に関する。

工場の生産設備等に組み込まれる視覚検査システムを設計する場合、依頼元のオーダーメイドで設計することになるので、組み込む予定の依頼元の工場で実際にテストしながら視覚検査システムを設計可能であるならば、比較的容易に設計することができる。しかし、視覚検査システムを納品する前に、依頼元の工場で設計することはかなり困難であることが多い。このため、視覚検査システムを製造販売するメーカーの実験室内でテストしたり、シミュレーション装置（シミュレータ）によりテストしたりして設計している。

特開平４−２１７４８０号公報 特開２０００−２６７７１９号公報

上記したようにして設計した視覚検査システムを依頼元の工場に納品し設置して動作させてみると、実際に検査カメラで撮影される画像と、実験室やシミュレーション装置内で検査カメラで撮影される画像とが異なるために、予定していた検査機能が発揮できなくなる場合があった。このような場合には、２度手間となってしまうが、実際の工場で再調整を行なう必要があった。

これに対して、シミュレーション装置において、その仮想空間内で依頼元の工場の設備そのものを再現する対策が考えられる。この対策を行なえば、確かに工場と同じ環境をシミュレーション装置に再現できるので、上記２度手間対策としては、ある程度効果的である。しかし、シミュレーション装置で工場設備を再現するには、工場設備の３Ｄデータ（３次元画像データ）を生成して用意する必要があり、この工場設備の３Ｄデータを生成する作業は、非常に手間のかかる作業であるため、設計時間が非常に長くなるおそれがあり、実現可能な対策とはいえない。また、シミュレーション装置で工場設備を再現できたとしても、現実の工場内の経年劣化などで発生する微細なコントラスト変化や模様変化などまでは、再現が困難であるので、この点では、実際の工場で再調整しなければならない可能性がある。特に、微細なコントラスト変化や模様変化などを再現できないことは、視覚検査システムにとっては、大きな問題となるおそれがある。尚、シミュレーション装置の例を、特許文献１、２に示す。

そこで、本発明の目的は、設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置に再現することができるシミュレーション装置の画像データ生成装置を提供することにある。

請求項１の発明によれば、現実の工場において検査カメラの設定位置からカメラで前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の２次元撮影画像を、その撮影角度データと共にシミュレーション装置に入力する手段と、検査対象のワークの３次元データを前記シミュレーション装置に入力する手段と、前記シミュレーション装置内において、前記検査カメラの位置と前記ワークの位置を設定する手段と、前記複数の２次元撮影画像の中から、前記検査カメラの撮影角度と一致する撮影角度データを有する２次元撮影画像を選択し、この選択した画像を背景画像とする手段と、前記背景画像の位置を、前記検査カメラの光軸に対して前記背景画像の平面が直交するように設定するものであって、前記検査カメラの撮影角度が変化していくときに、前記検査カメラの光軸に対する前記背景画像の平面の直交関係を維持する手段と、前記シミュレーション装置内において、前記背景画像上に前記ワークを重ねて配置したものを前記検査カメラにより撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力する手段とを備え、前記検査カメラを平行移動させる場合には、２次元背景画像も平行移動させるように設定したので、設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置に再現することができる。
また、請求項２の発明のように、前記２次元背景画像Ａｉを平行移動させる場合、上下方向、左右方向、および、奥行き方向の３方向に平行移動させることが可能な構成となっていることが好ましい。

本発明の一実施例を示すシミュレーション装置の斜視図 検査カメラと検査対象ワークと２次元背景画像との配置関係を示す図 デジカメで工場設備の２次元背景画像を撮影する様子を示す図 検査カメラの撮影角度と２次元背景画像とを対応させる関係を示す図 検査カメラの光軸と２次元背景画像の平面が直交する関係を示す図 検査カメラの撮影角度が変化したときに、光軸と２次元背景画像の平面が直交する関係が維持されることを示す図 検査カメラを平行移動させるときに、２次元背景画像も平行移動させることを示す図 検査カメラの光軸に対して２次元背景画像の平面が直交するように２次元背景画像の位置を設定する処理の制御内容を示すフローチャート 工場設備および検出対象ワークを示す斜視図 工場設備をデジカメで撮影する様子を示す図 デジカメで撮影した２次元背景画像を示す図 検出対象ワーク（３Ｄデータ）の斜視図 ２次元背景画像に検出対象ワーク（３Ｄデータ）を重ね合わせた画像を示す図

以下、本発明を視覚検査システムをシミュレートするシミュレーション装置に適用した一実施例について、図面を参照しながら説明する。本実施例のシミュレーション装置１は、図１に示すように、パソコン２と、このパソコン２にインストールされたシミュレーションプログラム（シミュレータ）３とから構成されている。

設計した視覚検査システムを上記シミュレーション装置１でシミュレートする場合、視覚検査システムを構成する視覚検査プログラム４をシミュレーション装置１（パソコン２）に取り込んでおく。そして、視覚検査システムを構成する検査カメラ５や光源６等については、予めシミュレーション装置１（パソコン２）内のプログラムを用いて仮想的にそれぞれに対応する仮想な検査カメラ５や仮想な光源６等を設けておく。検査カメラ５の位置や姿勢は、シミュレーション装置１のマウスやキーボード等で自由に設定、変更可能である。また、光源６等の条件（照度、位置、方向、色等）も、マウスやキーボード等で自由に設定、変更可能である。

更に、検査対象ワーク７については、予め３ＤＣＡＤを用いて検査対象ワーク７の３Ｄデータを作成し、この作成した３Ｄデータ（または、ワーク７の供給メーカーから提供された３Ｄデータ）をシミュレーション装置１（パソコン２）内の記憶部に取り込んでおく（入力する）。また、検査カメラ５の撮影のタイミングを指示するためのトリガー信号を出力するＰＬＣ（プログラマブルコントローラ）８をシミュレーション装置１（パソコン２）に接続する。このＰＬＣ８は、視覚検査システムを納品する工場の設備に組み込まれているＰＬＣと同じ制御機能を有している。

次に、納品する工場の設備の２次元画像データ、具体的には、検査対象ワーク７を検査カメラ５で撮影したときに検査対象ワーク７の背景となる画像（以下、２次元背景画像と称す）を準備（作成）する。この場合、図２（ａ）に示すように、２次元背景画像９ａ、９ｂ、・・・を準備したとし、これら２次元背景画像９ａ、９ｂ、・・・をシミュレーション装置１に取り込んで利用する際には、図２（ｂ）に示すように、検査カメラ５の光軸Ｌ１、Ｌ２に直交するように２次元背景画像９ａ、９ｂを配置する。尚、光軸Ｌ１の検査カメラ５の撮影位置（撮影角度）Ｐ１に２次元背景画像９ａが対応しているとし、光軸Ｌ２の検査カメラ５の撮影位置（撮影角度）Ｐ２に２次元背景画像９ｂが対応しているとする。

そして、図２（ｂ）に示すように、検査対象ワーク７の３Ｄデータを所定位置（ワーク７を配置する位置）に配置し、撮影位置（撮影角度）Ｐ１の検査カメラ５で検査対象ワーク７を撮影すると、図２（ｃ）に示すような撮影画像１０ａ（２次元背景画像９ａを背景とする画像）を撮影することができる。同様にして、撮影位置（撮影角度）Ｐ２の検査カメラ５で検査対象ワーク７を撮影すると、図２（ｃ）に示すような撮影画像１０ｂ（２次元背景画像９ｂを背景とする画像）を撮影することできる。

以下、上記撮影画像１０ａ、１０ｂが、実際の工場の設備で撮影した画像とほぼ同じような類似する画像（即ち、画像処理する上でほぼ同等の画像）となる次元背景画像９ａ、９ｂを準備（作成）する手順について、具体的に説明する。理解を容易にするために用例では２次元空間で説明を行なうが、現実では３次元空間に拡張して、同様に処理するものとする。

まず、図３に示すように、実際の工場の設備において、検査対象ワーク７の背景となる画像をデジカメ９により撮影する。この場合、撮影者１０は、検査カメラ５のカメラ設定位置Ｐから検査対象ワーク７の背景を、例えば５つの撮影ポジション１〜５で、即ち、５つの撮影角度Ｂ１〜Ｂ５で順次撮影する。そして、撮影した２次元画像Ａ１〜Ａ５と、撮影角度データＢ１〜Ｂ５とを対応させてペアで記録するように構成されている。尚、２次元画像Ａ１Ｂ１、Ａ２Ｂ２、・・・ＡｎＢｎの順で、撮影角度が増加（または減少）するように設定されている。

そして、上記したようにして準備した２次元背景画像Ａ１Ｂ１、Ａ２Ｂ２、・・・を、その撮影角度データＢ１〜Ｂ５と共にシミュレーション装置１（パソコン２）内の記憶部（ハードディスク等）に取り込む（入力する）。この場合、２次元背景画像Ａ１Ｂ１、Ａ２Ｂ２、・・・を記録したメモリカード等からメモリカードリーダを介してシミュレーション装置１に入力させると共に、撮影角度データＢ１〜Ｂ５をキーボード等を操作することにより入力させる構成となっている。

さて、上記２次元背景画像Ａ１Ｂ１、Ａ２Ｂ２、・・・と、前記した検査対象ワーク７の３Ｄデータとをシミュレーション装置１に入力させる処理が完了したら、シミュレーション装置１内において、検査カメラ５の位置と検査対象ワーク７の位置とを設定する。続いて、シミュレーション装置１内において、上記入力した２次元背景画像Ａ１Ｂ１、Ａ２Ｂ２、・・・の中から、検査カメラ５の撮影角度と一致する撮影角度データを有する２次元撮影画像を選択し、この選択した画像を背景画像として設定する処理を実行する。

具体的には、図４に示すように、検査カメラ５の撮影角度Ｃが撮影角度データＢ１と一致したら、２次元背景画像Ａ１を背景画像として設定する。同様にして、検査カメラ５の撮影角度Ｃが撮影角度データＢ２と一致したら、２次元背景画像Ａ２を背景画像として設定し、検査カメラ５の撮影角度Ｃが撮影角度データＢ３と一致したら、２次元背景画像Ａ３を背景画像として設定し、検査カメラ５の撮影角度Ｃが撮影角度データＢ４と一致したら、２次元背景画像Ａ４を背景画像として設定し、検査カメラ５の撮影角度Ｃが撮影角度データＢ５と一致したら、２次元背景画像Ａ５を背景画像として設定する。

また、検査カメラ５の撮影角度Ｃが撮影角度データＢ１と一致しない場合であっても、撮影角度データＢ１と撮影角度データＢ２の中間の角度までの間は、２次元背景画像Ａ１を背景画像として設定し、上記中間の角度を越えたら、２次元背景画像Ａ２を背景画像として設定する。即ち、
（Ｂ（ｉ−１）＋Ｂｉ）／２＜Ｃ≦（Ｂｉ＋Ｂ（ｉ＋１））／２
であるときには、２次元背景画像Ａｉを背景画像として設定するように構成されている。この背景画像の設定例を図４に示す。

即ち、検査カメラ５の撮影角度Ｃが図４中の角度Ｃ１内であるとき、２次元背景画像Ａ１を設定し、撮影角度Ｃが図４中の角度Ｃ２内であるとき、２次元背景画像Ａ２を設定し、撮影角度Ｃが図４中の角度Ｃ３内であるとき、２次元背景画像Ａ３を設定し、撮影角度Ｃが図４中の角度Ｃ４内であるとき、２次元背景画像Ａ４を設定し、撮影角度Ｃが図４中の角度Ｃ５内であるとき、２次元背景画像Ａ５を設定する。

そして、図５に示すように、検査カメラ５の光軸１１に対して２次元背景画像Ａｉの平面が直交するように、２次元背景画像Ａｉの位置を設定している。更に、図６に示すように、検査カメラ５５の撮影角度が変化していくときに、検査カメラ５の光軸１１に対する２次元背景画像Ａｉの平面の直交関係を維持するように構成されている。例えば、検査カメラ５の撮影角度Ｃが図４中の角度Ｃ１内であるときは、同じ２次元背景画像Ａ１を設定し続けるが、このとき、図６に示すように、検査カメラ５５の撮影角度Ｃが角度Ｃ１内で変化していくときに、検査カメラ５の光軸１１に対する２次元背景画像Ａ１の平面の直交関係を維持するように設定している。

尚、検査カメラ５の撮影角度Ｃが図４中の角度Ｃｉ内であるときに、同じ２次元背景画像Ａｉを設定し続ける理由は、検査カメラ５の撮影角度Ｃが角度Ｃｉ内であれば、検査対象ワーク７の背景は、あまり変化しないことから、同じ２次元背景画像Ａｉを設定し続けても、ほとんど支障がない。特に、画像処理する対象は、検査対象ワーク７であることから、検査対象ワーク７の画像が正確であれば、背景画像が少し正確でなかったとしても、問題が発生することはない。つまり、背景は、しょせん背景であり、それぼど正確でなくても良いのである。そして、この場合、用意する２次元背景画像としては５つの２次元背景画像Ａ１〜Ａ５だけであるから、用意する画像のデータ量を大幅に少なくすることができ、しかも、画像処理を十分正確に実行することができる。従って、画像データを用意する手間を大幅に少なくすることができながら、十分な効果を得ることができる。

また、検査カメラ５（のカメラ視点）を平行移動させる場合には、図７に示すように、２次元背景画像Ａｉも平行移動させるように設定する。この場合、上下方向、左右方向、および、奥行き方向の３方向に平行移動させることが可能なように構成されている。

次に、シミュレーション装置１において、検査カメラ５の光軸１１に対して２次元背景画像Ａｉの平面が直交するように２次元背景画像Ａｉを設定する処理の一例の制御内容について、図８のフローチャートを参照して説明する。まず、ステップＳ１０においては、準備した２次元背景画像Ａｉと、その撮影角度データＢｉとをシミュレーション装置１（パソコン２）内の記憶部に登録（入力）する。この場合、２次元背景画像Ａｉおよび撮影角度データＢｉのペアの登録数をｎとする（従って、ｉ＝１、・・・、ｎ）。

続いて、ステップＳ２０へ進み、撮影角度データＢｉを基準にして２次元背景画像Ａｉをソートする（Ａ１Ｂ１、Ａ２Ｂ２、・・・、ＡｎＢｎ）。この場合、説明上、昇順とするが、降順でも良い。そして、ステップＳ３０へ進み、検査カメラ５の位置を設定し、検査カメラ５の撮影角度（カメラ視点角度）Ｃを取得する。

次いで、ステップＳ４０へ進み、撮影角度Ｃが撮影角度データＢ１よりも小さいか否かを判断する。ここで、撮影角度Ｃが撮影角度データＢ１よりも小さいときには、「ＹＥＳ」へ進み、ステップＳ１３０へ進み、設定する画像Ｇとして２次元背景画像Ａ１を設定する。

一方、ステップＳ４０において、撮影角度Ｃが撮影角度データＢ１よりも小さくないときには、「ＮＯ」へ進み、ステップＳ５０へ進み、変数ｉに「０」をセットする。続いて、ステップＳ６０へ進み、
（Ｂ（ｉ−１）＋Ｂｉ）／２＜Ｃ≦（Ｂｉ＋Ｂ（ｉ＋１））／２
が成立するか否かを判断する。ここで、上記式が成立するときには、「ＹＥＳ」へ進み、ステップＳ１４０へ進み、設定する画像Ｇとして２次元背景画像Ａｉを設定する。

また、ステップＳ６０において、上記式が成立しないときには、「ＮＯ」へ進み、ステップＳ７０へ進み、変数ｉをカウントアップ（＋１）する。そして、ステップＳ８０へ進み、変数ｉがｎよりも小さいか否かを判断し、ここで、変数ｉがｎよりも小さいときには、「ＹＥＳ」へ進み、ステップＳ６０へ戻り、同じ処理を繰り返す。一方、ステップＳ８０において、変数ｉがｎよりも小さくないときには、「ＮＯ」へ進み、ステップＳ９０へ進み、設定する画像Ｇとして２次元背景画像Ａｎを設定する。

この後、ステップＳ１００へ進み、図５に示すように、検査カメラ５の視点から延びる光軸１１の逆向きベクトル（Ｖ）を算出する。そして、ステップＳ１１０へ進み、法線が逆向きベクトル（Ｖ）となる平面Ｐを作成する。続いて、ステップＳ１２０へ進み、上記平面Ｐに画像Ｇ（即ち、２次元背景画像Ａｉ）を貼り付ける。これにより、検査カメラ５の光軸１１に対して２次元背景画像Ａｉの平面が直交するように２次元背景画像Ａｉの位置を設定する処理が完了する。

尚、本シミュレーション装置１の画面で環境光等の調整が必要であれば、その調整を行なう。
そして、次の処理ステップでは、本シミュレーション装置１で設備動作を記述する。

更に、次の処理ステップでは、本シミュレーション装置１において、設備動作シミュレーションを開始する。
続いて、次の処理ステップでは、仮想空間内の映像を、外部トリガー入力のタイミングで検査カメラ５により撮影する。

そして、次の処理ステップでは、撮影した画像データを視覚検査プログラムに出力する。
更に、次の処理ステップでは、視覚検査プログラムを実行し、画像処理を行なう。

さて、上述した本実施例のシミュレーション装置１用の２次元背景画像Ａｉを作成する処理並びにシミュレーション装置１の動作の一例について、図９ないし図１３を参照して説明する。

この一例では、図９に示すように、実在する工場の対象設備Ｔにおいて、丸印で示す位置に検査対象ワーク７（３Ｄデータからなる仮想ワーク）を置き、画像処理によってワーク７の欠品を検査する視覚検査システムを設計する。この場合、検査対象ワーク７の画像処理に最も適した検査カメラ５の位置を、実際に画像処理した結果から決定する処理を行なう。

まず、図１０（ａ）に示すように、実在する工場の対象設備Ｔについて、デジカメ９を使用して５つの位置（０）〜（４）から撮影し、５枚の２次元背景画像Ａ１〜Ａ５（図１１参照）を取得する。尚、５つの位置（０）〜（４）のうち、位置（０）は、ＸＹ平面に垂直でＸＹ軸の交点の位置であり、位置（１）〜（４）は、それぞれＸＹ平面上の４５度、１３５度、−１３５度、−４５度の位置であり（図１０（ｂ）参照）、且つ、高さ方向がＸＺ平面での４５度の位置である（図１０（ｃ）参照）。

次に、上記撮影した２次元背景画像Ａ１〜Ａ５と、撮影条件の情報（撮影角度データ）とをペアでシミュレーション装置１内の記憶部に登録する（図１１参照）。そして、設計上の検査対象ワーク７の３Ｄデータ（図１２参照）を用意し、これをシミュレーション装置１内の記憶部に取り込む（登録する）。

この後、シミュレーション装置１において、検査カメラ５の位置および撮影角度に対応させて、２次元背景画像Ａ１〜Ａ５と検査対象ワーク７の３Ｄデータとを重ね合わせて、検査カメラ５による撮影画像を仮想空間内で擬似的に（計算により）作成する。図１３に、検査カメラ５による撮影画像の作成例Ｂ１〜Ｂ５を示す。尚、図１３において、符号（０）〜（４）は、５つの位置（撮影角度）（０）〜（４）に対応している。

そして、上記したようにして作成した撮影画像Ｂ１〜Ｂ５を視覚検査プログラムに与えて、該視覚検査プログラムにより画像処理を実行するように構成されている。
このような構成の本実施例によれば、現実の工場において検査カメラ５の設定位置からデジカメにより前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の２次元撮影画像Ａｉを、その撮影角度データＢｉと共にシミュレーション装置１に入力ｓｉ、検査対象のワーク７の３次元データをシミュレーション装置１に入力し、シミュレーション装置１内において検査カメラ５の位置とワーク７の位置を設定し、複数の２次元撮影画像Ａｉの中から、検査カメラ５の撮影角度と一致する撮影角度データＢｉを有する２次元撮影画像Ａｉを選択し、この選択した画像を背景画像とし、この背景画像の位置を、検査カメラ５の光軸に対して背景画像の平面が直交するように設定するものであって、検査カメラ５の撮影角度が変化していくときに、検査カメラ５の光軸に対する背景画像の平面の直交関係を維持するようにし、そして、シミュレーション装置１内において、背景画像上にワーク７の３Ｄデータを重ねて配置したものを検査カメラ５により撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力するように構成したので、視覚検査システムの設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置１に容易に再現することができる。

また、上記実施例においては、検査カメラ５の撮影角度Ｃが撮影角度データＢ１と一致しない場合であっても、撮影角度データＢ１と撮影角度データＢ２の中間の角度までの間は、２次元背景画像Ａ１を背景画像として設定し、上記中間の角度を越えたら、２次元背景画像Ａ２を背景画像として設定する。即ち、
（Ｂ（ｉ−１）＋Ｂｉ）／２＜Ｃ≦（Ｂｉ＋Ｂ（ｉ＋１））／２
であるときには、２次元背景画像Ａｉを背景画像として設定するように構成したので、用意する２次元背景画像としては５つの２次元背景画像Ａ１〜Ａ５だけであるから、用意する画像のデータ量を大幅に少なくすることができ、しかも、画像処理を十分正確に実行することができる。

図面中、１はシミュレーション装置、２はパソコン、３はシミュレーションプログラム、４は視覚検査プログラム、５は検査カメラ、６は光源、７は検査対象ワーク、８はＰＬＣ、９はデジカメ、１０は撮影者、１１は光軸を示す。

Claims (2)

1. 現実の工場において検査カメラの設定位置からカメラで前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の２次元撮影画像を、その撮影角度データと共にシミュレーション装置に入力する手段と、
   検査対象のワークの３次元データを前記シミュレーション装置に入力する手段と、
   前記シミュレーション装置内において、前記検査カメラの位置と前記ワークの位置を設定する手段と、
   前記複数の２次元撮影画像の中から、前記検査カメラの撮影角度と一致する撮影角度データを有する２次元撮影画像を選択し、この選択した画像を背景画像とする手段と、
   前記背景画像の位置を、前記検査カメラの光軸に対して前記背景画像の平面が直交するように設定するものであって、前記検査カメラの撮影角度が変化していくときに、前記検査カメラの光軸に対する前記背景画像の平面の直交関係を維持する手段と、
   前記シミュレーション装置内において、前記背景画像上に前記ワークを重ねて配置したものを前記検査カメラにより撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力する手段とを備え、
   前記検査カメラを平行移動させる場合には、２次元背景画像も平行移動させるように設定することを特徴とするシミュレーション装置の画像データ生成装置。
2. 前記２次元背景画像Ａｉを平行移動させる場合、上下方向、左右方向、および、奥行き方向の３方向に平行移動させることが可能な構成となっていることを特徴とする請求項１記載のシミュレーション装置の画像データ生成装置。
   

Images