JP5243635B2 - Image data generation apparatus for simulation apparatus - Google Patents
Image data generation apparatus for simulation apparatus Download PDFInfo
- Publication number
- JP5243635B2 JP5243635B2 JP2012071507A JP2012071507A JP5243635B2 JP 5243635 B2 JP5243635 B2 JP 5243635B2 JP 2012071507 A JP2012071507 A JP 2012071507A JP 2012071507 A JP2012071507 A JP 2012071507A JP 5243635 B2 JP5243635 B2 JP 5243635B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- inspection camera
- dimensional
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
本発明は、検査カメラを使う視覚検査システムを設計する場合に用いるシミュレーション装置において使用するための画像データを生成するシミュレーション装置の画像データ生成装置に関する。 The present invention relates to an image data generation apparatus of a simulation apparatus that generates image data for use in a simulation apparatus used when designing a visual inspection system using an inspection camera.
工場の生産設備等に組み込まれる視覚検査システムを設計する場合、依頼元のオーダーメイドで設計することになるので、組み込む予定の依頼元の工場で実際にテストしながら視覚検査システムを設計可能であるならば、比較的容易に設計することができる。しかし、視覚検査システムを納品する前に、依頼元の工場で設計することはかなり困難であることが多い。このため、視覚検査システムを製造販売するメーカーの実験室内でテストしたり、シミュレーション装置（シミュレータ）によりテストしたりして設計している。 When designing a visual inspection system to be built into a production facility of a factory, it will be designed by the requester's tailor-made, so it is possible to design a visual inspection system while actually testing at the factory of the requester who plans to incorporate it. If so, it can be designed relatively easily. However, it is often quite difficult to design at the requesting factory before delivering the visual inspection system. For this reason, the visual inspection system is designed by testing in the laboratory of the manufacturer that manufactures and sells, or by testing with a simulation device (simulator).
上記したようにして設計した視覚検査システムを依頼元の工場に納品し設置して動作させてみると、実際に検査カメラで撮影される画像と、実験室やシミュレーション装置内で検査カメラで撮影される画像とが異なるために、予定していた検査機能が発揮できなくなる場合があった。このような場合には、２度手間となってしまうが、実際の工場で再調整を行なう必要があった。 When the visual inspection system designed as described above is delivered to the requesting factory, installed, and operated, the image actually taken with the inspection camera and the image taken with the inspection camera in the laboratory or simulation device are taken. In some cases, the planned inspection function could not be performed due to the difference in the image. In such a case, it would be troublesome twice, but it was necessary to readjust at the actual factory.
これに対して、シミュレーション装置において、その仮想空間内で依頼元の工場の設備そのものを再現する対策が考えられる。この対策を行なえば、確かに工場と同じ環境をシミュレーション装置に再現できるので、上記２度手間対策としては、ある程度効果的である。しかし、シミュレーション装置で工場設備を再現するには、工場設備の３Ｄデータ（３次元画像データ）を生成して用意する必要があり、この工場設備の３Ｄデータを生成する作業は、非常に手間のかかる作業であるため、設計時間が非常に長くなるおそれがあり、実現可能な対策とはいえない。また、シミュレーション装置で工場設備を再現できたとしても、現実の工場内の経年劣化などで発生する微細なコントラスト変化や模様変化などまでは、再現が困難であるので、この点では、実際の工場で再調整しなければならない可能性がある。特に、微細なコントラスト変化や模様変化などを再現できないことは、視覚検査システムにとっては、大きな問題となるおそれがある。尚、シミュレーション装置の例を、特許文献１、２に示す。
On the other hand, in the simulation apparatus, a countermeasure for reproducing the facility itself of the requesting factory in the virtual space can be considered. If this countermeasure is taken, the same environment as the factory can be reproduced in the simulation device, so that it is effective to some extent as the above-mentioned two-time countermeasure. However, in order to reproduce factory equipment with a simulation device, it is necessary to prepare and prepare 3D data (3D image data) of the factory equipment, and the work of generating 3D data of this factory equipment is very laborious. Since this is an operation, the design time may become very long, which is not a feasible measure. Even if the factory equipment can be reproduced with a simulation device, it is difficult to reproduce fine contrast changes and pattern changes that occur due to aging in the actual factory. May need to be readjusted. In particular, the inability to reproduce fine contrast changes, pattern changes, and the like can be a major problem for visual inspection systems. Examples of simulation apparatuses are shown in
そこで、本発明の目的は、設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置に再現することができるシミュレーション装置の画像データ生成装置を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image data generation device of a simulation device that can reproduce an environment similar to a factory at a delivery destination in a simulation device without lengthening the design time.
請求項１の発明によれば、現実の工場において検査カメラの設定位置からカメラで前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の２次元撮影画像を、その撮影角度データと共にシミュレーション装置に入力する手段と、検査対象のワークの３次元データを前記シミュレーション装置に入力する手段と、前記シミュレーション装置内において、前記検査カメラの位置と前記ワークの位置を設定する手段と、前記複数の２次元撮影画像の中から、前記検査カメラの撮影角度と一致する撮影角度データを有する２次元撮影画像を選択し、この選択した画像を背景画像とする手段と、前記背景画像の位置を、前記検査カメラの光軸に対して前記背景画像の平面が直交するように設定するものであって、前記検査カメラの撮影角度が変化していくときに、前記検査カメラの光軸に対する前記背景画像の平面の直交関係を維持する手段と、前記シミュレーション装置内において、前記背景画像上に前記ワークを重ねて配置したものを前記検査カメラにより撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力する手段とを備えたので、設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置に再現することができる。そして、請求項１の発明によれば、前記複数の２次元撮影画像の中に前記検査カメラの撮影角度と一致する撮影角度データがない場合には、前記検査カメラの撮影角度が、ｉ番目の撮影角度データと（ｉ＋１）番目の撮影角度データの中間の角度までの間は、ｉ番目の２次元背景画像を背景画像として設定し、上記中間の角度を越えたら、（ｉ＋１）番目の２次元背景画像を背景画像として設定したので、用意する画像のデータ量を大幅に少なくすることができる。 According to the first aspect of the present invention, a plurality of two-dimensional photographed images obtained by photographing the background of the factory with a plurality of photographing angles from the set position of the inspection camera in the actual factory, respectively, are obtained as the photographing angle data. And means for inputting to the simulation apparatus, means for inputting the three-dimensional data of the work to be inspected to the simulation apparatus, means for setting the position of the inspection camera and the position of the work in the simulation apparatus, A two-dimensional photographed image having photographing angle data that matches the photographing angle of the inspection camera is selected from a plurality of two-dimensional photographed images, and means for setting the selected image as a background image; and the position of the background image The setting is made so that the plane of the background image is orthogonal to the optical axis of the inspection camera, and the photographing angle of the inspection camera Means for maintaining the orthogonal relationship of the plane of the background image with respect to the optical axis of the inspection camera when changing, and the inspection apparatus in which the workpiece is arranged on the background image in the simulation apparatus Since the image obtained by photographing with a camera is obtained by calculation, and the means for outputting the obtained image as an inspection camera image is provided, a simulation device that simulates an environment similar to the factory of the delivery destination without lengthening the design time Can be reproduced. According to the first aspect of the present invention, when there is no shooting angle data that matches the shooting angle of the inspection camera in the plurality of two-dimensional shot images, the shooting angle of the inspection camera is the i th The i-th two-dimensional background image is set as the background image until the intermediate angle between the shooting angle data and the (i + 1) -th shooting angle data, and when the intermediate angle is exceeded, the (i + 1) -th two-dimensional Since the background image is set as the background image, the data amount of the prepared image can be greatly reduced.
以下、本発明を視覚検査システムをシミュレートするシミュレーション装置に適用した一実施例について、図面を参照しながら説明する。本実施例のシミュレーション装置１は、図１に示すように、パソコン２と、このパソコン２にインストールされたシミュレーションプログラム（シミュレータ）３とから構成されている。
Hereinafter, an embodiment in which the present invention is applied to a simulation apparatus for simulating a visual inspection system will be described with reference to the drawings. As shown in FIG. 1, the
設計した視覚検査システムを上記シミュレーション装置１でシミュレートする場合、視覚検査システムを構成する視覚検査プログラム４をシミュレーション装置１（パソコン２）に取り込んでおく。そして、視覚検査システムを構成する検査カメラ５や光源６等については、予めシミュレーション装置１（パソコン２）内のプログラムを用いて仮想的にそれぞれに対応する仮想な検査カメラ５や仮想な光源６等を設けておく。検査カメラ５の位置や姿勢は、シミュレーション装置１のマウスやキーボード等で自由に設定、変更可能である。また、光源６等の条件（照度、位置、方向、色等）も、マウスやキーボード等で自由に設定、変更可能である。
When the designed visual inspection system is simulated by the
更に、検査対象ワーク７については、予め３ＤＣＡＤを用いて検査対象ワーク７の３Ｄデータを作成し、この作成した３Ｄデータ（または、ワーク７の供給メーカーから提供された３Ｄデータ）をシミュレーション装置１（パソコン２）内の記憶部に取り込んでおく（入力する）。また、検査カメラ５の撮影のタイミングを指示するためのトリガー信号を出力するＰＬＣ（プログラマブルコントローラ）８をシミュレーション装置１（パソコン２）に接続する。このＰＬＣ８は、視覚検査システムを納品する工場の設備に組み込まれているＰＬＣと同じ制御機能を有している。
Furthermore, for the inspection target workpiece 7, 3D data of the inspection target workpiece 7 is created in advance using 3D CAD, and the created 3D data (or 3D data provided by the supplier of the workpiece 7) is used as the simulation device 1 ( The data is taken in (input) to the storage unit in the personal computer 2). In addition, a PLC (programmable controller) 8 that outputs a trigger signal for instructing the timing of photographing by the
次に、納品する工場の設備の２次元画像データ、具体的には、検査対象ワーク７を検査カメラ５で撮影したときに検査対象ワーク７の背景となる画像（以下、２次元背景画像と称す）を準備（作成）する。この場合、図２（ａ）に示すように、２次元背景画像９ａ、９ｂ、・・・を準備したとし、これら２次元背景画像９ａ、９ｂ、・・・をシミュレーション装置１に取り込んで利用する際には、図２（ｂ）に示すように、検査カメラ５の光軸Ｌ１、Ｌ２に直交するように２次元背景画像９ａ、９ｂを配置する。尚、光軸Ｌ１の検査カメラ５の撮影位置（撮影角度）Ｐ１に２次元背景画像９ａが対応しているとし、光軸Ｌ２の検査カメラ５の撮影位置（撮影角度）Ｐ２に２次元背景画像９ｂが対応しているとする。
Next, two-dimensional image data of the factory equipment to be delivered, specifically, an image (hereinafter referred to as a two-dimensional background image) that becomes the background of the inspection target workpiece 7 when the inspection target workpiece 7 is photographed by the inspection camera 5. ) Is prepared (created). In this case, as shown in FIG. 2A, it is assumed that two-
そして、図２（ｂ）に示すように、検査対象ワーク７の３Ｄデータを所定位置（ワーク７を配置する位置）に配置し、撮影位置（撮影角度）Ｐ１の検査カメラ５で検査対象ワーク７を撮影すると、図２（ｃ）に示すような撮影画像１０ａ（２次元背景画像９ａを背景とする画像）を撮影することができる。同様にして、撮影位置（撮影角度）Ｐ２の検査カメラ５で検査対象ワーク７を撮影すると、図２（ｃ）に示すような撮影画像１０ｂ（２次元背景画像９ｂを背景とする画像）を撮影することできる。
Then, as shown in FIG. 2B, the 3D data of the inspection target workpiece 7 is arranged at a predetermined position (position where the workpiece 7 is arranged), and the inspection target workpiece 7 is detected by the
以下、上記撮影画像１０ａ、１０ｂが、実際の工場の設備で撮影した画像とほぼ同じような類似する画像（即ち、画像処理する上でほぼ同等の画像）となる次元背景画像９ａ、９ｂを準備（作成）する手順について、具体的に説明する。理解を容易にするために用例では２次元空間で説明を行なうが、現実では３次元空間に拡張して、同様に処理するものとする。
In the following,
まず、図３に示すように、実際の工場の設備において、検査対象ワーク７の背景となる画像をデジカメ９により撮影する。この場合、撮影者１０は、検査カメラ５のカメラ設定位置Ｐから検査対象ワーク７の背景を、例えば５つの撮影ポジション１〜５で、即ち、５つの撮影角度Ｂ１〜Ｂ５で順次撮影する。そして、撮影した２次元画像Ａ１〜Ａ５と、撮影角度データＢ１〜Ｂ５とを対応させてペアで記録するように構成されている。尚、２次元画像Ａ１Ｂ１、Ａ２Ｂ２、・・・ＡｎＢｎの順で、撮影角度が増加（または減少）するように設定されている。
First, as shown in FIG. 3, an image serving as the background of the work 7 to be inspected is taken with a
そして、上記したようにして準備した２次元背景画像Ａ１Ｂ１、Ａ２Ｂ２、・・・を、その撮影角度データＢ１〜Ｂ５と共にシミュレーション装置１（パソコン２）内の記憶部（ハードディスク等）に取り込む（入力する）。この場合、２次元背景画像Ａ１Ｂ１、Ａ２Ｂ２、・・・を記録したメモリカード等からメモリカードリーダを介してシミュレーション装置１に入力させると共に、撮影角度データＢ１〜Ｂ５をキーボード等を操作することにより入力させる構成となっている。
Then, the two-dimensional background images A1B1, A2B2,... Prepared as described above are taken (input) together with the photographing angle data B1 to B5 into a storage unit (hard disk or the like) in the simulation apparatus 1 (personal computer 2). ). In this case, the two-dimensional background images A1B1, A2B2,... Are input to the
さて、上記２次元背景画像Ａ１Ｂ１、Ａ２Ｂ２、・・・と、前記した検査対象ワーク７の３Ｄデータとをシミュレーション装置１に入力させる処理が完了したら、シミュレーション装置１内において、検査カメラ５の位置と検査対象ワーク７の位置とを設定する。続いて、シミュレーション装置１内において、上記入力した２次元背景画像Ａ１Ｂ１、Ａ２Ｂ２、・・・の中から、検査カメラ５の撮影角度と一致する撮影角度データを有する２次元撮影画像を選択し、この選択した画像を背景画像として設定する処理を実行する。
When the processing for inputting the two-dimensional background images A1B1, A2B2,... And the 3D data of the inspection target work 7 to the
具体的には、図４に示すように、検査カメラ５の撮影角度Ｃが撮影角度データＢ１と一致したら、２次元背景画像Ａ１を背景画像として設定する。同様にして、検査カメラ５の撮影角度Ｃが撮影角度データＢ２と一致したら、２次元背景画像Ａ２を背景画像として設定し、検査カメラ５の撮影角度Ｃが撮影角度データＢ３と一致したら、２次元背景画像Ａ３を背景画像として設定し、検査カメラ５の撮影角度Ｃが撮影角度データＢ４と一致したら、２次元背景画像Ａ４を背景画像として設定し、検査カメラ５の撮影角度Ｃが撮影角度データＢ５と一致したら、２次元背景画像Ａ５を背景画像として設定する。
Specifically, as shown in FIG. 4, when the shooting angle C of the
また、検査カメラ５の撮影角度Ｃが撮影角度データＢ１と一致しない場合であっても、撮影角度データＢ１と撮影角度データＢ２の中間の角度までの間は、２次元背景画像Ａ１を背景画像として設定し、上記中間の角度を越えたら、２次元背景画像Ａ２を背景画像として設定する。即ち、
（Ｂ（ｉ−１）＋Ｂｉ）／２＜Ｃ≦（Ｂｉ＋Ｂ（ｉ＋１））／２
であるときには、２次元背景画像Ａｉを背景画像として設定するように構成されている。この背景画像の設定例を図４に示す。
Even if the shooting angle C of the
(B (i−1) + Bi) / 2 <C ≦ (Bi + B (i + 1)) / 2
Is set so that the two-dimensional background image Ai is set as the background image. An example of setting the background image is shown in FIG.
即ち、検査カメラ５の撮影角度Ｃが図４中の角度Ｃ１内であるとき、２次元背景画像Ａ１を設定し、撮影角度Ｃが図４中の角度Ｃ２内であるとき、２次元背景画像Ａ２を設定し、撮影角度Ｃが図４中の角度Ｃ３内であるとき、２次元背景画像Ａ３を設定し、撮影角度Ｃが図４中の角度Ｃ４内であるとき、２次元背景画像Ａ４を設定し、撮影角度Ｃが図４中の角度Ｃ５内であるとき、２次元背景画像Ａ５を設定する。
That is, when the photographing angle C of the
そして、図５に示すように、検査カメラ５の光軸１１に対して２次元背景画像Ａｉの平面が直交するように、２次元背景画像Ａｉの位置を設定している。更に、図６に示すように、検査カメラ５５の撮影角度が変化していくときに、検査カメラ５の光軸１１に対する２次元背景画像Ａｉの平面の直交関係を維持するように構成されている。例えば、検査カメラ５の撮影角度Ｃが図４中の角度Ｃ１内であるときは、同じ２次元背景画像Ａ１を設定し続けるが、このとき、図６に示すように、検査カメラ５５の撮影角度Ｃが角度Ｃ１内で変化していくときに、検査カメラ５の光軸１１に対する２次元背景画像Ａ１の平面の直交関係を維持するように設定している。
Then, as shown in FIG. 5, the position of the two-dimensional background image Ai is set so that the plane of the two-dimensional background image Ai is orthogonal to the
尚、検査カメラ５の撮影角度Ｃが図４中の角度Ｃｉ内であるときに、同じ２次元背景画像Ａｉを設定し続ける理由は、検査カメラ５の撮影角度Ｃが角度Ｃｉ内であれば、検査対象ワーク７の背景は、あまり変化しないことから、同じ２次元背景画像Ａｉを設定し続けても、ほとんど支障がない。特に、画像処理する対象は、検査対象ワーク７であることから、検査対象ワーク７の画像が正確であれば、背景画像が少し正確でなかったとしても、問題が発生することはない。つまり、背景は、しょせん背景であり、それぼど正確でなくても良いのである。そして、この場合、用意する２次元背景画像としては５つの２次元背景画像Ａ１〜Ａ５だけであるから、用意する画像のデータ量を大幅に少なくすることができ、しかも、画像処理を十分正確に実行することができる。従って、画像データを用意する手間を大幅に少なくすることができながら、十分な効果を得ることができる。
The reason why the same two-dimensional background image Ai is continuously set when the imaging angle C of the
また、検査カメラ５（のカメラ視点）を平行移動させる場合には、図７に示すように、２次元背景画像Ａｉも平行移動させるように設定する。この場合、上下方向、左右方向、および、奥行き方向の３方向に平行移動させることが可能なように構成されている。 In addition, when the inspection camera 5 (camera viewpoint) is moved in parallel, the two-dimensional background image Ai is set to move in parallel as shown in FIG. In this case, it is configured such that it can be translated in three directions: the vertical direction, the horizontal direction, and the depth direction.
次に、シミュレーション装置１において、検査カメラ５の光軸１１に対して２次元背景画像Ａｉの平面が直交するように２次元背景画像Ａｉを設定する処理の一例の制御内容について、図８のフローチャートを参照して説明する。まず、ステップＳ１０においては、準備した２次元背景画像Ａｉと、その撮影角度データＢｉとをシミュレーション装置１（パソコン２）内の記憶部に登録（入力）する。この場合、２次元背景画像Ａｉおよび撮影角度データＢｉのペアの登録数をｎとする（従って、ｉ＝１、・・・、ｎ）。
Next, in the
続いて、ステップＳ２０へ進み、撮影角度データＢｉを基準にして２次元背景画像Ａｉをソートする（Ａ１Ｂ１、Ａ２Ｂ２、・・・、ＡｎＢｎ）。この場合、説明上、昇順とするが、降順でも良い。そして、ステップＳ３０へ進み、検査カメラ５の位置を設定し、検査カメラ５の撮影角度（カメラ視点角度）Ｃを取得する。
Subsequently, the process proceeds to step S20, where the two-dimensional background image Ai is sorted with reference to the shooting angle data Bi (A1B1, A2B2,..., AnBn). In this case, ascending order is used for explanation, but descending order may be used. In step S30, the position of the
次いで、ステップＳ４０へ進み、撮影角度Ｃが撮影角度データＢ１よりも小さいか否かを判断する。ここで、撮影角度Ｃが撮影角度データＢ１よりも小さいときには、「ＹＥＳ」へ進み、ステップＳ１３０へ進み、設定する画像Ｇとして２次元背景画像Ａ１を設定する。 Next, the process proceeds to step S40, and it is determined whether or not the shooting angle C is smaller than the shooting angle data B1. Here, when the shooting angle C is smaller than the shooting angle data B1, the process proceeds to “YES”, the process proceeds to step S130, and the two-dimensional background image A1 is set as the image G to be set.
一方、ステップＳ４０において、撮影角度Ｃが撮影角度データＢ１よりも小さくないときには、「ＮＯ」へ進み、ステップＳ５０へ進み、変数ｉに「０」をセットする。続いて、ステップＳ６０へ進み、
（Ｂ（ｉ−１）＋Ｂｉ）／２＜Ｃ≦（Ｂｉ＋Ｂ（ｉ＋１））／２
が成立するか否かを判断する。ここで、上記式が成立するときには、「ＹＥＳ」へ進み、ステップＳ１４０へ進み、設定する画像Ｇとして２次元背景画像Ａｉを設定する。
On the other hand, when the shooting angle C is not smaller than the shooting angle data B1 in step S40, the process proceeds to “NO”, the process proceeds to step S50, and “0” is set to the variable i. Then, it progresses to step S60,
(B (i−1) + Bi) / 2 <C ≦ (Bi + B (i + 1)) / 2
Whether or not is satisfied is determined. Here, when the above equation is established, the process proceeds to “YES”, and the process proceeds to step S140, where the two-dimensional background image Ai is set as the image G to be set.
また、ステップＳ６０において、上記式が成立しないときには、「ＮＯ」へ進み、ステップＳ７０へ進み、変数ｉをカウントアップ（＋１）する。そして、ステップＳ８０へ進み、変数ｉがｎよりも小さいか否かを判断し、ここで、変数ｉがｎよりも小さいときには、「ＹＥＳ」へ進み、ステップＳ６０へ戻り、同じ処理を繰り返す。一方、ステップＳ８０において、変数ｉがｎよりも小さくないときには、「ＮＯ」へ進み、ステップＳ９０へ進み、設定する画像Ｇとして２次元背景画像Ａｎを設定する。 In step S60, when the above equation is not satisfied, the process proceeds to “NO”, and the process proceeds to step S70, where the variable i is counted up (+1). Then, the process proceeds to step S80 to determine whether or not the variable i is smaller than n. If the variable i is smaller than n, the process proceeds to “YES”, returns to step S60, and repeats the same process. On the other hand, when the variable i is not smaller than n in step S80, the process proceeds to “NO”, and the process proceeds to step S90, where the two-dimensional background image An is set as the image G to be set.
この後、ステップＳ１００へ進み、図５に示すように、検査カメラ５の視点から延びる光軸１１の逆向きベクトル（Ｖ）を算出する。そして、ステップＳ１１０へ進み、法線が逆向きベクトル（Ｖ）となる平面Ｐを作成する。続いて、ステップＳ１２０へ進み、上記平面Ｐに画像Ｇ（即ち、２次元背景画像Ａｉ）を貼り付ける。これにより、検査カメラ５の光軸１１に対して２次元背景画像Ａｉの平面が直交するように２次元背景画像Ａｉの位置を設定する処理が完了する。
Thereafter, the process proceeds to step S100, and the reverse vector (V) of the
尚、本シミュレーション装置１の画面で環境光等の調整が必要であれば、その調整を行なう。
そして、次の処理ステップでは、本シミュレーション装置１で設備動作を記述する。
If adjustment of ambient light or the like is necessary on the screen of the
In the next processing step, the equipment operation is described by the
更に、次の処理ステップでは、本シミュレーション装置１において、設備動作シミュレーションを開始する。
続いて、次の処理ステップでは、仮想空間内の映像を、外部トリガー入力のタイミングで検査カメラ５により撮影する。
Further, in the next processing step, the equipment operation simulation is started in the
Subsequently, in the next processing step, an image in the virtual space is captured by the
そして、次の処理ステップでは、撮影した画像データを視覚検査プログラムに出力する。
更に、次の処理ステップでは、視覚検査プログラムを実行し、画像処理を行なう。
In the next processing step, the captured image data is output to the visual inspection program.
Further, in the next processing step, a visual inspection program is executed to perform image processing.
さて、上述した本実施例のシミュレーション装置１用の２次元背景画像Ａｉを作成する処理並びにシミュレーション装置１の動作の一例について、図９ないし図１３を参照して説明する。
Now, an example of processing for creating the above-described two-dimensional background image Ai for the
この一例では、図９に示すように、実在する工場の対象設備Ｔにおいて、丸印で示す位置に検査対象ワーク７（３Ｄデータからなる仮想ワーク）を置き、画像処理によってワーク７の欠品を検査する視覚検査システムを設計する。この場合、検査対象ワーク７の画像処理に最も適した検査カメラ５の位置を、実際に画像処理した結果から決定する処理を行なう。
In this example, as shown in FIG. 9, in a target facility T of an actual factory, a work 7 to be inspected (virtual work made of 3D data) is placed at a position indicated by a circle, and a missing part of the work 7 is detected by image processing. Design a visual inspection system to inspect. In this case, processing for determining the position of the
まず、図１０（ａ）に示すように、実在する工場の対象設備Ｔについて、デジカメ９を使用して５つの位置（０）〜（４）から撮影し、５枚の２次元背景画像Ａ１〜Ａ５（図１１参照）を取得する。尚、５つの位置（０）〜（４）のうち、位置（０）は、ＸＹ平面に垂直でＸＹ軸の交点の位置であり、位置（１）〜（４）は、それぞれＸＹ平面上の４５度、１３５度、−１３５度、−４５度の位置であり（図１０（ｂ）参照）、且つ、高さ方向がＸＺ平面での４５度の位置である（図１０（ｃ）参照）。
First, as shown to Fig.10 (a), about the target equipment T of the existing factory, it photographed from five positions (0)-(4) using the
次に、上記撮影した２次元背景画像Ａ１〜Ａ５と、撮影条件の情報（撮影角度データ）とをペアでシミュレーション装置１内の記憶部に登録する（図１１参照）。そして、設計上の検査対象ワーク７の３Ｄデータ（図１２参照）を用意し、これをシミュレーション装置１内の記憶部に取り込む（登録する）。
Next, the photographed two-dimensional background images A1 to A5 and photographing condition information (photographing angle data) are registered in pairs in the storage unit in the simulation apparatus 1 (see FIG. 11). Then, 3D data (see FIG. 12) of the design inspection target workpiece 7 is prepared, and this is taken in (registered) in the storage unit in the
この後、シミュレーション装置１において、検査カメラ５の位置および撮影角度に対応させて、２次元背景画像Ａ１〜Ａ５と検査対象ワーク７の３Ｄデータとを重ね合わせて、検査カメラ５による撮影画像を仮想空間内で擬似的に（計算により）作成する。図１３に、検査カメラ５による撮影画像の作成例Ｂ１〜Ｂ５を示す。尚、図１３において、符号（０）〜（４）は、５つの位置（撮影角度）（０）〜（４）に対応している。
Thereafter, in the
そして、上記したようにして作成した撮影画像Ｂ１〜Ｂ５を視覚検査プログラムに与えて、該視覚検査プログラムにより画像処理を実行するように構成されている。
このような構成の本実施例によれば、現実の工場において検査カメラ５の設定位置からデジカメにより前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の２次元撮影画像Ａｉを、その撮影角度データＢｉと共にシミュレーション装置１に入力ｓｉ、検査対象のワーク７の３次元データをシミュレーション装置１に入力し、シミュレーション装置１内において検査カメラ５の位置とワーク７の位置を設定し、複数の２次元撮影画像Ａｉの中から、検査カメラ５の撮影角度と一致する撮影角度データＢｉを有する２次元撮影画像Ａｉを選択し、この選択した画像を背景画像とし、この背景画像の位置を、検査カメラ５の光軸に対して背景画像の平面が直交するように設定するものであって、検査カメラ５の撮影角度が変化していくときに、検査カメラ５の光軸に対する背景画像の平面の直交関係を維持するようにし、そして、シミュレーション装置１内において、背景画像上にワーク７の３Ｄデータを重ねて配置したものを検査カメラ５により撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力するように構成したので、視覚検査システムの設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置１に容易に再現することができる。
The photographed images B1 to B5 created as described above are given to the visual inspection program, and image processing is executed by the visual inspection program.
According to this embodiment having such a configuration, a plurality of two-dimensional photographed images Ai obtained by photographing the background of the factory at a plurality of photographing angles with a digital camera from the set position of the
また、上記実施例においては、検査カメラ５の撮影角度Ｃが撮影角度データＢ１と一致しない場合であっても、撮影角度データＢ１と撮影角度データＢ２の中間の角度までの間は、２次元背景画像Ａ１を背景画像として設定し、上記中間の角度を越えたら、２次元背景画像Ａ２を背景画像として設定する。即ち、
（Ｂ（ｉ−１）＋Ｂｉ）／２＜Ｃ≦（Ｂｉ＋Ｂ（ｉ＋１））／２
であるときには、２次元背景画像Ａｉを背景画像として設定するように構成したので、用意する２次元背景画像としては５つの２次元背景画像Ａ１〜Ａ５だけであるから、用意する画像のデータ量を大幅に少なくすることができ、しかも、画像処理を十分正確に実行することができる。
Further, in the above embodiment, even when the shooting angle C of the
(B (i−1) + Bi) / 2 <C ≦ (Bi + B (i + 1)) / 2
Since the two-dimensional background image Ai is set as the background image, the two-dimensional background images to be prepared are only five two-dimensional background images A1 to A5. The image processing can be performed sufficiently accurately.
図面中、１はシミュレーション装置、２はパソコン、３はシミュレーションプログラム、４は視覚検査プログラム、５は検査カメラ、６は光源、７は検査対象ワーク、８はＰＬＣ、９はデジカメ、１０は撮影者、１１は光軸を示す。 In the drawings, 1 is a simulation device, 2 is a personal computer, 3 is a simulation program, 4 is a visual inspection program, 5 is an inspection camera, 6 is a light source, 7 is a work to be inspected, 8 is a PLC, 9 is a digital camera, and 10 is a photographer. , 11 indicates the optical axis.
Claims (1)
検査対象のワークの３次元データを前記シミュレーション装置に入力する手段と、
前記シミュレーション装置内において、前記検査カメラの位置と前記ワークの位置を設定する手段と、
前記複数の２次元撮影画像の中から、前記検査カメラの撮影角度と一致する撮影角度データを有する２次元撮影画像を選択し、この選択した画像を背景画像とする手段と、
前記背景画像の位置を、前記検査カメラの光軸に対して前記背景画像の平面が直交するように設定するものであって、前記検査カメラの撮影角度が変化していくときに、前記検査カメラの光軸に対する前記背景画像の平面の直交関係を維持する手段と、
前記シミュレーション装置内において、前記背景画像上に前記ワークを重ねて配置したものを前記検査カメラにより撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力する手段とを備え、
前記複数の２次元撮影画像の中に前記検査カメラの撮影角度と一致する撮影角度データがない場合には、前記検査カメラの撮影角度が、ｉ番目の撮影角度データと（ｉ＋１）番目の撮影角度データの中間の角度までの間は、ｉ番目の２次元背景画像を背景画像として設定し、上記中間の角度を越えたら、（ｉ＋１）番目の２次元背景画像を背景画像として設定することを特徴とするシミュレーション装置の画像データ生成装置。
Means for inputting a plurality of two-dimensional photographed images obtained by photographing a background of the factory at a plurality of photographing angles from a set position of an inspection camera in an actual factory together with the photographing angle data to a simulation device;
Means for inputting three-dimensional data of a workpiece to be inspected into the simulation apparatus;
In the simulation device, means for setting the position of the inspection camera and the position of the work,
Means for selecting a two-dimensional photographed image having photographing angle data matching a photographing angle of the inspection camera from the plurality of two-dimensional photographed images, and setting the selected image as a background image;
The position of the background image is set so that the plane of the background image is orthogonal to the optical axis of the inspection camera, and the inspection camera changes when the imaging angle of the inspection camera changes. Means for maintaining an orthogonal relationship of the plane of the background image to the optical axis of
In the simulation apparatus, there is provided means for obtaining an image obtained by taking an image obtained by photographing the work piece superimposed on the background image by the inspection camera and outputting the obtained image as an inspection camera image. ,
If there is no shooting angle data that matches the shooting angle of the inspection camera in the plurality of two-dimensional shot images, the shooting angle of the inspection camera is the i-th shooting angle data and the (i + 1) -th shooting angle. The i-th two-dimensional background image is set as the background image until the intermediate angle of the data, and if the intermediate angle is exceeded, the (i + 1) -th two-dimensional background image is set as the background image. The image data generation device of the simulation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012071507A JP5243635B2 (en) | 2012-03-27 | 2012-03-27 | Image data generation apparatus for simulation apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012071507A JP5243635B2 (en) | 2012-03-27 | 2012-03-27 | Image data generation apparatus for simulation apparatus |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008210627A Division JP4961405B2 (en) | 2008-08-19 | 2008-08-19 | Image data generation apparatus for simulation apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012123846A JP2012123846A (en) | 2012-06-28 |
| JP5243635B2 true JP5243635B2 (en) | 2013-07-24 |
Family
ID=46505142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012071507A Active JP5243635B2 (en) | 2012-03-27 | 2012-03-27 | Image data generation apparatus for simulation apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5243635B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014085687A (en) * | 2012-10-19 | 2014-05-12 | Mitsubishi Heavy Ind Ltd | Device for exhibiting machine tool in three dimensions and exhibition method of the same |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04217480A (en) * | 1990-12-17 | 1992-08-07 | Nippon Telegr & Teleph Corp <Ntt> | Teaching device for motion procedure of robot |
| JP3352475B2 (en) * | 1992-10-13 | 2002-12-03 | 有限会社ジーティービー | Image display device |
| JPH0833005A (en) * | 1994-07-13 | 1996-02-02 | Fanuc Ltd | Method for testing visual sensor utilizing simulation image |
| JPH1042307A (en) * | 1996-03-01 | 1998-02-13 | Fuotoron:Kk | Key system and synthetic image forming method |
| JP3076841B1 (en) * | 1999-03-18 | 2000-08-14 | 工業技術院長 | Teaching program creation method for real environment adaptive robot |
| JP2003296379A (en) * | 2002-04-05 | 2003-10-17 | Fuontaajiyu:Kk | Simulation method |
| JP2008117113A (en) * | 2006-11-02 | 2008-05-22 | Fresh Remix Kk | Image forming device and method, and image forming program |
-
2012
- 2012-03-27 JP JP2012071507A patent/JP5243635B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012123846A (en) | 2012-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10867407B2 (en) | System and methods for extrinsic calibration of cameras and diffractive optical elements | |
| JP6551184B2 (en) | Simulation apparatus, simulation method, and simulation program | |
| KR102069022B1 (en) | Camera calibration system | |
| RU2651239C9 (en) | Automated calibration of reference frame of augmented reality | |
| JP2013539147A5 (en) | ||
| JP4961405B2 (en) | Image data generation apparatus for simulation apparatus | |
| US7711507B2 (en) | Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium | |
| JPWO2020188799A1 (en) | Camera calibration device, camera calibration method, and program | |
| EP3229209A1 (en) | Camera calibration system | |
| Ahmadabadian et al. | Stereo‐imaging network design for precise and dense 3D reconstruction | |
| JP5243635B2 (en) | Image data generation apparatus for simulation apparatus | |
| Tushev et al. | Photogrammetric system accuracy estimation by simulation modelling | |
| JP5243636B2 (en) | Image data generation apparatus for simulation apparatus | |
| JP5249445B2 (en) | Image data generation apparatus for simulation apparatus | |
| JP6822086B2 (en) | Simulation equipment, simulation method and simulation program | |
| Zheng et al. | Positioning sensor by combining photogrammetry, optical projection and a virtual camera model | |
| JP2007122160A (en) | Modeling device and calculation method for camera parameter | |
| Irgenfried et al. | Image formation simulation for computer-aided inspection planning of machine vision systems | |
| WO2022249295A1 (en) | Robot simulation device | |
| Chiou | Reducing the variance of intrinsic camera calibration results in the ROS camera calibration package | |
| Steil et al. | Validating the camera and light simulation of a virtual reality testbed by means of physical mockup data | |
| Ahmed Memon et al. | A systematic procedure for developing the 3D model to evaluate the construction project progress | |
| JP2008209194A (en) | Method of measuring three-dimensional shape | |
| US11263779B2 (en) | Sensors positions determinations | |
| JP2022086354A (en) | Three-dimensional measurement system and three-dimensional measurement method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130301 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130404 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5243635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |