JPWO2015008373A1 - 情報処理装置、検査範囲の計算方法、及びプログラム - Google Patents

Abstract

教示作業を効率化すること。対象物と、対象物に作用して外部から検出可能な変化（ＣＨ）を与える作用要素を発生させる発生源と、設定した検出範囲内で作用要素による変化（ＣＨ）を検出可能な検出部と、を含む現実装置（１０）の３次元情報を記憶する記憶部（２１）と、３次元情報に基づいて現実装置（１０）を仮想空間内に再現した仮想装置（２３）を生成し、仮想装置（２３）を利用して作用要素に起因する変化（ＣＨ）をシミュレートし、設定した条件を満たす変化（ＣＨ）が検出された対象物の範囲（Ａ３）を計算する計算部（２２）とを有する、情報処理装置（２０）が提供される。

Description

本発明は、情報処理装置、検査範囲の計算方法、及びプログラムに関する。

ものづくりの現場では、組み立て装置や検査装置などの様々な装置が使用される。こうした装置を稼働させる際、稼働させる装置に動作に使用される情報を登録する作業が行われる。装置に稼働用の情報を登録する作業は教示作業と呼ばれる。教示作業は、装置から検出される情報をもとに、人間の高度な認識力や判断力に基づいて手作業で行われることが多い。そのため、教示作業には時間がかかる。また、作業の熟練度が教示作業の精度に影響を与える。さらに、装置から検出される情報をもとに装置の稼働に有用な情報を認識する処理は複雑であり、コンピュータにより教示作業を自動化することは容易でない。

教示作業を補助する技術に関し、次のような教示装置が提案されている。この教示装置は、パソコン本体、表示装置、マウスを有する。この教示装置は、複数の検査点を順に通るように移動しながらワークを撮影するカメラの画像に基づいてワークを検査する視覚検査装置に検査点の位置を教示する装置である。パソコン本体は、３次元ＣＡＤ（Computer Aided Design）機能を用いて、仮想的にカメラでワークを撮影した検査画像を表示装置に表示する。オペレータは、表示装置に適当な検査画像が表示されるようにパソコン本体を操作し、適当な検査画像を指定する。パソコン本体は、オペレータが指定した検査画像に対応する検査点を計算し、検査順序の決定などの処理を実行する。

特開２００５−５２９２６号公報

上記の教示装置を適用することで、３次元ＣＡＤに基づく仮想空間内の検査画像を見ながらオペレータが現実の視覚検査装置を稼働させずに教示作業を行うことができる。そのため、複数の検査点を通るようにカメラを移動させる際に、カメラを移動させるロボットとワークとが干渉しない移動経路を事前に検証し、好適な移動経路を選択するような用途で有用である。しかし、ワークの検査に好適な検査点の登録は、仮想空間内の検査画像を見ながらオペレータが行う。このような作業こそが人間の高度な認識力や判断力に基づく時間のかかる作業である。教示作業のうち、人間の判断に関わる工程を自動化することができれば、教示作業及び教示後の装置運用などが効率化される。

そこで、１つの側面によれば、本発明の目的は、教示作業を効率化することが可能な、情報処理装置、検査範囲の計算方法、及びプログラムを提供することにある。

本開示の１つの側面によれば、対象物と、対象物に作用して外部から検出可能な変化を与える作用要素を発生させる発生源と、設定した検出範囲内で作用要素による変化を検出可能な検出部と、を含む現実装置の３次元情報を記憶する記憶部と、３次元情報に基づいて現実装置を仮想空間内に再現した仮想装置を生成し、仮想装置を利用して作用要素に起因する変化をシミュレートし、設定した条件を満たす変化が検出された対象物の範囲を計算する計算部と、を有する、情報処理装置が提供される。

本開示の他の１つの側面によれば、対象物と、対象物に作用して外部から検出可能な変化を与える作用要素を発生させる発生源と、設定した検出範囲内で作用要素による変化を検出可能な検出部と、を含む現実装置の３次元情報を記憶するメモリを有するコンピュータが、３次元情報に基づいて現実装置を仮想空間内に再現した仮想装置を生成し、仮想装置を利用して作用要素に起因する変化をシミュレートし、設定した条件を満たす変化が検出された対象物の範囲を計算する、検査範囲の計算方法が提供される。

本開示の他の１つの側面によれば、対象物と、対象物に作用して外部から検出可能な変化を与える作用要素を発生させる発生源と、設定した検出範囲内で作用要素による変化を検出可能な検出部と、を含む現実装置の３次元情報を記憶するメモリを有するコンピュータに、３次元情報に基づいて現実装置を仮想空間内に再現した仮想装置を生成し、仮想装置を利用して作用要素に起因する変化をシミュレートし、設定した条件を満たす変化が検出された対象物の範囲を計算する処理を実行させるプログラムが提供される。

なお、本開示の他の１つの側面によれば、当該プログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供されうる。

以上説明したように本発明によれば、教示作業を効率化することが可能になる。
本発明の上記及び他の目的、特徴及び利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。

第１実施形態に係るシステムの一例を示した図である。 第２実施形態に係るシステムの一例を示した図である。 第２実施形態に係る現実装置の一例を示した図である。 第２実施形態に係る現実装置の機構について説明するための図である。 第２実施形態に係る制御装置のハードウェアについて説明するための図である。 第２実施形態に係る制御装置の機能について説明するためのブロック図である。 第２実施形態に係る情報処理装置の機能について説明するためのブロック図である。 第２実施形態に係る現実装置側の処理フローについて説明するための第１のフロー図である。 第２実施形態に係る現実装置側の処理フローについて説明するための第２のフロー図である。 第２実施形態に係る仮想装置側の処理フローについて説明するための第１のフロー図である。 第２実施形態に係る仮想装置側の処理フローについて説明するための第２のフロー図である。 第２実施形態に係る現実装置で撮像される撮像画像について説明するための図である。 第２実施形態に係る仮想装置で撮像される撮像画像について説明するための図である。 第２実施形態に係る二次データの計算方法（エリア計算）について説明するための図である。 第２実施形態に係る二次データの計算方法（分解能計算）について説明するための図である。 第２実施形態に係る二次データの計算方法（二次データ生成）について説明するための図である。 第２実施形態に係る二次データを光量レベルの調整に利用する方法について説明するための図である。 第２実施形態に係る二次データの計算方法（除外エリアを考慮したエリア計算）について説明するための第１の図である。 第２実施形態に係る二次データの計算方法（除外エリアを考慮したエリア計算）について説明するための第２の図である。 第２実施形態に係る二次データの部品化について説明するための図である。 第２実施形態に係る部品化した二次データの利用方法について説明するための第１の図である。 第２実施形態に係る部品化した二次データの利用方法について説明するための第２の図である。 第２実施形態に係る部品化した二次データの利用方法について説明するための第３の図である。 第２実施形態に係る部品化した二次データの利用方法について説明するための第４の図である。 第２実施形態の一変形例（変形例＃１）に係る二次データの計算方法について説明するための第１の図である。 第２実施形態の一変形例（変形例＃１）に係る二次データの計算方法について説明するための第２の図である。 第２実施形態の一変形例（変形例＃２）に係るシステムの一例を示した図である。 第２実施形態の一変形例（変形例＃２）に係る二次データの計算方法について説明するための図である。

以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。

＜１．第１実施形態＞
図１を参照しながら、第１実施形態について説明する。図１は、第１実施形態に係るシステムの一例を示した図である。

第１実施形態に係るシステムは、現実装置１０、及び情報処理装置２０を含む。
現実装置１０は、対象物と、対象物に作用して外部から検出可能な変化ＣＨを与える作用要素を発生させる発生源と、設定した検出範囲内で作用要素による変化ＣＨを検出可能な検出部とを含む。

情報処理装置２０は、記憶部２１、及び計算部２２を有する。
なお、記憶部２１は、ＲＡＭ（Random Access Memory）などの揮発性記憶装置（非図示）、及び、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリなどの不揮発性記憶装置（非図示）を有していてもよい。

計算部２２は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサであってもよい。計算部２２は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）などのプロセッサ以外の電子回路であってもよい。計算部２２は、例えば、記憶部２１又は他のメモリに記憶されたプログラムを実行する。

記憶部２１は、現実装置１０の３次元情報を記憶する。例えば、記憶部２１は、上記対象物、当該対象物を設置する設置機構、上記検出部、及び上記発生源の位置・姿勢・形状などを示す３次元ＣＡＤデータを３次元情報として記憶する。計算部２２は、３次元情報に基づいて現実装置１０を仮想空間内に再現した仮想装置２３を生成する。

例えば、計算部２２は、現実装置１０に含まれる上記対象物を仮想空間内に再現した対象物ＯＢＪを生成する。また、計算部２２は、現実装置１０に含まれる上記検出部を仮想空間内に再現した検出部２４を生成する。さらに、計算部２２は、現実装置１０に含まれる上記発生源を仮想空間内に再現した発生源２５を生成する。その他、計算部２２は、仮想空間内に上記設置機構なども生成する。

このように、計算部２２は、３次元ＣＡＤデータなどの３次元情報を利用することで仮想空間内に現実装置１０を再現する。
上記のように、３次元情報を利用して現実装置１０を再現しているため、計算部２２は、現実装置１０の動作と同じ動作を仮想装置２３で再現することができる。例えば、計算部２２は、現実装置１０の動作を制御する制御信号を受信し、現実装置１０と同じ動作を仮想装置２３に行わせることなどが可能である。

また、計算部２２は、仮想装置２３を利用して作用要素に起因する変化ＣＨをシミュレートする。例えば、作用要素が光である場合、計算部２２は、仮想装置２３の環境における光学シミュレーションを実行する。この場合、検出部２４及び発生源２５は、それぞれカメラ及び光源をシミュレートしたものとなる。

作用要素が熱である場合、計算部２２は、温度シミュレーションを実行する。この場合、検出部２４及び発生源２５は、それぞれ温度センサ及び熱源をシミュレートしたものとなる。

また、作用要素が音である場合、計算部２２は、音響シミュレーションを実行する。この場合、検出部２４及び発生源２５は、それぞれマイク及び音源をシミュレートしたものとなる。

作用要素が電磁波である場合、計算部２２は、電磁場シミュレーションを実行する。この場合、検出部２４及び発生源２５は、それぞれ電磁場センサ及び電磁場発生源をシミュレートしたものとなる。

作用要素が圧力である場合、計算部２２は、有限要素法解析などを用いてシミュレーションを実行する。この場合、検出部２４及び発生源２５は、それぞれ歪みゲージ及び圧力源をシミュレートしたものとなる。

また、計算部２２は、設定した条件を満たす変化ＣＨが検出された対象物の範囲（計算結果Ａ３に対応）を計算する。作用要素が光である場合を例に説明する。この場合、計算部２２は、発生源２５により照明された対象物ＯＢＪの撮像画像Ｐｖを検出部２４にて撮像する処理をシミュレートする。撮像画像Ｐｖは、発生源２５による照明の影響を受けた対象物ＯＢＪを含む。対象物ＯＢＪの表面で反射する光の強度分布は、対象物ＯＢＪの位置・姿勢・形状、及び照明の強さなどに応じて変化する。

例えば、計算部２２は、対象物ＯＢＪの形状に関して設定した条件を満たす対象物ＯＢＪの範囲（第１範囲Ａ１）を検出する。例えば、対象物ＯＢＪの形状及び設置条件などに起因して反射光の強度分布を考慮しない方がよい範囲が存在する場合、その範囲を除外するような条件が設定される。この条件は対象物ＯＢＪの形状に関するものであるから、計算部２２は、３次元ＣＡＤデータなどの３次元情報を利用することで第１範囲Ａ１を計算することができる。

さらに、計算部２２は、設定した閾値よりも反射光の強度が大きい対象物ＯＢＪの範囲を検出する。この場合、変化ＣＨは、設定した閾値よりも反射光の強度が大きくなることである。例えば、計算部２２は、撮像画像Ｐｖにおける明度の分布を計算し、その計算結果から変化ＣＨが生じた対象物ＯＢＪの範囲（第２範囲Ａ２）を計算することができる。そして、計算部２２は、計算した第１範囲Ａ１及び第２範囲Ａ２の重複範囲を計算結果Ａ３として出力する。この場合、計算結果Ａ３は、対象物ＯＢＪの形状に関する条件と、反射光の強度分布に関する条件とを満たす対象物ＯＢＪの範囲である。

上記の計算結果Ａ３を現実装置１０にフィードバックすることで、現実装置１０における教示作業や、現実装置１０の運用を効率化することができる。
例えば、上記の計算結果Ａ３に注目して発生源２５が発生させる光の光量レベルを調整することで、調整作業が効率化される。また、計算結果Ａ３を参照しながら対象物ＯＢＪの移動や姿勢制御を行うことで、オペレータの熟練度によらず対象物ＯＢＪの全面を照明するようなオペレーションを効率的に行うことが可能になる。作用要素が光の場合を例に説明したが、他の作用要素の場合についても同様である。

以上、第１実施形態について説明した。
＜２．第２実施形態＞
次に、第２実施形態について説明する。

［２−１．システム］
まず、図２を参照しながら、第２実施形態に係るシステムについて説明する。図２は、第２実施形態に係るシステムの一例を示した図である。

図２に示すように、第２実施形態に係るシステムは、現実装置１００、制御装置２００、情報処理装置３００、及び表示装置２５０、３５０を含む。
現実装置１００は、撮像部１０１、設置台１０２、照明１０３、及びロボット１０４を有する。なお、撮像部１０１、設置台１０２、照明１０３、及びロボット１０４の動作は、制御装置２００により制御される。

撮像部１０１は、ロボット１０４に設置されたワークＷＫを含む範囲を撮像する撮像デバイスである。撮像部１０１は、例えば、レンズなどの光学系、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子、及び、Ａ／Ｄ変換やデジタル信号処理などを実行する画像処理プロセッサなどを含む。

設置台１０２は、照明１０３やロボット１０４を固定する台である。照明１０３は、設置台１０２上に設置され、ロボット１０４に設置されたワークＷＫを含む領域を照明する光源である。ロボット１０４は、ワークＷＫを把持し、ワークＷＫの位置を移動させたり、ワークＷＫの姿勢を変えたりする機構である。

現実装置１００は、例えば、ワークＷＫ表面の状態検査などに利用される。この場合、現実装置１００は、メッシュパターンなどの照明パターンをワークＷＫの表面に映し込み、照明パターンが映り込んだワークＷＫを撮像する。このようにして撮像された撮像画像から、ワークＷＫに映り込んだ照明パターンの形状を分析することで、ワークＷＫの表面に付いたキズや凹みなどの欠陥を検出することができる。

但し、ワークＷＫが立体的な形状である場合、ワークＷＫ表面の限られた範囲（検査視野）にしか照明パターンが映し込まれない場合がある。そのため、現実装置１００は、ロボット１０４を利用してワークＷＫの位置や姿勢を変化させながら、照明パターンが映り込んだワークＷＫを撮像部１０１により撮像する。ワークＷＫの位置や姿勢を変化させながら撮像された複数の撮像画像を利用することで、ワークＷＫ表面の広い範囲について照明パターンの形状を分析することができる。なお、撮像部１０１の位置や姿勢を変化させてもよいが、第２実施形態においては撮像部１０１を固定してワークＷＫの位置や姿勢を変化させる場合を例に説明を進める。

上記のように、現実装置１００を利用すれば、複数の検査視野から撮像したワークＷＫの撮像画像を得ることができる。但し、検査視野の決定はオペレータが行う。ワークＷＫの位置や姿勢を変化させると変化前の検査視野がワークＷＫ表面のどの範囲であったかをオペレータが正確に認識することは難しい。そこで、第２実施形態に係るシステムは、検査視野をオペレータが容易に認識できるようにする仕組みを提供する。この仕組みを適用することで、ワークＷＫの一部範囲について検査漏れが生じてしまうことや、検査漏れを避けようとして検査視野の重複が過剰になり検査時間が増大してしまうことを抑制することが可能になる。

上記のような現実装置１００の動作は、制御装置２００により制御される。制御装置２００は、通信回線を介して情報処理装置３００に接続されている。例えば、制御装置２００は、ソケット通信を利用して現実装置１００の制御情報などを情報処理装置３００に送信する。また、制御装置２００は、表示装置２５０に接続されている。

表示装置２５０は、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置である。制御装置２００は、撮像部１０１による撮像画像を表示装置２５０に表示させる。オペレータは、表示装置２５０の撮像画像を見ながら操作を行う。

情報処理装置３００は、現実装置１００の３次元ＣＡＤデータを保持し、３次元ＣＡＤデータを利用して現実装置１００を仮想空間内に再現した仮想装置を生成する。また、情報処理装置３００は、現実装置１００の制御情報などを受信し、受信した制御情報に基づいて仮想装置の動作をシミュレートする。情報処理装置３００は、検査視野に対応するワークＷＫ表面の範囲を計算する。そして、情報処理装置３００は、計算した検査視野に対応するワークＷＫ表面の範囲を示す情報を制御装置２００に送信する。

情報処理装置３００は、表示装置３５０に接続されている。表示装置３５０は、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、ＥＬＤなどのディスプレイ装置である。情報処理装置３００は、仮想装置内で仮想的に撮像されたワークＷＫの撮像画像を表示装置３５０に表示させる。情報処理装置３００は、検査視野に対応するワークＷＫの範囲を表示装置３５０に表示された撮像画像に重畳して表示させる。また、情報処理装置３００は、検査視野に対応するワークＷＫの範囲を３次元ＣＡＤデータに変換して保持する。検査視野に対応するワークＷＫの範囲を示す情報は、適宜、制御装置２００に送信され、表示装置２５０に表示された撮像画像に重畳して表示される。

以上、第２実施形態に係るシステムについて説明した。なお、照明パターンの映り込みを利用した検査方法を例に挙げて説明したが他の検査方法についても第２実施形態に係るシステムを適用可能である。以下では、第２実施形態に係るシステムに含まれる装置のハードウェア、機能、及び処理フローについて説明する。

［２−２．ハードウェア］
図３〜図５を参照しながら、第２実施形態に係るシステムに含まれる装置のハードウェアについて説明する。

なお、図３は、第２実施形態に係る現実装置の一例を示した図である。図４は、第２実施形態に係る現実装置の機構について説明するための図である。図５は、第２実施形態に係る制御装置のハードウェアについて説明するための図である。

（現実装置）
図３及び図４を参照しながら、現実装置１００のハードウェアについて説明する。
図３に示すように、現実装置１００は、撮像部１０１、設置台１０２、照明１０３、Ｘ機構１１１、Ｙ機構１１２、第１回転機構１１３、第２回転機構１１４、及び把持機構１１５を有する。Ｘ機構１１１、Ｙ機構１１２、第１回転機構１１３、第２回転機構１１４、及び把持機構１１５は、設置機構の一例である。

Ｘ機構１１１は設置台１０２上に設置される。Ｙ機構１１２はＸ機構１１１上に設置される。第１回転機構１１３はＹ機構１１２上に設置される。第２回転機構１１４は第１回転機構１１３上に設置される。第２回転機構１１４には把持機構１１５が設けられている。把持機構１１５にはワークＷＫが設置される。

図４に示すように、Ｘ機構１１１は、Ｘ方向に沿って矢印ａが示すように移動する機構である。Ｘ機構１１１の移動に伴い、Ｙ機構１１２、第１回転機構１１３、第２回転機構１１４、把持機構１１５、及びワークＷＫはＸ方向に移動する。Ｙ機構１１２は、Ｘ方向と直交するＹ方向に沿って矢印ｂが示すように移動する機構である。Ｙ機構１１２の移動に伴い、第１回転機構１１３、第２回転機構１１４、把持機構１１５、及びワークＷＫはＹ方向に移動する。

第１回転機構１１３は、Ｘ−Ｙ面内で矢印ｃが示すように回転する。第１回転機構１１３の回転に伴い、第２回転機構１１４、把持機構１１５、及びワークＷＫはＸ−Ｙ面内で回転する。第２回転機構１１４は、Ｚ方向からＸ−Ｙ面へ把持機構１１５を傾倒させる向きに回転する（矢印ｄが示すように回転する。）。第２回転機構１１４の回転に伴い、把持機構１１５及びワークＷＫはＺ方向からＸ−Ｙ面へ回転角度の分だけ傾倒する。

Ｘ機構１１１及びＹ機構１１２の動作によりワークＷＫの位置は移動する。また、第１回転機構１１３及び第２回転機構１１４の動作によりワークＷＫの姿勢は変化する。従って、Ｘ機構１１１、Ｙ機構１１２、第１回転機構１１３、及び第２回転機構１１４の動作を制御することで検査視野を自由に調整することができる。

（制御装置、情報処理装置）
次に、図５を参照しながら、制御装置２００のハードウェアについて説明する。
制御装置２００が有する機能は、例えば、図５に示す情報処理装置のハードウェア資源を用いて実現することが可能である。つまり、制御装置２００が有する機能は、コンピュータプログラムを用いて図５に示すハードウェアを制御することにより実現される。

図５に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０とを有する。さらに、このハードウェアは、外部バス９１２と、インタフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とを有する。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。

これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、レバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。

出力部９１８は、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、ＥＬＤなどのディスプレイ装置に画像信号を出力するビデオ出力デバイスである。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部９１８は、視覚的又は聴覚的な情報を出力することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤ（Solid State Drive）やＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。

ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。

接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ−２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、プリンタなどが用いられる。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ（Local Area Network）用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。

なお、後述する情報処理装置３００の機能は、制御装置２００と同様に図５に例示したハードウェアにより実現することができる。従って、情報処理装置３００のハードウェアについては詳細な説明を省略する。

［２−３．制御装置の機能］
次に、図６を参照しながら、制御装置２００の機能について説明する。図６は、第２実施形態に係る制御装置の機能について説明するためのブロック図である。

図６に示すように、制御装置２００は、情報管理部２０１、ロボット制御部２０２、画像取得部２０３、光量調整部２０４、記憶部２０５、作業処理部２０６、及び表示制御部２０７を有する。

なお、情報管理部２０１、ロボット制御部２０２、画像取得部２０３、光量調整部２０４、作業処理部２０６、及び表示制御部２０７の機能は、上述したＣＰＵ９０２などを用いて実現できる。また、記憶部２０５の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。

情報管理部２０１は、オペレータが入力した情報を取得する。情報管理部２０１が取得した情報は、ロボット制御部２０２、光量調整部２０４、作業処理部２０６に入力される。ロボット制御部２０２は、情報管理部２０１から入力された情報に応じて、ロボット１０４を制御するための第１制御情報を現実装置１００に送信し、ロボット１０４の動作を制御する。また、ロボット制御部２０２は、現実装置１００に送信した第１制御情報を情報管理部２０１に入力する。情報管理部２０１は、ロボット制御部２０２から入力された第１制御情報を情報処理装置３００に送信する。

画像取得部２０３は、撮像部１０１が撮像した撮像画像を現実装置１００から受信する。画像取得部２０３が受信した撮像画像は、記憶部２０５に格納される。光量調整部２０４は、情報管理部２０１から入力された情報に応じて、照明１０３を制御するための第２制御情報を現実装置１００に送信し、照明１０３の光量レベルを制御する。また、光量調整部２０４は、現実装置１００に送信した第２制御情報を情報管理部２０１に入力する。情報管理部２０１は、光量調整部２０４から入力された第２制御情報を情報処理装置３００に送信する。なお、第１制御情報及び第２制御情報は記憶部２０５に格納される。

また、情報管理部２０１は、情報処理装置３００が計算した検査視野に関する情報を受信する。情報管理部２０１が受信した検査視野に関する情報は、記憶部２０５に格納される。光量調整部２０４は、記憶部２０５に格納された検査視野に関する情報に基づいて照明１０３の光量レベルを調整する。光量調整部２０４により照明１０３の光量レベルが調整された後、作業処理部２０６は、オペレータにより指定された処理を実行する。例えば、作業処理部２０６は、光量調整部２０４による光量レベルの調整に用いた検査視野の範囲についてワークＷＫの表面に映り込んだ照明パターンを分析する。

表示制御部２０７は、記憶部２０５に格納された撮像画像を表示装置２５０に表示させる。また、記憶部２０５に検査視野に関する情報が格納されている場合、表示制御部２０７は、表示装置２５０に表示された撮像画像に重畳して検査視野に対応する範囲の情報を視認可能な表示形式で表示させる。例えば、表示制御部２０７は、過去に作業処理部２０６による作業が済んでいる検査視野に対応する範囲を撮像画像に重畳して表示させる。なお、後述するように、撮像画像の中で検査視野に対応する範囲を示す情報は、情報処理装置３００により生成され、情報管理部２０１により受信される。

以上、制御装置２００の機能について説明した。
［２−４．情報処理装置の機能］
次に、図７を参照しながら、情報処理装置３００の機能について説明する。図７は、第２実施形態に係る情報処理装置の機能について説明するためのブロック図である。

図７に示すように、情報処理装置３００は、記憶部３０１、仮想装置生成部３０２、仮想装置制御部３０３、シミュレータ３０４、二次データ生成部３０５、及び部品化部３０６を有する。

なお、仮想装置生成部３０２、仮想装置制御部３０３、シミュレータ３０４、二次データ生成部３０５、及び部品化部３０６の機能は、上述したＣＰＵ９０２などを用いて実現できる。記憶部３０１の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。

記憶部３０１には、現実装置１００の３次元ＣＡＤデータが格納されている。仮想装置生成部３０２は、記憶部３０１に格納されている３次元ＣＡＤデータを読み出し、読み出した３次元ＣＡＤデータを利用して現実装置１００を仮想空間内に再現した仮想装置３１０を生成する。仮想装置３１０は、撮像部３１１、照明３１２、Ｘ機構３１３、Ｙ機構３１４、第１回転機構３１５、第２回転機構３１６、及び把持機構３１７を有する。また、現実装置１００にワークＷＫが設置された場合、仮想装置生成部３０２は、ワークＷＫｖを有する仮想装置３１０を生成する。なお、ワークＷＫの設置を示す情報は、制御装置２００から取得する。

仮想装置生成部３０２により生成された仮想装置３１０の情報は、仮想装置制御部３０３に入力される。仮想装置制御部３０３は、仮想装置３１０の動作を制御する。例えば、仮想装置制御部３０３は、制御装置２００から受信した第１制御情報及び第２制御情報を参照し、現実装置１００の動作に連動して仮想装置３１０を動作させる。仮想装置制御部３０３により制御を受けて動作する仮想装置３１０の情報は、シミュレータ３０４に入力される。

シミュレータ３０４は、仮想装置３１０の環境下でシミュレーションを実行する。例えば、シミュレータ３０４は、照明３１２が発する光について光学シミュレーションを実行し、撮像部３１１により撮像される撮像画像を計算する。撮像画像の計算には、例えば、レイトレーシング法、ラジオシティ法、フォトンマッピング法、環境マッピング法などのレンダリング手法が用いられる。シミュレータ３０４により計算された撮像画像は、二次データ生成部３０５に入力される。二次データ生成部３０５は、シミュレータ３０４から入力された撮像画像を利用して、ワークＷＫｖ表面のうち照明が映り込んでいる範囲を計算する。さらに、二次データ生成部３０５は、検査視野から除外する範囲を計算し、計算した範囲を照明が映り込んでいる範囲から除外して二次データを生成する。

二次データ生成部３０５により生成された二次データは、制御装置２００に送信される。この二次データを利用することで、例えば、検査視野に対応するワークＷＫｖ上の範囲に注目して光量レベルを調整することが可能になる。また、二次データ生成部３０５により生成された二次データは、部品化部３０６に入力される。二次データは、撮像画像に含まれるワークＷＫｖの一部範囲を示す２次元画像に対応するデータである。部品化部３０６は、二次データを３次元ＣＡＤデータに変換して部品データを生成する。部品化部３０６により生成された部品データは、記憶部３０１に格納される。

また、部品化部３０６は、記憶部３０１に格納した部品データを読み出し、読み出した部品データに対応する撮像画像上の範囲を計算する。そして、部品化部３０６は、計算した範囲を示す二次データを制御装置２００に送信する。例えば、ワークＷＫｖの姿勢が変化した場合、部品化部３０６は、変化前に生成した部品データを記憶部３０１から読み出し、読み出した部品データを変化後の仮想装置３１０で撮像された撮像画像の範囲に変換する。そして、部品化部３０６は、その範囲を示す二次データを制御装置２００に送信する。この二次データを現実装置１００の撮像画像に重畳表示させることで、姿勢変化前に検査した検査視野の範囲をオペレータが正確に認識できるようになる。

以上、情報処理装置３００の機能について説明した。
［２−５．処理フロー］
次に、図８〜図１１を参照しながら、第２実施形態に係るシステムで実行される処理のフローについて説明する。この説明の中で、適宜、図１２〜図１９を参照しながら、制御装置２００及び情報処理装置３００の機能について説明を補足する。

図８は、第２実施形態に係る現実装置側の処理フローについて説明するための第１のフロー図である。図９は、第２実施形態に係る現実装置側の処理フローについて説明するための第２のフロー図である。

図１０は、第２実施形態に係る仮想装置側の処理フローについて説明するための第１のフロー図である。図１１は、第２実施形態に係る仮想装置側の処理フローについて説明するための第２のフロー図である。

なお、以下の説明において、現実装置１００及び制御装置２００を現実装置側と表現する場合がある。また、情報処理装置３００を仮想装置側と表現する場合がある。
（現実装置側の処理フロー）
図８及び図９を参照しながら、現実装置側の処理フローについて説明する。図８及び図９に示す処理は、主に現実装置１００及び制御装置２００により実行される。

（Ｓ１０１）現実装置１００のロボット１０４にワークＷＫが設置される。ワークＷＫがロボット１０４に設置されたことを示す設置情報は、現実装置１００が自動検知して制御装置２００に送信してもよいし、オペレータがワークＷＫの設置後に制御装置２００に入力してもよい。設置情報には、例えば、ロボット１０４にワークＷＫが設置されたこと、及びワークＷＫの種類を識別する識別情報などが含まれる。

（Ｓ１０２）制御装置２００の情報管理部２０１は、現実装置１００からワークＷＫの設置情報を情報処理装置３００に送信する。このワークＷＫの設置情報を利用することにより、情報処理装置３００においてワークＷＫｖを設置した仮想装置３１０を生成することが可能になる。

（Ｓ１０３）現実装置１００のロボット１０４が有する機構の位置や姿勢を制御するための情報が制御装置２００に入力された場合、制御装置２００のロボット制御部２０２は、入力された情報に応じてロボット１０４を制御する。例えば、オペレータからＸ機構１１１及びＹ機構１１２の位置、第１回転機構１１３及び第２回転機構１１４の回転角度が指定された場合、ロボット制御部２０２は、指定された位置及び回転角度に従ってロボット１０４の動作を制御する。なお、ロボット制御部２０２は、ロボット１０４の制御情報を記憶部２０５に格納する。

（Ｓ１０４）制御装置２００の情報管理部２０１は、現実装置１００のロボット１０４が有する各機構の位置や姿勢を示す第１制御情報を情報処理装置３００に送信する。この第１制御情報を利用することにより、情報処理装置３００において仮想装置３１０のＸ機構３１３、Ｙ機構３１４、第１回転機構３１５、第２回転機構３１６を制御することが可能になる。

（Ｓ１０５）制御装置２００の画像取得部２０３は、現実装置１００の撮像部１０１が撮像した撮像画像を取得する。例えば、画像取得部２０３は、図１２に示すような撮像画像を取得する。図１２は、第２実施形態に係る現実装置で撮像される撮像画像について説明するための図である。図１２に示すように、ワークＷＫの表面に照明が映り込んだ範囲は明るく映っている。また、撮像画像には、ワークＷＫだけでなくロボット１０４の機構が一部映っている。そして、ワークＷＫ上の映り込み部分と同様に明るく映っている部分がロボット１０４の一部に存在する。一方、ワークＷＫの底面部分は暗く映っている。

ワークＷＫに照明パターンを映し込んでワークＷＫを検査する場合、照明の映り込み部分が検査視野となる。そのため、照明の映り込み部分で適切に照明パターンが映り込むように照明１０３の光量レベルが調整されるようにする。

撮像画像の画像処理により照明の映り込み部分を決めることができれば、映り込み部分の反射光量が最適化されるように光量レベルを自動調整することが可能になる。しかし、撮像画像には、ロボット１０４の一部がワークＷＫ上の映り込み部分と同程度に明るく映っている部分などが存在し、単純な画像処理により映り込み部分を決めることは難しい。さらに、ワークＷＫの一部に検査視野から除外したい部分が存在する場合などもある。そこで、以降のような処理が実行される。

（Ｓ１０６）制御装置２００の情報管理部２０１は、現実装置１００の撮像部１０１が撮像した撮像画像から二次データＤ１を抽出する。例えば、情報管理部２０１は、ワークＷＫの表面にシルク印刷が施されている部分や集音用の穴などが設けられている部分に対応する撮像画像内の範囲を抽出し、抽出した範囲を除外したワークＷＫの範囲を二次データＤ１とする（例えば、図１８を参照）。なお、抽出する範囲はオペレータが指定してもよい。Ｓ１０６の処理が完了すると、処理は図９のＳ１０７に進む。

（Ｓ１０７）制御装置２００の情報管理部２０１は、情報処理装置３００が仮想装置３１０内で仮想的に撮像された撮像画像から抽出した二次データＤ２を受信する。この二次データＤ２は、ワークＷＫの形状や照明の映り込み部分を考慮した検査視野の計算結果である。二次データＤ２の計算方法については仮想装置側の処理フローに関する説明の中で詳述する。

（Ｓ１０８）制御装置２００の光量調整部２０４は、撮像画像及び二次データＤ１、Ｄ２に基づいて照明１０３の光量レベルを調整する。例えば、光量調整部２０４は、予め設定された数段階の光量レベルの中から検査視野内の光量が適切になる光量レベルを選択する。このとき、光量調整部２０４は、光量レベルを変えながら撮像画像を確認し、検査視野の反射光量が最適光量となる光量レベルを外挿法や内挿法により予測してもよい。なお、光量調整部２０４は、調整後の光量レベルを記憶部２０５に格納する。

このように、二次データＤ１、Ｄ２により適当な検査視野の範囲を制限して光量レベルの調整を自動化することで精度の良い自動教示が実現される。従って、熟練したオペレータでなくても、検査に適した光量レベルの調整を行うことが可能になる。また、光量レベルが自動調整されることで教示時間を短縮する効果も期待できる。

（Ｓ１０９）制御装置２００の作業処理部２０６は、オペレータの操作に応じて検査作業に関する処理を実行する。Ｓ１０８で照明１０３の光量レベルが最適化されているため、好適な条件で作業を行うことができる。このとき、制御装置２００の表示制御部２０７は、二次データＤ１、Ｄ２に基づいて検査視野の情報を撮像画像に重畳表示してもよい。このような重畳表示を行うことで、検査視野の範囲をオペレータが確認しながら作業を行うことが可能になり、作業が効率化される。

（Ｓ１１０）制御装置２００の情報管理部２０１は、二次データＤ１を情報処理装置３００に送信する。この二次データＤ１は、情報処理装置３００により３次元ＣＡＤデータに変換され、部品データとして保持される。このように、二次データＤ１を３次元ＣＡＤデータに部品化しておくことで、位置や姿勢が変化した後のワークＷＫ上で、部品化した二次データＤ１に対応する範囲を容易に計算することができるようになる。なお、部品化については仮想装置側の処理フローに関する説明の中で詳述する。

（Ｓ１１１、Ｓ１１２）作業が終了となる場合、処理はＳ１１２に進む。一方、作業が終了とならない場合、処理は図８のＳ１０３に進む。処理がＳ１１２に進んだ場合、オペレータによりワークＷＫが回収され、図８及び図９に示した一連の処理は終了する。

以上、現実装置側の処理フローについて説明した。
（仮想装置側の処理フロー）
図１０及び図１１を参照しながら、仮想装置側の処理フローについて説明する。図１０及び図１１に示す処理は、主に情報処理装置３００により実行される。

（Ｓ１３１、Ｓ１３２）仮想装置生成部３０２は、記憶部３０１に格納されている現実装置１００の３次元ＣＡＤデータを読み出す。そして、仮想装置生成部３０２は、読み出した現実装置１００の３次元ＣＡＤデータに基づいて仮想装置３１０を生成する。仮想装置生成部３０２は、制御装置２００からワークＷＫの設置情報を受信する。

（Ｓ１３３）ワークＷＫの設置情報を受信した仮想装置生成部３０２は、設置情報からワークＷＫの種類を識別する。次いで、仮想装置生成部３０２は、識別したワークＷＫの３次元ＣＡＤデータを記憶部３０１から読み出す。次いで、仮想装置生成部３０２は、読み出したワークＷＫの３次元ＣＡＤデータに基づいてワークＷＫｖを生成する。次いで、仮想装置生成部３０２は、仮想装置３１０にワークＷＫｖを設置する。

（Ｓ１３４、Ｓ１３５）仮想装置制御部３０３は、現実装置１００が有する機構の位置や姿勢を示す第１制御情報を受信する。次いで、仮想装置制御部３０３は、第１制御情報に基づいて仮想装置３１０が有する機構の位置や姿勢を制御する。つまり、仮想装置制御部３０３は、現実装置１００の機構が有する位置や姿勢と同じ状態になるように仮想装置３１０を制御する。なお、リアルタイムに制御装置２００から第１制御情報が送信される場合には現実装置１００と仮想装置３１０とをリアルタイムに同期させてもよい。

（Ｓ１３６）シミュレータ３０４は、仮想装置３１０の撮像部３１１から撮像される撮像画像を取得する。このとき、シミュレータ３０４は、例えば、レイトレーシング法、ラジオシティ法、フォトンマッピング法、環境マッピング法などのレンダリング手法を用いる。なお、図１３に示すような仮想装置３１０の撮像画像が得られる。図１３は、第２実施形態に係る仮想装置で撮像される撮像画像について説明するための図である。図１３の例では、照明の映り込み部分を強調するために、映り込み部分の範囲に濃い配色が設定されている。より視認性を高めるため、例えば、ワークＷＫｖの色を白色に設定し、照明色を赤色に設定してカラー表示する方法なども考えられる。

さて、第２実施形態においては照明の映り込みを考えているため、シミュレータ３０４は、環境マッピング法の１つであるキューブマッピング法によるシミュレーションを実行する。また、現実装置１００においてワークＷＫへの映り込み位置を決める要因は照明１０３であるため、シミュレータ３０４は、映り込みの対象を照明３１２に設定する。さらに、シミュレータ３０４は、キューブマップを作成する際の視点位置をワークＷＫｖの重心位置に設定して環境マップを作成する。次いで、シミュレータ３０４は、撮像部３１１のレンズ主点位置を視点としてワークＷＫｖと、ワークＷＫｖで反射するキューブマップとをレンダリングし、撮像部３１１が撮像する撮像画像をシミュレートする。

Ｓ１３６の処理が完了すると、処理は図１１のＳ１３７に進む。
（Ｓ１３７、Ｓ１３８）二次データ生成部３０５は、仮想装置３１０の撮像画像から二次データＤ２を抽出する。二次データＤ２の抽出は、例えば、図１４〜図１６に示すような計算方法で実現される。なお、図１４は、第２実施形態に係る二次データの計算方法（エリア計算）について説明するための図である。図１５は、第２実施形態に係る二次データの計算方法（分解能計算）について説明するための図である。図１６は、第２実施形態に係る二次データの計算方法（二次データ生成）について説明するための図である。

図１４に示すように、二次データ生成部３０５は、ワークＷＫｖを設置した仮想装置３１０の３次元ＣＡＤデータを利用し、仮想装置３１０の撮像画像からワークＷＫｖだけを含む範囲（以下、ワークエリア）を抽出する（Ｓ１）。図１４の例では、ワークエリア情報として、ワークエリアを白色、それ以外の範囲を黒色で表示した画像が示されている。ワークエリア情報は、撮像画像中のワークエリアを示す情報の一例である。

例えば、二次データ生成部３０５は、シミュレータ３０４がレンダリングを実行した際に得られた部品毎のデプス情報を用いて視点から最も近い部品を抽出する。そして、二次データ生成部３０５は、抽出した部品がワークＷＫｖである場合に、その部品の画素を白色に設定し、他の画素を黒色に設定することでワークエリア情報を生成する。なお、ワークＷＫｖが複数存在する場合も、同様の処理を実行することでワークエリア情報を生成することができる。

次いで、二次データ生成部３０５は、ワークエリアの中から分解能が高い範囲（以下、良分解能エリア）を抽出する（Ｓ２）。図１５に分解能の定義を示す。図１５の例では、光軸方向を−Ｚ軸方向に設定した撮像部、Ｚ軸に垂直なワークの面（第１面）、及びＺ軸に対して傾斜したワークの面（第２面）が示されている。第１面は撮像部に正対しているため、撮像画像の画素数ｑに対応するワーク上の距離はｄ１となる。一方、第２面の場合は撮像画像の画素数ｑに対応するワーク上の距離がｄ２（ｄ２＞ｄ１）となる。

分解能Ｒｃは、撮像画像の画素数ｑ及びそれに対応するワーク上の距離ｄを用いてｑ／ｄで定義される。そのため、第１面における分解能Ｒｃ１は、第２面における分解能Ｒｃ２よりも大きくなる。なお、レンダリングを行った際の３次元座標から撮像画像への変換処理を逆に辿ることで、撮像画像の画素とワーク上の位置との関係が得られる。そのため、図１６に示すように、ワークエリア情報に対応する画像上の２次元座標ｐ１（ｘ１，ｙ１）、ｐ２（ｘ２，ｙ２）と、仮想装置３１０におけるワークＷＫｖの３次元座標Ｐ１（Ｘ１，Ｙ１，Ｚ１）、Ｐ２（Ｘ２，Ｙ２，Ｚ２）とは相互に変換可能である。

そこで、二次データ生成部３０５は、２次元座標ｐ１、ｐ２、及び３次元座標Ｐ１、Ｐ２を用いて、下記の式（１）に従って分解能Ｒｃ１２を計算する。同様に、二次データ生成部３０５は、ワークエリアの全範囲について分解能Ｒｃ１２を計算する。但し、上限値ＲｃＨ及び下限値ＲｃＬは予め設定されている。また、分解能Ｒｃ１２を計算する２点の位置関係を制限してもよい。例えば、２次元座標系のｘ方向又はｙ方向の１方向に制限したり、ｘ方向及びｙ方向の２方向に制限したりする制限方法が考えられる。その他、検査結果に与える影響が大きい方向、ワークＷＫの形状、照明１０３の特性などを考慮して２点の位置関係を制限する方法が考えられる。

次いで、二次データ生成部３０５は、分解能Ｒｃ１２が上限値ＲｃＨと下限値ＲｃＬとの間に入る画素を抽出する。そして、二次データ生成部３０５は、抽出した画素の集合が成す範囲を良分解能エリアに設定する。図１４及び図１６の例では、良分解能エリア情報Ｄ２１として、良分解能エリアを白色、それ以外の範囲を黒色で表示した画像が示されている。このような方法により、二次データ生成部３０５は、ワークエリアのうち、検査対象として考慮しない低分解能の範囲を除外した範囲である良分解能エリアの情報（良分解能エリア情報Ｄ２１）を生成する。なお、良分解能エリア情報Ｄ２１は、二次データＤ２の一例である。

また、二次データ生成部３０５は、照明の映り込み部分に対応する照明エリアを抽出する（Ｓ３）。仮想装置３１０の撮像画像において照明の映り込み部分が赤色などで強調表示されている場合、二次データ生成部３０５は、撮像画像から赤色の画素を抽出する。そして、二次データ生成部３０５は、抽出した画素の集合が成す範囲を照明エリアに設定する。図１４の例では、照明エリア情報Ｄ２２として、照明エリアを白色、それ以外の範囲を黒色で表示した画像が示されている。なお、照明エリア情報Ｄ２２は、二次データＤ２の一例である。

良分解能エリア情報Ｄ２１及び照明エリア情報Ｄ２２をそれぞれ二次データＤ２として利用してもよいが、二次データ生成部３０５は、良分解能エリア情報Ｄ２１が示す範囲と照明エリア情報Ｄ２２が示す範囲とが重複する範囲を抽出して二次データＤ２とする。そして、二次データ生成部３０５は、二次データＤ２を制御装置２００に送信する。現実装置側では、図１７に示すように、二次データＤ２に基づいて光量レベルの調整が行われる。図１７は、第２実施形態に係る二次データを光量レベルの調整に利用する方法について説明するための図である。

上述した方法で計算された二次データＤ２を利用すると、図１７に示すように、検査エリアＡｆを制御装置２００が特定できるようになる。そのため、検査エリアＡｆの部分だけに注目して光量レベルの調整を行うことが可能になる。例えば、検査エリアＡｆで最適になるように光量レベルを調整した場合、図１７に示すように、ロボット１０４の一部で白飛びする範囲ＡＯが生じたり、分解能が低いワークＷＫの一部範囲ＡＵで黒つぶれが生じたりすることがある。しかし、範囲ＡＯや範囲ＡＵは検査対象外であるため、検査結果には影響が生じない。どの部分が検査対象外であるかを撮像画像の画像処理により判断することは一般的に難しいが、二次データＤ２を利用することで、その判断を容易に行うことができるようになる。

（Ｓ１３９、Ｓ１４０）部品化部３０６は、現実装置１００の撮像画像から抽出された二次データＤ１を制御装置２００から受信する。そして、部品化部３０６は、二次データＤ１、Ｄ２が示す範囲を３次元ＣＡＤデータに変換して部品データを生成する。例えば、部品化部３０６は、二次データＤ１が示す範囲と二次データＤ２が示す範囲との重複範囲を計算し、計算した重複範囲を３次元ＣＡＤデータに変換して部品データを生成する。

二次データＤ１は、例えば、オペレータが指定した検査対象外の範囲（例えば、図１８の除外エリアＳＰ）を除いた撮像画像の範囲を示す情報である。なお、図１８は、第２実施形態に係る二次データの計算方法（除外エリアを考慮したエリア計算）について説明するための第１の図である。除外エリアＳＰとしては、例えば、シルク印刷が施されたワークＷＫ上の範囲や、ワークＷＫに設けられたマイクの穴などを含む範囲が指定される。

部品化部３０６は、図１９に示すように、二次データＤ２が示す範囲から二次データＤ１が示す範囲を除外して二次データＤ２５を生成する。なお、図１９は、第２実施形態に係る二次データの計算方法（除外エリアを考慮したエリア計算）について説明するための第２の図である。次いで、部品化部３０６は、図２０に示す方法で二次データＤ２５を３次元ＣＡＤデータに変換して部品データを生成する。図２０は、第２実施形態に係る二次データの部品化について説明するための図である。

図２０に示すように、二次データＤ２５は、２次元座標系における範囲の情報である。つまり、この二次データＤ２５は、ある設定条件の下で撮像された撮像画像における範囲を示す情報であり、３次元座標系におけるワークＷＫの位置やワークＷＫの立体形状との関係が考慮されたものではない。そのため、ワークＷＫの位置や姿勢を変化した後で撮像された撮像画像に二次データＤ２５を重ねても、変化前に撮像画像上で二次データＤ２５が示していたワークＷＫ表面の範囲とは重ならない。そこで、ワークＷＫの位置や姿勢を変化した後でも、変化前の撮像画像から得た二次データＤ２５を有効活用できるように、部品化部３０６は、二次データＤ２５を３次元ＣＡＤデータに変換する。

分解能Ｒｃの計算に関する説明の際にも述べたが、レンダリングを行った際の３次元座標から撮像画像への変換処理を逆に辿ることで、撮像画像の画素とワーク上の位置との関係が得られる。部品化部３０６は、図２０に示すように、二次データＤ２５が示す範囲内の２次元座標ｐ１（ｘ１，ｙ１）、ｐ２（ｘ２，ｙ２）、…を３次元座標Ｐ１（Ｘ１，Ｙ１，Ｚ１）、Ｐ２（Ｘ２，Ｙ２，Ｚ２）、…に変換する。そして、部品化部３０６は、変換した３次元座標の集合をもとに３次元ＣＡＤデータを生成し、部品データとする。

部品化部３０６は、部品データを記憶部３０１に格納する。また、部品化部３０６は、適宜、部品データを制御装置２００に送信する。なお、部品化部３０６は、部品データの点群情報をポリゴン情報に変換してもよい。ポリゴン情報への変換には、例えば、Ｍａｒｃｈｉｎｇ Ｃｕｂｅｓ法やＨｏｐｐｅの方法などが利用可能である。Ｈｏｐｐｅの方法については、Hugues Hoppe et al., Surface reconstruction from unorganized points, Computer Graphics (SIGGRAPH '92 Proceedings)などが参考になる。

（Ｓ１４１、Ｓ１４２）作業が終了となる場合、処理はＳ１４２に進む。作業が終了とならない場合、処理は図１０のＳ１３４に進む。処理がＳ１４２に進んだ場合、仮想装置生成部３０２は、仮想装置３１０の情報をメモリ上から消去する（アンロード）。Ｓ１４２の処理が終了すると、図１０及び図１１に示した一連の処理は終了する。

以上、仮想装置側の処理フローについて説明した。
（二次データの利用方法について）
ここで、図２１〜図２４を参照しながら、二次データの利用方法について説明を補足する。既に二次データを利用して光量レベルを調整する利用方法については説明したが、ここではワークＷＫの姿勢を変化させて作業を継続する場合（図１１のＳ１４１でＮＯに進む場合）における二次データの利用方法について説明する。

なお、図２１は、第２実施形態に係る部品化した二次データの利用方法について説明するための第１の図である。図２２は、第２実施形態に係る部品化した二次データの利用方法について説明するための第２の図である。図２３は、第２実施形態に係る部品化した二次データの利用方法について説明するための第３の図である。図２４は、第２実施形態に係る部品化した二次データの利用方法について説明するための第４の図である。

図２１は、ワークＷＫの姿勢を変化させた後に現実装置１００で撮像された撮像画像である。ワークＷＫの姿勢変更はロボット１０４を制御して行われる。ワークＷＫの姿勢が変化しているため、照明の映り込み部分の位置が変わっている。

仮想装置制御部３０３は、現実装置１００の動作に同期して仮想装置３１０の動作を制御する。シミュレータ３０４は、姿勢変更後の条件で再びシミュレーションを実行し、仮想装置３１０に照明が映り込んだ仮想装置３１０の撮像画像を計算する。そして、仮想装置制御部３０３は、姿勢変更前の部品データを記憶部３０１から読み出し、図２２に示すように、部品データに基づく検査範囲を仮想装置３１０に重畳表示させる。

ワークＷＫの姿勢が設定された場合、二次データ生成部３０５は、既に述べた図１４に記載の方法で仮想装置３１０の撮像画像から二次データＤ２４を生成する。さらに、二次データ生成部３０５は、図２３に示すように、現在の撮像画像に重畳表示した過去の二次データが示す範囲についても二次データＤ２３を生成する。ワークＷＫの姿勢が変更されると過去の二次データが示す撮像画像上の範囲も変わるため、この範囲についても二次データＤ２３の生成が行われるのである。

なお、二次データ生成部３０５により生成された二次データＤ２３、Ｄ２４は、制御装置２００に送信される。二次データＤ２３、Ｄ２４を受信した制御装置２００の表示制御部２０７は、図２４に示すように、現実装置１００の撮像画像に重畳して二次データＤ２３が示す過去の検査範囲を表示装置２５０に表示させる。このような重畳表示を行うことで、オペレータが検査済みの範囲を容易に認識することが可能になる。そのため、オペレータは、既に検査した範囲と現在検査対象として選択する範囲との重複を最小化しつつ、検査漏れがないように検査範囲を確認しながらロボット１０４を操作することができるようになる。

検査作業を行う最適なワークＷＫの位置や姿勢が決まると、二次データを利用して照明１０３の光量レベルが自動調整され、検査作業や教示作業が行われる。上記のように、二次データに基づく検査範囲の重畳表示は、現実装置１００の撮像画像に対しても、仮想装置３１０の撮像画像に対しても行うことができるが、用途に応じて一方の重畳表示を省略してもよい。

以上、二次データの利用方法について説明した。
なお、上記の説明においては、現実装置１００、制御装置２００、情報処理装置３００が連携して装置運用や教示を行う場合を例に挙げて説明した。但し、ワークＷＫの位置や姿勢を教示する作業を実行するだけあれば、情報処理装置３００だけで作業が行える。

例えば、情報処理装置３００は、仮想装置３１０においてワークＷＫの位置や姿勢を変化させつつシミュレーションを実行し、ワークＷＫの表面全てを複数の検査視野でカバーするためのワークＷＫの位置や姿勢を計算する。そして、情報処理装置３００は、これら複数の検査視野を与えるワークＷＫの位置や姿勢の情報を制御装置２００に送信する。この場合、制御装置２００は、受信した情報に基づいて現実装置１００を制御する。その結果、適切な検査視野で作業を行うことができる。

［２−６．変形例＃１（明視野照明）］
ここで、図２５及び図２６を参照しながら、第２実施形態の一変形例（変形例＃１）について説明する。図２５は、第２実施形態の一変形例（変形例＃１）に係る二次データの計算方法について説明するための第１の図である。図２６は、第２実施形態の一変形例（変形例＃１）に係る二次データの計算方法について説明するための第２の図である。

変形例＃１は、表面が明視野照明のワークＷＫを利用するケースを想定したものである。ワークＷＫの表面が明視野照明の場合、現実装置１００の撮像画像は、図２５に示すような画像になる。この場合、ワークエリアのほぼ全面が照明エリアになる。仮想装置３１０の撮像画像についても、図２６に示すように、ワークエリアのほぼ前面が照明エリアになる。この場合、図１４に示した方法と同様に二次データを計算すると、図２６に示すようなワークエリア情報、良分解能エリア情報、及び照明エリア情報が得られる。ワークエリア情報と照明エリア情報とがほぼ同じような情報になるが、既に述べた第２実施形態の方法により検査作業や教示作業を行うことができる。

以上、変形例＃１について説明した。
［２−７．変形例＃２（熱シミュレーション）］
次に、図２７及び図２８を参照しながら、第２実施形態の一変形例（変形例＃２）について説明する。図２７は、第２実施形態の一変形例（変形例＃２）に係るシステムの一例を示した図である。図２８は、第２実施形態の一変形例（変形例＃２）に係る二次データの計算方法について説明するための図である。

これまで、検査に用いるソースが光の場合について説明してきた。しかし、光以外のソースを利用することも可能である。変形例＃２では熱をソースとする例を紹介する。
図２７に示すように、変形例＃２に係るシステムは、現実装置１７０、制御装置２７０、情報処理装置３７０、及び表示装置２９０、３９０を含む。

現実装置１７０は、撮像部１７１、設置台１７２、熱源１７３、ロボット１７４、及びサーモセンサ１７５を有する。なお、撮像部１７１、設置台１７２、熱源１７３、ロボット１７４、及びサーモセンサ１７５の動作は、制御装置２７０により制御される。

撮像部１７１は、ロボット１７４に設置されたワークＷＫを含む範囲を撮像する撮像デバイスである。撮像部１７１は、例えば、レンズなどの光学系、ＣＣＤやＣＭＯＳなどの撮像素子、及び、Ａ／Ｄ変換やデジタル信号処理などを実行する画像処理プロセッサなどを含む。設置台１７２は、熱源１７３やロボット１７４を固定する台である。

熱源１７３は、設置台１７２上に設置され、ロボット１７４に設置されたワークＷＫを含む領域を加熱する熱源である。ロボット１７４は、ワークＷＫを把持し、ワークＷＫの位置を移動させたり、ワークＷＫの姿勢を変えたりする機構である。現実装置１７０は、例えば、ワークＷＫの状態検査などに利用される。この場合、現実装置１７０は、ワークＷＫの表面を均等に加熱し、表面の熱分布を検出する。検出した熱分布を分析することで、ワークＷＫに存在する欠陥を検出することができる。

但し、ワークＷＫが立体的な形状である場合、均等に加熱される範囲が限られてしまう場合がある。そのため、現実装置１７０は、ロボット１７４を利用してワークＷＫの位置や姿勢を変化させつつ、加熱したワークＷＫの温度分布をサーモセンサ１７５で検出する。また、ワークＷＫを含む画像が撮像部１７１により撮像される。ワークＷＫの位置や姿勢を変化させながら温度分布を検出することで、ワークＷＫ表面の広い範囲について温度分布の分析が可能になる。

上記のように、現実装置１７０を利用すれば、加熱領域を変えながら複数の温度分布が得られる。但し、加熱領域の決定はオペレータが行う。ワークＷＫの位置や姿勢を変化させると変化前の加熱領域がワークＷＫ表面のどの領域であったかをオペレータが正確に認識することは難しい。そこで、変形例＃２に係るシステムは、加熱領域をオペレータが容易に認識できるようにする仕組みを提供する。この仕組みを適用することで、ワークＷＫの一部領域について検査漏れが生じてしまうことや、検査漏れを避けようとして加熱領域の重複が過剰になり検査時間が増大してしまうことを抑制することが可能になる。

上記のような現実装置１７０の動作は、制御装置２７０により制御される。制御装置２７０は、通信回線を介して情報処理装置３７０に接続されている。例えば、制御装置２７０は、ソケット通信を利用して現実装置１７０の制御情報などを情報処理装置３７０に送信する。また、制御装置２７０は、表示装置２９０に接続されている。表示装置２９０は、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、ＥＬＤなどのディスプレイ装置である。制御装置２７０は、撮像部１７１による撮像画像を表示装置２９０に表示させる。オペレータは、表示装置２９０の撮像画像を見ながら操作を行う。

情報処理装置３７０は、現実装置１７０の３次元ＣＡＤデータを保持し、３次元ＣＡＤデータを利用して現実装置１７０を仮想空間内に再現した仮想装置を生成する。また、情報処理装置３７０は、現実装置１７０の制御情報などを受信し、受信した制御情報に基づいて仮想装置の動作をシミュレートする。そして、情報処理装置３７０は、ワークＷＫ表面の温度分布を計算する。

例えば、情報処理装置３７０は、熱解析シミュレーションを実行し、仮想装置におけるワークＷＫｖの表面温度分布を計算する。また、情報処理装置３７０は、設定した温度よりも表面温度が高温になるワークＷＫｖの範囲を計算する。例えば、図２８に示すように、情報処理装置３７０は、図１６を参照しながら既に説明した方法で良分解能エリア情報Ｄ２８を計算する（Ｓ１、Ｓ２）と共に高温エリア情報Ｄ２９を生成する（Ｓ３）。そして、情報処理装置３７０は、良分解能エリア情報Ｄ２１が示す領域と高温エリア情報Ｄ２９が示す領域とが重複する範囲を二次データとする。

さらに、情報処理装置３７０は、仮想装置における撮像画像を計算する。また、情報処理装置３７０は、二次データ及び撮像画像の計算結果を制御装置２７０に送信する。なお、計算された撮像画像は表示装置３９０に表示される。なお、情報処理装置３７０は、二次データを３次元ＣＡＤデータに変換して保持する。また、二次データは、適宜、制御装置２７０に送信され、表示装置２９０に表示された撮像画像に重畳して表示される。

以上、変形例＃２について説明した。変形例＃２のように、検査に利用するソースの種類が変わっても第２実施形態に係る技術を同様に適用可能である。例えば、ソースを音にする場合、現実装置に音源及びマイクを設置し、音響シミュレーションを利用することで上述した技術を適用可能である。ソースを電磁場にする場合、現実装置に電磁場発生源及び電磁場センサを設置し、電磁場解析シミュレーションを利用することで上述した技術を適用可能である。

以上、第２実施形態について説明した。
以上、添付図面を参照しながら好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。

１０ 現実装置
２０ 情報処理装置
２１ 記憶部
２２ 計算部
２３ 仮想装置
２４ 検出部
２５ 発生源
ＯＢＪ 対象物
Ｐｖ 撮像画像
ＣＨ 変化
Ａ１ 第１範囲
Ａ２ 第２範囲
Ａ３ 計算結果

例えば、情報処理装置３７０は、熱解析シミュレーションを実行し、仮想装置におけるワークＷＫｖの表面温度分布を計算する。また、情報処理装置３７０は、設定した温度よりも表面温度が高温になるワークＷＫｖの範囲を計算する。例えば、図２８に示すように、情報処理装置３７０は、図１６を参照しながら既に説明した方法で良分解能エリア情報Ｄ２８を計算する（Ｓ１、Ｓ２）と共に高温エリア情報Ｄ２９を生成する（Ｓ３）。そして、情報処理装置３７０は、良分解能エリア情報Ｄ２８が示す領域と高温エリア情報Ｄ２９が示す領域とが重複する範囲を二次データとする。

Claims (17)

1. 対象物と、前記対象物に作用して外部から検出可能な変化を与える作用要素を発生させる発生源と、設定した検出範囲内で前記作用要素による前記変化を検出可能な検出部と、を含む現実装置の３次元情報を記憶する記憶部と、
   前記３次元情報に基づいて前記現実装置を仮想空間内に再現した仮想装置を生成し、前記仮想装置を利用して前記作用要素に起因する前記変化をシミュレートし、設定した条件を満たす前記変化が検出された前記対象物の範囲を計算する計算部と
   を有する、情報処理装置。
2. 前記記憶部は、前記変化に関する第１条件を示す情報、及び前記対象物の形状に関する第２条件を示す情報を記憶し、
   前記計算部は、前記第１条件を満たす前記対象物の範囲である第１範囲と、前記第２条件を満たす前記対象物の範囲である第２範囲とを計算し、前記第１範囲と前記第２範囲とが重複する範囲を計算結果とする
   請求の範囲第１項に記載の情報処理装置。
3. 前記検出部は、前記対象物を含む範囲を撮像する撮像部を含み、
   前記計算部は、前記仮想装置の撮像部により撮像される２次元の撮像画像を生成し、
   前記第１範囲及び前記第２範囲は、前記撮像画像内の範囲である
   請求の範囲第２項に記載の情報処理装置。
4. 前記計算部は、前記重複する範囲を前記仮想空間内の３次元情報に変換し、３次元情報に変換した前記重複する範囲の情報を前記記憶部に記憶させる
   請求の範囲第３項に記載の情報処理装置。
5. 前記計算部は、表示画面に前記仮想装置を表示させると共に、前記記憶部に記憶させた前記重複する範囲の情報に基づいて当該重複する範囲を前記仮想装置の表示に重複して表示させる
   請求の範囲第４項に記載の情報処理装置。
6. 前記対象物の範囲を示す情報が入力される入力部をさらに有し、
   前記計算部は、前記入力部から入力された情報が示す範囲を除外した前記対象物の範囲である第３範囲を計算し、前記第１範囲と前記第２範囲と前記第３範囲とが重複する範囲を計算結果とする
   請求の範囲第２項〜第５項のいずれか１項に記載の情報処理装置。
7. 前記作用要素は光であり、
   前記変化は前記光が反射することであり、
   前記第１条件は反射光の輝度が設定値以上となることである
   請求の範囲第２項〜第６項のいずれか１項に記載の情報処理装置。
8. 前記作用要素は熱であり、
   前記変化は温度変化であり、
   前記第１条件は前記温度が所定温度以上に上昇したことである
   請求の範囲第２項〜第６項のいずれか１項に記載の情報処理装置。
9. 対象物と、前記対象物に作用して外部から検出可能な変化を与える作用要素を発生させる発生源と、設定した検出範囲内で前記作用要素による前記変化を検出可能な検出部と、を含む現実装置の３次元情報を記憶するメモリを有するコンピュータが、
   前記３次元情報に基づいて前記現実装置を仮想空間内に再現した仮想装置を生成し、前記仮想装置を利用して前記作用要素に起因する前記変化をシミュレートし、設定した条件を満たす前記変化が検出された前記対象物の範囲を計算する
   検査範囲の計算方法。
10. 対象物と、前記対象物に作用して外部から検出可能な変化を与える作用要素を発生させる発生源と、設定した検出範囲内で前記作用要素による前記変化を検出可能な検出部と、を含む現実装置の３次元情報を記憶するメモリを有するコンピュータに、
    前記３次元情報に基づいて前記現実装置を仮想空間内に再現した仮想装置を生成し、前記仮想装置を利用して前記作用要素に起因する前記変化をシミュレートし、設定した条件を満たす前記変化が検出された前記対象物の範囲を計算する
    処理を実行させるプログラム。
11. 前記メモリは、前記変化に関する第１条件を示す情報、及び前記対象物の形状に関する第２条件を示す情報を記憶し、
    前記コンピュータのプロセッサが、前記第１条件を満たす前記対象物の範囲である第１範囲と、前記第２条件を満たす前記対象物の範囲である第２範囲とを計算し、前記第１範囲と前記第２範囲とが重複する範囲を計算結果とする
    請求の範囲第９項に記載の検査範囲の計算方法。
12. 前記検出部は、前記対象物を含む範囲を撮像する撮像部を含み、
    前記プロセッサが、前記仮想装置の撮像部により撮像される２次元の撮像画像を生成し、
    前記第１範囲及び前記第２範囲は、前記撮像画像内の範囲である
    請求の範囲第１１項に記載の検査範囲の計算方法。
13. 前記プロセッサが、前記重複する範囲を前記仮想空間内の３次元情報に変換し、３次元情報に変換した前記重複する範囲の情報を前記メモリに記憶させる
    請求の範囲第１２項に記載の検査範囲の計算方法。
14. 前記プロセッサが、表示画面に前記仮想装置を表示させると共に、前記メモリに記憶させた前記重複する範囲の情報に基づいて当該重複する範囲を前記仮想装置の表示に重複して表示させる
    請求の範囲第１３項に記載の検査範囲の計算方法。
15. 前記対象物の範囲を示す情報が入力された場合に、前記プロセッサが、入力された前記情報が示す範囲を除外した前記対象物の範囲である第３範囲を計算し、前記第１範囲と前記第２範囲と前記第３範囲とが重複する範囲を計算結果とする
    請求の範囲第１１項〜第１４項のいずれか１項に記載の検査範囲の計算方法。
16. 前記作用要素は光であり、
    前記変化は前記光が反射することであり、
    前記第１条件は反射光の輝度が設定値以上となることである
    請求の範囲第１１項〜第１５項のいずれか１項に記載の検査範囲の計算方法。
17. 前記作用要素は熱であり、
    前記変化は温度変化であり、
    前記第１条件は前記温度が所定温度以上に上昇したことである
    請求の範囲第１１項〜第１５項のいずれか１項に記載の検査範囲の計算方法。

Images