JP7533265B2 - 支援システム、画像処理装置、支援方法およびプログラム - Google Patents

Description

本開示は、支援システム、画像処理装置、支援方法およびプログラムに関する。

従来、ばら積みされた複数の対象物（以下、「ワーク」とも称する。）の中からロボットが１つずつワークをピッキングする技術が知られている。このような技術では、ワークの位置姿勢が計測され、計測結果に応じてロボットの動作が決定される。

例えば、特開２０１９－１５５５３５号公報（特許文献１）は、ワークの位置姿勢を計測するセンサと、ワークを把持するハンドと、ハンドを把持位置に移動し且つ当該把持位置から移動するロボットと、制御装置とを備えるワークピッキング装置を開示している。制御装置は、ワークの位置姿勢の計測結果と位置姿勢の検出されたワーク数の算出結果とに基づいて、ワークの状況を判定し、判定結果が所定の条件を満たす場合に、計測パラメータを変更する。

特開２０１９－１５５５３５号公報

特許文献１に記載の技術は、ピッキング装置を運用しているときに、把持の成功率を向上させるように計測パラメータを設定する。すなわち、特許文献１に記載の技術は、ピッキング装置の立ち上げ時において、ワークの位置姿勢を計測するときの条件設定を支援することを想定していない。

ばら積みされたワークは、センサから見たとき様々な姿勢を取り得る。そのため、ピッキング装置の立ち上げ時において、ワークの位置姿勢を計測するときの条件を適切に設定するためには、ユーザは、手動でワークの姿勢を適宜変更させながら、ワークの位置姿勢の計測結果を確認する必要がある。その結果、ワークの位置姿勢を計測するときの条件設定に手間がかかる。そのため、対象物の取り得る姿勢を考慮した条件設定を支援するシステムの開発が望まれている。

本開示は、上記の問題に鑑みてなされたものであり、その目的は、対象物の取り得る姿勢を考慮した、対象物の位置姿勢を計測するときの条件設定を支援できる支援システム、画像処理装置、支援方法およびプログラムを提供することである。

本開示の一例によれば、支援システムは、撮像装置と、設定部と、ロボットと、計測部と、評価部と、提示部と、を備える。撮像装置は、対象物を撮像する。設定部は、撮像装置の移動範囲を設定する。ロボットは、移動範囲内の複数の計測位置に撮像装置を順次移動させる。計測部は、複数の計測位置の各々について、撮像装置の撮像により得られる撮像画像を用いて対象物の位置姿勢を計測する。評価部は、計測部による計測結果を評価する。提示部は、複数の計測位置の各々と評価部による評価結果との対応関係を示すマップを提示する。

この開示によれば、複数の計測位置から撮像することにより得られる撮像画像において、対象物の姿勢は互いに異なる。そのため、ユーザは、マップを確認することにより、撮像画像に写る対象物の位置姿勢と、計測された対象物の位置姿勢の評価結果との対応関係を容易に把握できる。当該対応関係により、ユーザは、計測位置ごとの評価結果の良否を判断し、対象物の写る画像を用いて対象物の位置姿勢を計測するときの条件を適宜設定できる。このように、支援システムは、対象物の取り得る姿勢を考慮した、対象物の位置姿勢を計測するときの条件設定を支援できる。

上述の開示において、評価部は、評価結果を表す少なくとも１つの評価値を計算する。提示部は、マップ上において、複数の計測位置のうちの１つの計測位置の指定を受け付け、１つの計測位置の指定に応じて、当該１つの計測位置に対応する少なくとも１つの評価値を提示する。

上記の開示によれば、ユーザは、各計測位置について、評価結果の詳細である評価値を容易に確認できる。ユーザは、評価値の大小に応じて、対象物の位置姿勢を計測するときの条件を適宜調整できる。

上述の開示において、計測部は、複数の計測位置の各々に対応する撮像画像に基づいて、撮像装置の視野領域の三次元点群データを生成する。提示部は、マップ上において、複数の計測位置のうちの１つの計測位置の指定を受け付け、１つの計測位置の指定に応じて、当該１つの計測位置に対応する三次元点群データから生成される画像を提示する。

上記の開示によれば、ユーザは、各計測位置について、撮像画像から生成された三次元点群データにおいて、点の不足および誤検出の点の有無などを容易に確認できる。

上述の開示において、設定部は、移動範囲内の基準位置を設定し、基準位置に対応する撮像画像から計測される対象物の位置姿勢と一致するように、対象物のモデルの位置姿勢を登録する。提示部は、１つの計測位置の指定に応じて、当該１つの計測位置から見たときのモデルの仮想画像を生成し、仮想画像を提示する。

上記の開示によれば、ユーザは、三次元点群データから生成される画像と仮想画像とを比較することにより、三次元点群データが適切に生成されているか否かを容易に確認できる。

上述の開示において、計測部は、撮像画像に基づいて、撮像装置の視野領域の三次元点群データを生成し、三次元点群データとテンプレートデータとに基づいて位置姿勢を計測する。少なくとも１つの評価値は、三次元点群データとテンプレートデータとの相関値を含む。

上記の開示によれば、ユーザは、相関値を確認することにより、テンプレートデータを用いた対象物の探索に問題があるか否かを判断できる。相関値が低い場合、ユーザは、相関値を高めるための対応策（たとえば、照明光の強度、シャッタースピードおよびカメラゲインなどの調整）を取ることができる。

上述の開示において、計測部は、複数の計測位置の各々について、複数回の計測を行なう。少なくとも１つの評価値は、複数回の計測の繰り返し精度を示す値を含む。

上記の開示によれば、ユーザは、繰り返し精度を示す値を確認することにより、計測の安定性を確認できる。繰り返し精度が低い場合、ユーザは、繰り返し精度を高めるための対応策（たとえば、照明光の強度、シャッタースピードおよびカメラゲインなどの調整）を取ることができる。

上述の開示において、複数の計測位置は、基準位置を含む。計測部は、撮像装置を基準とするカメラ座標系における対象物の位置姿勢を計測する。少なくとも１つの評価値は、複数の計測位置の各々について、基準位置からの移動量に基づいて推定される、カメラ座標系における対象物の位置姿勢の第１変化量と、基準位置において計測された位置姿勢から当該計測位置において計測された位置姿勢への第２変化量との差分を示す値を含む。

上記の開示によれば、ユーザは、第１変化量と第２変化量との差分を示す値を確認することにより、撮像画像から対象物を探索する処理に問題が生じているか否かを確認できる。このような問題が生じている場合、ユーザは、撮像画像から対象物を探索する処理に関する条件の変更を行なえばよい。

上述の開示において、複数の計測位置は、同一の球面上に存在する。マップは、当該球の中心を原点とする極座標系で表される。

上記の開示によれば、ユーザは、マップを確認することにより、球面上に配置された複数の計測位置の各々を把握しやすくなる。

本開示の一例によれば、画像処理装置は、対象物を撮像する撮像装置の移動範囲を設定する設定部と、移動範囲内の複数の計測位置の各々について、当該計測位置に位置する撮像装置から得られる撮像画像を用いて対象物の位置姿勢を計測する計測部と、計測部による計測結果を評価する評価部と、複数の計測位置の各々と前記評価部による評価結果との対応関係を示すマップを提示する提示部と、を備える。

本開示の一例によれば、支援方法は、第１～第５のステップを備える。第１のステップは、対象物を撮像する撮像装置の移動範囲を設定するステップである。第２のステップは、ロボットを用いて、移動範囲内の複数の計測位置に撮像装置を順次移動させるステップである。第３のステップは、複数の計測位置の各々について、撮像装置の撮像により得られる撮像画像を用いて対象物の位置姿勢を計測するステップである。第４のステップは、位置姿勢の計測結果を評価するステップである。第５のステップは、複数の計測位置の各々と評価結果との対応関係を示すマップを提示するステップである。

本開示の一例によれば、プログラムは、上記の支援方法をコンピュータに実行させる。これらの開示によって、対象物の取り得る姿勢を考慮した、対象物の位置姿勢を計測するときの条件設定を支援できる。

本開示によれば、対象物の取り得る姿勢を考慮した、対象物の位置姿勢を計測するときの条件設定を支援できる。

実施の形態に係る支援システムの全体構成を示す概略図である。 ばら積みされたワークの一例を示す図である。 図１に示す画像センサコントローラのハードウェア構成の一例を示す概略図である。 支援システムにおいて用いられる座標系の一例を示す図である。 図１に示す画像センサコントローラの機能構成の一例を示すブロック図である。 支援システムにおける支援処理の流れを示すフローチャートである。 移動範囲の設定を支援する画面（設定画面）の一例を示す図である。 性能レポート画面の一例を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

§１ 適用例
図１を参照して、本発明が適用される場面の一例について説明する。図１は、実施の形態に係る支援システムの全体構成を示す概略図である。図１に例示される支援システム１は、対象物であるワークＷの写る画像を用いてワークＷの位置姿勢を計測するときの条件設定を支援する。支援システム１は、たとえば、生産ラインなどに組み込まれ、ばら積みされたワークＷに対するピッキングの制御のために利用される。

図１に例示される支援システム１は、画像センサコントローラ１００と、計測ヘッド２００と、ロボット３００と、ロボットコントローラ４００と、ディスプレイ５００と、を備える。

計測ヘッド２００は、ワークＷを含む被写体を撮像する。計測ヘッド２００は、投影部２０１と撮像部２０２とを備える。投影部２０１は、画像センサコントローラ１００からの指示に従って任意の投影パターン光を被写体に投影する。投影パターンは、例えば照射面内の所定方向に沿って明るさが周期的に変化するパターンである。撮像部２０２は、画像センサコントローラ１００からの指示に従って、投影パターン光が投影された状態の被写体を撮像する。

投影部２０１は、主要なコンポーネントとして、例えば、ＬＥＤ（Light Emitting Diode）やハロゲンランプなどの光源と、投影部２０１の照射面の側に配置されたフィルタとを含む。フィルタは、後述するような三次元形状の計測に必要な投影パターン光を発生させるものであり、画像センサコントローラ１００からの指令に従って、面内の透光率を任意に変化させることができる。投影部２０１は、時間的に変化しない固定の投影パターン光を投影してもよいし、時間的に変化する投影パターン光を投影してもよい。投影部２０１は、液晶またはＤＭＤ（Digital Mirror Device）と光源（ＬＥＤまたはレーザ光源など）とを用いた構成であってもよい。

撮像部２０２は、主要なコンポーネントとして、例えば、レンズなどの光学系と、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった撮像素子とを含む。

ロボット３００は、計測ヘッド２００を移動させる。さらに、ロボット３００は、ワークＷに対するピッキングを行なってもよい。すなわち、支援システム１は、ばら積みされたワークＷをピッキングするロボットを用いて、ワークＷの位置姿勢を計測するときの条件設定の支援を行なってもよい。なお、支援システム１は、ばら積みされたワークＷをピッキングするロボットとは異なるロボットを用いて、ワークＷの位置姿勢を計測するときの条件設定の支援を行なってもよい。

ロボット３００は、多関節アーム３０１と、多関節アーム３０１を支持するベース３０２とを含む。多関節アーム３０１の先端にはフランジプレート３０３が取り付けられる。フランジプレート３０３には、計測ヘッド２００とエンドエフェクタ３０４とを支持する支持部材３０５が取り付けられる。ロボット３００の動作は、ロボットコントローラ４００によって制御される。エンドエフェクタ３０４は、ワークＷを保持するように構成され、たとえば吸着パッドまたは２指ハンド等を含む。

ロボットコントローラ４００は、画像センサコントローラ１００からの移動指令に従って、多関節アーム３０１を制御する。移動指令は、たとえば、フランジプレート３０３の位置姿勢を示す。ロボットコントローラ４００は、フランジプレート３０３の位置姿勢が移動指令と一致するように、多関節アーム３０１を制御する。

画像センサコントローラ１００は、ワークＷの位置姿勢を計測するときの条件設定の助けとなる画面を提供する。図１に示されるように、画像センサコントローラ１００は、設定部１１と、計測部１２と、評価部１３と、提示部１４と、を備える。

設定部１１は、計測ヘッド２００の移動範囲を設定する。設定部１１は、ユーザ入力に応じて移動範囲を設定すればよい。設定部１１は、移動範囲内の複数の計測位置に計測ヘッド２００を順次移動させるように移動指令を生成し、生成した移動指令をロボットコントローラ４００に出力する。これにより、ロボット３００は、移動範囲内の複数の計測位置に計測ヘッド２００を順次移動させる。たとえば、計測ヘッド２００は、矢印５０，５１に沿って移動する。

計測部１２は、複数の計測位置の各々について、計測ヘッド２００の撮像により得られる撮像画像を用いてワークＷの位置姿勢を計測する。具体的には、計測部１２は、撮像画像に基づいて、計測ヘッド２００の視野領域の三次元形状を計測し、計測された三次元形状の中にワークＷに対応する形状を探索する。計測部１２は、探索結果に応じて、ワークＷの位置姿勢を計測する。

評価部１３は、複数の計測位置の各々について、計測部１２によるワークＷの位置姿勢の計測結果を評価する。

提示部１４は、複数の計測位置の各々と評価部１３による評価結果との対応関係を示すマップ６０を提示する。

複数の計測位置から撮像することにより得られる撮像画像において、ワークＷの姿勢は互いに異なる。そのため、ユーザは、マップ６０を確認することにより、撮像画像に写るワークＷの位置姿勢と、計測されたワークＷの位置姿勢の評価結果との対応関係を容易に把握できる。当該対応関係により、ユーザは、計測位置ごとの評価結果の良否を判断し、ワークＷの位置姿勢を計測するときの条件を適宜設定できる。このように、支援システム１は、ワークＷの取り得る姿勢を考慮した、ワークＷの位置姿勢を計測するときの条件設定を支援できる。

§２ 具体例
＜Ａ．ばら積みされたワークの例＞
図２は、ばら積みされたワークの一例を示す図である。図２には、コンテナ２内にばら積みされた複数のワークＷが示される。コンテナ２内にばら積みされた複数のワークＷは、１つずつ順次ピッキングされる。

位置姿勢が精度良く計測されないワークＷが存在する場合、当該ワークＷは、ピッキングされずに、コンテナ２内に残る。ピッキングされずにコンテナ２内に残るワークＷの個数は、望ましくは０である。そのため、コンテナ２内において取り得る様々な姿勢の各々のワークＷを精度良く計測可能なように条件を設定することが好ましい。しかしながら、コンテナ２内において取り得る様々な姿勢の各々のワークＷを精度良く計測するための最適な条件を見つけるために時間がかかる。そのため、ユーザは、条件設定に要する時間とピッキングされずにコンテナ２内に残るワークＷの個数との両者が許容範囲内となるように、ワークＷの取りうる姿勢を考慮して、ワークＷの位置姿勢を計測するときの条件設定を行なう必要がある。本実施の形態に係る支援システム１は、このような条件設定を支援する。

＜Ｂ．画像センサコントローラのハードウェア構成例＞
画像センサコントローラ１００は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、本実施の形態に係る支援処理を実行する。このようなプログラムは、典型的には、各種記録媒体などに格納された状態で流通し、あるいは、ネットワークなどを介して画像センサコントローラ１００にインストールされる。

このような汎用的なコンピュータを利用する場合には、本実施の形態に係る支援処理を実行するためのアプリケーションに加えて、コンピュータの基本的な処理を実行するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行されてもよい。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。

さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

図３は、図１に示す画像センサコントローラのハードウェア構成の一例を示す概略図である。図３に示されるように、画像センサコントローラ１００は、演算処理部であるＣＰＵ（Central Processing Unit）１０１と、記憶部としてのメインメモリ１０２およびハードディスク１０３と、計測ヘッドインターフェース１０４と、入力インターフェース１０５と、表示コントローラ１０６と、通信インターフェース１０７と、データリーダ／ライタ１０８とを含む。これらの各部は、バス１０９を介して、互いにデータ通信可能に接続される。

ＣＰＵ１０１は、ハードディスク１０３にインストールされたプログラム（コード）をメインメモリ１０２に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１０２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ハードディスク１０３から読み出されたプログラムに加えて、計測ヘッド２００によって取得された画像などを保持する。さらに、ハードディスク１０３には、後述するような各種データなどが格納される。なお、ハードディスク１０３に加えて、あるいは、ハードディスク１０３に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。

計測ヘッドインターフェース１０４は、ＣＰＵ１０１と計測ヘッド２００との間のデータ伝送を仲介する。すなわち、計測ヘッドインターフェース１０４は、計測ヘッド２００と接続される。計測ヘッドインターフェース１０４は、ＣＰＵ１０１が生成した内部コマンドに従って、計測ヘッド２００に対して投影コマンドおよび撮像コマンドを与える。計測ヘッドインターフェース１０４は、計測ヘッド２００からの画像を一時的に蓄積するための画像バッファ１０４ａを含む。計測ヘッドインターフェース１０４は、画像バッファ１０４ａに所定コマ数の画像が蓄積されると、その蓄積された画像をメインメモリ１０２へ転送する。

入力インターフェース１０５は、ＣＰＵ１０１と入力装置６００との間のデータ伝送を仲介する。すなわち、入力インターフェース１０５は、ユーザが入力装置６００に入力した入力情報を受け付ける。入力装置６００は、キーボード、マウス、タッチパネルなどを含む。

表示コントローラ１０６は、ディスプレイ５００と接続され、ＣＰＵ１０１における処理結果などをユーザに通知するようにディスプレイ５００の画面を制御する。

通信インターフェース１０７は、ＣＰＵ１０１とロボットコントローラ４００などの外部装置との間のデータ伝送を仲介する。通信インターフェース１０７は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）などからなる。

データリーダ／ライタ１０８は、ＣＰＵ１０１と記録媒体であるメモリカード７００との間のデータ伝送を仲介する。すなわち、メモリカード７００には、画像センサコントローラ１００で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１０８は、このメモリカード７００からプログラムを読出す。また、データリーダ／ライタ１０８は、ＣＰＵ１０１の内部指令に応答して、計測ヘッド２００によって撮像された画像および／または画像センサコントローラ１００における処理結果などをメモリカード７００へ書込む。なお、メモリカード７００は、ＳＤ（Secure Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体や、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体等からなる。

＜Ｃ．座標系＞
ＣＰＵ１０１は、複数の座標系の座標値を用いて、ワークＷ、計測ヘッド２００およびロボット３００の位置姿勢を演算する。

図４は、支援システムにおいて用いられる座標系の一例を示す図である。図４に示されるように、支援システム１は、ロボットベース座標系、フランジ座標系（ツール座標系とも称される）、カメラ座標系、およびワーク座標系を用いる。

ロボットベース座標系は、ロボット３００のベース３０２を基準とする座標系である。ロボットベース座標系は、ベース３０２に設定された原点Ｏｂと基底ベクトルＸｂ，Ｙｂ，Ｚｂとによって定められる。

フランジ座標系は、ロボット３００のフランジプレート３０３を基準とする座標系である。フランジ座標系は、フランジプレート３０３のフランジ面に設定された原点Ｏｆと基底ベクトルＸｆ，Ｙｆ，Ｚｆとによって定められる。

カメラ座標系は、計測ヘッド２００の撮像部２０２を基準とする座標系である。カメラ座標系は、撮像部２０２に設定された原点Ｏｃと基底ベクトルＸｃ，Ｙｃ，Ｚｃとによって定められる。

ワーク座標系は、ワークＷを基準とする座標系である。ワーク座標系は、ワークＷに設定された原点Ｏｗと基底ベクトルＸｗ，Ｙｗ，Ｚｗとによって定められる。

計測ヘッド２００から受けた撮像画像に基づいて検出されるワークＷの位置姿勢は、たとえばカメラ座標系をワーク座標系に変換する座標変換行列^CＨ_Wによって示される。座標変換行列^CＨ_Wは、カメラ座標系におけるワーク座標系の原点Ｏｗの位置および基底ベクトルＸｗ，Ｙｗ，Ｚｗを表す。

計測ヘッド２００は、支持部材３０５を介してフランジプレート３０３に固定される。そのため、計測ヘッド２００とフランジプレート３０３との相対位置関係は一定である。当該相対位置関係は、たとえばフランジ座標系をカメラ座標系に変換する座標変換行列^FＨ_Cによって示される。座標変換行列^FＨ_Cは、フランジ座標系におけるカメラ座標系の原点Ｏｃの位置および基底ベクトルＸｃ，Ｙｃ，Ｚｃを表す。座標変換行列^FＨ_Cは、固定値で表され、事前に実施されるキャリブレーションによって求められる。キャリブレーションとして、たとえば、ロボット３００を動作させながら、計測ヘッド２００の撮像部２０２で固定位置に設置されたマーカを撮像する公知のハンドアイキャリブレーションが採用され得る。

画像センサコントローラ１００からロボットコントローラ４００に出力される移動指令は、たとえばベース座標系をフランジ座標系に変換する座標変換行列^BＨ_Fによって示される。座標変換行列^BＨ_Fは、ベース座標系におけるフランジ座標系の原点Ｏｆと基底ベクトルＸｆ，Ｙｆ，Ｚｆを表す。

ロボットベース座標系における計測ヘッド２００の位置姿勢は、たとえばロボットベース座標系をカメラ座標系に変換する座標変換行列^BＨ_Cによって示される。座標変換行列^BＨ_Cは、
^BＨ_C＝^BＨ_F・^FＨ_C
を満たす。上述したように、そのため、座標変換行列^FＨ_Cは、固定値で表される。そのため、ＣＰＵ１０１は、移動先の計測ヘッド２００の位置姿勢から、ロボットコントローラ４００に出力すべき移動指令を演算できる。

ロボットベース座標系におけるワークＷの位置姿勢は、たとえばロボットベース座標系をワーク座標系に変換する座標変換行列^BＨ_Wによって示される。座標変換行列^BＨ_Wは、
^BＨ_W＝^BＨ_F・^FＨ_C・^CＨ_W
を満たす。上述したように、座標変換行列^CＨ_Wは、カメラ座標系におけるワークＷの位置姿勢を示し、計測ヘッド２００から受けた撮像画像に基づいて検出される。そのため、ＣＰＵ１０１は、ロボットコントローラ４００に出力した移動指令および撮像画像に基づく計測結果を用いて、ロボットベース座標系におけるワークＷの位置姿勢を演算できる。

＜Ｄ．画像センサコントローラの機能構成例＞
図５は、図１に示す画像センサコントローラの機能構成の一例を示すブロック図である。図５に示されるように、画像センサコントローラ１００は、設定部１１と、計測部１２と、評価部１３と、提示部１４と、記憶部１５と、を備える。設定部１１、計測部１２、評価部１３、および提示部１４は、図３に示すＣＰＵ１０１がハードディスク１０３に格納されたプログラムを実行することにより実現される。記憶部１５は、図３に示すメインメモリ１０２およびハードディスク１０３によって実現される。

（Ｄ－１．記憶部）
記憶部１５は、キャリブレーションデータ１５１と、ワーク形状データ１５２と、複数のテンプレートデータ１５３と、計測位置リスト１５４と、モデル位置姿勢データ１５５と、を記憶する。

キャリブレーションデータ１５１は、計測ヘッド２００とフランジプレート３０３との相対位置関係を定義付けるデータである。キャリブレーションデータ１５１は、たとえば、ハンドアイキャリブレーションによって生成され、座標変換行列^FＨ_Cを示す。

ワーク形状データ１５２は、ワークＷの三次元形状を示す。ワーク形状データ１５２は、たとえばＣＡＤ（Computer-Aided Design）データである。

複数のテンプレートデータ１５３は、ワーク形状データ１５２に基づいて予め作成される。複数のテンプレートデータ１５３は、仮想空間上において、ワーク形状データ１５２で示されるワークモデルを複数の仮想視点からそれぞれ見たときのワークモデルの表面上の点の座標を示す。

計測位置リスト１５４は、計測ヘッド２００の計測位置の一覧を示す。計測位置リスト１５４は、後述するように設定部１１によって生成される。

モデル位置姿勢データ１５５は、ロボットベース座標系におけるワークモデルの位置姿勢を示す。モデル位置姿勢データ１５５は、後述するように設定部１１によって生成される。

（Ｄ－２．設定部）
設定部１１は、移動範囲決定部１１１と、登録部１１２と、移動指令部１１３と、を含む。

移動範囲決定部１１１は、入力装置６００への入力と、指定された位置および姿勢の計測ヘッド２００から受けた撮像画像とに応じて、計測ヘッド２００の移動範囲を設定する。計測ヘッド２００の移動範囲は、たとえば、計測ヘッド２００の視野領域内に設定された基準点を中心とし、当該基準点と計測ヘッド２００の撮像部２０２との距離を半径とする球面上の領域を示す。基準点は、たとえば、計測ヘッド２００の視野領域の中心であり、かつ、ワークＷの重心と同一の高さ（Ｚ座標値）を有する点である。

移動範囲決定部１１１は、移動範囲内の複数の位置の各々を計測位置として設定する。なお、移動範囲決定部１１１は、上記の指定された位置を基準位置として設定する。基準位置は、複数の計測位置に含まれる。

登録部１１２は、移動範囲決定部１１１によって決定された移動範囲に関する情報を記憶部１５に登録する。登録部１１２は、移動範囲に関する情報として、計測位置リスト１５４およびモデル位置姿勢データ１５５を生成する。

登録部１１２は、移動範囲決定部１１１によって決定された複数の計測位置について、各計測位置と各計測位置における計測ヘッド２００の姿勢との一覧を示す計測位置リスト１５４を生成する。各計測位置における計測ヘッド２００の姿勢は、撮像部２０２の光軸上に基準点が位置するように設定される。言い換えると、各計測位置における計測ヘッド２００の姿勢は、基準点から見たときの計測ヘッド２００の姿勢が一定となるように設定される。すなわち、カメラ座標系において、基準点は固定位置（たとえば視野の中心位置）となる。たとえば、ワークＷが基準点に位置している場合、各計測位置の撮像画像において、ワークＷは、中心に写る。ワークＷが基準点から離れた場所に位置している場合、各計測位置の撮像画像において、ワークＷは、中心から離れた位置に写る。各計測位置の計測ヘッド２００の位置姿勢は、たとえば、ロボットベース座標系を当該位置姿勢の計測ヘッド２００に対応するカメラ座標系に変換する座標変換行列^BＨ_Cで示される。

計測位置リスト１５４は、複数の計測位置を区別するために、各計測位置を識別する番号を含む。計測位置リスト１５４において、番号「０」は、基準位置に対応する。

登録部１１２は、上記の指定された位置および姿勢の計測ヘッド２００から受けた撮像画像を用いて計測されたワークＷの位置姿勢をワークモデルの位置姿勢として決定する。ワークモデルは、ワークＷと同一の形状を有するモデルである。登録部１１２は、決定したワークモデルの位置姿勢を示すモデル位置姿勢データ１５５を生成し、記憶部１５に登録する。モデル位置姿勢データ１５５は、ロボットベース座標系におけるワークモデルの位置姿勢を示す。

移動指令部１１３は、入力装置６００への開始指示の入力に応じて、計測ヘッド２００を複数の計測位置に順次移動させるための移動指令を生成し、生成した移動指令をロボットコントローラ４００に出力する。

上述したように、ロボットコントローラ４００は、フランジプレート３０３の位置姿勢を示す移動指令を受けて、フランジプレート３０３の位置姿勢が移動指令と一致するように、多関節アーム３０１を制御する。そのため、移動指令部１１３は、計測位置リスト１５４から各計測位置に対応する計測ヘッド２００の位置姿勢を示す座標変換行列^BＨ_Cを読み出す。座標変換行列^BＨ_Cと、フランジ座標系をカメラ座標系に変換する座標変換行列^FＨ_Cと、ロボットベース座標系をフランジ座標系に変換する座標変換行列^BＨ_Fとは、以下の式を満たす。
^BＨ_C＝^BＨ_F・^FＨ_C
そのため、移動指令部１１３は、読み出した座標変換行列^BＨ_Cとキャリブレーションデータ１５１によって示される座標変換行列^FＨ_Cとを用いて、座標変換行列^BＨ_Fを演算する。移動指令部１１３は、演算により得られた座標変換行列^BＨ_Fを示す移動指令を生成すればよい。

（Ｄ－３．計測部）
計測部１２は、計測ヘッド２００から取得した撮像画像から被写体の三次元形状を計測する三次元計測処理と、計測された三次元形状の中からワークＷの形状を探索する探索処理（サーチ処理）と、を行なうことにより、ワークＷの位置姿勢を計測する。そのため、計測部１２は、三次元計測処理を行なう点群データ生成部１２１と、探索処理を行なうワーク検出部１２２と、を含む。

点群データ生成部１２１は、各計測位置に対応する撮像画像に基づいて、当該計測位置に配置された計測ヘッド２００の視野領域の三次元計測を行ない、三次元点群データを生成する。三次元点群データは、計測ヘッド２００の視野領域に存在する被写体表面（計測表面）上の各点の三次元座標を示す。

三次元計測処理として、例えば三角測距方式、同軸方式が採用され得る。三角測距方式は、撮像と投光との光軸を基線長分だけ離間させ、視差を距離に変換する方式である。三角測距方式には、アクティブ法とパッシブ法とが含まれる。アクティブ法には、構造化照明法、位相シフト法、空間コード法が含まれる。同軸方式は、撮像と測距手段との光軸を同一に設定する方式である。測距手段として、焦点方式が含まれる。また、同軸に近い方式としてＴＯＦ（Time of Flight）方式も含まれる。点群データ生成部１２１は、これらの方式のいずれかを用いて三次元計測処理を実行すればよい。例えば位相シフト法を用いて三次元計測処理が行なわれる。

ワーク検出部１２２は、三次元サーチによってワークＷの位置姿勢を検出する。具体的には、ワーク検出部１２２は、記憶部１５に格納された複数のテンプレートデータ１５３と三次元点群データとを照合し、三次元点群データの中からテンプレートと類似するデータを探索する。探索されたデータは、ワークＷが存在する部分のデータに対応する。ワーク検出部１２２は、三次元点群データの中から探索した、テンプレートと類似するデータに基づいて、ワークＷの位置姿勢を検出する。ワーク検出部１２２によって検出されるワークＷの位置姿勢は、カメラ座標系で示される。

なお、ワーク検出部１２２は、公知の検出アルゴリズムを用いて、ワークＷの位置姿勢を検出すればよい。具体的には、ワーク検出部１２２は、三次元点群データとテンプレートデータ１５３との相関値を算出し、算出した相関値が第１閾値以上であることに応じて、ワークＷが存在していると判断する。そして、ワーク検出部１２２は、相関値が最も高くなるテンプレートデータ１５３に応じて、ワークの位置姿勢を検出する。

なお、計測部１２は、各計測位置について、ワークＷの位置姿勢の計測を複数回行なってもよい。

（Ｄ－４．評価部）
評価部１３は、相関値算出部１３１と、繰り返し精度算出部１３２と、移動誤差算出部１３３と、判定部１３４と、を含む。

相関値算出部１３１は、各計測位置について、計測部１２の計測結果を評価する評価値として、三次元点群データとテンプレートデータ１５３との相関値を算出する。相関値算出部１３１は、複数のテンプレートデータ１５３のうち三次元点群データと最も類似するテンプレートデータ１５３について相関値を算出する。相関値算出部１３１は、たとえば、特徴部分である面要素の類似度を示す相関値（面の相関値）を算出する。あるいは、相関値算出部１３１は、特徴部分である輪郭要素の類似度を示す相関値（輪郭の相関値）を算出してもよい。

計測部１２が各計測位置についてワークＷの位置姿勢の計測を複数回行なう場合、相関値算出部１３１は、複数回の計測から得られる相関値の代表値（たとえば平均値、中央値、最大値、最小値など）を算出してもよい。

繰り返し精度算出部１３２は、各計測位置について、計測部１２の計測結果を評価する評価値として、複数回の計測によって得られた複数の位置姿勢のばらつきを示す繰り返し精度を算出する。繰り返し精度は、たとえば、ワークＷの位置姿勢を示す座標変換行列^CＨ_Wのパラメータ値のばらつきを示す値（たとえば標準偏差、最大値と最小値との差など）によって表される。

移動誤差算出部１３３は、各計測位置について、計測部１２の計測結果を評価する評価値として、移動誤差（以下、「リニアリティ」とも称する。）を算出する。移動誤差は、計測ヘッド２００の基準位置から各計測位置への移動量に基づいて推定される、カメラ座標系におけるワークＷの位置姿勢の第１変化量と、基準位置において計測された位置姿勢から各計測位置において計測された位置姿勢への第２変化量との差分を示す。

移動誤差算出部１３３は、仮想空間において、モデル位置姿勢データ１５５によって示される位置姿勢にワークモデルを配置するとともに、基準位置に第１仮想視点を配置する。移動誤差算出部１３３は、第１仮想視点からワークモデルを見たときの、ワークモデルの位置姿勢（以下、「第１位置姿勢」と称する。）を演算する。さらに、移動誤差算出部１３３は、仮想空間において、各計測位置に第２仮想視点を配置する。移動誤差算出部１３３は、第２仮想視点からワークモデルを見たときの、ワークモデルの位置姿勢（以下、「第２位置姿勢」と称する。）を演算する。移動誤差算出部１３３は、第１位置姿勢と第２位置姿勢との差分を第１変化量として算出する。

移動誤差算出部１３３は、計測部１２の計測により得られた、基準位置に対応する位置姿勢と、各計測位置に対応する位置姿勢との差分を第２変化量として算出する。そして、移動誤差算出部１３３は、第１変化量と第２変化量との差分を移動誤差（リニアリティ）として算出する。

判定部１３４は、相関値、繰り替え精度および移動誤差を用いて、各計測位置におけるワークＷの位置姿勢の計測結果の総合評価結果のランクを判定する。

たとえば、判定部１３４は、総合評価結果が３つのランクのいずれであるかを判定する。判定部１３４は、以下の条件（ａ）～（ｃ）のいずれも満たす場合に、総合評価結果がランク「Ａ」であると判定する。判定部１３４は、以下の条件（ａ）を満たし、条件（ｂ），（ｃ）の少なくとも一方を満たさない場合に、総合評価結果がランク「Ｂ」であると判定する。判定部１３４は、以下の条件（ａ）を満たさない場合に、総合評価結果がランク「Ｃ」であると判定する。
（ａ）相関値が予め定められた第１閾値以上である。
（ｂ）繰り返し精度が予め定められた第２閾値以下である。
（ｃ）移動誤差が予め定められた第３閾値以下である。

（Ｄ－５．提示部）
提示部１４は、マップ生成部１４１と、仮想画像生成部１４２と、画面生成部１４３と、を含む。

マップ生成部１４１は、計測位置リスト１５４と評価部１３による評価結果とを用いて、複数の計測位置の各々と評価結果との対応関係を示すマップを生成する。

仮想画像生成部１４２は、仮想空間において、モデル位置姿勢データ１５５によって示される位置姿勢にワークモデルを配置するとともに、指定された１つの計測位置に仮想視点を配置する。さらに、仮想画像生成部１４２は、仮想空間において、基準点と同じ位置に仮想基準点を配置する。それから、仮想画像生成部１４２は、仮想視点から仮想基準点を見たときの仮想画像を生成する。

画面生成部１４３は、マップを含む画面（以下、「性能レポート画面」と称する。」を生成し、性能レポート画面をディスプレイ５００に表示する。画面生成部１４３は、マップ上において複数の計測位置から１つの計測位置の指定を受け付け、指定された計測位置に対応する仮想画像を性能レポート画面に含めてもよい。さらに、画面生成部１４３は、指定された計測位置に対応する三次元点群データから生成される画像（以下、「点群状態図」と称する。）を性能レポート画面に含めてもよい。点群状態図は、たとえば、距離画像であってもよい。

＜Ｅ．支援処理の流れ＞
図６は、支援システムにおける支援処理の流れを示すフローチャートである。図６には、画像センサコントローラ１００のＣＰＵ１０１が行なう処理の流れが示される。

まず、ＣＰＵ１０１は、入力装置６００への入力に応じて、計測ヘッド２００の移動範囲を設定する（ステップＳ１）。

次に、ＣＰＵ１０１は、移動範囲内の複数の計測位置のうちの１つの計測位置を選択する（ステップＳ２）。ＣＰＵ１０１は、ロボット３００を用いて、選択した計測位置に計測ヘッド２００を移動させる（ステップＳ３）。具体的には、ＣＰＵ１０１は、選択した計測位置に計測ヘッド２００を移動させるための移動指令を生成し、生成した移動指令をロボットコントローラ４００に出力する。

ＣＰＵ１０１は、計測位置に位置する計測ヘッド２００の撮像により得られる撮像画像を用いて、ワークＷの位置姿勢を計測する（ステップＳ４）。

次に、ＣＰＵ１０１は、複数の計測位置のうち未選択の計測位置があるか判断する（ステップＳ５）。未選択の計測位置がある場合（ステップＳ５でＹＥＳ）、ＣＰＵ１０１の処理は、ステップＳ２に戻る。未選択の計測位置がない場合（ステップＳ５でＮＯ）、ＣＰＵ１０１の処理は、ステップＳ６に移る。このようにして、ＣＰＵ１０１は、ロボット３００を用いて、複数の計測位置に計測ヘッド２００を順次移動させ、複数の計測位置の各々について、撮像画像を用いてワークＷの位置姿勢を計測する。

ステップＳ６において、ＣＰＵ１０１は、複数の計測位置の各々について、ワークＷの位置姿勢の計測結果を評価する。次に、ＣＰＵ１０１は、複数の計測位置の各々と評価結果とを対応付けたマップをディスプレイ５００に提示する（ステップＳ７）。

＜Ｆ．移動範囲の設定を支援する画面＞
ＣＰＵ１０１は、移動範囲の設定を支援する画面（以下、「設定画面」と称する。）をディスプレイ５００に表示し、設定画面への入力に応じて、移動範囲に関する情報を登録する（設定する）。

図７は、移動範囲の設定を支援する画面（設定画面）の一例を示す図である。図７に示されるように、設定画面７０は、領域７１，７６，７７と、ボタン７８と、を含む。領域７１は、各種の情報を取得および登録するためのサブ領域７２～７５を含む。

サブ領域７２には、キャリブレーションデータ１５１を取得するためのボタン７２ａと、キャリブレーションデータ１５１を登録するためのボタン７２ｂとが表示される。さらに、サブ領域７２には、取得されたキャリブレーションデータ１５１によって示される値（フランジ座標系をカメラ座標系に変換する座標変換行列^FＨ_Cのパラメータ値）が表示される。

ボタン７２ａがクリックされたことに応じて、ＣＰＵ１０１は、事前に実施されたハンドアイキャリブレーションの結果を取得し、取得した結果に基づいてキャリブレーションデータ１５１を生成する。あるいは、ＣＰＵ１０１は、ハンドアイキャリブレーションの実施を促す画面を表示し、当該画面への入力に応じて実施されたハンドアイキャリブレーションの結果を取得してもよい。それから、ＣＰＵ１０１は、ハンドアイキャリブレーションの結果に基づいてキャリブレーションデータ１５１を生成する。

ボタン７２ｂがクリックされたことに応じて、ＣＰＵ１０１は、生成されたキャリブレーションデータ１５１を登録する。

サブ領域７３には、ロボット３００の現在の状態を取得するためのボタン７３ａと、ロボット３００の動作開始位置を登録するためのボタン７３ｂとが表示される。さらに、サブ領域７３には、取得されたロボット３００の現在の状態を示す値として、ロボットベース座標系におけるフランジプレート３０３の位置姿勢を示すパラメータ値が表示される。具体的には、サブ領域７３には、ロボットベース座標系をフランジ座標系に変換する座標変換行列^BＨ_Fのパラメータ値が表示される。

ボタン７３ａがクリックされたことに応じて、ＣＰＵ１０１は、ロボットコントローラ４００から、ロボット３００の現状の状態を示す情報を取得する。ロボット３００の現状の状態を示す情報は、たとえば、ロボット３００の各軸の回転量、フランジプレート３０３の位置姿勢を示すパラメータ値などを含む。ＣＰＵ１０１は、取得した情報に基づいて、フランジプレート３０３の位置姿勢を示すパラメータ値をサブ領域７３内に含める。

ボタン７３ｂがクリックされたことに応じて、ＣＰＵ１０１は、ロボット３００の現状の状態を示す情報とキャリブレーションデータ１５１とに基づいて、計測ヘッド２００の現状の位置姿勢を算出する。当該位置姿勢は、ロボットベース座標系をカメラ座標系に変換する座標変換行列^BＨ_Cで表される。ＣＰＵ１０１は、算出した位置姿勢を、計測位置リスト１５４における番号「０」（基準位置の番号）の位置姿勢として登録する。

サブ領域７４には、ワークＷの位置姿勢を計測するためのボタン７４ａと、ワークモデルの位置姿勢を登録するためのボタン７４ｂとが表示される。さらに、サブ領域７４には、計測されたワークＷの位置姿勢を示すパラメータ値が表示される。具体的には、サブ領域７４には、カメラ座標系をワーク座標系に変換する座標変換行列^CＨ_Wのパラメータ値が表示される。あるいは、サブ領域７４には、ロボットベース座標系をワーク座標系に変換する座標変換行列^BＨ_Wのパラメータ値が表示されてもよい。

ボタン７４ａがクリックされたことに応じて、ＣＰＵ１０１は、計測ヘッド２００へ投影指示および撮像指示を出力し、計測ヘッド２００から撮像画像を取得する。ＣＰＵ１０１は、取得した撮像画像に基づいて、ワークＷの位置姿勢を計測する。計測されたワークＷの位置姿勢は、カメラ座標系をワーク座標系に変換する座標変換行列^CＨ_Wで表される。ＣＰＵ１０１は、座標変換行列^CＨ_Wのパラメータ値をサブ領域７４内に含める。なお、ＣＰＵ１０１は、座標変換行列^CＨ_Wと、ボタン７３ａのクリックに応じて取得した座標変換行列^BＨ_Fと、ボタン７２ａのクリックに応じて取得した座標変換行列^FＨ_Cとを用いて、ロボットベース座標系をワーク座標系に変換する座標変換行列^BＨ_Wを算出してもよい。それから、ＣＰＵ１０１は、座標変換行列^BＨ_Wのパラメータ値をサブ領域７４内に含めてもよい。

ボタン７４ｂがクリックされたことに応じて、ＣＰＵ１０１は、計測したワークＷの位置姿勢をワークモデルの位置姿勢として決定する。ＣＰＵ１０１は、決定したワークモデルの位置姿勢を示すモデル位置姿勢データ１５５を生成し、モデル位置姿勢データ１５５を登録する。モデル位置姿勢データ１５５は、ロボットベース座標系を基準とするデータである。

さらに、ボタン７４ｂがクリックされたことに応じて、ＣＰＵ１０１は、撮像画像の中心であり、かつ、ワークＷの重心と同一の高さ（Ｚ座標値）を有する点を基準点として決定する。あるいは、ＣＰＵ１０１は、撮像画像の中心であり、かつ、計測した位置姿勢にワークモデルを重ねたときのワークモデルの原点と同一の高さ（Ｚ座標値）を有する点を基準点として決定してもよい。

サブ領域７５には、計測ヘッド２００の移動範囲を設定するための入力欄７５ａ～７５ｃと、移動範囲を登録するためのボタン７５ｄとが表示される。

入力欄７５ａ，７５ｂには、基準点を中心とし、基準点とボタン７３ｂのクリックに応じて登録された基準位置との距離を半径とする球面における経度範囲および緯度範囲が入力される。ＣＰＵ１０１は、当該球面において、入力欄７５ａ，７５ｂに入力された経度範囲および緯度範囲を移動範囲として決定する。

入力欄７５ｃには、移動範囲を複数の領域に分割するときの分割数が入力される。ＣＰＵ１０１は、入力欄７５ｃに入力された分割数に応じて移動範囲を複数の領域に分割し、複数の領域に１つずつ計測位置を設定する。たとえば、ＣＰＵ１０１は、各領域の中心または頂点を計測位置として設定する。

ＣＰＵ１０１は、複数の計測位置について、各計測位置と当該計測位置における計測ヘッド２００の姿勢との一覧を計測位置リスト１５４に含める。各計測位置における計測ヘッド２００の姿勢は、上述したように、基準点から見たときの計測ヘッド２００の姿勢が一定となるように設定される。すなわち、各計測位置における計測ヘッド２００の姿勢は、基準点から見たときの基準位置の計測ヘッド２００の姿勢と同一となるように設定される。各計測位置の計測ヘッド２００の位置姿勢は、ロボットベース座標系をカメラ座標系に変換する座標変換行列^BＨ_Cで表される。

領域７６には、ロボット３００と計測ヘッド２００とワークＷとの位置関係を把握しやすいように、仮想空間にロボット３００、計測ヘッド２００およびワークＷのモデルを配置したシミュレーション画像が表示される。ＣＰＵ１０１は、仮想空間において、ボタン７３ａのクリックに応じて取得された情報に基づいて、ロボット３００のモデル（ロボットモデル３００Ｍ）を配置する。ＣＰＵ１０１は、仮想空間において、キャリブレーションデータ１５１に基づいて、計測ヘッド２００のモデル（計測ヘッドモデル２００Ｍ）を配置する。ＣＰＵ１０１は、仮想空間において、ボタン７４ａのクリックに応じて計測された位置姿勢に基づいて、ワークモデルＷＭを配置する。ＣＰＵ１０１は、仮想空間において予め設定された視点から各モデルを見たときのシミュレーション画像を生成する。

領域７７には、ボタン７４ａのクリックに応じて得られた撮像画像が表示される。領域７７には、たとえば、均一照射条件下で撮像された撮像画像が表示される。

ユーザは、領域７６，７７を確認しながら、ロボットコントローラ４００を操作して計測ヘッド２００の位置および姿勢を調整したり、ワークＷの位置を調整したりする。所望の状態に調整した後に、ユーザは、ボタン７３ｂ，７４ｂ，７５ｄをクリックすればよい。

ボタン７８のクリックに応じて、ＣＰＵ１０１は、計測位置リスト１５４に従って、計測ヘッド２００を複数の計測位置に順次移動させるように移動指令を生成し、生成した移動指令をロボットコントローラ４００に出力する。ＣＰＵ１０１は、各計測位置の計測ヘッド２００から取得した撮像画像を用いて、ワークＷの位置姿勢を計測する。

＜Ｇ．性能レポート画面＞
図８は、性能レポート画面の一例を示す図である。図８に示されるように、性能レポート画面８０は、領域８１，８３～８５を含む。

領域８１には、複数の計測位置の各々と評価結果との対応関係を示すマップ６０が表示される。さらに、領域８１には、評価項目を選択するためのラジオボタン８２が表示される。

ＣＰＵ１０１は、複数の計測位置の各々とラジオボタン８２によって選択された評価項目の評価結果との対応関係を示すマップ６０を生成し、生成したマップ６０を領域８１に表示させる。

マップ６０の複数の計測位置には、評価結果を示すマーク６１が配置される。図８に示されるように、評価項目「総合評価」が選択された場合、ＣＰＵ１０１は、総合評価結果がランク「Ａ」に属する計測位置のマーク６１の形状を「○」とし、総合評価結果がランク「Ｂ」に属する計測位置のマーク６１の形状を「△」とし、総合評価結果がランク「Ｃ」に属する計測位置のマーク６１の形状を「×」とする。これにより、ユーザは、マップ６０を確認することにより、計測位置ごとの総合評価結果のランクを容易に把握できる。

複数の計測位置は、基準点を中心とし、基準点と計測ヘッド２００の撮像部２０２との距離を半径とする球面上に位置する。そのため、図８に示されるように、マップ６０は、半球状である。言い換えると、マップ６０は、当該球の中心を原点とする極座標系で表される。各計測位置は、極座標系において、動径と２つの偏角とによって表される。動径は、基準点と基準位置との距離である。２つの偏角は、球面上の緯度および経度によって表される。ＣＰＵ１０１は、マップ６０が半球状であることをユーザに理解させるために、球面上の複数の経線６５および複数の緯線６６をマップ６０に含めてもよい。これにより、ユーザは、三次元空間における複数の計測位置の位置関係を把握しやすくなる。

なお、図８に示す例では、基準位置が中心となるようにマップ６０が表示される。しかしながら、ＣＰＵ１０１は、ユーザの操作に応じて、マップ６０を移動／回転させてもよい。たとえば、ＣＰＵ１０１は、マウスのドラッグ操作に応じて、ドラッグの方向にマップ６０を回転あるいは移動させる。あるいは、ＣＰＵ１０１は、ユーザの操作に応じて、指定された回転軸を中心としてマップ６０を回転させてもよい。回転軸は、基準点を通る、互いに直交する３軸の中から指定される。たとえば、ＣＰＵ１０１は、横方向（基準点と基準位置とを結ぶ線に直交する方向）から、あるいは、斜め４５°の方向（基準点と基準位置とを結ぶ線とのなす角度が４５°の方向）から見たときのマップ６０を提示する。これにより、ユーザは、所望の視点から見たときのマップ６０を観察できる。その結果、ユーザの利便性が向上する。

さらに、図８に示されるように、ＣＰＵ１０１は、モデル位置姿勢データ１５５によって示される位置姿勢のワークモデルＷＭをマップ６０に含めてもよい。これにより、ユーザは、ワークＷと各計測位置との位置関係を容易に把握できる。

評価項目として「繰り返し精度」、「リニアリティ」および「相関値」のいずれかが選択された場合、ＣＰＵ１０１は、選択された評価項目の値に応じて、マーク６１の形状を変化させる。

たとえば、評価項目「相関値」が選択された場合、ＣＰＵ１０１は、相関値が第１閾値以上である計測位置のマーク６１の形状を「○」とし、相関値が第４閾値以上第１閾値未満である計測位置のマーク６１の形状を「△」とし、相関値が第４閾値未満である計測位置のマーク６１の形状を「×」とする。第４閾値は、第１閾値よりも小さい。なお、相関値と比較される閾値として第１閾値が採用されるものとしたが、第１閾値とは異なる閾値を用いて、「相関値」のランクが評価されてもよい。すなわち、「相関値」のランクを決定するための閾値は、任意に設定され得る。

「繰り返し精度」および「リニアリティ」についても、予め閾値が定められており、当該閾値との比較結果に応じて、「繰り返し精度」および「リニアリティ」のランクが評価される。

評価項目「繰り返し精度」，「リニアリティ」，「相関値」，「総合評価」の各々を区分するランクの個数は、３個に限定されない。たとえば、各評価項目について、２個のランクに分類されてもよいし、４個以上のランク（たとえば５個のランク）に分類されてもよい。

ＣＰＵ１０１は、マップ６０上のいずれかのマーク６１の選択を受け付ける。図８に示す例では、マーク６１ａが選択されている。

領域８３には、マップ６０上で選択されたマーク６１ａの計測位置に対応する評価結果が表示される。具体的には、繰り返し精度、リニアリティおよび相関値の値が表示される。さらに、領域８３には、上記の条件（ａ）～（ｃ）を満たすか否かの判定結果も表示される。相関値が予め定められた第１閾値以上であるという条件（ａ）を満たす場合、図８に示されるように、「相関値：ＯＫ」と表示される。移動誤差（リニアリティ）が予め定められた第３閾値以下であるという条件（ｃ）を満たさない場合、図８に示されるように、「リニアリティ：ＮＧ」と表示される。

領域８４には、マップ６０上で選択されたマーク６１ａの計測位置に対応する三次元点群データから生成される点群状態図が表示される。

領域８５には、マップ６０上で選択されたマーク６１ａの計測位置に対応する仮想画像が表示される。上述したように、仮想画像は、計測位置から見たときのワークモデルを示す。そのため、仮想画像は、計測位置から見た理想的な画像に対応する。

ユーザは、領域８４に表示される点群状態図と、領域８５に表示される仮想画像とを比較することにより、ワークＷの位置姿勢の計測結果の良否を視認できる。

＜Ｈ．計測の条件設定の例＞
ワークＷの位置姿勢の計測の条件には、撮像条件およびサーチ条件が含まれる。撮像条件には、たとえば、投影部２０１からワークＷに投影される照明光の強度、撮像部２０２のシャッタースピードおよびカメラゲインが含まれる。サーチ条件には、ワーク検出部１２２の検出条件（たとえば三次元点群データとテンプレートデータ１５３との相関値に対して設定される閾値など）が含まれる。

ユーザは、図８に示すような性能レポート画面８０を確認しながら、ワークＷの位置姿勢の計測の条件設定を行なう。

たとえば、ユーザは、ラジオボタン８２を用いて総合評価を選択し、マップ６０を確認する。半球状のマップ６０の天頂を中心とした広い範囲に属する計測位置の総合評価結果がランク「Ａ」である場合、ユーザは、計測の条件の変更が不要であると判断する。総合評価結果がランク「Ａ」となる計測位置の分布範囲が狭い場合、または、当該分布範囲が広いが当該分布範囲内の一部にランク「Ｂ」または「Ｃ」の計測位置が存在している場合には、ユーザは、計測の条件の変更が必要であると判断する。

総合評価結果がランク「Ａ」となる計測位置の分布範囲が狭い場合、ユーザは、たとえば、ラジオボタン８２により「相関値」を選択する。これにより、ユーザは、どの範囲で相関値が小さいかを把握できる。ユーザは、相関値の小さい計測位置を指定し、領域８３に表示される評価結果の詳細と、領域８４に表示される点群状態図とを確認する。確認結果に応じて、ユーザは、後述する調整（Ａ）～（Ｃ）を試みる。

総合評価結果がランク「Ａ」となる計測位置の分布範囲内の一部にランク「Ｂ」または「Ｃ」の計測位置が存在している場合、ユーザは、総合評価結果がランク「Ｂ」または「Ｃ」の計測位置を指定する。それから、ユーザは、領域８３に表示される評価結果の詳細を確認し、計測性能が低下している原因を絞り込む。ユーザは、絞り込んだ原因に応じて、以下の調整（Ａ）～（Ｃ）を試みる。

調整（Ａ）：相関値が小さい場合、三次元点群データが不足している可能性がある。そのため、領域８４に表示される点群状態図において、点群が不足している場合、照明光の強度、シャッタースピードおよびカメラゲインなどを調整することにより、相関値が向上するか確認する。

調整（Ｂ）：繰り返し精度に問題がある場合（すなわち、繰り返し精度を示す値が大きい場合）、三次元点群データのうち一部が誤検出されていたり、検出漏れが発生したりしている可能性がある。そのため、領域８４に表示される点群状態図において、誤検出または検出漏れが確認される場合、照明光の強度、シャッタースピードおよびカメラゲインなどを調整することにより、繰り返し精度が向上するか確認する。

調整（Ｃ）：移動誤差（リニアリティ）に問題がある場合（すなわち、移動誤差が大きい場合）、三次元点群データとテンプレートデータ１５３とのマッチングに問題が生じている可能性がある。そのため、ユーザは、ラジオボタン８２により「相関値」を選択して、ランク「Ａ」に属する相関値とランク「Ｂ」に属する相関値との比較を行なう。比較結果に応じて、ユーザは、第１閾値が正しく設定できているかを判断する。ユーザは、第１閾値を調整することにより、移動誤差（リニアリティ）が改善できないかを検討する。第１閾値の調整だけでは移動誤差（リニアリティ）が改善されない場合、ユーザは、三次元点群データとテンプレートデータ１５３とのマッチングに関する他の条件（たとえば、撮像画像内のサーチ範囲、テンプレートデータ１５３の種類および個数など）を変更することにより、正しい候補を計測できるように改善できないかを検討する。

このように、ユーザは、性能レポート画面８０を確認しながら、調整（Ａ）～（Ｃ）を試みることにより、ワークＷの位置姿勢の計測の条件を容易に設定できる。

＜Ｉ．変形例＞
ＣＰＵ１０１は、マップ６０において、各計測位置に表示されるマーク６１の色を評価結果に応じて異ならせてもよい。この場合、マーク６１の形状は、評価結果に依らず同一であってもよい。

判定部１３４による総合評価結果のランクの判定方法は、上記の方法に限定されない。たとえば、判定部１３４は、条件（ａ）を満たし、かつ、条件（ｂ），（ｃ）のうちの一方を満たす場合に、総合評価結果がランク「Ａ」であると判定してもよい。あるいは、判定部１３４は、相関値が予め定められた第５閾値以上であるという条件（ｄ）を満たす場合に、総合評価結果がランク「Ａ」であると判定してもよい。第５閾値は、第１閾値よりも大きい。

ＣＰＵ１０１は、マップ６０の代わりに、あるいは、マップ６０に加えて、計測位置と評価結果とを対応付けたリストを生成してもよい。たとえば、ＣＰＵ１０１は、マップ６０をリスト形式で内部表現したファイルを作成し、当該ファイルを保存したり、外部装置に出力したりしてもよい。ＣＰＵ１０１は、保存しておいたファイルを読み込むことにより、マップ６０を提示できる。ファイルを受けた外部装置は、ファイルを読み込むことにより、マップ６０を提示できる。ファイルは、計測位置と評価結果とを対応付けたデータである。

ＣＰＵ１０１は、保存しておいた複数のファイルを用いて、当該複数のファイルにそれぞれ対応する複数のマップ６０を合成した合成マップを生成してもよい。たとえば、計測ヘッド２００の移動範囲が互いに異なる複数のマップ６０を合成することにより、全ての移動範囲を含む広範囲の合成マップを生成できる。初期評価および追加評価など、複数回の評価を行なったことにより複数のファイルが存在する場合であっても、複数のマップ６０が１つの合成マップとして集約される。これにより、ユーザの利便性が向上する。

§３ 付記
以上のように、本実施の形態は以下のような開示を含む。

（構成１）
支援システム（１）であって、
対象物（Ｗ）を撮像する撮像装置（２００）と、
前記撮像装置の移動範囲を設定する設定部（１１，１０１）と、
前記移動範囲内の複数の計測位置に前記撮像装置を順次移動させるロボット（３００）と、
前記複数の計測位置の各々について、前記撮像装置の撮像により得られる撮像画像を用いて前記対象物の位置姿勢を計測する計測部（１２，１０１）と、
前記計測部による計測結果を評価する評価部（１３，１０１）と、
前記複数の計測位置の各々と前記評価部による評価結果との対応関係を示すマップ（６０）を提示する提示部（１４，１０１）と、を備える支援システム。

（構成２）
前記評価部は、前記評価結果を表す少なくとも１つの評価値を計算し、
前記提示部は、
前記マップ上において、前記複数の計測位置のうちの１つの計測位置の指定を受け付け、
前記１つの計測位置の指定に応じて、前記１つの計測位置に対応する前記少なくとも１つの評価値を提示する、構成１に記載の支援システム。

（構成３）
前記計測部は、前記複数の計測位置の各々に対応する前記撮像画像に基づいて、前記撮像装置の視野領域の三次元点群データを生成し、
前記提示部は、
前記マップ上において、前記複数の計測位置のうちの１つの計測位置の指定を受け付け、
前記１つの計測位置の指定に応じて、前記１つの計測位置に対応する前記三次元点群データから生成される画像を提示する、構成１に記載の支援システム。

（構成４）
前記設定部は、
前記移動範囲内の基準位置を設定し、
前記基準位置に対応する前記撮像画像から計測される前記対象物の位置姿勢と一致するように、前記対象物のモデルの位置姿勢を登録し、
前記提示部は、
前記１つの計測位置の指定に応じて、前記１つの計測位置から見たときの前記モデルの仮想画像を生成し、
前記仮想画像を提示する、構成３に記載の支援システム。

（構成５）
前記計測部は、
前記撮像画像に基づいて、前記撮像装置の視野領域の三次元点群データを生成し、
前記三次元点群データとテンプレートデータとの照合に基づいて前記位置姿勢を計測し、
前記少なくとも１つの評価値は、前記三次元点群データと前記テンプレートデータとの相関値を含む、構成２に記載の支援システム。

（構成６）
前記計測部は、前記複数の計測位置の各々について、複数回の計測を行ない、
前記少なくとも１つの評価値は、前記複数回の計測の繰り返し精度を示す値を含む、構成２または５に記載の支援システム。

（構成７）
前記複数の計測位置は、基準位置を含み、
前記計測部は、前記撮像装置を基準とするカメラ座標系における前記対象物の位置姿勢を計測し、
前記少なくとも１つの評価値は、前記複数の計測位置の各々について、前記基準位置からの移動量に基づいて推定される、前記カメラ座標系における前記対象物の位置姿勢の第１変化量と、前記基準位置において計測された位置姿勢から当該計測位置において計測された位置姿勢への第２変化量との差分を示す値を含む、構成２、５および６のいずれかに記載の支援システム。

（構成８）
前記複数の計測位置は、同一の球面上に存在し、
前記マップは、前記球の中心を原点とする極座標系で表される、構成１から７のいずれか１項に記載の支援システム。

（構成９）
画像処理装置（１００）であって、
対象物（Ｗ）を撮像する撮像装置の移動範囲を設定する設定部（１１，１０１）と、
前記移動範囲内の複数の計測位置の各々について、当該計測位置に位置する前記撮像装置（２００）から得られる撮像画像を用いて前記対象物の位置姿勢を計測する計測部（１２，１０１）と、
前記計測部による計測結果を評価する評価部（１３，１０１）と、
前記複数の計測位置の各々と前記評価部による評価結果との対応関係を示すマップ（６０）を提示する提示部（１４，１０１）と、を備える画像処理装置。

（構成１０）
支援方法であって、
対象物（Ｗ）を撮像する撮像装置（２００）の移動範囲を設定するステップと、
ロボットを用いて、前記移動範囲内の複数の計測位置に前記撮像装置を順次移動させるステップと、
前記複数の計測位置の各々について、前記撮像装置の撮像により得られる撮像画像を用いて前記対象物の位置姿勢を計測するステップと、
前記位置姿勢の計測結果を評価するステップと、
前記複数の計測位置の各々と評価結果との対応関係を示すマップを提示するステップと、を備える支援方法。

（構成１１）
構成１０に記載の支援方法をコンピュータに実行させるプログラム。

本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 支援システム、１１ 設定部、１２ 計測部、１３ 評価部、１４ 提示部、１５ 記憶部、６０ マップ、６１，６１ａ マーク、６５ 経線、６６ 緯線、７０ 設定画面、７１，７６，７７，８１，８３～８５ 領域、７２～７５ サブ領域、７２ａ，７２ｂ，７３ａ，７３ｂ，７４ａ，７４ｂ，７５ｄ，７８ ボタン、７５ａ～７５ｃ 入力欄、８０ 性能レポート画面、８２ ラジオボタン、１００ 画像センサコントローラ、１０１ ＣＰＵ、１０２ メインメモリ、１０３ ハードディスク、１０４ 計測ヘッドインターフェース、１０４ａ 画像バッファ、１０５ 入力インターフェース、１０６ 表示コントローラ、１０７ 通信インターフェース、１０８ データリーダ／ライタ、１０９ バス、１１１ 移動範囲決定部、１１２ 登録部、１１３ 移動指令部、１２１ 点群データ生成部、１２２ ワーク検出部、１３１ 相関値算出部、１３２ 繰り返し精度算出部、１３３ 移動誤差算出部、１３４ 判定部、１４１ マップ生成部、１４２ 仮想画像生成部、１４３ 画面生成部、１５１ キャリブレーションデータ、１５２ ワーク形状データ、１５３ テンプレートデータ、１５４ 計測位置リスト、１５５ モデル位置姿勢データ、２００ 計測ヘッド、２００Ｍ 計測ヘッドモデル、２０１ 投影部、２０２ 撮像部、３００ ロボット、３００Ｍ ロボットモデル、３０１ 多関節アーム、３０２ ベース、３０３ フランジプレート、３０４ エンドエフェクタ、３０５ 支持部材、４００ ロボットコントローラ、５００ ディスプレイ、６００ 入力装置、７００ メモリカード、Ｗ ワーク、ＷＭ ワークモデル。

Claims (11)

1. 支援システムであって、
   対象物を撮像する撮像装置と、
   前記撮像装置の移動範囲を設定する設定部と、
   前記移動範囲内の複数の計測位置に前記撮像装置を順次移動させるロボットと、
   前記複数の計測位置の各々について、前記撮像装置の撮像により得られる撮像画像を用いて前記対象物の位置姿勢を計測する計測部と、
   前記計測部による計測結果を評価する評価部と、
   前記複数の計測位置の各々と前記評価部による評価結果との対応関係を示すマップを提示する提示部と、を備える支援システム。
2. 前記評価部は、前記評価結果を表す少なくとも１つの評価値を計算し、
   前記提示部は、
   前記マップ上において、前記複数の計測位置のうちの１つの計測位置の指定を受け付け、
   前記１つの計測位置の指定に応じて、前記１つの計測位置に対応する前記少なくとも１つの評価値を提示する、請求項１に記載の支援システム。
3. 前記計測部は、前記複数の計測位置の各々に対応する前記撮像画像に基づいて、前記撮像装置の視野領域の三次元点群データを生成し、
   前記提示部は、
   前記マップ上において、前記複数の計測位置のうちの１つの計測位置の指定を受け付け、
   前記１つの計測位置の指定に応じて、前記１つの計測位置に対応する前記三次元点群データから生成される画像を提示する、請求項１に記載の支援システム。
4. 前記設定部は、
   前記移動範囲内の基準位置を設定し、
   前記基準位置に対応する前記撮像画像から計測される前記対象物の位置姿勢と一致するように、前記対象物のモデルの位置姿勢を登録し、
   前記提示部は、
   前記１つの計測位置の指定に応じて、前記１つの計測位置から見たときの前記モデルの仮想画像を生成し、
   前記仮想画像を提示する、請求項３に記載の支援システム。
5. 前記計測部は、
   前記撮像画像に基づいて、前記撮像装置の視野領域の三次元点群データを生成し、
   前記三次元点群データとテンプレートデータとに基づいて前記位置姿勢を計測し、
   前記少なくとも１つの評価値は、前記三次元点群データと前記テンプレートデータとの相関値を含む、請求項２に記載の支援システム。
6. 前記計測部は、前記複数の計測位置の各々について、複数回の計測を行ない、
   前記少なくとも１つの評価値は、前記複数回の計測の繰り返し精度を示す値を含む、請求項２または５に記載の支援システム。
7. 前記複数の計測位置は、基準位置を含み、
   前記計測部は、前記撮像装置を基準とするカメラ座標系における前記対象物の位置姿勢を計測し、
   前記少なくとも１つの評価値は、前記複数の計測位置の各々について、前記基準位置からの移動量に基づいて推定される、前記カメラ座標系における前記対象物の位置姿勢の第１変化量と、前記基準位置において計測された位置姿勢から当該計測位置において計測された位置姿勢への第２変化量との差分を示す値を含む、請求項２、５および６のいずれか１項に記載の支援システム。
8. 前記複数の計測位置は、同一の球面上に存在し、
   前記マップは、前記球の中心を原点とする極座標系で表される、請求項１から７のいずれか１項に記載の支援システム。
9. 画像処理装置であって、
   対象物を撮像する撮像装置の移動範囲を設定する設定部と、
   前記移動範囲内の複数の計測位置の各々について、当該計測位置に位置する前記撮像装置から得られる撮像画像を用いて前記対象物の位置姿勢を計測する計測部と、
   前記計測部による計測結果を評価する評価部と、
   前記複数の計測位置の各々と前記評価部による評価結果との対応関係を示すマップを提示する提示部と、を備える画像処理装置。
10. 支援方法であって、
    対象物を撮像する撮像装置の移動範囲を設定するステップと、
    ロボットを用いて、前記移動範囲内の複数の計測位置に前記撮像装置を順次移動させるステップと、
    前記複数の計測位置の各々について、前記撮像装置の撮像により得られる撮像画像を用いて前記対象物の位置姿勢を計測するステップと、
    前記位置姿勢の計測結果を評価するステップと、
    前記複数の計測位置の各々と評価結果との対応関係を示すマップを提示するステップと、を備える支援方法。
11. 請求項１０に記載の支援方法をコンピュータに実行させるプログラム。

Images