JP6852502B2 - ロボット装置及びロボット装置位置獲得方法 - Google Patents

Description

本発明は、プロジェクター及び撮像装置を用いて位置決めを行うロボット装置及びロボット装置位置獲得方法に関する。

従来、ロボット装置に取り付けられた撮像装置にプロジェクターで基準パターンを投影し、撮像装置で得られる画像を用いてロボット装置の位置を修正する技術が知られている。撮像装置で撮像された基準パターンの位置は、ロボット装置に固定された座標系での位置となる。一方、プロジェクターとロボット装置との位置関係が既知であれば、ロボット装置に固定された座標系をプロジェクターに固定された座標系に変換することができる。したがって、ロボット装置の制御指令位置と実際の位置とのずれ量を計測することができ、そのずれ量を補正することが可能となる（特許文献１，２参照）。

特開2016-117124号公報 特開2013-130426号公報

しかしながら、プロジェクターの歪曲収差によって、撮像装置で得られる画像に歪みが生じることがある。この歪みは、プロジェクターから投影される基準パターン自体の歪みであり、ロボット装置の位置決め精度を低下させる要因の一つとなる。歪曲収差を精度よく修正するためには、プロジェクターの光軸と投影画像の投影面との配置関係（光軸の傾き）を正確に把握することが望ましい。

一つの側面では、ロボット装置の位置決め精度を向上させることを目的とする。

一つの実施形態では、ロボット装置は、投影倍率が可変であって複数の投影点を投影するプロジェクターと、受光面に投影された前記投影点を撮像する撮像装置と、前記受光面が同一の平面上に位置する第一受光位置及び第二受光位置に前記撮像装置を移動させる移動部とを備える。また、前記投影倍率が第一倍率で前記撮像装置が前記第一受光位置にあるときの前記投影点の撮像画像上での位置である第一撮像位置を前記投影点毎に獲得するとともに、前記投影倍率が前記第一倍率とは異なる第二倍率で前記撮像装置が前記第二受光位置にあるときの前記投影点の撮像画像上での位置である第二撮像位置を前記投影点毎に獲得する獲得部を備える。また、前記第一受光位置，前記第一撮像位置，前記第二受光位置及び前記第二撮像位置に基づき、前記平面上における前記プロジェクターの光軸通過点を導出する光軸通過点導出部と、前記光軸通過点に基づき前記プロジェクターの歪曲収差を補正するためのパラメータを算出する算出部とを備える。

一つの側面では、ロボット装置の位置決め精度を向上させることができる。

実施例としてのロボット装置を説明するための図である。 実施例としてのロボット装置を説明するための図である。 制御装置のハードウェア構成を示す図である。 制御装置のソフトウェア構成を示す図である。 （Ａ），（Ｂ）は歪曲収差を説明するための図である。 プロジェクターの焦点，光軸通過点を説明するための図である。 （Ａ）は投影画像例であり、（Ｂ）は撮像画像例である。 （Ａ）は光軸通過点の導出手法を説明するためのグラフであり、（Ｂ）は焦点の導出手法を説明するためのグラフである。 （Ａ），（Ｂ）は投影パターンの制御手法を説明するための図である。 制御装置で実施される制御のフローチャート例である。 制御装置で実施される制御のフローチャート例である。 制御装置で実施される制御のフローチャート例である。 制御装置で実施される制御のフローチャート例である。 制御装置で実施される制御のフローチャート例である。

［１．装置構成］
以下、図面を参照して実施形態としてのロボット装置，ロボット装置位置獲得方法を説明する。本件のロボット装置には、プロジェクター１と撮像装置２とが含まれる。図１は、組立動作前にプロジェクター１の光軸の傾きを把握するための装置構成例を示し、図２はロボット装置による組立動作時の装置構成例を示す。撮像装置２が取り付けられるロボット装置は、図１中の三軸ステージ３であってもよいし、図２中の多関節ロボット５であってもよい。なお、図２に示す装置構成例でプロジェクター１の光軸の傾きを把握する作業を実施することも可能である。

プロジェクター１は、任意の画像を可視光で投影して表示する投影装置である。プロジェクター１から投影される画像のサイズや投影倍率は可変である。プロジェクター１は、作業台９に対する相対位置，相対角度が特定される位置に配置される。図１に示すプロジェクター１は、作業台９の近傍に配置された台座３１の上に固定される。図２に示すプロジェクター１は、作業台９の上方に架け渡されたフレーム３２に対して固定される。プロジェクター１と台座３１，フレーム３２との間に相対位置の変化を特定可能なアクチュエータを介装させてもよい。以下、作業台９に固定された三軸直交座標系のことを作業台座標系O_Sと呼ぶ。プロジェクター１から投影される投影画像の内容や投影倍率は、後述する制御装置１０によって制御される。

撮像装置２は、プロジェクター１が投影した画像を検出するセンサであり、例えばCCD（Charge-Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサである。撮像装置２の表面には、受光素子が平面状に配置される。本件のロボット装置では、受光素子の表面（受光面）がプロジェクター１の投影面として機能する。受光面に投影された画像は、撮像装置２で撮像されて撮像画像となる。撮像画像の情報は、制御装置１０に伝達される。

撮像装置２の配設位置は、プロジェクター１と同様に作業台９に対する相対位置が特定される位置に設定される。図１に示す撮像装置２は、三軸ステージ３を介してフレーム３２に取り付けられる。三軸ステージ３は、撮像装置２を移動させる位置決め装置である。撮像装置２の作業台座標系O_Sにおける位置は、三軸ステージ３における各軸方向への移動量に基づいて特定される。

また、図２に示す撮像装置２は、多関節ロボット５の先端部に設けられたロボットハンド６に取り付けられる。多関節ロボット５の動作は公知のロボットコントローラ４で制御される。多関節ロボット５の関節部には、その関節部に接続された腕部の作動量（相対角度，相対方向など）を検出する角度センサが内蔵される。撮像装置２の作業台座標系O_Sにおける位置は、角度センサでの検出情報に基づいてロボットコントローラ４で特定される。なお、公知のロボットコントローラ４としては、例えば特開2016-117124号公報に記載されたものを参照することができる。

制御装置１０は、プロジェクター１，撮像装置２に接続されるコンピューター（電子制御装置）であり、プロジェクター１の光軸の傾きを把握する機能を持つ。図１に示す組立動作前には、制御装置１０が少なくともプロジェクター１と撮像装置２とに接続され、好ましくは出力装置１７（例えば、ディスプレイ装置やプリンター装置など）にも接続される。また、図２に示す組立動作時には、ロボットコントローラ４が制御装置１０に接続される。制御装置１０は、プロジェクター１から投影された画像の情報と、撮像装置２で得られた撮像画像の情報と、プロジェクター１及び撮像装置２の相対的な位置関係とに基づいて光軸の傾きを把握する。

制御装置１０のハードウェア構成を図３に例示する。制御装置１０には、プロセッサ１１（中央処理装置），メモリ１２（主記憶装置，メインメモリ），補助記憶装置１３，インタフェース装置１４，記録媒体ドライブ１５などが内蔵され、内部バス１６を介して互いに通信可能に接続される。プロセッサ１１は、制御ユニット（制御回路）や演算ユニット（演算回路），キャッシュメモリ（レジスタ群）などを内蔵する汎用のCPU（Central Processing Unit）である。

メモリ１２は、プログラムや作業中のデータが格納される記憶装置であり、ROM（Read Only Memory），RAM（Random Access Memory）がこれに含まれる。補助記憶装置１３は、メモリ１２よりも長期的に保持されるデータやファームウェアが格納される記憶装置であり、フラッシュメモリやEEPROM（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリがこれに含まれる。インタフェース装置１４は、制御装置１０と外部との間の入出力（Input and Output；I/O）を司るものである。

記録媒体ドライブ１５は、少なくとも光ディスクや半導体メモリなどの記録媒体１８（リムーバブルメディア）に記録，保存された情報を読み取る機能を持った読取装置（又は読取・書込装置）である。制御装置１０で実行されるプログラムは、メモリ１２内に記録，保存されることとしてもよいし、補助記憶装置１３の内部に記録，保存されることとしてもよい。あるいは、記録媒体１８上にプログラムが記録，保存され、その記録媒体１８に書き込まれているプログラムが記録媒体ドライブ１５を介して制御装置１０に読み込まれて実行されることとしてもよい。

［２．制御構成］
図４は、制御装置１０で実行されるプログラム２０の機能ブロック図である。このプログラム２０には、プロジェクター１の歪曲収差を補正すべく、光軸の傾きを把握するための手順が規定される。本実施形態では、ロボット装置による組立動作前にプログラム２０が実行される。図４中の各要素は、プログラム２０の機能を便宜的に分類して示したものであり、個々の要素を独立したプログラムとして記述してもよいし、これらの機能を兼ね備えた複合プログラムとして記述してもよい。

歪曲収差とは、図５（Ａ），（Ｂ）に示すように、像が中心点から放射方向に伸縮して見える収差であって、中心点からの距離，方向に応じて伸縮量，伸縮方向が定まるような収差である。本件では、歪曲収差の特性が以下の式１で与えられるものとする。この歪特性式は、原点を歪曲収差の中心点とした二次元直交座標系における歪曲収差を与える座標変換を表している。式１中のkは歪係数であり、例えば式１を変形した式２から歪係数kを求めることができる。

上記のプログラム２０で把握される光軸の傾きとは、プロジェクター１に内蔵されるレンズ機構７の中心軸（レンズ光軸）の傾きである。図６に示すように、プロジェクター１の投影倍率を変更したときの焦点の位置は、光軸上を移動する。したがって、光軸は焦点を通る直線となる。また、光軸と投影面との交点のことを光軸通過点と呼ぶ。光軸通過点は、その投影面における歪曲収差の中心点となる。

光軸通過点及び焦点の導出手法について詳述する。
光軸通過点では、投影面を固定して投影倍率を変更したときの画像の移動量が最小となる。例えば、プロジェクター１から複数の投影点を投影する。投影点の数は少なくとも二個以上とし、例えば図７（Ａ）に示すような五個の投影点を含むパターンを投影する。また、図６中に示すプロジェクター１と撮像装置２との距離wを一定に保ったまま、投影倍率を変更したときの投影点の移動量を算出する。この移動量が最も小さくなる座標を特定することで、光軸通過点を求めることができる。

投影倍率を三段階に変更し、それぞれの投影倍率時における撮像位置を投影面上にプロットすると、図７（Ｂ）に示すようなパターンが得られる。また、倍率Aの各投影点を基準として、倍率Bの各投影点の移動量や倍率Cの各投影点の移動量を算出する。ここで、投影面上における各投影点の座標をx座標，y座標とし、移動量をz座標とすれば、三次元空間内の点座標が合計で十個得られる。図８（Ａ）に示すように、これらの十個の点を通る二次曲面の極点が、光軸通過点に相当する点となる。投影面上における光軸通過点のx座標，y座標は、極点のx座標，y座標に一致する。ここでいう二次曲面には、楕円面，二葉双曲面，楕円放物面などが含まれる。

焦点では、図６に示すように、投影面に投影される画像に含まれるすべての光が収束する。つまり、プロジェクター１の投影倍率を一定に保ったまま投影面を移動させたときに、各投影点が一点に集約される座標を算出することで、焦点を求めることができる。例えば、図７（Ａ）に示すような五個の投影点を含むパターンを投影し、各投影点を撮像装置２で撮像する。また、プロジェクター１と撮像装置２との距離w（投影距離）を変化させて、距離wが異なる三種類の投影面における各投影点の座標をプロットすると、図８（Ｂ）に示すようなパターンが得られる。ここで、各投影点の移動軌跡を直線近似すれば、それらの直線の交点が焦点に相当する点となる。

プロジェクター１の投影倍率は、焦点の導出時には固定されるのに対し、光軸通過点の導出時には変更される。一方、投影面の位置（すなわち、プロジェクター１と撮像装置２との距離w）は、光軸通過点の導出時には固定されるのに対し、焦点の導出時には変更される。これらの関係をまとめたものが以下の表１である。光軸通過点の導出時と焦点の導出時とを比較すると、プロジェクター１の投影倍率及び投影面の位置の制御状態が正反対となる。

図４に示すように、このプログラム２０には、投影点制御部２１，移動部２２，獲得部２３，光軸通過点導出部２４，第二移動部２５，第二獲得部２６，焦点導出部２７，パラメータ算出部２８が設けられる。これらの要素のうち、移動部２２，獲得部２３，光軸通過点導出部２４は、おもに光軸通過点の導出に関するものである。一方、第二移動部２５，第二獲得部２６，焦点導出部２７は、おもに焦点の導出に関するものである。

投影点制御部２１は、プロジェクター１からの投影画像を制御する機能を持つ。ここでは、例えば図７（Ａ）に示すような複数の投影点を含む投影パターンが生成され、それぞれの投影点が一つずつ順番に投影されるようにプロジェクター１が制御される。本実施形態では、図９（Ａ）に示すように、円形状の投影点を方眼の交点に配置した格子状パターンを投影する手法について説明する。ここでは、プロジェクター１の投影範囲である1080×1980ピクセルの範囲内に縦に五行、横に五列で合計２５個の投影点が投影されるものとする。

各投影点は、投影範囲内で縦方向及び横方向に満遍なく配置される。投影点の分布をほぼ均等にするには、投影点の横方向配置数に１を加算した数で投影範囲の横サイズを除算し、横方向のピッチ（330ピクセル）を算出する。同様に、投影点の縦方向配置数に１を加算した数で投影範囲の縦サイズを除算し、縦方向のピッチ（180ピクセル）を算出する。また、投影範囲内における左上の角を基準として、右に330ピクセル、下に180ピクセルの位置を投影点の中心位置とする。投影点の具体的な形状は任意であるが、白丸（円），黒丸（内部が塗りつぶされた円），正方形，十字マークなど、図心が簡単に特定される形状であって、撮像装置２の受光面に収まる大きさであることが好ましい。

投影点制御部２１は、撮像装置２でその投影点が撮像されるまで（あるいは、投影点が確認されるまで）は、その投影点の投影を継続する。一方、撮像装置２でその投影点が撮像された後には、次の投影点を投影する。図９（Ｂ）に示すように、次の投影点の中心位置は、直前の投影点から右方向へ330ピクセル移動した位置とされる。横方向に五個の投影点が投影された後には、最初の投影点から下方向へ180ピクセル移動した位置が次の投影点（上から二段目であって左端に位置する投影点）の中心位置となる。このような操作が繰り返されて、合計２５個の投影点が投影される。

移動部２２は、プロジェクター１と撮像装置２との距離wを一定に保ちつつ撮像装置２を移動させる機能を持つ。ここでは、撮像装置２の受光面が同一平面上に位置する少なくとも二箇所以上の位置が設定される。例えば、撮像装置２の受光面が同一の平面上に位置する第一受光位置と第二受光位置とが設定される。また、第一受光位置における投影倍率は、第二受光位置における投影倍率とは異なる倍率に設定されるものとする。撮像装置２を駆動するための具体的な手段は任意である。

例えば、図１に示す装置構成の場合には、三軸ステージ３を動かすことによって撮像装置２を移動させることができる。また、図２に示す装置構成の場合には、多関節ロボット５を動かすことによって撮像装置２を移動させることができる。なお、第一受光位置における受光面は、第二受光位置における受光面と同一平面上に位置する。しかし、撮像装置２の受光面の面積は極めて小さい（例えば数ミリメートル角程度）ことから、第一受光位置と第二受光位置とが同一位置であるとは限らない。

獲得部２３は、光軸通過点の導出に際し、撮像装置２で撮像された投影点の位置（撮像画像上での位置）を獲得する機能を持つ。ここで、投影倍率が倍率A（第一倍率）で撮像装置２が第一受光位置にあるときの、投影点の撮像画像上での位置を第一撮像位置と呼ぶ。また、投影倍率が倍率B（第二倍率）で撮像装置２が第二受光位置にあるときの、投影点の撮像画像上での位置を第二撮像位置と呼ぶ。獲得部２３は、第一撮像位置を投影点毎に獲得するとともに、第二撮像位置を投影点毎に獲得する。投影点は複数設定されることから、第一撮像位置，第二撮像画像もそれぞれが複数存在する。図７（Ｂ）における第一撮像位置，第二撮像位置はそれぞれ五箇所である。

光軸通過点導出部２４は、上記の第一受光位置，第一撮像位置，第二受光位置，第二撮像位置に基づき、受光面が存在する平面上における光軸通過点を導出する機能を持つ。ここではまず、第一受光位置と第一撮像位置とに基づき、第一撮像位置を受光面が存在する平面上における位置に変換した第一絶対位置が導出される。また、第二受光位置と第二撮像位置とに基づき、第二撮像位置を受光面が存在する平面上における位置に変換した第二絶対位置が導出される。

さらに、光軸通過点導出部２４は、第一絶対位置と第二絶対位置との距離（すなわち移動量z）が最小となる位置を光軸通過点として導出する。図８（Ａ）に示すように、光軸通過点は、x軸及びy軸を投影点の座標軸としz軸を移動量z（第一絶対位置と第二絶対位置との距離）に対応させた三次元直交座標系における移動量zの分布を曲面に近似したときの極点に対応する座標を持つ。

なお、撮像装置２に投影されるパターンのサイズと比較して受光面の面積が十分に大きければ、第一受光位置と第二受光位置とを同一視することが可能である。つまりこの場合、第一撮像位置は第一絶対位置と同義となり、第二撮像位置は第二絶対位置と同義となる。したがって、光軸通過点導出部２４は、第一撮像位置及び第二撮像位置の距離に基づき光軸通過点を導出する機能を持つものとみなすことができる。

第二移動部２５は、プロジェクター１の投影倍率を一定に保ちつつ撮像装置２を移動させる機能を持つ。ここでは、プロジェクター１から撮像装置２までの距離w（投影距離）が異なる少なくとも二箇所以上の位置が設定される。例えば、距離w₁の位置が第三受光位置に設定されるとともに、距離w₂の位置が第四受光位置に設定される。また、第三受光位置における投影倍率は、第四受光位置における投影倍率と同一の倍率に設定されるものとする。つまり、第二移動部２５は、焦点を動かさずに投影面（撮像装置２）のみを移動させるように機能する。なお、移動部２２と同様に、撮像装置２を駆動するための具体的な手段は任意である。

第二獲得部２６は、焦点の導出に際し、撮像装置２で撮像された投影点の位置（撮像画像上での位置）を獲得する機能を持つ。ここで、撮像装置２が第三受光位置にあるときの、投影点の撮像画像上での位置を第三撮像位置と呼ぶ。また、撮像装置２が第四受光位置にあるときの、投影点の撮像画像上での位置を第四撮像位置と呼ぶ。第二獲得部２６は、第三撮像位置を投影点毎に獲得するとともに、第四撮像位置を投影点毎に獲得する。投影点は複数設定されることから、第三撮像位置，第四撮像画像もそれぞれが複数存在する。図８（Ｂ）における第一撮像位置，第二撮像位置はそれぞれ五箇所である。

焦点導出部２７は、上記の第三受光位置，第三撮像位置，第四受光位置，第四撮像位置に基づき、プロジェクター１の焦点を導出する機能を持つ。ここでは、第三撮像位置から第四撮像位置へと移動した各投影点の軌跡が直線近似されるとともに、それぞれの直線の交点をプロジェクター１の焦点として導出する。焦点の導出時には、光軸通過点の導出時と同様に、第三受光位置と第三撮像位置とに基づき、第三撮像位置を作業台座標系O_Sでの位置に変換した第三絶対位置が導出される。また、第四受光位置と第四撮像位置とに基づき、第四撮像位置を作業台座標系O_Sでの位置に変換した第四絶対位置が導出される。さらに、第三絶対位置及び第四絶対位置を通る直線（あるいは近似直線）が投影点毎に導出され、それらの直線の交点が導出される。

図８（Ｂ）に示すように、焦点は、x軸及びy軸を投影点の座標軸としw軸を投影距離に対応させた三次元直交座標系（作業台座標系O_S）における各々の投影点の軌跡を直線近似したときの交点に対応する座標を持つ。なお、ここでいう「交点」とは、厳密にすべての直線が交差する点でなくてもよい。すなわち、ここで得られる直線は、各投影点の軌跡を近似したものに相当し、必ずしも一点で交わるとはいえない。したがって、ある程度の狭い範囲内で複数の直線が近接している（直線がある範囲内に集中している）ような位置を焦点とみなせばよい。

パラメータ算出部２８（算出部）は、光軸通過点導出部２４で導出された光軸通過点に基づき、プロジェクター１の歪曲収差を補正するためのパラメータである歪係数kを算出する機能を持つ。光軸通過点は、その光軸通過点が存在する投影面において、歪曲収差を与える座標変換の原点に相当する。したがって、投影パターン上における投影点や、第一撮像位置，第二撮像位置に含まれる投影点の座標を、光軸通過点基準の座標系での座標に変換することで、歪係数kを導出することができる。

また、本実施形態のパラメータ算出部２８は、光軸通過点導出部２４で導出された光軸通過点と焦点導出部２７で導出された焦点との二点に基づいて、プロジェクター１の光軸の傾きを特定する機能を持つ。光軸は、焦点と光軸通過点との双方を通過する直線に相当する。このことから、光軸通過点及び焦点の座標に基づいて光軸に相当する直線の方程式を算出し、任意の投影面と光軸との交点を歪曲収差の原点として導出する。この原点を用いることで、任意の投影面における歪係数kを導出することができる。

［３．フローチャート］
図１０〜図１４は、本実施形態のロボット装置の位置獲得方法を説明するためのフローチャートである。ステップＡ１では、図１１に示すフローに基づき、焦点導出部２７で焦点が導出される。また、ステップＡ２では、図１２に示すフローに基づき、光軸通過点導出部２４で光軸通過点が導出される。これらのステップＡ１，Ａ２を実施する順序は反転させることができる。その後のステップＡ３では、図１３に示すフローに基づき、パラメータ算出部２８で歪特性式のパラメータが算出される。

図１１に示す焦点導出フローでは、複数の投影点を含む投影パターンがプロジェクター１から投影され、各投影点の座標が計測される（ステップＢ１）。ここでは、後述する図１４に示すフローに基づいて投影点が一つずつ投影されるとともに、その投影点の座標が計測される。投影パターンに含まれるすべての投影点についての計測が完了するまでは、プロジェクター１の投影倍率や投影距離が一定の値に保持される。

計測された各投影点の座標（パターン座標）の情報は、制御装置１０のメモリ１２や補助記憶装置１３，記録媒体１８などに格納される（ステップＢ２）。なお、各投影点のデータ保存形式は、三次元の配列形式とされる。保存される変数をdata(i,j,k)とすると、i,jが投影面上での座標に相当する値であり、kが投影距離に相当する値である。ただし、最終的には作業台座標系O_Sでの焦点座標が特定可能であればよいため、kを投影距離に関連する値（例えば、任意の基準位置からの変位）としてもよい。

投影パターンの座標計測が終了すると、投影倍率を維持したまま、プロジェクター１から撮像装置２までの投影距離が変更され（ステップＢ３）、投影距離がn回以上（n≧2）変更されるまでは投影パターンの計測が繰り返される。投影距離の種類数は、投影距離の変更回数と同一値となる。投影距離がn回以上変更されると（ステップＢ４）、各投影点の座標の情報が読み出される。また、図８（Ｂ）に示すように、各投影点の移動軌跡が直線近似されるとともに、それらの直線の交点が焦点として導出される（ステップＢ５）。すなわち、作業台座標系O_Sにおける交点の座標は、そのまま作業台座標系O_Sにおける焦点の座標となる。

図１２に示す光軸通過点導出フローでは、複数の投影点を含む投影パターンがプロジェクター１から投影され、各投影点の座標が計測される（ステップＣ１）。ここでは、図１４に示すフローに基づいて投影点が一つずつ投影され、各投影点の座標が計測される。投影パターンに含まれるすべての投影点についての計測が完了するまでは、プロジェクター１の投影倍率や投影距離が一定の値に保持される。

計測された各投影点の座標（パターン座標）の情報は、制御装置１０のメモリ１２や補助記憶装置１３，記録媒体１８などに格納される（ステップＣ２）。なお、各投影点のデータ保存形式は、三次元の配列形式とされる。保存される変数をdata(p,q,r)とすると、p,qが投影面上での座標に相当する値であり、rが投影倍率に相当する値である。ただし、光軸通過点を導出する過程で投影倍率の値自体は使用しないため、rを適当な序数（例えば、投影倍率の種類を表す序数）としてもよい。

投影パターンの座標計測が終了すると、投影距離を維持したまま、プロジェクター１の投影倍率が変更され（ステップＣ３）、再び投影パターンの計測が繰り返される（ステップＣ１）。投影倍率の種類数は、投影倍率の変更回数と同一値となる。このような計測は、投影倍率がm回以上（m≧2）変更されるまでは継続される。投影倍率がm回以上変更されると（ステップＣ４）、各投影点の座標の情報が読み出され、各投影点の移動量zが算出される。また、図８（Ａ）に示すように、x軸及びy軸を投影点の座標軸としz軸を移動量zに対応させた三次元直交座標系における移動量zの分布が二次曲面に近似され、その極点が光軸通過点として導出される（ステップＣ５）。すなわち、極点のx座標，y座標が、投影面上における光軸通過点のx座標，y座標となる。

図１３に示す歪特性式のパラメータ算出フローでは、焦点と光軸通過点との双方を通過する直線が導出される（ステップＤ１）。ここでは例えば、作業台座標系O_Sにおける直線の方程式が算出されるとともに、直線の傾きが導出される（ステップＤ２）。ここでいう「傾き」とは、プロジェクター１の設計上の光軸（本来の光軸）に対する傾きである。また、設計上の光軸に対して垂直な投影面を想定すれば、その投影面に対する傾きであるとみなせる。傾きを導出することで、プロジェクター１による画像の投射方向を変更した場合であっても、光軸に対応する直線を精度よく把握することが可能となる。例えば、図１に示す装置構成で焦点，光軸通過点を導出した後に図２に示す装置構成でロボット装置による組み立てを実施するような場合に、光軸の特定精度が向上する。

また、複数の投影点を含む投影パターンがプロジェクター１から投影され、各投影点の座標が計測される（ステップＤ３）。ここでは、図１４に示すフローに基づいて投影点が一つずつ投影され、各投影点の座標が計測される。投影パターンに含まれるすべての投影点についての計測が完了するまでは、プロジェクター１の投影倍率や投影距離が一定の値に保持される。また、各投影点の座標（パターン座標）の情報に含まれる回転誤差が除去された後に（ステップＤ４）、各投影点の理論上の座標と実測された座標とに基づいて歪特性式のパラメータである歪係数kが導出される（ステップＤ５）。歪係数k（パラメータ）の情報は、制御装置１０のメモリ１２や補助記憶装置１３，記録媒体１８などに格納される（ステップＤ６）。光軸の傾きや歪係数kの情報は、出力装置１７に表示させてもよい。

図１４に示す投影パターンの座標計測フローでは、複数の投影点についての投影画像上の座標が計測される。ここでは、図９（Ａ），（Ｂ）に示すような投影パターンを投影する場合の制御手法を説明する。まず、２５個の丸パターン（黒丸形状の投影点）のうち、投影範囲内で最も左上に位置するものがプロジェクター１で投影される（ステップＥ１）。また、この丸パターンが撮像範囲に入る位置に撮像装置２を移動させる（ステップＥ２）。図１に示す装置構成の場合には、三軸ステージ３を手動または自動で動かすことによって撮像装置２を移動させる。図２に示す装置構成の場合には、多関節ロボット５を動かすことによって撮像装置２を移動させる。

次に、撮像装置２で丸パターンが撮像され、その撮像画像上における丸パターンの図心座標が導出される（ステップＥ３）。この図心位置は、光軸通過点を導出する際には、第一撮像位置や第二撮像位置として利用される。一方、焦点を導出する際には、第三撮像位置や第四撮像位置として利用される。また、丸パターンを撮像したときの撮像装置２の位置情報が取得される（ステップＥ４）。

ここで取得される位置情報は、光軸通過点を導出する際には、第一受光位置や第二受光位置として利用される。一方、焦点を導出する際には、第三受光位置や第四受光位置として利用される。図１に示す装置構成の場合には、三軸ステージ３の作動状態に基づいて撮像装置２の位置情報が取得可能であり、図２に示す装置構成の場合には、多関節ロボット５の作動状態に基づいて（あるいはロボットコントローラ４が把握している情報に基づいて）撮像装置２の位置情報が取得可能である。

続いて、作業台座標系O_Sにおける丸パターンの図心の絶対位置が導出される（ステップＥ５）。絶対位置の座標情報は、制御装置１０のメモリ１２や補助記憶装置１３，記録媒体１８などに格納される（ステップＥ６）。ここで導出される絶対位置は、光軸通過点を導出する際には、第一絶対位置や第二絶対位置として利用される。一方、焦点を導出する際には、第三絶対位置や第四絶対位置として利用される。ステップＥ１で投影された丸パターンについての計測が完了すると、次の丸パターン〔図９（Ｂ）では右隣の丸パターン〕が投影される（ステップＥ７）。

ステップＥ７で投影された丸パターンが撮像される位置に撮像装置２を移動させる際には、現在の丸パターンの位置と直前の丸パターンの位置とが比較され、撮像装置２の移動量及び移動方向が導出される（ステップＥ８）。その後、三軸ステージ３や多関節ロボット５を動かし、撮像範囲に丸パターンが入る位置に撮像装置２を移動させる（ステップＥ９）。このとき、撮像装置２の移動中にも撮像を継続し、撮像範囲内に丸パターンが入ったことを検知するまで移動を継続する（ステップＥ９を繰り返す）ことが好ましい（ステップＥ１０）。撮像範囲内に丸パターンが入ったらステップＥ３へ進み、撮像画像上における丸パターンの図心座標を導出する。このような計測をすべての丸パターンに対して繰り返し（ステップＥ１１）、２５個の丸パターンの座標計測が完了したら本フローを終了する。

［４．作用，効果］
（１）上述の実施形態では、光軸通過点の導出に際し、プロジェクター１から投影された複数の投影点が撮像装置２で撮像され、撮像画像上での投影点の位置情報と撮像装置２の位置情報とが取得される。これら二種類の位置情報は、少なくともプロジェクター１の投影倍率が第一倍率のときと第二倍率のときに取得され、四種類の位置情報に基づいてプロジェクター１の光軸通過点が導出される。また、この光軸通過点に基づいて、プロジェクター１の歪曲収差を補正するための歪係数kが算出される。このように、撮像装置２の受光面が位置する平面（投影面）と光軸との交点である光軸通過点を導出することで、歪曲収差を補正するためのパラメータを精度よく算出することができ、ロボット装置の位置決め精度を向上させることができる。

（２）上述の実施形態では、撮像画像上での投影点の位置情報と撮像装置２の位置情報とに基づいて、投影点の絶対位置が導出される。また、プロジェクター１の投影倍率が異なる二つの絶対位置（第一絶対位置，第二絶対位置）の距離が最小となる位置が光軸通過点として導出される。第一絶対位置は、プロジェクター１の投影倍率が第一倍率であるときの投影点の絶対位置であり、第二絶対位置は、投影倍率が第二倍率であるときの投影点の絶対位置である。このように、第一撮像位置と第二撮像位置との距離が最小となる位置を求めることで、投影倍率の影響が最も小さくなる点を容易に特定することができ、光軸通過点を精度よく導出することができる。

（３）上述の実施形態では、図８（Ａ）に示すように、x軸及びy軸を投影点の座標軸としz軸を移動量zに対応させた三次元直交座標系における移動量zの分布が二次曲面に近似され、その極点が光軸通過点として導出される。このような演算により、移動量zが最小となる点を容易に導出することができ、光軸通過点を短時間で精度よく導出することができる。

（４）上述の実施形態では、焦点の導出に際し、プロジェクター１から投影された複数の投影点が撮像装置２で撮像され、撮像画像上での投影点の位置情報と撮像装置２の位置情報とが取得される。これら二種類の位置情報は、投影距離が異なる少なくとも二箇所で取得され、四種類の位置情報に基づいてプロジェクター１の焦点が導出される。この焦点と光軸通過点とを併用することで、プロジェクター１の光軸の傾きを精度よく把握することができる。

（５）上述の実施形態では、図８（Ｂ）に示すように、x軸及びy軸を投影点の座標軸としw軸を投影距離に対応させた三次元直交座標系（作業台座標系O_S）における各々の投影点の軌跡が直線に近似され、各直線の交点が焦点として導出される。このような演算により、プロジェクター１から投影される投影点の軌跡を高精度に追跡することができ、焦点を短時間で精度よく導出することができる。

（６）上述の実施形態では、光軸通過点と焦点とを通る直線の方程式を算出し、任意の投影面と光軸との交点を歪曲収差の原点として導出している。これにより、プロジェクター１の光軸と任意の投影面との交点を精度よく導出することができる。つまり、任意の投影面における歪曲収差の中心座標と歪係数kとを容易に特定することができる。したがって、歪曲収差を適切に補正することができ、ロボット装置の位置決め精度を向上させることができる。

［５．変形例］
上述の実施形態では、図１に示すように、三軸ステージ３を用いてプロジェクター１の光軸の傾きを把握する手法について詳述したが、図２に示す装置構成で光軸の傾きを把握することも可能である。例えば、多関節ロボット５による組立動作の最中にプロジェクター１の光軸の傾きを把握するための制御を実施してもよい。本件の制御は、少なくともプロジェクター１及び撮像装置２と制御装置１０とを備えたものであれば実施可能である。また、プロジェクター１の位置や撮像装置２の取り付け位置などは任意に設定することができる。

上述の実施形態では、可視光を投影するプロジェクター１を例示したが、赤外線やレーザー光を照射する投影装置を使用してもよい。撮像装置２は少なくともプロジェクター１から投射される投影点を検知する機能を持ったセンサであればよく、原理的には赤外線センサや照度センサなどの光センサを使用することができる。撮像装置２を移動させるための機構は、手動によるものであってもよいし、モータやアクチュエータなどを用いて自動的に制御するものであってもよい。少なくとも、撮像装置２の位置が特定される機構であればよい。

［６．付記］
上記の変形例を含む実施形態に関し、以下の付記を開示する。
（付記１）
投影倍率が可変であって複数の投影点を投影するプロジェクターと、
受光面に投影された前記投影点を撮像する撮像装置と、
前記受光面が同一の平面上に位置する第一受光位置及び第二受光位置に前記撮像装置を移動させる移動部と、
前記投影倍率が第一倍率で前記撮像装置が前記第一受光位置にあるときの前記投影点の撮像画像上での位置である第一撮像位置を前記投影点毎に獲得するとともに、前記投影倍率が前記第一倍率とは異なる第二倍率で前記撮像装置が前記第二受光位置にあるときの前記投影点の撮像画像上での位置である第二撮像位置を前記投影点毎に獲得する獲得部と、
前記第一受光位置，前記第一撮像位置，前記第二受光位置及び前記第二撮像位置に基づき、前記平面上における前記プロジェクターの光軸通過点を導出する光軸通過点導出部と、
前記光軸通過点に基づき前記プロジェクターの歪曲収差を補正するためのパラメータを算出する算出部と
を備えたことを特徴とする、ロボット装置。

（付記２）
前記光軸通過点が、第一撮像位置を受光面が存在する平面上における位置に変換した第一絶対位置と第二撮像位置を受光面が存在する平面上における位置に変換した第二絶対位置との距離が最小となる位置である
ことを特徴とする、付記１記載のロボット装置。

（付記３）
前記光軸通過点が、ｘ軸及びｙ軸を前記投影点の座標軸としｚ軸を前記第一撮像位置と前記第二撮像位置との距離に対応させた三次元直交座標系における前記距離の分布を曲面に近似したときの極点に対応する座標を持つ
ことを特徴とする、付記１または２記載のロボット装置。

（付記４）
前記プロジェクターから前記受光面までの投影距離が異なる第三受光位置及び第四受光位置に前記撮像装置を移動させる第二移動部と、
前記撮像装置が前記第三受光位置にあるときの前記投影点の撮像画像上での位置である第三撮像位置を前記投影点毎に獲得するとともに、同一の前記投影倍率で前記撮像装置が前記第四受光位置にあるときの前記投影点の撮像画像上での位置である第四撮像位置を前記投影点毎に獲得する第二獲得部と、
前記第三受光位置，前記第三撮像位置，前記第四受光位置及び前記第四撮像位置に基づき、前記プロジェクターの焦点を導出する焦点導出部とを備える
ことを特徴とする、付記１〜３のいずれか１項に記載のロボット装置。

（付記５）
前記焦点が、ｘ軸及びｙ軸を前記投影点の座標軸としｗ軸を前記投影距離に対応させた三次元直交座標系における各々の前記投影点の軌跡を直線近似したときの交点に対応する座標を持つ
ことを特徴とする、付記４記載のロボット装置。

（付記６）
前記算出部が、前記光軸通過点と前記焦点とを通る直線の方程式を用いて前記パラメータを算出する
ことを特徴とする、付記４または５記載のロボット装置。

（付記７）
複数の投影点をプロジェクターで投影し、
それぞれの前記投影点が撮像される第一受光位置に撮像装置を移動させ、
前記投影点の撮像画像上での位置である第一撮像位置を前記投影点毎に獲得し、
前記プロジェクターの投影倍率を変更し、
前記第一受光位置と前記受光面が同一の平面上にあり、それぞれの前記投影点が撮像される第二受光位置に前記撮像装置を移動させ、
前記投影点の撮像画像上での位置である第二撮像位置を前記投影点毎に獲得し、
前記第一受光位置，前記第一撮像位置，前記第二受光位置及び前記第二撮像位置に基づき、前記平面上における前記プロジェクターの光軸通過点を導出し、
前記光軸通過点に基づき前記プロジェクターの歪曲収差を補正するためのパラメータを算出する
ことを特徴とする、ロボット装置位置獲得方法。

（付記８）
第一撮像位置を受光面が存在する平面上における位置に変換した第一絶対位置と第二撮像位置を受光面が存在する平面上における位置に変換した第二絶対位置との距離が最小となる位置を前記光軸通過点とする
ことを特徴とする、付記７記載のロボット装置位置獲得方法。

（付記９）
前記光軸通過点が、ｘ軸及びｙ軸を前記投影点の座標軸としｚ軸を前記第一撮像位置と前記第二撮像位置との距離に対応させた三次元直交座標系における前記距離の分布を曲面に近似したときの極点に対応する座標を持つ
ことを特徴とする、付記７または８記載のロボット装置位置獲得方法。

（付記１０）
前記プロジェクターから前記受光面までの投影距離が異なる第三受光位置及び第四受光位置に前記撮像装置を移動させ、
前記撮像装置が前記第三受光位置にあるときの前記投影点の撮像画像上での位置である第三撮像位置を前記投影点毎に獲得し、
同一の前記投影倍率で前記撮像装置が前記第四受光位置にあるときの前記投影点の撮像画像上での位置である第四撮像位置を前記投影点毎に獲得し、
前記第三受光位置，前記第三撮像位置，前記第四受光位置及び前記第四撮像位置に基づき、前記プロジェクターの焦点を導出する
ことを特徴とする、付記７〜９のいずれか１項に記載のロボット装置位置獲得方法。

（付記１１）
前記焦点が、ｘ軸及びｙ軸を前記投影点の座標軸としｗ軸を前記投影距離に対応させた三次元直交座標系における各々の前記投影点の軌跡を直線近似したときの交点に対応する座標を持つ
ことを特徴とする、付記１０記載のロボット装置位置獲得方法。

（付記１２）
前記光軸通過点と前記焦点とを通る直線の方程式を用いて前記パラメータを算出する
ことを特徴とする、付記１０または１１記載のロボット装置位置獲得方法。

１ プロジェクター
２ 撮像装置
３ 三軸ステージ
４ ロボットコントローラ
５ 多関節ロボット
６ ロボットハンド
７ レンズ機構
９ 作業台
１０ 制御装置
２０ プログラム
２１ 投影点制御部
２２ 移動部
２３ 獲得部
２４ 光軸通過点導出部
２５ 第二移動部
２６ 第二獲得部
２７ 焦点導出部
２８ パラメータ算出部（算出部）

Claims (7)

1. 投影倍率が可変であって複数の投影点を投影するプロジェクターと、
   受光面に投影された前記投影点を撮像する撮像装置と、
   前記受光面が同一の平面上に位置する第一受光位置及び第二受光位置に前記撮像装置を移動させる移動部と、
   前記投影倍率が第一倍率で前記撮像装置が前記第一受光位置にあるときの前記投影点の撮像画像上での位置である第一撮像位置を前記投影点毎に獲得するとともに、前記投影倍率が前記第一倍率とは異なる第二倍率で前記撮像装置が前記第二受光位置にあるときの前記投影点の撮像画像上での位置である第二撮像位置を前記投影点毎に獲得する獲得部と、
   前記第一受光位置，前記第一撮像位置，前記第二受光位置及び前記第二撮像位置に基づき、前記平面上における前記プロジェクターの光軸通過点を導出する光軸通過点導出部と、
   前記光軸通過点に基づき前記プロジェクターの歪曲収差を補正するためのパラメータを算出する算出部と
   を備えたことを特徴とする、ロボット装置。
2. 前記光軸通過点が、第一撮像位置を受光面が存在する平面上における位置に変換した第一絶対位置と第二撮像位置を受光面が存在する平面上における位置に変換した第二絶対位置との距離が最小となる位置である
   ことを特徴とする、請求項１記載のロボット装置。
3. 前記光軸通過点が、ｘ軸及びｙ軸を前記投影点の座標軸としｚ軸を前記第一撮像位置と前記第二撮像位置との距離に対応させた三次元直交座標系における前記距離の分布を曲面に近似したときの極点に対応する座標を持つ
   ことを特徴とする、請求項１または２記載のロボット装置。
4. 前記プロジェクターから前記受光面までの投影距離が異なる第三受光位置及び第四受光位置に前記撮像装置を移動させる第二移動部と、
   前記撮像装置が前記第三受光位置にあるときの前記投影点の撮像画像上での位置である第三撮像位置を前記投影点毎に獲得するとともに、同一の前記投影倍率で前記撮像装置が前記第四受光位置にあるときの前記投影点の撮像画像上での位置である第四撮像位置を前記投影点毎に獲得する第二獲得部と、
   前記第三受光位置，前記第三撮像位置，前記第四受光位置及び前記第四撮像位置に基づき、前記プロジェクターの焦点を導出する焦点導出部とを備える
   ことを特徴とする、請求項１〜３のいずれか１項に記載のロボット装置。
5. 前記焦点が、ｘ軸及びｙ軸を前記投影点の座標軸としｗ軸を前記投影距離に対応させた三次元直交座標系における各々の前記投影点の軌跡を直線近似したときの交点に対応する座標を持つ
   ことを特徴とする、請求項４記載のロボット装置。
6. 前記算出部が、前記光軸通過点と前記焦点とを通る直線の方程式を用いて前記パラメータを算出する
   ことを特徴とする、請求項４または５記載のロボット装置。
7. 複数の投影点をプロジェクターで投影し、
   それぞれの前記投影点が撮像される第一受光位置に撮像装置を移動させ、
   前記投影点の撮像画像上での位置である第一撮像位置を前記投影点毎に獲得し、
   前記プロジェクターの投影倍率を変更し、
   前記第一受光位置と前記受光面が同一の平面上にあり、それぞれの前記投影点が撮像される第二受光位置に前記撮像装置を移動させ、
   前記投影点の撮像画像上での位置である第二撮像位置を前記投影点毎に獲得し、
   前記第一受光位置，前記第一撮像位置，前記第二受光位置及び前記第二撮像位置に基づき、前記平面上における前記プロジェクターの光軸通過点を導出し、
   前記光軸通過点に基づき前記プロジェクターの歪曲収差を補正するためのパラメータを算出する
   ことを特徴とする、ロボット装置位置獲得方法。

Images