JP6841297B2 - ビジュアルサーボシステム - Google Patents

Description

本発明は、ビジュアルサーボシステムに関するものである。

従来、操作物体を操作するロボットを制御する技術として、ビジュアルサーボが知られている。ビジュアルサーボでは、ロボットによって操作物体を目標の位置と姿勢に位置決めするため、操作中の物体がカメラによって撮影される。これによって得られた画像が現在画像である。また、事前に目標の位置と姿勢でロボットが物体を把持しているシーンがカメラで撮像される。これによって得られた画像が目標画像である。ビジュアルサーボでは、この目標画像と現在画像からロボットへの制御入力が算出される。制御入力の計算法としては、画像ベース法が知られている。画像ベース法では、目標画像の特徴量に対する現在画像の特徴量の偏差に基づいて、制御入力が決定される（非特許文献１参照）。

橋本、"日ＪＡＬサーボ−Ｖ−特徴ベースビジュアルサーボ"、"システム／制御／情報、Ｖｏｌ．５４、Ｎｏ．５、ｐｐ２０６−２１３、２０１０

しかし、画像ベース法を用いたビジュアルサーボでは、目標の位置の近傍で目標画像の特徴量に対する現在画像の特徴量の偏差が小さくなり、位置決めにかかる時間が増大する。

本発明は上記点に鑑み、画像ベース法を用いたビジュアルサーボにおいて、目標の位置の近傍で目標画像に対する現在画像の特徴量の偏差を従来よりも大きくすることを目的とする。

上記目的を達成するための請求項１に記載の発明は、物体を移動させるビジュアルサーボシステムであって、前記物体（５）を操作するロボット（１）と、前記ロボットに操作される前記物体に光を照射すると共に、前記ロボットとは異なる位置に固定される照射装置（２）と、前記照射装置が照射した光が前記物体に当たっている状態で前記物体を撮影して現在画像を出力すると共に、前記ロボットとは異なる位置に固定されるカメラ（３）と、前記物体が目標の位置および姿勢にあって前記照射装置から照射された光が前記物体に当たっていれば前記カメラによって撮影されると想定される目標画像を記憶媒体から読み出す読出部と、前記現在画像と前記目標画像の輝度値の差に基づいて前記ロボットへの制御入力を算出して前記ロボットへ入力する入力部と、を備え、前記照射装置によって照射される光は、所定の方向に沿って輝度値が変動する参照画像に従った輝度分布を有する光であり、前記参照画像において、前記所定の方向に交差する他の方向に沿っても輝度値が変動し、前記参照画像において、前記他の方向に沿って輝度値の大小が交互に入れ替わり、前記他の方向は前記所定の方向に直交し、前記参照画像は格子模様の画像となる、ビジュアルサーボシステムである。

このように、目標画像および現在画像の輝度値を特徴量として用い、かつ、所定の方向に沿って輝度値が変動する参照画像に従った輝度分布の光が用いられることで、目標の位置の近傍において、目標画像に対する現在画像の特徴量の偏差を従来よりも大きくすることができる。これは、目標画像および現在画像の輝度値を特徴量として用いた場合、参照画像における画素に関する輝度値の１階微分の自乗が大きいほど、目標画像に対する現在画像の特徴量の偏差が大きくなるからである。

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

実施形態に係るビジュアルサーボシステムの概略構成図である。 参照画像の一部を示す図である。 照射によって物体に表れる模様を示す図である。 ビジュアルサーボシステムの作動ブロック図である。 数式を示す図である。 プロジェクタ２、カメラ３、物体５の位置関係を示す図である。 数式を示す図である。 種々のＮ、Ｍにおけるにじみの評価結果を示す表である。 本実施形態における位置決め精度と収束速度を示す実験結果である。 プロジェクタが照射しない場合における位置決め精度と収束速度を示す実験結果である。 実験環境を示す図である。 三次元的な位置決め誤差を表す図である。

以下、本発明の一実施形態について説明する。本実施形態のビジュアルサーボシステムは、図１に示すように、ロボット１と、プロジェクタ２と、カメラ３と、制御装置４と、を備えている。プロジェクタ２は照射装置に対応する。

ロボット１は、生産工場等に配置される産業用ロボットアームであり、部品等の物体５を把持して、物体５に対してあらかじめ定められた目標の位置および姿勢が実現するよう、物体５を移動させる。目標の位置は、例えば、床６の上に置かれたキッティングトレー７内の所定位置である。ロボット１は、このような機能を実現するため、部品を把持するハンド１１、複数のリンク１２、１３、１４、および複数の関節１５、１６、１７を有している。

ハンド１１は、物体５を把持および開放することができる不図示の把持機構を有する部材である。リンク１２の一端は関節１５を介してハンド１１に接続される。リンク１３の一端は関節１６を介してリンク１２の他端に接続される。リンク１４の一端は関節１７を介してリンク１３の他端に接続され、他端は固定物１８に接続されている。

関節１５は、サーボモータ等で構成され、ハンド１１のリンク１２に対する位置および姿勢を変化させる。関節１６は、サーボモータ等で構成され、リンク１２のリンク１３に対する位置および姿勢を変化させる。関節１７は、サーボモータ等で構成され、リンク１３のリンク１４に対する位置および姿勢を変化させる。

ロボット１は、このようなものに限らず、ハンドと、複数のリンクと、それらハンドとリンクの間の相対位置および相対姿勢を変化させる１個以上の関節とを備えるものであれば、どのようなものでもよい。例えば、５軸制御のロボットアームであってもよい。

プロジェクタ２は、ロボット１が物体５を把持して操作し、目標の位置の近傍にある物体５に光を照射する装置である。プロジェクタ２は、ロボット１とは異なる位置に固定されている。また、プロジェクタ２の光学中心および光軸は、固定である。プロジェクタ２によって照射される光は、プロジェクタ２内においてあらかじめ記憶された参照画像に従った輝度分布の光である。参照画像は、プロジェクタ画像ともいう。参照画像の詳細については後述する。

カメラ３は、ロボット１が物体５を把持して操作し、目標の位置の近傍にある物体５およびその近傍を撮影し、その結果得られた撮影画像である現在画像を、制御装置４に出力する。カメラ３は、ロボット１とは異なる位置に固定されている。また、カメラ３の光学中心および光軸は、固定である。

制御装置４は、カメラ３から取得した現在画像に基づいて、物体５が目標の位置および姿勢を実現するよう、ロボット１を制御する装置である。制御装置４は、メモリ４１、演算部４２等を有する装置であり、例えば、マイクロコンピュータであってもよい。メモリ４１は、ＲＡＭ、ＲＯＭ、フラッシュメモリ等を含む非遷移的実体的記憶媒体である。演算部４２は、メモリ４１からプログラムを読み出して当該プログラムに従った処理を実行することで、以下で説明する処理を実行する。

ここで、参照画像について説明する。参照画像は、図２に示すように、所定の方向Ｘｐに沿ってもそれに交差直交する他の方向Ｙｐに沿っても輝度値が変化する画像である。また、参照画像は、輝度値が高輝度値の部分と低輝度値の部分が所定の方向Ｘｐに沿っても他の方向Ｙｐに沿っても交互に入れ替わる画像である。図２においては、白色部分が高輝度値の画素を示し、黒色部分が低輝度値の画素を示している。

より具体的には、方向Ｘｐに沿って、輝度値が高輝度値と低輝度値の間でＮ個の画素毎に交互に入れ替わる。また、方向Ｙｐに沿って、輝度値が高輝度値と低輝度値の間でＭ個の画素毎に交互に入れ替わる。ここで、ＮおよびＭは１でもよいし２以上でもよい。また、ＮとＭは同じ値であってもよいし異なっていてもよい。例えばＮ＝Ｍ＝４５である。

ここで、高輝度値は低輝度値よりも高い値である。例えば、高輝度値が設定上の最大輝度値（例えば２５５）で低輝度値は設定上の最小輝度値（すなわちゼロ）であってもよいし、そうでなくてもよい。高輝度値と低輝度値の差の絶対値は、最大輝度値と最小輝度値の差の絶対値の１／２以上であってもよいし、１／３以上であってもよい。また、高輝度値は、参照画像中のすべての画素で同じ値であってもよいし、同じ値でなくてもよい。同様に、低輝度値は、参照画像中のすべての画素で同じ値であってもよいし、同じ値でなくてもよい。

以下、ビジュアルサーボシステムの作動について説明する。ロボット１は、まず物体５を把持した状態で、目標の位置の近傍まで物体５を移動させる。これにより、物体５は、プロジェクタ２の照射範囲内かつカメラ３の撮影範囲内に入る。

したがって、物体５には、プロジェクタ２によって参照画像に従った輝度分布で照射された光が当たる。物体５の表面に当たった光は、反射してカメラ３に入射する。このとき、カメラ３によって撮影されて出力される現在画像においては、図３に示すように、物体５の表面に参照画像に対応した模様が表れている。ただし、物体５の表面の形状や傾きに応じて、物体５の表面に表れる模様は、参照画像に対して歪んでいる。

図４に示すように、このようにしてカメラ３から出力される現在画像は、制御装置４によって取得される。制御装置４の演算部４２は、カメラ３から現在画像を取得すると、この現在画像の輝度値と、メモリ４１から読み出した目標画像の輝度値との差を、算出する。なお、輝度値の差は、２つの画像において対応する画素間での差である。

ここで、メモリ４１に記録されている目標画像について説明する。目標画像は、物体５が目標の位置および姿勢にあってプロジェクタ２から照射された光が物体５に当たっていればカメラ３によって撮影されると想定される画像である。この目標画像は、あらかじめ物体５または物体５と同じ材質、形状、表面形状を有するものを、ロボット１に把持させて、目標の位置および姿勢におき、プロジェクタ２に照射を行わせ、カメラ３に撮影を行わせることで、取得可能である。このようにして取得された目標画像は、あらかじめ制御装置４のメモリ４１（例えば不揮発性メモリ）に記録され、その後、ロボット１の制御時に演算部４２によって上述のように読み出される。演算部４２は、目標画像をメモリ４１から読み出すことで、読出部として機能する。

更に演算部４２は、算出された現在画像と目標画像の輝度値の差に、図２に示すように、画像ヤコビアンの擬似逆行列Ｊ^＋を作用させ、更に、ゲインλを乗算する。画像ヤコビアンは、従来と同様にあらかじめ決められる。ただしその際、画像の特徴量は画像の各画素の輝度値そのものである。画像ヤコビアンの擬似逆行列Ｊ^＋の作用およびゲインλの乗算の結果得られた値が、ロボット１に対する制御入力である。この制御入力は、関節１５、１６、１７各々の角度θｄの時間微分すなわち角速度である。このように、本実施形態のビジュアルサーボシステムの制御則は、図５の式（１３）のようになる。ここで、Ｉ（ｔ）が現在画像を示し、Ｉ^＊が目標画像を示す。演算部４２は、この制御入力をロボット１に入力することで、入力部として機能する。

ロボット１は、このように入力された角度θｄの時間微分に従って、関節１５、１６、１７を作動させる。これにより、ロボット１は、物体５を目標の位置および姿勢に近づけるよう変位させる。このような現在画像に基づくロボット１の制御が時間の経過とともに繰り返されることで、物体５の位置が目標の位置および姿勢に十分近付くと、位置決めが完了する。

ここで、本実施形態の技術的意義について説明する。まず、従来の画像ベース法を用いたビジュアルサーボについて説明する。

従来からのビジュアルサーボ法の目的は、ロボットによって把持された物体を目標位置姿勢に位置決めを行うことである。操作中の物体は環境に設置された一台のカメラによって撮像される。また、事前に目標位置姿勢でロボットが物体を把持しているシーンをカメラで撮像し、目標画像とする。ビジュアルサーボでは、目標画像とフィードバックした現時刻の画像からロボットへの制御入力を計算する。制御入力の計算法には、位置ベース法と画像ベース法の二種類に大別されるが、ここでは画像ベース法について説明する。

画像ベース法では、画像から直接計算された特徴量をフィードバックしてロボットを制御する。ここで、特徴量とは、注目物体のエッジ、重心座標など、ロボットーカメラ間キャリブレーションやカメラモデルを利用せずに計算できる特徴を表す多次元ベクトルである。最も基礎的な制御測は、図５の式（１）によって与えられる。

ここで、θ∈Ｒ^ｎはロボットの関節角速度指令値、λはゲイン、Ｊ^＋は画像ヤコビアンの疑似逆行列、ｓ（Ｉ）は現在画像Ｉから特徴量への写像である。画像ヤコビアンは、目標画像と現在画像の偏差からロボットの関節角速度空間への写像であり、厳密にはロボットの関節角度に依存する。しかし、目標位置姿勢近傍では、画像ヤコビアンが一定とみなせると考え、時不変のヤコビアンを与えることも多い。この場合、画像ヤコビアンは、図５の式（２）で計算できる。ここで、図５の式（３）、（４）、（５）、（６）が成り立つ。

式（３）−（６）で、目標位置姿勢に操作物体があるときの画像特徴量と関節角度が、それぞれｓ^＊とθ^＊で、操作物体を目標位置姿勢からわずかにずらしたときの画像特徴量と関節角度が、それぞれｓ_ｉとθ_ｉで与えられている。つまり、式（２）で画像ヤコビアンを計算する際には、操作物体を目標位置姿勢からｎ回わずかにずらした画像を取得する必要がある。

以上で説明した画像ベース法には、
１．操作対象の物体にテクスチャが乏しいと位置決め誤差が発生しやすい
２．目標位置近傍で一般に画像偏差が小さくなり、位置決めにかかる時間が増大する
という問題が指摘されている。

以下、本実施形態の説明に戻る、本実施形態では、上記の問題に対応するためにプロジェクタ２が用いられている。

本実施形態のビジュアルサーボ法では、図１に示した様に、プロジェクタ２を使ってパタン光を操作物体に照射し、その反射光をカメラによって撮像し、画像ベースビジュアルサーボを行う。パタン光の投影によって、
１．テクスチャが乏しい操作物体に対する位置決め誤差を低減する、
２．目標位置近傍での画像偏差が大きくなり、位置決めにかかる時間が短縮する、
という２つの効果が期待される。パタン光は構造化光ともいう。ビジュアルサーボの位置決め精度を決める大きな要因の一つに参照画像に基づいた照射パタンがある。以下に、照射パタンの技術的意義を説明する。

図６に示す二次元空間を考える。この空間には、物体５、ロボット１、プロジェクタ２、カメラ３が設置されており、座標系Σ_ｃが固定されている。カメラ３は、その光軸がＺ軸方向に一致するように設置される。つまり、座標系Σ_ｃはカメラ座標系である。カメラ３の撮像はピンホールカメラモデルに従うと仮定する。すなわち、位置（ｘ，ｚ）にある点は、透視投影変換によって、カメラ画像平面上の式（７）におけるＸ_ｃに投影される。

ここで、ｆ_ｃはカメラ３の焦点距離である。プロジェクタ２は、位置（ｘ_ｐ，ｚ_ｐ）に、その光軸がｚ軸に対してθ_ｐの角度をなすように設置される。このように設置されたプロジェクタ２の位置姿勢をξ_ｐ：＝［ｘ_ｐ，ｙ_ｐ，θ_ｐ］^Ｔと書く。また、プロジェクタ２の投影もピンホールカメラモデルに従うと仮定する。

いま、操作物体の位置姿勢をｘと書き、二次元空間内で操作物体の表面形状を表す関数をｓ（ｘ）で表す。物体５の目標位置姿勢をｘ^＊とする。いま、ロボット１によって物体５を操作中に、少なくとも物体５の一部がカメラ３によって撮像され、かつ撮像された箇所にはプロジェクタ２によってパタン光が照射されていると仮定する。以上の条件の下で、参照画像平面上のＸ_ｐから照射された光が操作物体表面（ｘ、ｓ（ｘ））で反射し、カメラ画像平面Ｘ_ｃに到達すると考えることができる。いま、この関係を、参照画像平面からカメラプロジェクタ平面への写像ｇを用いて、図５の式（８）のように表す。

次に、プロジェクタ２から照射されるパタン光について考える。参照画像平面Ｘ_ｐからＩ（Ｘ_ｐ）の輝度で照射を行う。つまり、Ｉ（Ｘ_ｐ）が参照画像を表す関数である。

いま、カメラ画像平面Ｘ_ｃに入射する光線の輝度を考える。この光線は、図５の式（９）に示されるプロジェクタ画素Ｘ_ｐから照射される光である。ここで、ｇ^−１はｇの逆関数である。このプロジェクタ画素から照射された光線の輝度はＩ（Ｘ_ｐ）であるので、式（９）を使うと、Ｘ_ｃに入射する光の強度ｐ（Ｘ_ｃ、ｘ）は、図５の式（１０）のように書ける。ここでは、プロジェクタ２から照射された輝度がカメラ３で観測される輝度に等しいと仮定した。

いま、物体５が目標位置ξ_ｐに移動したとき、同じカメラ画像平面Ｘ_ｃに入射する光線は、図５の式（１１）に示すプロジェクタ画素Ｘ^＊ _ｐから照射される。したがって、カメラ画素Ｘ_ｃで観測される輝度ｐ（Ｘ_ｃ、ｘ^＊）は、図５の式（１２）のようになる。

ここで、本実施形態のビジュアルサーボシステムの制御側は、図５の式（１３）で与えられる。式（１３）は、式（１）の特徴量ｓを画像Ｉに変更することによって得られる。画像Ｉは各画素に輝度値が格納されている行列データである。したがって、画像から特徴量を抽出する計算を必要とせず、式（１）で表される従来の画像ベース法と比較して、高速な計算が可能となる。

位置決め誤差を低減し、位置決めにかかる時間を短縮するために、目標位置近傍で式（１３）の画像偏差を最大化する照射パタンＩ^＊を、式（１４）に基づいて求める。ここで、式（１５）が成立し、｜ξ｜_２はベクトルξのユークリッドノルムを表す。位置姿勢ｘが目標位置姿勢近傍であることを考慮して、式（１５）をｘ^＊近傍でテーラー展開すると、図７の式１６を得る。ここで、Ｏ（Δｘ^３）はΔｘ：＝ｘ−ｘ^＊の３次以降の余剰項を表す。

式（１７）において、ＢとＣはそれぞれ、物体５の形状、カメラ３とプロジェクタ２の位置姿勢に依存する。項Ａは、照射パタンに依存する項なので、これを最大化するＩを求める。いま、Ｘ^ｐ＝ｇ（ｓ（ｘ^＊）、Ｘ_ｃ）であるので、項Ａは、式（１８）の様に書ける。この式は、参照画像平面上で照射輝度を画素座標で１階微分した際の大きさを表している。参照画像はある大きさを持つ画素から構成されることを考慮すれば、式（１７）を最大化する照射パタンは、例えば、格子パタンとなる。このような観点から、本実施形態では、参照画像として、既に説明した格子模様の画像が用いられる。

ただし、参照画像に従ってプロジェクタ２が照射した光による物体５表面の模様を異なるカメラ３で撮影した場合、にじみが発生する場合がある。にじみは、上述の参照画像におけるＮ、Ｍの値が小さいほど発生し易い。

図８に、Ｎ、Ｍについて種々の値を設定したときの、カメラ３で撮影された現在画像におけるにじみの程度の実験結果を示す。この図において、黒ピクセル平均値とは、１つの現在画像において、輝度値が１２６以下の画素を黒ピクセルに分類したときの、当該現在画像全体における黒ピクセルの輝度値の平均値である。同様に、白ピクセル平均値とは、１つの現在画像において、輝度値が１２７以上の画素を白ピクセルに分類したときの、当該現在画像全体における白ピクセルの輝度値の平均値である。そして、差分は、白ピクセル平均値と黒ピクセル平均値の差である。この差分が大きいほど、にじみが少ない。なお、この実験における各画素がとれる値の範囲は、最低輝度値０以上かつ最高輝度値２５５以下である。図８の実験結果においては、Ｎ＝Ｍ＝４５となる場合が、最もにじみが少ないと共に、白ピクセル平均値が高かった。またＮ、Ｍが、２以上の方が、１である場合に比べ、にじみが少ない。

図９に、本実施形態における位置決め精度と収束速度を示す実験結果を示す。また、図１０には、比較例として、図９の実験と同じ条件でプロジェクタ２による照射を行わなかった場合の実験結果を示す。なお、ゲインλの絶対値に関しては、図９の実験の方が図１０の実験よりも大きい。図９、図１０において、横軸は時間、縦軸は、目標画像と現在画像の画像偏差のＳＳＤである。ＳＳＤは、Sum of Squared Differenceの略称である。

図９、図１０の実験環境を図１１に示す。カメラ３はフォトロン製のハイスピードカメラＩＤＰ−Ｅｘｐｒｅｓｓ Ｒ２０００、プロジェクタ２はエプソン製のＥＢ−Ｗ４２０を使用した。カメラ３とプロジェクタ２の界オズ度はそれぞれ５１２×５１２［ピクセル］、１２８０×８００［ピクセル］で、カメラのフレームレートは５０［ｆｐｓ］である。

図９、図１０に示すように、プロジェクタ２による照射を行った方が、そうでない場合に比べ、収束すなわち位置決めの完了が速いことがわかる。これは、本実施形態の方法で、目標画像に対する現在画像の特徴量の偏差が大きくなり、そのため、ゲインλの絶対値を大きくすることができるようになったからである。なお、図９の時点Ｔ１、図１０の時点Ｔ２が、図４に示すビジュアルサーボ処理が開始した時点である。

また、図１２に、比較例のビジュアルサーボと本実施形態の、終端時刻における、レーザーセンサで計測した３次元的な位置決め誤差を示す。このグラフが示す通り、本実施形態の方法で、位置決め誤差を顕著に低減することができる。

以上説明した通り、本実施形態においては、プロジェクタ２によって照射される光は、所定の方向Ｘｐに沿って輝度値が変動する参照画像に従った輝度分布の光である。このように、目標画像および現在画像の輝度値を特徴量として用い、かつ、所定の方向Ｘｐに沿って輝度値が変動する参照画像に従った輝度分布の光が用いられることで、目標の位置の近傍において、目標画像に対する現在画像の特徴量の偏差を従来よりも大きくすることができる。これは、上述の通り、目標画像および現在画像の輝度値を特徴量として用いた場合、参照画像における画素に関する輝度値の１階微分の自乗が大きいほど、目標画像に対する現在画像の特徴量の偏差が大きくなるからである。

また、参照画像において、所定の方向Ｘｐに沿って輝度値の大小が交互に入れ替わる。このようになっていることで、画素に関する輝度値の１階微分の自乗の、参照画像全体における総和を、画素の輝度値が単調減少または単調増加する場合に比べ、大きくすることができる。ひいては、目標画像に対する現在画像の特徴量の偏差を大きくすることができる。

また、参照画像において、所定の方向Ｘｐに沿って輝度値の大小が交互に入れ替わるのは、複数画素毎にである。このようになっていることで、カメラ３で撮影された画像における画素のにじみを低減することができ、ひいては、目標画像に対する現在画像の特徴量の偏差を大きくすることができる。

また、参照画像において、所定の方向Ｘｐに交差する他の方向Ｙｐに沿っても輝度値が変動する。このようになっていることで、目標の位置および姿勢に対するずれに対して、より柔軟に対応して、目標画像に対する現在画像の特徴量の偏差を大きくすることができる。

また、参照画像は格子模様の画像となる。このように、参照画像が格子模様の画像となることで、参照画像中のほぼ全方向に沿って、輝度値の大小が交互に入れ替わる。

（他の実施形態）
なお、本発明は上記した実施形態に限定されるものではなく、適宜変更が可能である。また、上記実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではない。また、上記実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。特に、ある量について複数個の値が例示されている場合、特に別記した場合および原理的に明らかに不可能な場合を除き、それら複数個の値の間の値を採用することも可能である。また、上記実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。また、上記実施形態において、センサから車両の外部環境情報（例えば車外の湿度）を取得することが記載されている場合、そのセンサを廃し、車両の外部のサーバまたはクラウドからその外部環境情報を受信することも可能である。あるいは、そのセンサを廃し、車両の外部のサーバまたはクラウドからその外部環境情報に関連する関連情報を取得し、取得した関連情報からその外部環境情報を推定することも可能である。また、本発明は、上記実施形態に対する以下のような変形例および均等範囲の変形例も許容される。なお、以下の変形例は、それぞれ独立に、上記実施形態に適用および不適用を選択できる。すなわち、以下の変形例のうち明らかに矛盾する組み合わせを除く任意の組み合わせを、上記実施形態に適用することができる。

上記実施形態において、参照画像の輝度値が変動する方向Ｘｐ、Ｙｐは、直交している。しかし、必ずしも直交していなくてもよい。直交している場合は、上記実施形態のように、参照画像は矩形の格子模様の画像であったが、直交していない場合は、参照画像は平行四辺形の格子模様の画像となる。また、参照画像は、格子模様に限らず、水玉模様であってもよい。

また、参照画像は、方向Ｘｐに沿ってのみ輝度値が変動するようになっていてもよい。その場合、参照画像はストライプ模様の画像となる。

また、上記実施形態の参照画像は、方向Ｘｐに沿って高輝度値と低輝度値が交互に入れ替わるようになっているが、必ずしもそのようになっていなくてもよい。例えば、参照画像においては、方向Ｘｐに沿って輝度が単調増加または単調減少するようになっていてもよい。

上記実施形態では、照射装置として、プロジェクタ２が例示されているが、プロジェクタ２以外の装置が照射装置として使用されていてもよい。例えば、可視光レーザー照射装置が用いられてもよい。その場合でも、可視光レーザー照射装置は、参照画像に従った輝度分布の光を照射する。

本開示に記載の制御装置４及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御装置４及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御装置４及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１ ロボット
２ プロジェクタ
３ カメラ
４ 制御装置
５ 物体

Claims (3)

1. 物体を移動させるビジュアルサーボシステムであって、
   前記物体（５）を操作するロボット（１）と、
   前記ロボットに操作される前記物体に光を照射すると共に、前記ロボットとは異なる位置に固定される照射装置（２）と、
   前記照射装置が照射した光が前記物体に当たっている状態で前記物体を撮影して現在画像を出力すると共に、前記ロボットとは異なる位置に固定されるカメラ（３）と、
   前記物体が目標の位置および姿勢にあって前記照射装置から照射された光が前記物体に当たっていれば前記カメラによって撮影されると想定される目標画像を記憶媒体から読み出す読出部と、
   前記現在画像と前記目標画像の輝度値の差に基づいて前記ロボットへの制御入力を算出して前記ロボットへ入力する入力部と、を備え、
   前記照射装置によって照射される光は、所定の方向に沿って輝度値が変動する参照画像に従った輝度分布を有する光であり、
   前記参照画像において、前記所定の方向に交差する他の方向に沿っても輝度値が変動し、
   前記参照画像において、前記他の方向に沿って輝度値の大小が交互に入れ替わり、
   前記他の方向は前記所定の方向に直交し、
   前記参照画像は格子模様の画像となる、ビジュアルサーボシステム。
2. 前記参照画像において、前記所定の方向に沿って輝度値の大小が交互に入れ替わる、請求項１に記載のビジュアルサーボシステム。
3. 前記参照画像において、前記所定の方向に沿って輝度値の大小が複数画素毎に交互に入れ替わる、請求項２に記載のビジュアルサーボシステム。