JP7660686B2 - ロボット制御装置、ロボット制御システム、及びロボット制御方法 - Google Patents

Description

関連出願へのクロスリファレンス

本出願は、日本国特許出願２０２１－１２８４７５号（２０２１年８月４日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

本開示は、ロボット制御装置、ロボット制御システム、及びロボット制御方法に関する。

従来、予め画像座標系でキャリブレーション範囲を設定する装置が知られている（例えば特許文献１参照）。

特開２０１８－１１１１６６号公報

本開示の一実施形態に係るロボット制御装置は、ロボットを制御する制御部を備える。前記制御部は、前記ロボットの動作空間を撮影する空間情報取得部の実視野サイズと、前記空間情報取得部の空間情報とを取得する。前記制御部は、前記実視野サイズと前記空間情報とに基づいて、所定の第１位置を設定する。前記制御部は、前記第１位置と前記実視野サイズとに基づいて、前記ロボットのキャリブレーション位置を生成する。

本開示の一実施形態に係るロボット制御システムは、前記ロボット制御装置と、前記ロボットと、前記空間情報取得部とを備える。

本開示の一実施形態に係るロボット制御方法は、ロボットを制御する制御部が、前記ロボットの動作空間を撮影する空間情報取得部の実視野サイズと、前記空間情報取得部の撮影画像とを取得することを含む。前記ロボット制御方法は、前記制御部が、前記空間情報取得部の実視野サイズと撮影画像とに基づいて、所定の第１位置を設定することを含む。前記ロボット制御方法は、前記制御部が、前記第１位置と前記空間情報取得部の実視野サイズとに基づいて、前記ロボットのキャリブレーション位置を生成することを含む。

一実施形態に係るロボット制御システムの構成例を示すブロック図である。 一実施形態に係るロボット制御システムの構成例を示す模式図である。 空間情報取得部のＦＯＶ（Field Of View）の一例を示す模式図である。 候補位置の例を示す模式図である。 一実施形態に係るロボット制御方法の手順例を示すフローチャートである。

ロボットの動作範囲内においてロボットが動作できない範囲を避けてキャリブレーション範囲を設定するために、目視確認等の煩雑な作業が必要となる。キャリブレーション範囲の簡便な設定が求められる。本開示の一実施形態に係るロボット制御装置、ロボット制御システム、及びロボット制御方法によれば、キャリブレーション範囲が簡便に設定され得る。

（ロボット制御システム１の概要）
図１及び図２に例示されるように、一実施形態に係るロボット制御システム１は、ロボット４０と、ロボット制御装置１０と、空間情報取得部２０とを備える。ロボット４０は、所定の動作空間において動作する。空間情報取得部２０は、ロボット４０が動作する動作空間のデプス情報を生成する。空間情報取得部２０は、後述するように、動作空間に存在する物体５０の表面に位置する測定点までの距離を算出する。空間情報取得部２０から測定点までの距離は、デプスとも称される。デプス情報は、各測定点について測定したデプスに関する情報である。言い換えれば、デプス情報は、動作空間に存在する物体５０の表面に位置する測定点までの距離に関する情報である。デプス情報は、空間情報取得部２０から見た方向とその方向のデプスとを関連づけたデプスマップとして表されてもよい。空間情報取得部２０は、（Ｘ，Ｙ，Ｚ）座標系に基づいて動作空間のデプス情報を生成する。ロボット制御装置１０は、空間情報取得部２０で生成されたデプス情報に基づいてロボット４０を動作させる。ロボット制御装置１０は、（Ｘ＿ＲＢ，Ｙ＿ＲＢ，Ｚ＿ＲＢ）座標系に基づいてロボット４０を動作させる。

（Ｘ＿ＲＢ，Ｙ＿ＲＢ，Ｚ＿ＲＢ）座標系は、（Ｘ，Ｙ，Ｚ）座標系と同じ座標系として設定されてもよいし、異なる座標系として設定されてもよい。（Ｘ＿ＲＢ，Ｙ＿ＲＢ，Ｚ＿ＲＢ）座標系が（Ｘ，Ｙ，Ｚ）座標系と異なる座標系として設定される場合、ロボット制御装置１０は、空間情報取得部２０で（Ｘ，Ｙ，Ｚ）座標系で生成されたデプス情報を（Ｘ＿ＲＢ，Ｙ＿ＲＢ，Ｚ＿ＲＢ）座標系に変換して用いる。

ロボット４０及びロボット制御装置１０の数は、例示されるように１台に限られず２台以上であってもよい。空間情報取得部２０の数は、例示されるように、１つの動作空間に対して１台であってもよいし、２台以上であってもよい。以下、各構成部が具体的に説明される。

＜ロボット制御装置１０＞
ロボット制御装置１０は、制御部１１と、記憶部１２とを備える。

制御部１１は、ロボット制御装置１０の種々の機能を実現するために、少なくとも１つのプロセッサを含んで構成されてよい。プロセッサは、ロボット制御装置１０の種々の機能を実現するプログラムを実行しうる。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、ＣＰＵ（Central Processing Unit）を含んで構成されてよい。プロセッサは、ＤＳＰ（Digital Signal Processor）又はＧＰＵ（Graphics Processing Unit）を含んで構成されてもよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

記憶部１２は、磁気ディスク等の電磁記憶媒体を含んで構成されてよいし、半導体メモリ又は磁気メモリ等のメモリを含んで構成されてもよい。記憶部１２は、ＨＤＤ（Hard Disk Drive）として構成されてもよいしＳＳＤ（Solid State Drive）として構成されてもよい。記憶部１２は、各種情報及び制御部１１で実行されるプログラム等を格納する。記憶部１２は、制御部１１のワークメモリとして機能してよい。制御部１１が記憶部１２の少なくとも一部を含んで構成されてもよい。

ロボット制御装置１０は、空間情報取得部２０及びロボット４０と有線又は無線で通信可能に構成される通信デバイスを更に備えてもよい。通信デバイスは、種々の通信規格に基づく通信方式で通信可能に構成されてよい。通信デバイスは、既知の通信技術により構成することができる。通信デバイスのハードウェア等の詳細な説明は省略される。通信デバイスの機能は、１つのインタフェースによって実現されてもよいし、接続先別にそれぞれ別体のインタフェースによって実現されてもよい。制御部１１が空間情報取得部２０及びロボット４０と通信可能に構成されてもよい。制御部１１が通信デバイスを含んで構成されてもよい。

＜ロボット４０＞
ロボット４０は、図２に例示されるように、アーム４２と、アーム４２に取り付けられるエンドエフェクタ４４と、エンドエフェクタ４４に設置されているマーク４６とを備える。なお、マーク４６は、エンドエフェクタ４４ではなく、アーム４２に設置されていてもよい。

アーム４２は、例えば、６軸又は７軸の垂直多関節ロボットとして構成されてよい。アーム４２は、３軸又は４軸の水平多関節ロボット又はスカラロボットとして構成されてもよい。アーム４２は、２軸又は３軸の直交ロボットとして構成されてもよい。アーム４２は、パラレルリンクロボット等として構成されてもよい。アーム４２を構成する軸の数は、例示したものに限られない。

エンドエフェクタ４４は、例えば、作業対象物を把持できるように構成される把持ハンドを含んでよい。把持ハンドは、複数の指を有してよい。把持ハンドの指の数は、２つ以上であってよい。把持ハンドの指は、１つ以上の関節を有してよい。エンドエフェクタ４４は、作業対象物を吸着できるように構成される吸着ハンドを含んでもよい。エンドエフェクタ４４は、作業対象物を掬うことができるように構成される掬いハンドを含んでもよい。エンドエフェクタ４４は、ドリル等の工具を含み、作業対象物に穴を開ける作業等の種々の加工を実施できるように構成されてもよい。エンドエフェクタ４４は、これらの例に限られず、他の種々の動作ができるように構成されてよい。

ロボット４０は、アーム４２を動作させることによって、エンドエフェクタ４４の位置を制御できる。エンドエフェクタ４４は、作業対象物に対して作用する方向の基準となる軸を有してもよい。エンドエフェクタ４４が軸を有する場合、ロボット４０は、アーム４２を動作させることによって、エンドエフェクタ４４の軸の方向を制御できる。ロボット４０は、エンドエフェクタ４４が作業対象物に作用する動作の開始及び終了を制御する。ロボット４０は、エンドエフェクタ４４の位置、又は、エンドエフェクタ４４の軸の方向を制御しつつ、エンドエフェクタ４４の動作を制御することによって、作業対象物を動かしたり加工したりすることができる。

ロボット４０は、ロボット４０の各構成部の状態を検出するセンサを更に備えてよい。センサは、ロボット４０の各構成部の現実の位置若しくは姿勢、又は、ロボット４０の各構成部の速度若しくは加速度に関する情報を検出してよい。センサは、ロボット４０の各構成部に作用する力を検出してもよい。センサは、ロボット４０の各構成部を駆動するモータに流れる電流又はモータのトルクを検出してもよい。センサは、ロボット４０の実際の動作の結果として得られる情報を検出できる。ロボット制御装置１０は、センサの検出結果を取得することによって、ロボット４０の実際の動作の結果を把握することができる。つまり、ロボット制御装置１０は、センサの検出結果に基づいてロボット４０の状態を取得できる。

ロボット制御装置１０は、空間情報取得部２０でマーク４６を撮影した画像に基づいてマーク４６の位置、又は、マーク４６が設置されているエンドエフェクタ４４の位置を認識する。また、ロボット制御装置１０は、空間情報取得部２０でマーク４６を撮影した画像に基づいてロボット４０の状態を認識する。ロボット制御装置１０は、センサの検出結果に基づいて取得したロボット４０の状態と、マーク４６を写した画像に基づいて取得したロボット４０の状態とを比較することによって、ロボット４０のキャリブレーションを実行できる。

＜空間情報取得部２０＞
空間情報取得部２０は、ロボット４０の動作空間に関する空間情報を取得する。空間情報取得部２０は、動作空間を撮影し、空間情報として動作空間の画像を取得してよい。空間情報取得部２０は、図２に例示されるように、動作空間に存在する物体５０を撮影してよい。空間情報取得部２０は、カメラとして構成されてよい。３Ｄステレオカメラは、動作空間に存在する物体５０を撮影し、動作空間に存在する物体５０の表面に位置する測定点までの距離をデプスとして算出し、デプス情報を生成する。空間情報取得部２０は、３Ｄステレオカメラとして構成されてもよい。空間情報取得部２０は、ＬｉＤＡＲ（light detection and ranging）として構成されてもよい。ＬｉＤＡＲは、動作空間に存在する物体５０の表面に位置する測定点までの距離を測定し、デプス情報を生成する。つまり、空間情報取得部２０は、空間情報として動作空間のデプス情報を取得してよい。空間情報取得部２０は、これらに限られず種々のデバイスとして構成されてもよい。空間情報取得部２０は、空間情報として、動作空間の画像又はデプス情報に限られず他の種々の情報を取得してよい。空間情報取得部２０は、撮像素子を備えてよい。空間情報取得部２０は、光学系を更に備えてよい。空間情報取得部２０は、動作空間を撮影した画像をロボット制御装置１０に出力してよい。空間情報取得部２０は、ロボット４０の動作空間におけるデプス情報を生成してロボット制御装置１０に出力してもよい。空間情報取得部２０は、ロボット４０の動作空間における点群情報を生成してロボット制御装置１０に出力してもよい。すなわち、空間情報取得部２０は、空間情報を、点群データの形式で出力してもよい。言い換えれば、点群情報は、空間情報を有していてもよい。点群情報は、動作空間に存在する物体５０の表面に位置する各測定点の集合の情報であり、各測定点の座標情報又は色情報を含む情報である。点群情報は、測定空間内の物体５０を複数の点で表すデータであるともいえる。空間情報が点群データの形式であることによって、空間情報取得部２０で取得された初期データに基づく空間情報よりも、データ密度を小さくすることができる。

空間情報取得部２０は、図３に二点鎖線の範囲として例示されるＦＯＶ７０（Field Of View）を有する。ＦＯＶ７０は、空間情報取得部２０の撮影範囲（画角）に対応する。ＦＯＶ７０は、空間情報取得部２０の中心軸７０Ａと、奥行方向の視野角７１と、幅方向の視野角７２とに基づいて定まる。中心軸７０Ａは、ＦＯＶ７０（画角）の中心に位置する点の集合ともいえる。図３においてＦＯＶ７０の形状は、四角錐である。ＦＯＶ７０の形状は、四角錐に限られず他の種々の形状であり得る。ＦＯＶ７０は、中心位置７０Ｃを含んでよい。中心位置７０Ｃは、中心軸７０Ａの上に位置する。中心位置７０Ｃは、ロボット４０の作業範囲の中央に位置してもよい。

空間情報取得部２０は、ＦＯＶ７０に含まれる範囲を撮影できる。空間情報取得部２０の実視野サイズは、空間情報取得部２０のＦＯＶ７０と、デプス情報とに基づいて定まる。後述するように、ロボット制御装置１０は、空間情報取得部２０の実視野サイズと、空間情報取得部２０が撮影したロボット４０のマーク４６を含む画像とに基づいて、ロボット４０のマーク４６の位置及び姿勢を取得できる。具体的に、ロボット制御装置１０は、マーク４６を写した画像を所定のアルゴリズムで解析することによって、画像に基づいてマーク４６の位置及び姿勢を算出できる。所定のアルゴリズムは、例えば、数式又はテーブル等を含んでよいし、演算処理を特定するプログラムを含んでもよい。所定のアルゴリズムは、画像に基づく算出結果を補正するためのパラメータを含んでもよい。

（ロボット制御装置１０の動作例）
ロボット制御装置１０は、動作空間に存在する物体５０等の作業対象に作用するようにロボット４０を動作させたり、物体５０を避けるようにロボット４０を動作させたりする。ロボット制御装置１０は、物体５０を空間情報取得部２０で写した撮影画像に基づいて、物体５０に作用したり物体５０を避けたりするようにロボット４０を動作させる。

＜キャリブレーション＞
ロボット制御装置１０の制御部１１は、空間情報取得部２０の撮影画像に写ったマーク４６の位置及び姿勢に基づいてロボット４０の状態を取得し、ロボット４０と物体５０との位置関係を取得できる。一方で、制御部１１は、例えばアーム４２などに設置されたエンコーダなどのロボット４０のセンサに基づいてロボット４０の状態を取得する。ロボット４０のセンサに基づく状態は、空間情報取得部２０の撮影画像に基づく状態よりもロボット４０の位置及び姿勢を高精度に表す。したがって、制御部１１は、空間情報取得部２０の撮影画像に基づくロボット４０の状態を、ロボット４０のセンサに基づくロボット４０の状態に一致させることによって、ロボット４０を動作空間において高精度で制御できる。空間情報取得部２０の撮影画像に基づくロボット４０の状態を、ロボット４０のセンサに基づくロボット４０の状態に一致させる作業は、キャリブレーションとも称される。具体的に、制御部１１は、空間情報取得部２０の（Ｘ，Ｙ，Ｚ）座標系をロボット４０の（Ｘ＿ＲＢ，Ｙ＿ＲＢ，Ｚ＿ＲＢ）座標系に一致させるようにキャリブレーションを実行する。制御部１１は、空間情報取得部２０の座標系とロボット４０の座標系との相対位置関係を推定し、推定した相対位置関係に基づいて空間情報取得部２０の座標系をロボット４０の座標系に合わせてよい。

制御部１１は、図３に例示されるＦＯＶ７０の少なくとも一部をキャリブレーション範囲としてキャリブレーションを実行してよい。本実施形態において、制御部１１は、図３に示されるキャリブレーション範囲６０においてキャリブレーションを実行する。キャリブレーション範囲６０は、図２において二点鎖線の立体領域としても示されている。キャリブレーション範囲６０は、ロボット４０のキャリブレーションを実行する範囲に対応する。キャリブレーション範囲６０は、ロボット４０の作業領域を含んでよい。キャリブレーション範囲６０は、ロボット４０の作業領域とＦＯＶ７０とが重なる範囲であってよい。

また、制御部１１は、キャリブレーション範囲６０の中に、ロボット４０のマーク４６を移動させることによってキャリブレーションを実行するための点を設定する。キャリブレーションを実行するための点は、キャリブレーション位置とも称される。制御部１１は、ロボット４０のマーク４６をキャリブレーション位置に移動させて空間情報取得部２０によってマーク４６を撮影させる。制御部１１は、マーク４６を写した画像に基づいてマーク４６の位置及び姿勢を算出する。制御部１１は、ロボット４０のセンサの検出結果に基づいて定まるマーク４６の位置及び姿勢に対して、画像に基づいて算出したマーク４６の位置及び姿勢を一致させるように、画像に基づくマーク４６の位置及び姿勢を補正する。画像に基づくマーク４６の位置及び姿勢の補正がキャリブレーションに対応する。マーク４６の位置及び姿勢は、先端位置姿勢とも称される。キャリブレーションは、先端位置姿勢の補正に対応する。キャリブレーション位置は、先端位置姿勢を補正する位置に対応する。

具体的に、制御部１１は、以下説明するようにキャリブレーションを実行してよい。制御部１１は、ロボット４０のマーク４６をキャリブレーション位置に移動させるためのロボット４０の制御情報を生成する。制御部１１は、制御情報に基づいてロボット４０を動作させ、ロボット４０のマーク４６をキャリブレーション位置に移動させる。制御部１１は、マーク４６を写した画像を空間情報取得部２０から取得する。制御部１１は、画像に基づいてマーク４６の位置及び姿勢を算出する。画像に基づいて算出したマーク４６の位置及び姿勢は、画像に基づく先端位置姿勢とも称される。制御部１１は、ロボット４０のセンサの検出結果に基づいて定まるマーク４６の位置及び姿勢を算出する。センサの検出結果に基づいて算出したマーク４６の位置及び姿勢は、センサに基づく先端位置姿勢とも称される。制御部１１は、画像に基づく先端位置姿勢と、センサに基づく先端位置姿勢とを比較する。制御部１１は、画像に基づく先端位置姿勢がセンサに基づく先端位置姿勢に一致するように、画像に基づく先端位置姿勢を補正する。制御部１１は、画像に基づく先端位置姿勢を算出するアルゴリズムを補正してよい。制御部１１は、アルゴリズムに含まれるパラメータを補正してよいし、数式、テーブル又はプログラムを補正してもよい。複数のキャリブレーション位置が設定されている場合、制御部１１は、各キャリブレーション位置にロボット４０を移動させ、各キャリブレーション位置においてマーク４６を写した画像を取得し、画像に基づく先端位置姿勢を補正する。

なお、上記の例では、マーク４６の位置及び姿勢に対して、キャリブレーションを行なっているが、キャリブレーションを行なう箇所は、マーク４６の位置及び姿勢に限られない。すなわち、制御部１１は、予めマーク４６の位置と、キャリブレーションを行なうロボット４０の一部であるキャリブレーション対象部との位置関係を記憶しておき、画像に基づくマーク４６の位置及び姿勢からキャリブレーション対象部の位置及び姿勢を算出してもよい。そして、ロボット４０のセンサの検出結果に基づくキャリブレーション対象部の位置及び姿勢と比較することによってキャリブレーションを行なうことができる。したがって、マーク４６の位置及び姿勢以外でもキャリブレーションを行なうことが可能になる。また、上記の例では、キャリブレーション対象部はロボット４０の先端位置姿勢であったが、位置及び姿勢が算出可能な個所であれば、キャリブレーション対象物はロボット４０の先端位置姿勢に限られない。

＜キャリブレーションアイテムの生成＞
制御部１１は、キャリブレーションを実行する前に、あらかじめキャリブレーション範囲６０を設定する。また、制御部１１は、キャリブレーション範囲６０に含まれるキャリブレーション位置を設定する。制御部１１は、キャリブレーション範囲６０の中にキャリブレーション位置を設定する。

制御部１１は、キャリブレーション位置で特定される先端位置姿勢にロボット４０を移動させるようにロボット４０の制御情報を生成する。制御部１１は、ロボット４０をキャリブレーション位置に移動させたときの先端位置姿勢とロボット４０のマーク４６の認識結果とを特定する情報をキャリブレーションアイテムとして生成する。なお、キャリブレーションアイテムは、例えば、座標に関する情報である。具体的には、キャリブレーションアイテムは、例えば、ロボット４０をキャリブレーション位置に移動させたときのロボット４０のセンサの検出結果に基づく先端位置姿勢を示す座標情報、又は空間情報取得部２０によって認識されたマーク４６の認識結果に基づく先端位置姿勢を示す座標情報などである。

制御部１１は、マーク４６の認識結果に関する先端位置姿勢のキャリブレーションアイテムが、ロボット４０のセンサの検出結果に関する先端位置姿勢のキャリブレーションアイテムに一致するようにキャリブレーションを実行する。具体的に、制御部１１は、キャリブレーション位置にロボット４０を移動させる。制御部１１は、空間情報取得部２０によって、ロボット４０がキャリブレーション位置に移動したときのロボット４０のマーク４６の認識結果を取得する。制御部１１は、ロボット４０のセンサに基づく先端位置姿勢のキャリブレーションアイテムに対する、マーク４６の認識結果として取得された先端位置姿勢のキャリブレーションアイテムの相対位置関係を算出する。相対位置関係は、両者のキャリブレーションアイテムの間の座標の差及び角度の差に対応する。制御部１１は、両者のキャリブレーションアイテムに対する相対位置関係に対応する座標の誤差及び角度の誤差がゼロ又はゼロに近くなるように（つまり、誤差が所定値未満になるように）空間情報取得部２０の座標系を補正してロボット４０の座標系に合わせる。このようにすることで、制御部１１は、ロボット４０がキャリブレーション位置に移動したときのマーク４６の認識結果をロボット４０のセンサで特定される先端位置姿勢に一致させることによって、相対位置関係を算出できる。なお、制御部１１は、ロボット４０のセンサで特定される先端位置姿勢を、マーク４６の認識結果で認識される先端位置姿勢に一致させるようにしてもよい。

制御部１１は、キャリブレーションアイテムを生成することによって、キャリブレーション位置を設定できる。逆に言えば、キャリブレーション位置は、キャリブレーションアイテムを生成するためにロボット４０を移動させる位置に対応する。制御部１１は、キャリブレーションアイテムをロボット４０の制御に適用することによってロボット４０をキャリブレーション位置に移動させてキャリブレーションを実行できる。

制御部１１は、以下に説明するようにキャリブレーション位置を生成してよい。

制御部１１は、空間情報取得部２０から、空間情報取得部２０の実視野サイズに関する情報、又は、ＦＯＶ７０に関する情報を取得する。制御部１１は、空間情報取得部２０の実視野サイズ又はＦＯＶ７０とロボット４０の作業領域とに基づいて、キャリブレーション範囲６０を設定する。制御部１１は、ロボット４０の動作空間における物体５０の位置に基づいてキャリブレーション範囲６０を設定してよい。制御部１１は、空間情報取得部２０で検出した物体５０のデプス情報又は点群情報に基づいて、キャリブレーション範囲６０を設定してよい。図３において、キャリブレーション範囲６０の形状は、四角錐台形状に設定されている。キャリブレーション範囲６０の形状は、四角錐台形状に限られず他の種々の形状に設定されてよい。キャリブレーション範囲６０は、空間情報取得部２０の中心軸７０Ａに沿う方向の長さに対応する高さ（Ｈ）と、四角錐台の底面の奥行方向の長さに対応する深さ（Ｄ）及び幅方向の長さに対応する幅（Ｗ）とによって特定されてよい。

ここで、奥行方向の視野角７１は、ｕ［ｒａｄ］で表されるとする。幅方向の視野角７２は、ｖ［ｒａｄ］で表されるとする。また、空間情報取得部２０から中心位置７０Ｃまでの距離がｈで表されるとする。この場合、Ｗ及びＤは以下の式で算出され得る。
Ｗ＝２×ｈ×ｔａｎ（ｕ／２）
Ｄ＝２×ｈ×ｔａｎ（ｖ／２）

Ｈは、ロボット４０の動作空間に基づいて適宜定められ得る。Ｈは、例えば物体５０の高さに基づいて定められ得る。

制御部１１は、ロボット４０を第１位置に移動させる。第１位置は、中心軸７０Ａ上に設定される。第１位置は、例えば、事前に設定されていてもよい。本実施形態において、第１位置は、例えば、中心位置７０Ｃに設定されるとする。制御部１１は、第１位置において、ロボット４０のマーク４６の画像に基づくマーク４６の位置及び姿勢が所定の先端位置姿勢になるようにロボット４０を動作させる制御情報を生成する。制御部１１は、制御情報に基づいてロボット４０を制御することによってロボット４０を第１位置に移動させる。第１位置は、図３に例示されるＦＯＶ７０の中心位置７０Ｃであってよい。制御部１１は、ロボット４０が第１位置に移動したときのマーク４６の画像を取得し、マーク４６の位置及び姿勢を画像に基づく先端位置姿勢として算出する。また、制御部１１は、センサに基づく先端位置姿勢を算出する。制御部１１は、第１位置の画像に基づく先端位置姿勢と、センサに基づく先端位置姿勢とを基準として、キャリブレーション範囲６０の中でキャリブレーション位置の候補となる位置を生成する。

制御部１１は、キャリブレーション範囲６０の中でキャリブレーション位置の候補となる位置を生成する。制御部１１は、例えば図４に示されるように、キャリブレーション範囲６０の中で、第１候補位置（Ｐ１）～第９候補位置（Ｐ９）を生成する。候補位置の数は、９個に限られず、８個以下であってもよいし１０個以上であってもよい。第１候補位置（Ｐ１）は、第１位置に一致するように設定される。Ｐ１～Ｐ９等の候補位置は、まとめて第２位置とも称される。第２位置（候補位置）の数は、キャリブレーション範囲６０のＷ方向、Ｄ方向及びＨ方向それぞれのグリッド間隔数に基づいて定められてよい。グリッド間隔数は、キャリブレーション範囲６０をその方向に沿って何個に分割するかを表す。図４の例において、Ｗ方向のグリッド間隔数（ＧＷ）は２に設定される。Ｄ方向のグリッド間隔数（ＧＤ）は２に設定される。Ｈ方向のグリッド間隔数（ＧＨ）は１に設定される。図４の例において、キャリブレーション範囲６０を表す四角錐台の底面において、Ｗ方向及びＤ方向の辺を２分割する点（辺の中点）と角とを含む９点（Ｐ１～Ｐ９）が第２位置（候補位置）として設定される。Ｐ１は、中心位置７０Ｃと同一の点に設定される。Ｐ２～Ｐ９の座標は、Ｐ１の座標を基準として定まる。Ｐ１の座標が（Ｐ１Ｘ，Ｐ１Ｙ，Ｐ１Ｚ）で表される場合、Ｐ２の座標は、（Ｐ１Ｘ－Ｗ／ＧＷ，Ｐ１Ｙ－Ｄ／ＧＤ，Ｐ１Ｚ）で表される。Ｐ３の座標は、（Ｐ１Ｘ，Ｐ１Ｙ－Ｄ／ＧＤ，Ｐ１Ｚ）で表される。Ｐ４の座標は、（Ｐ１Ｘ＋Ｗ／ＧＷ，Ｐ１Ｙ－Ｄ／ＧＤ，Ｐ１Ｚ）で表される。Ｐ５の座標は、（Ｐ１Ｘ－Ｗ／ＧＷ，Ｐ１Ｙ，Ｐ１Ｚ）で表される。Ｐ６の座標は、（Ｐ１Ｘ＋Ｗ／ＧＷ，Ｐ１Ｙ，Ｐ１Ｚ）で表される。Ｐ７の座標は、（Ｐ１Ｘ－Ｗ／ＧＷ，Ｐ１Ｙ＋Ｄ／ＧＤ，Ｐ１Ｚ）で表される。Ｐ８の座標は、（Ｐ１Ｘ，Ｐ１Ｙ＋Ｄ／ＧＤ，Ｐ１Ｚ）で表される。Ｐ９の座標は、（Ｐ１Ｘ＋Ｗ／ＧＷ，Ｐ１Ｙ＋Ｄ／ＧＤ，Ｐ１Ｚ）で表される。また、キャリブレーション範囲６０を表す四角錐台の上面において、Ｗ方向及びＤ方向の辺を２分割する点（辺の中点）と角とを含む９点が第２位置（候補位置）として設定される。

制御部１１は、ロボット４０の動作をシミュレーションすることによって、ロボット４０が第２位置（候補位置）に移動した場合のロボット４０の状態を推定する。つまり、制御部１１は、ロボット４０が各第２位置（各候補位置）に移動すると仮定した場合のロボット４０の状態を算出する。そして、制御部１１は、各第２位置において、ロボット４０のキャリブレーションの可否を判定する。

制御部１１は、第２位置（候補位置）に移動すると仮定した場合のロボット４０の状態が物体５０に接触しない状態であり、関節可動域内である状態であり、かつ、特異点でない状態である場合、ロボット４０のキャリブレーションは可能であるとして、第２位置（候補位置）をキャリブレーション位置として登録する。制御部１１は、第２位置（候補位置）をキャリブレーション位置として登録する場合、ロボット４０を第２位置（候補位置）に移動させたときの先端位置姿勢とロボット４０のマーク４６の認識結果とを特定する情報をキャリブレーションアイテムとして生成する。制御部１１は、第２位置（候補位置）の全てについて一括でキャリブレーション位置として登録するかしないかを判定してよい。制御部１１は、各第２位置（各候補位置）についてキャリブレーション位置として登録するかしないかを判定してもよい。制御部１１は、ロボット４０の関節の角度を表す数値が可動域内である場合、ロボット４０の状態が関節制限でない状態であると判定してもよい。制御部１１は、ロボット４０の関節の角度を表す数値が可動域外である場合、ロボット４０の状態が関節制限状態であると判定してもよい。

特異点は、ロボット４０の構造的にロボット４０を制御できなくなる姿勢に対応する。ロボット４０を動作させる軌道に特異点が含まれている場合、ロボット４０は特異点付近において高速に移動（暴走）し、特異点で停止してしまう。ロボット４０の特異点は、以下の（１）～（３）の３種類である。
（１）作業領域の外側限界の近くまでにロボット４０を制御するときの作業領域外の点。（作業領域は、ロボット４０の動作空間に対応する領域である。）
（２）作業領域内であっても、ロボットベースの真上と真下にロボット４０を制御するときの点。
（３）ロボット４０のアーム４２の先端の関節より１つ前の関節角度がゼロ又は１８０度になる点（手首整列特異点）。

制御部１１は、ロボット４０の状態を表す数値が特異点となる状態を表す数値に一致した場合に、ロボット４０の状態が特異点の状態であると判定してもよい。制御部１１は、ロボット４０の状態を表す数値と特異点となる状態を表す数値との差が所定値未満である場合に、ロボット４０の状態が特異点の状態であると判定してもよい。ロボット４０の状態を表す数値は、例えばアーム４２の関節の角度を含んでもよいし、ロボット４０を駆動するモータのトルクを含んでもよい。

以上述べてきたように、制御部１１は、キャリブレーション範囲６０を設定し、キャリブレーション範囲６０の中でキャリブレーション位置を設定する。また、制御部１１は、ロボット４０をキャリブレーション位置に移動させたときのロボット４０の先端位置姿勢とロボット４０のマーク４６の認識結果とを特定する情報としてキャリブレーションアイテムを生成できる。

（ロボット制御方法の手順例）
ロボット制御装置１０の制御部１１は、図５に例示されるフローチャートの手順を含むロボット制御方法を実行してもよい。ロボット制御方法は、制御部１１を構成するプロセッサに実行させるロボット制御プログラムとして実現されてもよい。ロボット制御プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

制御部１１は、空間情報取得部２０の実視野サイズ、又は、ＦＯＶ７０に関する情報を取得する（ステップＳ１）。制御部１１は、ロボット４０のマーク４６が写った撮影画像の空間情報を取得する（ステップＳ２）。制御部１１は、ロボット４０を第１位置に移動させる（ステップＳ３）。

制御部１１は、全ての候補位置を算出する（ステップＳ４）。制御部１１は、ステップＳ４の手順で算出した各位置にロボット４０を移動させたと仮定した場合のロボット４０の状態において、ロボット４０が動作空間内の物体５０に接触するか判定する（ステップＳ５）。制御部１１は、ステップＳ４の手順で算出した各位置にロボット４０を移動させたと仮定したときにロボット４０が物体５０に接触する場合（ステップＳ５：ＹＥＳ）、ステップＳ９の手順に進む。制御部１１は、ステップＳ４の手順で算出した各位置にロボット４０を移動させたと仮定したときにロボット４０が物体５０に接触しない場合（ステップＳ５：ＮＯ）、ステップＳ４の手順で算出した各位置にロボット４０を移動させたと仮定した場合のロボット４０の状態において、ロボット４０が関節可動域外の状態になっているか判定する（ステップＳ６）。制御部１１は、ステップＳ４の手順で算出した各位置にロボット４０を移動させたと仮定したときにロボット４０が関節可動範囲域外の状態になっている場合（ステップＳ６：ＹＥＳ）、ステップＳ９の手順に進む。制御部１１は、ステップＳ４の手順で算出した各位置にロボット４０を移動させたと仮定したときにロボット４０が関節可動域外の状態になっていない場合（ステップＳ６：ＮＯ）、ステップＳ４の手順で算出した各位置にロボット４０を移動させたと仮定した場合のロボット４０の状態において、ロボット４０が特異点の状態になっているか判定する（ステップＳ７）。制御部１１は、ステップＳ４の手順で算出した各位置にロボット４０を移動させたと仮定したときにロボット４０が特異点の状態になっている場合（ステップＳ７：ＹＥＳ）、ステップＳ９の手順に進む。制御部１１は、ステップＳ５の手順で算出した各位置にロボット４０を移動させたと仮定したときにロボット４０が特異点の状態になっていない場合（ステップＳ７：ＮＯ）、ロボット４０がステップＳ５の手順で算出した各位置に移動しても物体５０に接触せず関節可動域外でもなく特異点の状態にもならないと判定できる。制御部１１は、ロボット４０をステップＳ４の手順で算出した各位置に移動させたときの先端位置姿勢とロボット４０のマーク４６の認識結果とを特定する情報をキャリブレーション位置として生成する（ステップＳ８）。制御部１１は、ステップＳ８の手順の終了後、図５のフローチャートの手順の実行を終了する。制御部１１は、ステップＳ５の手順で算出した各位置にロボット４０を移動させたと仮定したときにロボット４０が物体５０に接触する場合（ステップＳ５：ＹＥＳ）、ロボット４０が関節可動域外の状態になっている場合（ステップＳ６：ＹＥＳ）、又はロボット４０が特異点の状態になっている場合（ステップＳ７：ＹＥＳ）の少なくとも１つの場合において、ステップＳ４の手順で算出した各位置をキャリブレーション位置として登録しない（ステップＳ９）。制御部１１は、ステップＳ９の手順の終了後、図５のフローチャートの手順の実行を終了する。

制御部１１は、ステップＳ４の手順で算出した全ての位置について一括でキャリブレーション位置として登録するかしないかを決定してよい。制御部１１は、ステップＳ５の手順で算出した各位置についてキャリブレーション位置として登録するかしないかを決定してもよい。

（小括）
以上述べてきたように、本実施形態に係るロボット制御装置１０及びロボット制御方法によれば、空間情報取得部２０の撮影画像などの空間情報に基づいてキャリブレーション位置が生成される。このようにすることで、作業者の目視作業無しで、キャリブレーション位置が生成され得る。つまり、自動でキャリブレーション位置が生成され得る。キャリブレーション範囲６０は、キャリブレーション位置を含む範囲である。その結果、キャリブレーション範囲６０が簡便に設定され得る。

また、本実施形態に係るロボット制御装置１０及びロボット制御方法によれば、空間情報取得部２０の実視野サイズ又はＦＯＶ７０に基づくシミュレーションが実行される。そして、シミュレーションに基づいてロボット４０の動作空間における物体５０等の障害物との衝突を避けるようにキャリブレーション位置が生成され得る。また、シミュレーションに基づいてロボット４０が関節可動域外の状態にならないようにキャリブレーション位置が生成され得る。また、シミュレーションに基づいてロボット４０が特異点の状態にならないようにキャリブレーション位置が生成され得る。このようにすることで、実際にロボット４０を動かさずにキャリブレーション位置が生成され得る。その結果、キャリブレーション位置が効率的に生成され得る。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

１ ロボット制御システム
１０ ロボット制御装置（１１：制御部、１２：記憶部）
２０ 空間情報取得部
４０ ロボット（４２：アーム、４４：エンドエフェクタ、４６：マーク）
５０ 物体
６０ キャリブレーション範囲
７０ ＦＯＶ（７０Ａ：中心軸、７０Ｃ：中心位置、７１：奥行方向の視野角、７２：幅方向の視野角）

Claims (5)

1. ロボットを制御する制御部を備え、
   前記制御部は、
   前記ロボットの動作空間を撮影する空間情報取得部の実視野サイズと、前記動作空間に存在する物体のデプス情報を含む前記空間情報取得部の空間情報とを取得し、
   前記実視野サイズと前記空間情報とに基づいて、所定の第１位置を設定し、
   前記第１位置と前記実視野サイズとに基づいて、前記ロボットのキャリブレーション位置の候補位置を生成する、
   ロボット制御装置。
2. 前記制御部は、
   前記ロボットが前記キャリブレーション位置の候補位置に移動すると仮定した場合の前記ロボットの状態を算出し、
   前記ロボットのキャリブレーションの可否を判定する、
   請求項１に記載のロボット制御装置。
3. 前記制御部は、
   前記空間情報取得部の実視野サイズと空間情報とに基づいて前記動作空間に存在する物体の位置を更に算出し、
   前記ロボットの状態が、前記動作空間に存在する物体に接触しない状態であり、関節可動域外でない状態であり、かつ、前記ロボットの状態が特異点でない状態である場合、前記ロボットを前記キャリブレーション位置に移動させる、
   請求項１に記載のロボット制御装置。
4. 請求項１から３までのいずれか一項に記載のロボット制御装置と、前記ロボットと、前記空間情報取得部とを備える、ロボット制御システム。
5. ロボットを制御する制御部が、前記ロボットの動作空間を撮影する空間情報取得部の実視野サイズと、前記動作空間に存在する物体のデプス情報を含む前記空間情報取得部の空間情報とを取得することと、
   前記制御部が、前記実視野サイズと前記空間情報とに基づいて、所定の第１位置を設定することと、
   前記制御部が、前記第１位置と前記実視野サイズとに基づいて、前記ロボットのキャリブレーション位置の候補位置を生成することと
   を含む、ロボット制御方法。

Images