JP7248271B2

JP7248271B2 - 情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラム

Info

Publication number: JP7248271B2
Application number: JP2018172026A
Authority: JP
Inventors: ▲すすむ▼ 舘; 康之井上; 史洋加藤
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2018-09-14
Filing date: 2018-09-14
Publication date: 2023-03-29
Anticipated expiration: 2038-09-14
Also published as: JP2020044581A; WO2020054268A1

Description

本発明は、情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラムに関する。

人間の手は５本の指が器用に動くことにより様々な作業を遂行することができる。しかし、特別な技能（外科手術や楽器の演奏等）に関する器用な人の手の動きは、特定の人にしかできないことが多く、また、それらは暗黙的な身体知である。そのため、専門医や演奏家などの優れた技能は、その人の手の届く範囲でしか実現されず、その技能を他者に教えることも困難である。

それに対して、人間の身体の動きを記録してロボットにその動きを再現させるという技術的アプローチが存在する。例えば、特許文献１には、人間であるユーザの手の動きに合わせて動作可能なマスター・スレーブ式のロボットハンドが開示されている。このようなロボットハンドによれば、ユーザの手の動きをロボットハンドにおおよそ再現させることができる。

特開２００５－０１４１６６号公報

しかしながら、特許文献１に開示されているロボットハンドは、操作する人間の手と大きさも構造も異なるため、単にジェスチャー等のおおよその形を伝える程度に過ぎない。仮に前述のような特別な技能を発揮するには、特定のユーザの手の大きさや及び構造と同一のロボットハンドを製作する必要があり、これは現実的ではない。すなわち、ユーザの手の大きさや構造に関わらず、このような特別な技能を有する作業を遂行可能なロボットハンドの実現が望まれている。

本発明は、かかる事情を鑑みてなされたものであり、ユーザの手の大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンドを実現させるための情報処理装置、ロボットハンド制御システム、及びロボットハンド制御プログラムを提供することを目的とする。

本発明によれば、ロボットにおけるロボットハンドに関する情報処理装置であって、入力部と、演算部と、生成部と備え、ユーザの手における特徴箇所を第１及び第２ユーザ特徴箇所と定義し、前記第１及び第２ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第１及び第２ロボット特徴箇所と定義すると、前記入力部は、第１及び第２ユーザ特徴箇所に関する情報を入力可能に構成され、前記演算部は、前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第１及び第２ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、前記生成部は、前記ユーザベクトルに基づいて前記ロボットハンドに対する制御信号を生成し、前記制御信号は、前記第１及び第２ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、情報処理装置が提供される。

本発明に係る情報処理装置において、演算部は、ユーザの手に関するローカル座標系であるユーザ座標系において第１及び第２ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、生成部は、ユーザベクトルに基づいてロボットハンドに対する制御信号を生成し、制御信号は、第１及び第２ロボット特徴箇所間のベクトルであるロボットベクトルをユーザベクトルに一致させるようにロボットハンドを制御する信号であることを特徴とする。このような構成を有する情報処理装置により、ロボットハンドの操縦者であるユーザ自らの手指の動作をロボットハンドに正確に再現させることができる、という効果を奏する。これにより、外科手術や楽器の演奏等の特別な技能を有する作業を遂行可能なロボットハンドの実現が期待されうる。

実施形態に係るロボットハンド制御システムの機能ブロック図。［図２Ａ］ヒト（ユーザ）の手の態様及び［図２Ｂ］ロボットハンドの態様を示す概要図。［図３Ａ］ユーザの手の態様及び［図３Ｂ］ロボットハンドの態様であって、オフセットがない場合の対応関係を示す図。［図４Ａ］ユーザの手の態様及び［図４Ｂ］ロボットハンドの態様であって、ユーザの手がロボットハンドより大きい場合の対応関係（オフセット無し）を示す図。［図５Ａ］ユーザの手の態様及び［図５Ｂ］ロボットハンドの態様であって、ユーザの手がロボットハンドより大きい場合の対応関係（オフセット有り）を示す図。［図６Ａ］ユーザの手の態様及び［図６Ｂ］ロボットハンドの態様であって、ユーザの手がロボットハンドより小さい場合の対応関係（オフセット無し）を示す図。［図７Ａ］ユーザの手の態様及び［図７Ｂ］ロボットハンドの態様であって、ユーザの手がロボットハンドより小さい場合（オフセット有り）の対応関係を示す図。［図８Ａ］ユーザ及び［図８Ｂ］ロボット間でのグローバル座標系での指先の一致を表す概要図。［図９Ａ］ユーザの手の態様及び［図９Ｂ］ロボットハンドの態様であって、冗長自由度を示す図。［図１０Ａ］ユーザの手の態様及び［図１０Ｂ］ロボットハンドの態様であって、指の先端の指す向きを一致させた上での冗長自由度を示す図。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（ＳｉｍｐｌｅＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（ＣｏｍｐｌｅｘＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＣＬＰＤ）、及びフィールドプログラマブルゲートアレイ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ：ＦＰＧＡ））等を含むものである。

１．全体構成
第１節では、本実施形態に係るロボットハンド制御システム１の全体構成について説明する。図１は、本実施形態に係るロボットハンド制御システム１の構成概要を示す図である。ロボットハンド制御システム１は、図１に示されるように、センサ２と、情報処理装置３と、ロボット４とからなり、これらが電気的に接続されたシステムである。ユーザＵが自身の手ＵＨを動かすと、それに連動してロボット４におけるロボットハンド４１がユーザＵの手ＵＨの動きを正確に再現する。すなわち、ロボットハンド４１は前提として、ヒトの手の形状に倣って形成されたものであることに留意されたい。また、ユーザＵはヘッドマウントディスプレイ５（特許請求の範囲における「表示装置」の一例）を装着しており、ロボット４において目の役割をするカメラ４２の捕える映像を自身の感覚のように視認することができるものとする。以下、第１．１～１．３節において、センサ２、情報処理装置３、及びロボット４についてそれぞれ説明する。

１．１センサ２
例えば、センサ２は、不図示のグローブ型デバイスに具備されるものである。ユーザＵが当該グローブ型デバイスを手ＵＨに装着することで、センサ２は、ユーザＵの手ＵＨにおける各指の位置や動きを取得可能に構成される。例えば、光学式、磁気式、慣性センサ式、画像認識式のモーションキャプチャ等を採用することができる。具体的には、センサ２は、ユーザＵの手ＵＨにおける何らかの特徴箇所（特許請求の範囲における「第１及び第２ユーザ特徴箇所」の一例）の情報（特徴情報）を取得し、後述の情報処理装置３に送信可能に構成される。かかる特徴箇所は、例えば、手ＵＨにおける第１指Ｈａの先端（図２Ａ参照／特許請求の範囲における「第１ユーザ特徴箇所」の一例）や、第２～第５指Ｈｂ～Ｈｅの先端（特許請求の範囲における「第２ユーザ特徴箇所」の一例）が該当する。

１．２情報処理装置３
情報処理装置３は、通信部３１と、記憶部３２と、制御部３３（特に、演算部３３１及び生成部３３２）とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して接続されている。以下、各構成要素について更に説明する。

＜通信部３１＞
通信部３１は、情報処理装置３から見た外部機器と電気信号を送受信可能に構成される。当該電気信号は種々の情報を含みうるものである。例えば、通信部３１は、ユーザＵの手ＵＨの動き（各指の位置、姿勢等）を情報（特許請求の範囲における「第１及び第２ユーザ特徴箇所に関する情報」）として取得可能に構成されるセンサ２から、かかる情報を受信することができる（特許請求の範囲における「入力部」の一例）。通信形式については特に限定されるものではない。一方、通信部３１は、ロボットハンド４１を有するロボット４に制御信号を送信することができる（特許請求の範囲における「出力部」の一例）。かかる制御信号に基づいて、ロボット４が有するロボットハンド４１における各指４１ａ～４１ｅ（図２Ｂ参照）が所望の位置に来るように、或いは所望の姿勢となるように制御される。こちらも通信形式については特に限定されるものではない。

なお、センサ２及びロボット４以外にも様々な外部機器と通信可能に構成されることが好ましい。例えば、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段又は、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等の無線通信手段を必要に応じて有することで、外部機器と接続可能に構成されるとよい。

＜記憶部３２＞
記憶部３２は、制御部３３（次に説明）が実行するための種々のプログラム等を記憶する。これは、例えばソリッドステートドライブ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、或いは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。具体的には、運動学又は逆運動学に係る演算のパラメータや、その変換数式・アルゴリズム等が記憶されている。

＜制御部３３＞
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。具体的には演算機能や生成機能が該当する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、演算機能を有する演算部３３１及び生成機能を有する生成部３３２として実行されうる。なお、図１においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。以下、演算部３３１及び生成部３３２について更に詳述する。

［演算部３３１］
演算部３３１は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているもので、センサ２から送信され且つ通信部３１によって受信したユーザＵの手ＵＨに関する情報に数学的な演算を実行可能に構成される。更に、演算部３３１は、ユーザＵの手ＵＨに関するローカル座標系であるユーザ座標系の演算と、ロボットハンド４１に関するローカル座標系であるロボット座標系の演算とを区別可能に実施しうる。本実施形態では、ユーザＵの手ＵＨにおける何らかの特徴箇所（特許請求の範囲における「第１ユーザ特徴箇所」の一例）と、ロボットハンド４１において前述のユーザＵの手ＵＨにおける特徴箇所に対応する特徴箇所（特許請求の範囲における「第１ロボット特徴箇所」の一例）とについて、ある規定の状態（初期状態）でそれぞれのローカル座標系での相対的な座標位置を一致させることが好ましい。本実施形態では、ユーザＵ及びロボット４における特徴箇所とは、ユーザＵの手ＵＨの第１指Ｈａの先端及びロボットハンド４１の第１指４１ａの先端である。そして、ユーザ座標系の原点Ｏを手ＵＨの手首Ｈｆとし、ロボット座標系の原点Ｏをロボットハンド４１の手首４１ｆとして実施すればよい。なお、初期状態とは、例えばユーザＵの手ＵＨにおける各指Ｈａ～Ｈｅ又はロボットハンド４１における各指４１ａ～４１ｅを伸ばした状態である。

しかし、ユーザＵの手ＵＨの大きさは個体差があるため、ユーザＵの各指Ｈａ～Ｈｅがロボットハンド４１の各指４１ａ～４１ｅよりも長い場合、ロボットハンド４１の可動範囲を越えてしまう。逆に、ユーザＵの各指Ｈａ～Ｈｅがロボットハンド４１の各指４１ａ～４１ｅよりも短い場合、ロボットハンド４１の可動範囲が極端に狭くなることが起こりうる。このような場合に備えて、演算部３３１は、初期状態におけるユーザＵの手ＵＨの第１指Ｈａの位置と、同じく初期状態におけるロボットハンド４１の第１指４１ａの位置を予め求めておき、その差分ベクトルを算出する。かかる差分ベクトルは、ユーザ座標系の原点Ｏに対する手ＵＨの第１指Ｈａの先端までの長さとロボット座標系の原点Ｏに対するロボットハンド４１の第１指４１ａの先端までの長さとの差、すなわちユーザＵの手ＵＨとロボット４のロボットハンド４１の大きさの違いを表しており、これをオフセットとして定義する。そして、制御時にロボットハンド４１における第１指４１ａの目標位置をオフセットさせておけば、前述の手ＵＨの個体差による可動範囲の問題を解決することができる。

更に、演算部３３１は、センサ２より取得されたユーザＵの手ＵＨに関する情報に基づいて、第１指Ｈａの先端を始点とし残りの第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトル（特許請求の範囲における「ユーザベクトル」の一例／すなわち大きさと向きを有するパラメータ）を算出する。ロボットハンド４１の制御の際に演算部３３１により算出されたかかるベクトルを、ロボット座標系において対応するロボットハンド４１の指間のベクトル（ロボットベクトル）として反映させることで、ユーザＵが自己認知する各指Ｈａ～Ｈｅの感覚を維持した状態で、ヘッドマウントディスプレイ５を介して誤差なくロボットハンド４１を操作することが可能となる。換言すると、ユーザＵはあたかもロボット４の中に入っている、あるいは自分自身がロボット４になったような感覚でロボット４を操作することができる。より詳細には、ユーザＵが所望の位置に第１指Ｈａの先端を運ぶと、ロボット座標系でも同じ位置にロボットハンド４１の第１指４１ａの先端が運ばれる。そして、第１指４１ａと第２～第５指４１ｂ～４１ｅとの先端の間隔は、第１指Ｈａと第２～第５指Ｈｂ～Ｈｅとの先端の間隔に正確に一致する。これにより、ユーザＵは、ロボットハンド４１があたかも自身の手ＵＨのような感覚を有しながら、精密な作業等を実施することができる。

［生成部３３２］
生成部３３２は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているもので、前述のオフセット（演算部３３１によってオフセット処理された座標系）及び算出された指間のベクトルに基づいて、ロボットハンド４１を制御するための制御信号を生成する。更にここでいう制御信号とは、Ｄ／Ａ変換前のものも変換後のものも含みうる概念である。生成部３３２によって生成された制御信号が、通信部３１を介してロボットハンド４１に出力され、ロボットハンド４１が所望の動作をなすように制御される。

１．３ロボット４
ロボット４は、情報処理装置３によって制御されるヒト型のロボットである。特にロボット４は、ロボットハンド４１と、外界の情報を撮像可能に構成されるカメラ４２とを備える。

＜ロボットハンド４１＞
ロボットハンド４１は、図２Ｂに示されるように、ヒトの手に倣って形成されたロボットハンドである。ロボットハンド４１は、ユーザＵの手ＵＨが有する第１～第５指Ｈａ～Ｈｅに対応するように第１～第５指４１ａ～４１ｅを備える。ロボットハンド４１は、情報処理装置３における生成部３３２によって生成された制御信号によって制御される。かかる制御信号には、ロボットハンド４１の第１指４１ａの先端のロボット座標系における位置や第２～第５指４１ｂ～４１ｅの情報（前述の通り第１指４１ａの先端を始点とするベクトル）を含んでいる。制御手法は特に限定されないが、例えば、Ｐ制御、ＰＤ制御、ＰＩＤ制御等を適宜採用することができる。制御に係る各係数は、必要に応じて好ましい値を設定すればよい。また制御信号の値は電圧で規定されるとよい。

なおロボットハンド４１を駆動させる駆動レート（生成部３３２の制御信号生成レート）は、高いことが好ましい。例えば、１０ヘルツ以上であり、好ましくは、５０ヘルツ以上であり、更に好ましくは２５０ヘルツ以上である。具体的には例えば、１０、２０、３０、４０、５０、１００、１５０、２００、２５０、３００、３５０、４００、４５０、５００、６００、７００、８００、９００、１０００ヘルツ、またはこれ以上の値であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。

＜カメラ４２＞
カメラ４２は、ロボット４の目の役割を果たすものであり、ロボット４が捕える外界の視覚情報を撮像可能に構成される。撮像されたデータ（映像）は、ユーザＵがヘッドマウントディスプレイ５を介して、オンラインで視認可能に構成される。このとき、タイムラグが小さいほど、ユーザＵがより自然に自己認知を有しながらロボット４を制御することができる。なお、カメラ４２とヘッドマウントディスプレイ５との通信は特に限定されるものではない。例えば、情報処理装置３における通信部３１を介して実現してもよく、直接的にカメラ４２からヘッドマウントディスプレイ５に対してデータが転送されるような構成を有してもよい。

２．オフセットの例
続いて、前述のロボットハンド制御システム１の演算部３３１によってなされるオフセット処理の例について説明する。

２．１手ＵＨとロボットハンド４１とが同じ大きさの場合
図３ＡはユーザＵの手ＵＨの態様を示し、図３Ｂはロボットハンド４１の態様を示す図であって、オフセットがない場合の対応関係を示している。かかる場合は、オフセットさせる必要がないので、図３Ａにおける原点Ｏを始点とし且つ第１指Ｈａの先端を終点とするベクトルｕ＿１と、図３Ｂにおける原点Ｏを始点とし且つ第１指４１ａの先端を終点とするベクトルｖ＿１とは一致する。また、オフセットの有無に限らず、図３Ａにおける第１指Ｈａの先端を始点とし且つ第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトルｕ＿２～ｕ＿５と、図３Ｂにおける第１指４１ａの先端を始点とし且つ第２～第５指４１ｂ～４１ｅの先端を終点とするベクトルｖ＿２～ｖ＿５とは一致する。

このような構成により、人の目ＵＥ及びカメラ４１を原点としたそれぞれのグローバル座標系において、ユーザＵの手ＵＨにおける手首Ｈｆ（ローカル座標系であるユーザ座標系の原点）及び各指Ｈａ～Ｈｅの座標位置と、ロボット４のロボットハンド４１における手首４１ｆ（ローカル座標系であるロボット座標系の原点）及び各指４１ａ～４１ｅの座標位置とが完全に一致する。より詳細には、図８Ａにおけるベクトルｕ＿０（始点が目ＵＥ、終点が手首Ｈｆ），ｕ＿１，ｕ＿２～ｕ＿５と、図８Ｂにおけるベクトルｖ＿０（始点がカメラ４２、終点が手首４１ｆ），ｖ＿１，ｖ＿２～ｖ＿５とがすべて一致する。換言すると、ユーザＵにとっては自分の手首Ｈｆや各指Ｈａ～Ｈｅの先端を見る方向に、ヘッドマウントディスプレイ５を介してロボット４のロボットハンド４１における手首４１ｆや各指４１ａ～４１ｅが見えることとなる。

２．２手ＵＨがロボットハンド４１よりも大きい場合
図４Ａ及び図５ＡはユーザＵの手ＵＨの態様を示し、図４Ｂ及び図５Ｂはロボットハンド４１の態様を示す図であって、ユーザＵの手ＵＨがロボットハンド４１より大きい場合の対応関係を示している。かかる場合は、ユーザＵの各指Ｈａ～Ｈｅがロボットハンド４１の各指４１ａ～４１ｅよりも長いため、図４Ａ及び図４Ｂに示されるようにロボットハンド４１の可動範囲を越えてしまう。そこで、図５Ａ及び図５Ｂに示されるようにロボット座標系における原点Ｏである手首４１ｆの位置を奥側（図中上方向）へオフセットさせている。したがって、図４Ａにおける原点Ｏを始点とし且つ第１指Ｈａの先端を終点とするベクトルｕ＿１と、図４Ｂにおける原点Ｏを始点とし且つ第１指４１ａの先端を終点とするベクトルｖ＿１とは一致しない（なお、オフセット前の点線で示されるベクトルｖ＿１’はベクトルｕ＿１と一致）。一方で、オフセットの有無に限らず、図４Ａにおける第１指Ｈａの先端を始点とし且つ第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトルｕ＿２～ｕ＿５と、図４Ｂにおける第１指４１ａの先端を始点とし且つ第２～第５指４１ｂ～４１ｅの先端を終点とするベクトルｖ＿２～ｖ＿５とは一致する。

このようなオフセットも含めた構成により、人の目ＵＥ及びカメラ４１を原点としたそれぞれのグローバル座標系において、特徴箇所であるユーザＵの手ＵＨにおける各指Ｈａ～Ｈｅの座標位置と、ロボット４のロボットハンド４１における各指４１ａ～４１ｅの座標位置が完全に一致する。より詳細には、図８Ａにおけるベクトルｕ＿０，ｕ＿１と、図８Ｂにおけるベクトルｖ＿０，ｖ＿１とは一致しないが、ベクトル和ｕ＿０＋ｕ＿１と、ｖ＿０＋ｖ＿１とは一致する。換言すると、ユーザＵにとっては自分の各指Ｈａ～Ｈｅの先端を見る方向に、ヘッドマウントディスプレイ５を介してロボット４のロボットハンド４１における各指４１ａ～４１ｅが見えることとなる。

２．３手ＵＨがロボットハンド４１よりも小さい場合
図６Ａ及び図７ＡはユーザＵの手ＵＨの態様を示し、図６Ｂ及び図７Ｂはロボットハンド４１の態様を示す図であって、ユーザＵの手ＵＨがロボットハンド４１より小さい場合の対応関係を示している。かかる場合は、ユーザＵの各指Ｈａ～Ｈｅがロボットハンド４１の各指４１ａ～４１ｅよりも短いため、図６Ａ及び図６Ｂに示されるようにロボットハンド４１の可動範囲が極端に狭くなる。そこで、図７Ａ及び図７Ｂに示されるようにロボット座標系における原点Ｏである手首４１ｆの位置を手前側（図中下方向）へオフセットさせている。したがって、図６Ａにおける原点Ｏを始点とし且つ第１指Ｈａの先端を終点とするベクトルｕ＿１と、図６Ｂにおける原点Ｏを始点とし且つ第１指４１ａの先端を終点とするベクトルｖ＿１とは一致しない（なお、オフセット前の点線で示されるベクトルｖ＿１’はベクトルｕ＿１と一致）。一方で、オフセットの有無に限らず、図６Ａにおける第１指Ｈａの先端を始点とし且つ第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトルｕ＿２～ｕ＿５と、図６Ｂにおける第１指４１ａの先端を始点とし且つ第２～第５指４１ｂ～４１ｅの先端を終点とするベクトルｖ＿２～ｖ＿５とは一致する。

３．冗長自由度
前述の通り、オフセットの有無に限らず、ユーザＵの手ＵＨの第１指Ｈａの先端を始点とし第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトル（ユーザベクトル）と、ロボットハンド４１の第１指４１ａの先端を始点とし第２～第５指Ｈｂ～Ｈｅの先端を終点とするベクトル（ロボットベクトル）が一致するように制御がなされる。ところで、これらを一致させるという条件において、ロボットハンド４１の姿勢が必ずしも手ＵＨに一致するわけではなく、また一意に定まるものではないことに留意されたい。例えば、図９Ａ及び図９Ｂに示されるように、第１指Ｈａ及び第２指Ｈｂの位置関係と、第１指４１ａ及び第２指４１ｂの位置関係とが一致していればよく、逆運動学を解くことで、全体としてはロボットハンド４１が有する冗長自由度の中から任意の姿勢が選択されることとなる。

かかる冗長自由度の範囲で、条件を増やしてもよい。図１０Ａ及び図１０Ｂでは、ユーザＵの手ＵＨの第１指Ｈａの先端の指す方向Ｄ１（特許請求の範囲における「第１方向」の一例）及び第２指Ｈｂの先端の指す方向Ｄ２（特許請求の範囲における「第２方向」の一例）と、ロボットハンド４１の第１指４１ａの先端の指す方向ｄ１（特許請求の範囲における「第１方向」の一例）及び第２指４１ｂの先端の指す方向ｄ２（特許請求の範囲における「第２方向」の一例）とを一致させている。かかる場合は、センサ２から各指Ｈａ～Ｈｅの先端以外の特徴箇所（各指Ｈａ～Ｈｅの先端からその遠位指節間関節までの何れか部位）の情報を取得すればよい。かかる情報を用いてロボットハンド４１を制御することで、各指の先端の指す方向をユーザＵにおける手ＵＨと、ロボットハンド４１とで一致させることができる。もちろん、かかる場合であっても、逆運動学を解くことで、全体としてはロボットハンド４１が有する冗長自由度の中から任意の姿勢が選択されることとなる。

４．変形例
なお、次のような態様によって、本実施形態に係るロボットハンド制御システム１を更に創意工夫してもよい。

第一に、前述の実施形態は、ユーザＵがヘッドマウントディスプレイ５を介してロボット４におけるカメラ４２が捕える外界の情報を視認することができるものであるが、これに代えてバーチャルリアリティ空間の映像をユーザＵが視認可能に実施してもよい。すなわち、実際のロボット４に代えて、バーチャルリアリティ空間上に規定されるアバターロボットを前述のように制御可能に実施してもよい。かかる場合は、情報処理装置３における制御部３３が、不図示のレンダリング部として機能することとなる。かかるレンダリング部は、生成部３３２によって生成された制御信号に基づいてロボットハンド４のコンピュータグラフィックスを生成する。そして、かかるコンピュータグラフィックスがヘッドマウントディスプレイ５に表示されうる。

第二に、前述の実施形態は、ユーザＵがヘッドマウントディスプレイ５を介してロボット４におけるカメラ４２が捕える外界の情報を視認することができるものであるが、これにバーチャルリアリティ空間としてのなんらかの情報を付加可能に実施してもよい。これにより、ユーザＵが拡張現実感を体感しながら、ロボット４におけるロボットハンド４１を操作することができる。

第三に、前述の実施形態では、特許請求の範囲における「第１及び第２ユーザ特徴箇所」の一例として第１～第５指Ｈａ～Ｈｅの先端を選択し、「第１及び第２ロボット特徴箇所」の一例として第１～第５指４１ａ～４１ｅの先端を選択したが、当該例に限られるものではない。実際、人間がなんらかの作業を行う上で、指先を用いることがほとんどであるため、前述のような選択が好ましいが、例えば、指先以外を用いて行う作業であれば、それに合わせた特徴箇所の選択を実施してもよい。

第四に、前述の実施形態では、ヒトの手に倣った５指のロボットハンド４１について説明をしたが、当該例に拘泥されるものではない。例えば、第１指４１ａの先端と、これに対向する第２指～第５指４１ｂ～４１ｅの少なくとも１本とから構成されるロボットハンド４１であってもよい。

５．結言
以上のように、本実施形態によれば、ユーザＵの手ＵＨの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド４１を実現させるための情報処理装置３を実施することができる。

かかる情報処理装置３は、ロボット４におけるロボットハンド４１に関するもので、入力部（通信部３１）と、演算部３３１と、生成部３３２と備え、ユーザＵの手ＵＨにおける特徴箇所を第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）と定義し、第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）に対応するロボットハンド４１における特徴箇所を第１及び第２ロボット特徴箇所（第１指４１ａ及び第２～第５指４１ｂ～４１ｅの先端）と定義すると、入力部（通信部３１）は、第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）に関する情報を入力可能に構成され、演算部３３１は、ユーザＵの手ＵＨに関するローカル座標系であるユーザ座標系において第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）間のベクトルであるユーザベクトルを算出し、生成部３３２は、ユーザベクトルに基づいてロボットハンド４１に対する制御信号を生成し、制御信号は、第１及び第２ロボット特徴箇所（第１指４１ａ及び第２～第５指４１ｂ～４１ｅの先端）間のベクトルであるロボットベクトルをユーザベクトルに一致させるように前記ロボットハンド４１を制御する信号である。

また、ユーザＵの手ＵＨの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド４１を実現させるためのロボットハンド制御システム１を実施することができる。

かかるロボットハンド制御システム１は、情報処理装置３と、センサ２とを備え、センサ２は、第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）に関する情報を取得し、且つ情報処理装置３へ送信可能に構成される。

また、ユーザＵの手ＵＨの大きさや構造に関わらず、特別な技能を有する作業を遂行可能なロボットハンド４１をハードウェアとして実施するためのソフトウェアを、プログラムとして実施することもできる。そして、このようなプログラムを、コンピュータ（情報処理装置３）が読み取り可能な非一時的な記録媒体として提供してもよいし、外部のサーバからダウンロード可能に提供してもよいし、外部のコンピュータで当該プログラムを起動させて、クライアント端末で各機能を実施可能な、いわゆるクラウド・コンピューティングを実施してもよい。

かかるロボットハンド制御プログラムは、コンピュータ（情報処理装置３）に入力機能と、演算機能と、生成機能とを実行させるもので、入力機能によって、第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）が入力可能となり、演算機能によって、ユーザＵの手ＵＨに関するローカル座標系であるユーザ座標系において第１及び第２ユーザ特徴箇所（第１指Ｈａ及び第２～第５指Ｈｂ～Ｈｅの先端）間のベクトルであるユーザベクトルが算出され、生成機能によって、ユーザベクトルに基づいてロボットハンド４１に対する制御信号が生成され、制御信号は、第１及び第２ロボット特徴箇所（第１指４１ａ及び第２～第５指４１ｂ～４１ｅの先端）間のベクトルであるロボットベクトルをユーザベクトルに一致させるように前記ロボットハンド４１を制御する信号である。

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１：ロボットハンド制御システム
２：センサ
３：情報処理装置
３０：通信バス
３１：通信部
３２：記憶部
３３：制御部
３３１：演算部
３３２：生成部
４：ロボット
４１：ロボットハンド
４１ａ：第１指
４１ｂ：第２指
４１ｃ：第３指
４１ｄ：第４指
４１ｅ：第５指
４１ｆ：手首
４２：カメラ
５：ヘッドマウントディスプレイ
Ｈａ：第１指
Ｈｂ：第２指
Ｈｃ：第３指
Ｈｄ：第４指
Ｈｅ：第５指
Ｈｆ：手首
Ｕ：ユーザ
ＵＨ：手

Claims

ロボットにおける、ヒトの手に倣った形状のロボットハンドに関する情報処理装置であって、
入力部と、演算部と、生成部と備え、
ユーザの手における特徴箇所を第１及び第２ユーザ特徴箇所と定義し、前記第１及び第２ユーザ特徴箇所に対応する前記ロボットハンドにおける特徴箇所を第１及び第２ロボット特徴箇所と定義すると、
前記入力部は、第１及び第２ユーザ特徴箇所に関する情報を入力可能に構成され、
前記演算部は、
前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第１及び第２ユーザ特徴箇所間のベクトルであるユーザベクトルを算出し、
前記ユーザ座標系において前記第１ユーザ特徴箇所の座標位置、及び前記ロボットハンドに関するローカル座標系であるロボット座標系において前記第１ロボット特徴箇所の座標位置を算出し、
前記第１ユーザ特徴箇所の座標位置と前記第１ロボット特徴箇所の座標位置との差分をオフセットとして算出し、
前記生成部は、前記ユーザベクトルと前記オフセットとに基づいて前記ロボットハンドに対する制御信号を生成し、前記制御信号は、前記第１及び第２ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、
情報処理装置。
請求項１に記載の情報処理装置において、
前記ユーザ座標系及び前記ロボット座標系の原点位置は、前記ユーザの手及び前記ロボットハンドにおける手首の位置である、
情報処理装置。
請求項１又は請求項２に記載の情報処理装置において、
前記ユーザの目及び前記ロボットが有するカメラを原点位置とするグローバル座標系を前記ユーザ及び前記ロボットに対してそれぞれ定義すると、前記第１及び第２ユーザ特徴箇所及び前記第１及び第２ロボット特徴箇所の座標位置がそれぞれのグローバル座標系において一致する、
情報処理装置。
請求項１～請求項３の何れか１つに記載の情報処理装置において、
前記第１ユーザ特徴箇所は前記ユーザの第１指先端であり、前記第２ユーザ特徴箇所は前記ユーザの第２～第５指の少なくとも何れかの先端であり、
前記ロボットハンドは、ヒトの手に倣った形状のロボットハンドであり、且つ
前記第１ロボット特徴箇所は前記ロボットハンドの第１指先端であり、前記第２ロボット特徴箇所は前記ロボットハンドの第２～第５指の少なくとも何れかの先端である、
情報処理装置。
請求項４に記載の情報処理装置において、
前記第１指先端の指す方向を第１方向と定義し、前記第２～５指の少なくとも何れかの先端の指す方向を第２方向と定義すると、
前記演算部は、前記ユーザにおける前記第１及び第２方向を算出可能に構成され、
前記制御信号は、前記ユーザにおける前記第１及び第２方向と前記ロボットハンドにおける前記第１及び第２方向とを一致させるように前記ロボットハンドを制御する信号である、
情報処理装置。
請求項５に記載の情報処理装置において、
前記入力部は、
前記ユーザの前記第１指先端及びその遠位指節間関節間の何れか部位を特徴箇所として入力可能に構成され、且つ
前記ユーザの前記第２～５指の少なくとも何れかの先端及びその遠位指節間関節間の何れか部位を特徴箇所として入力可能に構成され、
前記演算部は、前記入力部を介して入力された前記特徴箇所に基づいて、前記ユーザにおける前記第１及び第２方向を算出可能に構成される、
情報処理装置。
ロボットハンド制御システムであって、
請求項１～請求項６の何れか１つに記載の情報処理装置と、センサとを備え、
前記センサは、
前記第１及び第２ユーザ特徴箇所に関する情報を取得し、且つ
前記情報処理装置へこれを送信可能に構成される、
ロボットハンド制御システム。
請求項７に記載のロボットハンド制御システムにおいて、
ヒトの手に倣った形状のロボットハンドを更に備え、
前記情報処理装置は、前記制御信号を前記ロボットハンドに出力可能に構成される出力部を備え、
前記ロボットハンドは、前記出力部より受信した前記制御信号に基づいて動作するように構成される、
ロボットハンド制御システム。
請求項７又は請求項８に記載のロボットハンド制御システムにおいて、
前記情報処理装置は、レンダリング部を備え、
前記レンダリング部は、前記制御信号に基づいて前記ロボットハンドのコンピュータグラフィックスを生成可能に構成され、
前記コンピュータグラフィックスを表示可能な表示装置を更に備える、
ロボットハンド制御システム。
ヒトの手に倣った形状のロボットハンド制御プログラムであって、
コンピュータに入力機能と、演算機能と、生成機能とを実行させるもので、
ユーザの手における特徴箇所を第１及び第２ユーザ特徴箇所と定義し、前記第１及び第２ユーザ特徴箇所に対応するロボットハンドにおける特徴箇所を第１及び第２ロボット特徴箇所と定義すると、
前記入力機能によって、第１及び第２ユーザ特徴箇所に関する情報が入力可能となり、
前記演算機能によって、
前記ユーザの手に関するローカル座標系であるユーザ座標系において前記第１及び第２ユーザ特徴箇所間のベクトルであるユーザベクトルが算出され、
前記ユーザ座標系において前記第１ユーザ特徴箇所の座標位置、及びロボットハンドに関するローカル座標系であるロボット座標系において前記第１ロボット特徴箇所の座標位置が算出され、
前記第１ユーザ特徴箇所の座標位置と前記第１ロボット特徴箇所の座標位置との差分がオフセットとして算出され、
前記生成機能によって、前記ユーザベクトルと前記オフセットとに基づいて前記ロボットハンドに対する制御信号が生成され、前記制御信号は、前記第１及び第２ロボット特徴箇所間のベクトルであるロボットベクトルを前記ユーザベクトルに一致させるように前記ロボットハンドを制御する信号である、
ロボットハンド制御プログラム。