WO2020115985A1

WO2020115985A1 - ロボットシステム

Info

Publication number: WO2020115985A1
Application number: PCT/JP2019/036289
Authority: WO
Inventors: 雄司山川; 守仁黄; 村上　健一; 正俊石川; 角　博文; 和弘柴橋
Original assignee: Shibahashi Corp; University of Tokyo NUC
Current assignee: Shibahashi Corp; University of Tokyo NUC
Priority date: 2018-12-05
Filing date: 2019-09-17
Publication date: 2020-06-11
Anticipated expiration: 2021-06-05
Also published as: JP2020089944A

Abstract

【課題】ヒトに対する安全性を維持しながら、柔軟体を取り扱う搬送ラインに使用可能なロボットシステムを提供すること。【解決手段】本発明によれば、ロボットシステムであって、ロボットハンドと、撮像装置と、情報処理装置とを備え、前記ロボットハンドは、空間座標における所定の範囲内を変位し、ヒトが把持している柔軟体を把持可能に構成され、前記撮像装置は、前記柔軟体と前記ヒトとを画像として撮像可能に構成され、前記情報処理装置は、前記画像に基づいて、前記柔軟体の位置と前記ヒトの位置とを認識し、前記ロボットハンドが、前記ヒトと非接触に且つ前記柔軟体を前記ヒトから受け取ることができるように、前記ロボットハンドの位置・姿勢を制御可能に構成される、ロボットシステムが提供される。

Description

ロボットシステム

　本発明は、ロボットシステムに関する。

　産業界や医療業界では、ヒトに代わってロボットが用いられることがある。例えば、産業界では、ロボットを用いて搬送、ピックアップ等のタスクを実施することが行われている。特許文献１には剛体であるワークの搬送を行うワーク搬送システムが開示されている。

特開２０１１－２３５４１１号公報

　一方で、ロボットが不得意なタスクも存在し、このようなタスクが含まれるラインでは、ヒトの手によってなされることとなる。例えば、特許文献１に開示されるようなシステムでは、タオルやシーツ等の柔軟体の搬送ラインに使用することが難しいと考えられる。なぜなら、柔軟体は逐次その形状が変化し、また無地のものが多いため、ロボットがその特徴と捉えにくいからである。さらにロボットが苦手なタスクだけをヒトの手によって行い、それ以外のタスクをロボットによって行うことも考えられるが、ロボットとヒトとが近接して作業をするには安全面の問題を考慮しなければならない。

　本発明は、かかる事情を鑑みてなされたものであり、ヒトに対する安全性を維持しながら、柔軟体を取り扱う搬送ラインに使用可能なロボットシステムを提供することを目的とする。

　本発明によれば、ロボットシステムであって、ロボットハンドと、撮像装置と、情報処理装置とを備え、前記ロボットハンドは、空間座標における所定の範囲内を変位し、ヒトが把持している柔軟体を把持可能に構成され、前記撮像装置は、前記柔軟体と前記ヒトとを画像として撮像可能に構成され、前記情報処理装置は、前記画像に基づいて、前記柔軟体の位置と前記ヒトの位置とを認識し、前記ロボットハンドが、前記ヒトと非接触に且つ前記柔軟体を前記ヒトから受け取ることができるように、前記ロボットハンドの位置・姿勢を制御可能に構成される、ロボットシステムが提供される。

　本発明に係るロボットシステムは、撮像装置が、柔軟体とヒトとを画像として撮像し、情報処理装置が、かかる画像に基づいて柔軟体の所定部位の位置とヒトの位置とを認識する。そして、情報処理装置によって、ロボットハンドがヒトと非接触に且つ柔軟体をヒトから受け取ることができるように、ロボットハンドの位置・姿勢が制御される。このような構成によって、ヒトに対する安全性を維持しながら、ヒトとともに柔軟体を取り扱う搬送ラインに組み込むことができる、という効果を奏する。換言すると、ヒトへの物理的な危険性を限りなく小さくすることができる。

実施形態に係るロボットシステムの構成概要図。情報処理装置の機能ブロック図。柔軟体の所定部位として機能する素材の分光特性の一例。図３に対応する好ましい撮像装置の分光特性の一例。ロボットシステムの動作フロー。

　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。

　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＬＰＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

１．全体構成
　第１節では、本実施形態に係るロボットシステム１の全体構成を説明する。図１は、本実施形態に係るロボットシステム１の構成概要を示す図である。ロボットシステム１は、撮像装置２と、情報処理装置３と、機構制御装置４と、ロボットハンド５とを備え、これらが電気的に接続されたシステムである。以下各構成要素についてさらに詳述する。

１．１　撮像装置２
　撮像装置２は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ（カメラ）であり、特に高速ビジョンと称するフレームレートが高いものが採用されることが好ましい。フレームレートは、例えば、１００ｆｐｓ以上であり、好ましくは、２５０ｆｐｓ以上であり、更に好ましくは５００ｆｐｓ又は１０００ｆｐｓである。具体的には例えば、１００、２００、３００、４００、５００、６００、７００、８００、９００、１０００、１１００、１２００、１３００、１４００、１５００、１６００、１７００、１８００、１９００、２０００ｆｐｓ（ヘルツ）であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。より具体的には、撮像装置２は、第１の撮像装置２１及び第２の撮像装置２２からなる。

＜第１の撮像装置２１＞
　第１の撮像装置２１は、ロボットハンド５に設けられる。より詳細には、第１の撮像装置２１は、ロボットハンド５における一対の把持部５２１，５２２との相対的な姿勢がロボットハンド５の位置に関わらず一定であるように設けられる。ロボットハンド５の変位に伴ってその撮像範囲が変化し、特に、柔軟体Ｆの所定部位Ｆｐを第１の画像ＩＭ１として撮像可能に構成される。そして、柔軟体Ｆが変位・変形した場合においても、第１の画像ＩＭ１中における柔軟体Ｆの所定部位Ｆｐの位置を高い時間分解能で逐次把握し、所定部位Ｆｐが第１の画像ＩＭ１における規定の位置に来るようにロボットハンド５が制御される。

＜第２の撮像装置２２＞
　第２の撮像装置２２は、ロボットハンド５とは異なる位置に設けられる。より詳細には、第２の撮像装置２２は、ロボットハンド５の変位に関わらず規定の撮像範囲を撮像するように構成される。特に、ロボットハンド５に近接して作業をすることとなるユーザＵを第２の画像ＩＭ２として撮像可能に構成される。ユーザＵがロボットハンド５に近接して作業をする場合において、接触による事故に注意する必要がある。具体的には例えば、ユーザＵが把持している柔軟体Ｆをロボットハンド５に受け渡すタスクを行うにあたり、ユーザＵの安全性を鑑みて、ユーザＵとロボットハンド５との接触を回避する必要がある。本実施形態に係るロボットシステム１では、第２の画像ＩＭ２に基づいて、ユーザＵとロボットハンド５との相対的位置を高い時間分解能で逐次把握し、ロボットハンド５がユーザＵに接触しないように制御がなされる。

　ここで、逐次形状が変化する柔軟体Ｆを撮像するための第１の撮像装置２１のフレームレートは、特に高いことが好ましい。したがって、第１の撮像装置２１のフレームレートをｆ＿１とし、第２の撮像装置２２のフレームレートをｆ＿２と定義すると、ｆ＿１≧ｆ＿２を満たすように実施してもよい。

１．２　情報処理装置３
　図２は、情報処理装置３の構成概要を示す機能ブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。

＜通信部３１＞
　通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、撮像装置２とは、所定の高速通信規格において通信可能に構成されることが好ましい。このような構成により、高いフレームレートを有する撮像装置２から画像ＩＭ（第１の画像ＩＭ１，第２の画像ＩＭ２の総称）を取得することができる。また、通信部３１は、後述のロボットハンド５のアームモジュール５１における複数の回転部５１２の角度を逆運動学に基づいて所望の角度に制御するための情報である制御情報ＣＩを、機構制御装置４に送信可能に構成される。また、現在の回転部５１２の角度が情報として取得可能（エンコーダ）に構成されると、さらに好ましい。このような構成により、ロボットハンド５における一対の把持部５２１，５２２を、空間座標中の所望の位置に変位させるような制御が可能となる。

＜記憶部３２＞
　記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部３２は、撮像装置２によって撮像され、且つ通信部３１が受信した画像ＩＭを記憶する。画像ＩＭは、例えばＲＧＢ各８ビットのピクセル情報を具備する配列情報である。また、記憶部３２は、制御部３３における画像処理部３３１（後述）が画像ＩＭに対して実行する所定の画像処理プログラムと、特に第１の画像ＩＭ１に基づいて実行される柔軟体Ｆの所定部位Ｆｐのトラッキング演算プログラムとを記憶する。かかるトラッキング演算プログラムによってロボットハンド５を制御するための制御情報ＣＩが制御部３３におけるトラッキング演算部３３２によって逐次決定される。また、記憶部３２は、これ以外にも制御部３３によって実行されるロボットシステム１に係る種々のプログラム等を記憶している。

＜制御部３３＞
　制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。具体的には画像ＩＭに対する画像処理機能、柔軟体Ｆにおける所定部位Ｆｐのトラッキングに関する演算機能が該当する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、画像処理部３３１及びトラッキング演算部３３２として実行されうる。なお、図３においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。以下、画像処理部３３１、及びトラッキング演算部３３２についてさらに詳述する。

［画像処理部３３１］
　画像処理部３３１は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。画像処理部３３１は、撮像装置２から送信され且つ通信部３１によって受信された画像ＩＭに対して、所定の画像処理を実行するように構成される。より具体的には、画像処理部３３１は、第１の撮像装置２１から送信され且つ通信部３１によって受信された第１の画像ＩＭ１に対して、所定の画像処理を実行し、柔軟体Ｆにおける所定部位Ｆｐとそれ以外の非所定部位Ｆｑとを区別可能にする。その結果、情報処理装置３が所定部位Ｆｐを抽出・認識することとなる。

　これは例えば、撮像された第１の画像ＩＭ１を、画像に関する所定のパラメータ（明度等）にしきい値を決めてバイナリ化することで実施される。また、第１の撮像装置２１から見ると、所定部位Ｆｐと非所定部位Ｆｑとが区別できるものの、ヒトの目から見ると、所定部位Ｆｐと非所定部位Ｆｑとが区別できないことが好ましい。換言すると、柔軟体Ｆは、所定部位Ｆｐと非所定部位Ｆｑとがヒトの目から見て略同じ色に見えるように実施されることが好ましい。なぜなら、衛生面を重視するタオルやシーツにおいて、ヒトの目から異物のように視認されるマーカー等を採用することは適切ではないと考えられるからである。すなわち、このような効果を有するように、所定部位Ｆｐと非所定部位Ｆｑとに分光特性の違いを設ける。柔軟体Ｆがタオルであるとすれば、所定部位Ｆｐとは、かかるタオルに縫い付けられたマーカーである。

　図３は、柔軟体Ｆの所定部位Ｆｐとして機能する素材の分光特性の一例を示している。また、図４は、図３に対応する好ましい撮像装置２（特に第１の撮像装置２１）の分光特性の一例を示している。図３に示される素材は、ヒトが感知できない近赤外領域において高い反射率を有する。このため、このような近赤外領域を感知可能な図４に示されるような第１の撮像装置２１を採用することで、所定部位Ｆｐと非所定部位Ｆｑとがヒトの目から見て略同じ色に見えつつ、且つ第１の撮像装置２１が柔軟体Ｆにおける所定部位Ｆｐと非所定部位Ｆｑとを区別可能に撮像することができる。第１の撮像装置２１を使用するにあたり、フィルタによって可視光領域をカットするように構成されてもよいし、可視光及び近赤外の両方の領域に係る情報を取得可能に構成されてもよい。

　さらに、第１の画像ＩＭ１の一部の所定領域ＲＯＩに対して画像処理を行うように実施してもよい。特に、所定部位Ｆｐのトラッキングを高い制御レートにて行うため、所定部位Ｆｐは、画像ＩＭの決まった位置（例えば画像中心）の近傍にあることとなり、この決まった位置の近傍領域を所定領域ＲＯＩとすることで、画像処理をするピクセル数を削減することができる。これにより、情報処理装置３における画像処理演算の負荷を小さくすることができ、高い制御レートでのトラッキングを実施することができる。

　さらに、画像処理部３３１は、第２の撮像装置２２から送信され且つ通信部３１によって受信された第２の画像ＩＭ２に対して、所定の画像処理を実行し、ユーザＵとロボットハンド５とを区別可能にする。その結果、情報処理装置３がユーザＵとロボットハンド５（特に一対の把持部５２１，５２２）との相対的な位置関係を把握することとなる。これは例えば、撮像された第２の画像ＩＭ２を、画像に関する所定のパラメータ（明度等）にしきい値を決めてバイナリ化することで実施される。

［トラッキング演算部３３２］
　トラッキング演算部３３２は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。トラッキング演算部３３２は、画像処理部３３１による画像処理によって抽出された柔軟体Ｆにおける所定部位Ｆｐをロボットハンド５における一対の把持部５２１，５２２に位置合わせするような制御演算を実行する。

　前述の通り、第１の撮像装置２１は、ロボットハンド５における一対の把持部５２１，５２２との相対的な姿勢がロボットハンド５の位置に関わらず一定であるように、ロボットハンド５上に設けられているので、第１の画像ＩＭ１における所定部位Ｆｐを目標位置に合わせるように第１の撮像装置２１の位置を変位させることで、第１の撮像装置２１と相対的な位置関係が固定された一対の把持部５２１，５２２の位置合わせを行うことができる。

　すなわち、トラッキング演算部３３２は、これらの制御に係る制御情報ＣＩを演算し、通信部３１を介してこれを機構制御装置４に送信する。そして、制御情報ＣＩに基づいて、機構制御装置４がアームモジュール５１の各回転部５１２の角度制御に係る制御電圧Ｖ１及び把持モジュール５２の位置・姿勢制御に書かう制御電圧Ｖ２を送電する。

　ただし、かかるトラッキングにあたっては、第２の画像ＩＭ２によって得られたユーザＵとロボットハンド５との相対的な位置関係の情報を用いて、ロボットハンド５とユーザＵとの接触が回避されることを優先することが好ましい。例えば、ユーザＵとロボットハンド５との距離が既定値以下である場合には、前述の第１の画像ＩＭ１に基づいて行われる所定部位Ｆｐと一対の把持部５２１，５２２との位置合わせ（トラッキング）を行わないといった条件を設けるとよい。換言すると、第２の画像ＩＭ２において、ユーザＵとロボットハンド５との距離が規定値以下である場合は、ロボットハンド５を柔軟体Ｆに近づける制御を不実行とすればよい。

　なお、トラッキング演算部３３２の演算レートは、第１の撮像装置２１のフレームレート同様、高いことが好ましい。例えば、１００ヘルツ以上であり、好ましくは、２５０ヘルツ以上であり、更に好ましくは５００ヘルツ又は１０００ヘルツである。具体的には例えば、１００、２００、３００、４００、５００、６００、７００、８００、９００、１０００、１１００、１２００、１３００、１４００、１５００、１６００、１７００、１８００、１９００、２０００ヘルツであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。

　ロボットシステム１全体としては、第１の撮像装置２１のフレームレート及びトラッキング演算部３３２の演算レートの低い方が、トラッキングに係る制御レートとして機能する。換言すると、当該フレームレート及び演算レートを同程度に高くすることで、予測を用いずにフィードバック制御のみで柔軟体Ｆにおける所定部位Ｆｐのトラッキングを実施することができる。

１．３　機構制御装置４
　機構制御装置４は、不図示の記憶部や制御部を備えている。記憶部は、例えばソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、或いは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。制御部は、例えば中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）として実施されうる。制御部は、記憶部に記憶された所定のプログラムを読み出すことによって、ロボットハンド５の制御に関する種々の機能を実現する。

　また、機構制御装置４は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段又は、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等の無線通信手段を必要に応じて有することで、外部機器と接続可能に構成されるとよい。特に、ロボットハンド５とは、専用通信規格において高速通信可能に構成されることが好ましい。

　より具体的には、機構制御装置４は、不図示の制御部によって、ロボットハンド５を構成するアームモジュール５１の各回転部５１２の角度と、把持モジュール５２の位置・姿勢とを制御可能に構成される。機構制御装置４は、情報処理装置３と接続され、情報処理装置３における通信部３１から送信された制御情報ＣＩを受信すると、かかる制御情報ＣＩに基づいて制御電圧Ｖ１，Ｖ２をロボットハンド５に送電する。このような制御としては、例えばＰＤ制御、ＰＩ制御、又はＰＩＤ制御等が適宜採用されうる。制御に係る各係数は、制御情報ＣＩに含まれるように実施してもよいし、制御情報ＣＩに基づいて機構制御装置４によって決定されるように実施してもよい。また、必要に応じて好ましい値を設定すればよい。

　特に、機構制御装置４の制御レート（ロボットハンド５の駆動レート）は、第１の撮像装置２１のフレームレート及び情報処理装置３の演算レート同様、高いことが好ましい。例えば、１００ヘルツ以上であり、好ましくは、２５０ヘルツ以上であり、更に好ましくは５００ヘルツ又は１０００ヘルツである。具体的には例えば、１００、２００、３００、４００、５００、６００、７００、８００、９００、１０００、１１００、１２００、１３００、１４００、１５００、１６００、１７００、１８００、１９００、２０００ヘルツであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。また、ロボットシステム１の系全体としてのレイテンシを小さくすべく、機構制御装置４に使用されるオペレーション・システムは、リアルアイムオペレーション・システムであることが好ましい。

１．４　ロボットハンド５
　ロボットハンド５は、アームモジュール５１と、アームモジュール５１の先端に取り付けられた把持モジュール５２とから構成される。なお、アームモジュール５１及び把持モジュール５２の形状や構造については、あくまでも一例であり特に限定されるものではない。

＜アームモジュール５１＞
　アームモジュール５１は、複数のアーム部５１１と、アーム部５１１の関節として又は把持モジュール５２との接続箇所として機能する複数の回転部５１２とを備える。各回転部５１２は、機構制御装置４により送電された制御電圧Ｖ１によって所望の角度となるように制御される。また、これにより、アームモジュール５１に接続された後述の把持モジュール５２の位置・姿勢が制御される。

＜把持モジュール５２＞
　把持モジュール５２は、アームモジュール５１と１つの回転部５１２を介して接続されている。把持モジュール５２は、その先端に一対の把持部５２１，５２２を有する。特に、把持モジュール５２は、当該把持モジュール５２内での一対の把持部５２１，５２２の相対位置を制御可能に構成される。一対の把持部５２１，５２２は、ユーザＵが自身の手ＵＨで把持している柔軟体Ｆの所定部位Ｆｐを把持するように構成される。また、把持モジュール５２には、第１の撮像装置２１が設けられる。より詳細には、第１の撮像装置２１は、把持部５２１，５２２との相対的な姿勢がロボットハンド５の位置に関わらず一定であるように設けられる。ロボットハンド５における一対の把持部５２１，５２２の相対位置は、機構制御装置４により送電された制御電圧Ｖ２によって所望に制御される。

　ここで、アームモジュール５１を制御することによる一対の把持部５２１，５２２の可動ストロークは、広範囲にわたるものの、把持モジュール５２を制御することによる一対の把持部５２１，５２２の可動ストロークは、アームモジュール５１に比して狭い範囲に限定されることが好ましい。また、アームモジュール５１の駆動レートは、把持モジュール５２の駆動レートに比べて低くてもよい。すなわち、一対の把持部５２１，５２２を所望の位置に制御するにあたり、大まかな位置合わせをアームモジュール５１の制御（低周波制御）によって行い、さらなる位置の微調整を把持モジュール５２の制御（高周波制御）によって行うようにしてもよい。つまり、前述の機構制御装置４の制御レート（ロボットハンド５の駆動レート）についてさらに詳述するならば、アームモジュール５１の駆動レートをｆ＿３とし、把持モジュール５２の駆動レートをｆ＿４と定義すると、ｆ＿３≦ｆ＿４を満たすように実施してもよい。かかる場合、安全面を考慮してユーザＵとロボットハンド５との接触を回避するにあたり、まずは高い駆動レートで制御可能な把持モジュール５２をユーザＵの位置する方向と逆方向に制御することが好ましい。その後、必要に応じて低い駆動レートで制御されるアームモジュール５１をユーザＵの位置する方向と逆方向に制御すればよい。

２．ロボットシステム１の動作フロー
　第２節では、前述のような構成を有するロボットシステム１の動作フローの一例を説明する。図５は、ロボットシステム１の動作フローを示している。以下、図５におけるステップＳ１～Ｓ５に沿って説明する。

［開始］
（ステップＳ１）
　ユーザＵが柔軟体Ｆにおける非所定部位Ｆｑを手ＵＨで把持しながら、ロボットハンド５に対して柔軟体Ｆを提示する（ステップＳ２へ続く）。
（ステップＳ２）
　情報処理装置３における画像処理部３３１は、第１の撮像装置２１によって撮像された第１の画像ＩＭ１に対して所定のパラメータ（明度等）のしきい値を決めて第１の画像ＩＭ１をバイナリ化する。これにより、柔軟体Ｆの所定部位Ｆｐが抽出される（ステップＳ３へ続く）。

（ステップＳ３）
　情報処理装置３におけるトラッキング演算部３３２は、ステップＳ２にバイナリ化された第１の画像ＩＭ１に基づいて所定部位Ｆｐと一対の把持部５２１，５２２（第１の撮像装置２１との配置関係から位置が既知）との距離を演算する。そして、かかる距離を０に近づけるような制御情報ＣＩが演算される（ステップＳ４へ続く）。

（ステップＳ４）
　ステップＳ３において演算された制御情報ＣＩに基づいて、機構制御装置４が制御電圧Ｖ１，Ｖ２をロボットハンド５に送電する。これによって、アームモジュール５１における各回転部５１２の角度や把持モジュール５２の位置・姿勢が所望に制御される（ステップＳ５へ続く）。

（ステップＳ５）
　ステップＳ２～ステップＳ４を繰り返すことによって、一対の把持部５２１，５２２が柔軟体Ｆに近づき、一対の把持部５２１，５２２がユーザＵから柔軟体Ｆを受け取ることで、受渡のタスクが完了する。ただし、第２の画像ＩＭ２においてユーザＵとロボットハンド５との接触が考えられる場合には、ステップＳ２～Ｓ４に代えて、ユーザＵとロボットハンド５との距離を保つ制御が優先的に実行される。受渡完了後は、ロボットシステム１が適切な位置に柔軟体Ｆを搬送することで、従来ヒトによってなされていた柔軟体Ｆの搬送ラインを補助することができる。
［終了］

３．変形例
　第３節では、本実施形態に係るロボットシステム１の変形例について説明する。すなわち、次のような態様によって、ロボットシステム１を更に創意工夫してもよい。

　第一に、本実施形態では、第１の画像ＩＭ１において柔軟体Ｆの所定部位Ｆｐを抽出し、第２の画像ＩＭ２においてユーザＵとロボットハンド５との相対的位置関係を認識するものとして説明したが、第１の画像ＩＭ１においてユーザＵとロボットハンド５との相対的位置関係が把握できる場合は、かかる情報を安全性の確保のために用いてもよい。逆に第２の画像ＩＭ２において柔軟体Ｆの所定部位Ｆｐを抽出し、これを一対の把持部５２１，５２２の位置制御に用いてもよい。

　第二に、本実施形態では、撮像装置２として、第１の撮像装置２１及び第２の撮像装置２２を採用したが、これらの何れか一方を採用するように実施してもよい。かかる場合、何れか一方によって得られた画像ＩＭから、柔軟体Ｆの所定部位Ｆｐと、ユーザＵ及びロボットハンド５の相対的位置関係との両方が把握・認識可能に構成されることに留意されたい。

　第三に、前述の実施形態では、一対の把持部５２１，５２２の位置が既知となるように配置されているが、さらに精度を向上させるために、一対の把持部５２１，５２２の先端等に不図示のマーカーを設けて、第１の画像ＩＭ１から一対の把持部５２１，５２２の詳細な位置を抽出できるように実施してもよい。

　第四に、情報処理装置３及び機構制御装置４を分けず、１つの情報処理装置として実施してもよい。

　第五に、撮像装置２以外に別個のセンサを付加してもよい。例えば、力覚センサが有効であると考えられる。画像処理のエラーでユーザＵとロボットハンド５との接触が回避されなかった場合に備え、力覚センサを導入して接触力等の情報を取得し、これに基づいてトラッキング演算部３３２が安全性を考慮した制御情報ＣＩを演算するように実施してもよい。

４．結言
　以上のように、本実施形態によれば、ヒトに対する安全性を維持しながら、柔軟体を取り扱う搬送ラインに使用可能なロボットシステム１を実施することができる。

　かかるロボットシステム１は、ロボットハンド５と、撮像装置２と、情報処理装置（情報処理装置３及び機構制御装置４）とを備え、ロボットハンド５は、空間座標における所定の範囲内を変位し、ヒト（ユーザＵ）が把持している柔軟体Ｆを把持可能に構成され、撮像装置２は、柔軟体Ｆとヒト（ユーザＵ）とを画像ＩＭとして撮像可能に構成され、情報処理装置（情報処理装置３及び機構制御装置４）は、画像ＩＭに基づいて、柔軟体Ｆの位置とヒト（ユーザＵ）の位置とを認識し、ロボットハンド５が、ヒト（ユーザＵ）と非接触に且つ柔軟体Ｆをヒト（ユーザＵ）から受け取ることができるように、ロボットハンド５の位置・姿勢を制御可能に構成される。

　最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１　　　：ロボットシステム
２　　　：撮像装置
２１　　：第１の撮像装置
２２　　：第２の撮像装置
３　　　：情報処理装置
３０　　：通信バス
３１　　：通信部
３２　　：記憶部
３３　　：制御部
３３１　：画像処理部
３３２　：トラッキング演算部
４　　　：機構制御装置
５　　　：ロボットハンド
５１　　：アームモジュール
５１１　：アーム部
５１２　：回転部
５２　　：把持モジュール
５２１　：把持部
５２２　：把持部
ＣＩ　　：制御情報
Ｆ　　　：柔軟体
Ｆｐ　　：所定部位
Ｆｑ　　：非所定部位
ＩＭ　　：画像
ＩＭ１　：第１の画像
ＩＭ２　：第２の画像
Ｕ　　　：ユーザ
ＵＨ　　：手
Ｖ１　　：制御電圧
Ｖ２　　：制御電圧

Claims

ロボットシステムであって、
　ロボットハンドと、撮像装置と、情報処理装置とを備え、
　前記ロボットハンドは、
　　空間座標における所定の範囲内を変位し、
　　ヒトが把持している柔軟体を把持可能に構成され、
　前記撮像装置は、前記柔軟体と前記ヒトとを画像として撮像可能に構成され、
　前記情報処理装置は、
　　前記画像に基づいて、前記柔軟体の位置と前記ヒトの位置とを認識し、
　　前記ロボットハンドが、前記ヒトと非接触に且つ前記柔軟体を前記ヒトから受け取ることができるように、前記ロボットハンドの位置・姿勢を制御可能に構成される、
ロボットシステム。
請求項１に記載のロボットシステムにおいて、
　前記ロボットハンドの駆動レート、及び前記撮像装置のフレームレートは、１００ヘルツ以上である、
ロボットシステム。
請求項１又は請求項２に記載のロボットシステムにおいて、
　前記撮像装置は、第１及び第２の撮像装置を含む複数の撮像装置であり、
　前記第１の撮像装置は、
　　前記ロボットハンドに設けられ、前記ロボットハンドの変位に伴ってその撮像範囲が変化し、
　　前記柔軟体を第１の画像として撮像可能に構成され、
　前記第２の撮像装置は、
　　前記ロボットハンドとは異なる位置に設けられ、
　　前記ロボットハンドの変位に関わらず規定の撮像範囲を撮像し、これにより前記ロボットハンドと前記ヒトとを第２の画像として撮像可能に構成され、
　前記情報処理装置は、
　　前記第１の画像に基づいて、前記柔軟体の位置を認識し、
　　前記第２の画像に基づいて、前記ロボットハンドと前記ヒトとの相対的な位置関係を認識可能に構成される、
ロボットシステム。
請求項３に記載のロボットシステムにおいて、
　前記第１の画像に前記ヒトが入るときは、前記情報処理装置は、前記第１の画像に基づいて、前記ロボットハンドと前記ヒトとの相対的な位置関係を認識可能に構成される、
ロボットシステム。
請求項３又は請求項４に記載のロボットシステムにおいて、
　前記第１の撮像装置のフレームレートをｆ＿１と定義し、前記第２の撮像装置のフレームレートをｆ＿２と定義すると、
　　ｆ＿１≧ｆ＿２
　を満たすように実施される、
ロボットシステム。
請求項３～請求項５の何れか１つに記載のロボットシステムにおいて、
　前記第２の画像において前記ヒトと前記ロボットハンドとの距離が規定値以下である場合は、前記情報処理装置は、前記ロボットハンドを前記柔軟体に近づける制御を不実行とする、
ロボットシステム。
請求項１～請求項６の何れか１つに記載のロボットシステムにおいて、
　前記ロボットハンドは、アームモジュールと、把持モジュールとを備え、これらは互いに接続され、
　前記アームモジュールは、複数の関節を備え、前記関節の角度を制御することによって、当該アームモジュールに接続された前記把持モジュールの位置・姿勢を制御可能に構成され、
　前記把持モジュールは、
　　前記柔軟体を把持する把持部を備え、
　　当該把持モジュール内での前記把持部の相対位置を制御可能に構成される、
ロボットシステム。
請求項７に記載のロボットシステムにおいて、
　前記アームモジュールの駆動レートをｆ＿３と定義し、前記把持モジュールのレートをｆ＿４と定義すると、
　　ｆ＿３≦ｆ＿４
　を満たすように実施される、
ロボットシステム。
請求項１～請求項８の何れか１つに記載のロボットシステムにおいて、
　前記柔軟体は、所定部位とこれ以外の非所定部位との分光特性が異なるように構成され、
　前記第１の撮像装置は、前記情報処理装置が前記所定部位と前記非所定部位とを区別可能に、前記第１の画像を撮像し、
　前記ロボットハンドは、前記所定部位を把持するように構成される、
ロボットシステム。
請求項９に記載のロボットシステムにおいて、
　前記柔軟体は、前記所定部位と前記非所定部位とが前記ヒトから見て略同じ色に見えるように実施される、
ロボットシステム。