WO2020049768A1 - マニピュレータおよび移動ロボット - Google Patents

Abstract

ワークの検出成功率が向上したマニピュレータを実現する。マニピュレータ（１０）は、ロボットアーム（１１）と、撮像部（１４）と、ロボットアーム（１４）の動作を制御する撮像位置制御部（２５）および把持動作制御部（２４）と、撮像画像を解析し、今回の把持動作において把持すべき対象物を特定する対象物特定部（２３）と、撮像画像を解析し、次回の把持動作の前の撮像位置を特定し、撮像位置情報を更新する撮像位置更新部（２２）とを備える。

Description

マニピュレータおよび移動ロボット

　本発明は、ワークを搬送するためのマニピュレータおよび移動ロボットに関する。

　近年、ワークを把持して搬送する装置において、ワークを検出するためのカメラの撮像範囲を拡大させるために、カメラを移動させて撮像する方法が提案されている。その代表例として、ロボットアームの先端にカメラを取り付けたハンドアイシステムが知られている。しかしながら、カメラが移動する場合、カメラとワークとの位置関係が、上記ワークの撮像に好ましくない場合が発生する。

　そのため、特許文献１には、無人搬送車に搭載されるロボットアームの制御方法であって、上記ロボットアームに固定された画像入力部によって２つのマークを認識し、少なくとも１つの上記マークを認識できれば、上記ロボットアームの再移動により、上記２つのマークを同時に視野領域内に捕えることができる、ロボットアームの制御方法が開示されている。

　また、特許文献２には、ロボットアームに撮像装置が取り付けられており、上記撮像装置により、ワークを含む領域の画像を生成する。生成した上記画像において、パターンマッチングにより特徴部を特定できなかった場合に、上記ワークと上記撮像装置と照明装置との間の相対位置または相対姿勢が変わるように上記ロボットアームを動作させ、上記ワークを再び撮像し、これにより生成された画像に対し、パターンマッチングを再び行う、ワークの把持方法が開示されている。

日本国公開特許公報「特開平１１－３２０４６５号公報」 日本国公開特許公報「特開２０１５－１６０２６４号公報」

　上述のような従来技術は、ワークが検出できなかった場合、カメラの位置を変化させ再撮像することにより、上記ワークの検出を可能にしている。しかしながら、上記ワークを再撮像する場合、上記カメラを移動させ、再撮像および画像解析を行うための時間が余計にかかる。したがって、上記ワークの搬送作業時間が増加し、費用対効果が低減するという問題がある。

　本発明の一態様は、再センシングによる搬送作業時間の増加を抑制するために、ワークの検出成功率が向上したマニピュレータを実現することを目的とする。

　上記の課題を解決するために、本開示の一態様に係るマニピュレータは、対象物に対する把持動作を行うロボットアームと、前記ロボットアームに設けられた、複数の前記対象物が載置されることが可能な所定の空間領域を光または超音波によりセンシングするセンサ部と、前記空間領域に対応付けられたセンシング位置情報に応じたセンシング位置に前記センサ部を移動させるように前記ロボットアームの動作を制御するセンシング位置制御部と、前記センシング位置における前記センサ部によるセンシング結果を解析し、今回の把持動作において把持すべき前記対象物を特定する対象物特定部と、前記対象物特定部によって特定された、今回の把持動作において把持すべき前記対象物を把持するように前記ロボットアームの動作を制御する把持動作制御部と、前記センシング位置における前記センサ部によるセンシング結果を解析し、次回の把持動作の前の次回のセンシング動作のためのセンシング位置を特定し、前記センシング位置情報を更新するセンシング位置更新部と、を備える。

　本開示の一態様によれば、再センシングによる搬送作業時間の増加を抑制するために、対象物の検出成功率が向上したマニピュレータを実現できる。

実施形態１に係る移動ロボットを模式的に示す図である。 実施形態１に係る移動ロボットの要部構成を示すブロック図である。 実施形態１に係るカメラにより撮像される撮像領域であって、（ａ）～（ｃ）は、それぞれ１～３回目のワーク搬送前の撮像領域を模式的に示す図である。 実施形態１に係るカメラの撮像領域を模式的に示す図である。 実施形態１に係る制御部における処理の流れの一例を示すフローチャートである。 実施形態２に係る情報処理システムを模式的に示す図である。 実施形態２に係る移動ロボットの要部構成を示すブロック図である。 実施形態２に係る制御部における処理の流れの一例を示すフローチャートである。

　〔実施形態１〕
　以下、本発明の一側面に係る実施形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。

　§１　適用例
　図１は、本実施形態に係る移動ロボット１を模式的に例示する。図２は、本実施形態に係る移動ロボット１の要部構成を例示するブロック図である。図３は、本実施形態に係るカメラ（撮像部）１４により撮像される撮像領域であって、図３の（ａ）～（ｃ）は、それぞれ１～３回目のワーク搬送前の撮像領域を模式的に示す図である。はじめに、図１～図３を用いて、移動ロボット１の適用例の概要を説明する。

　図１および図２に示すように、移動ロボット１は、ワーク（対象物）２を搬送するための装置である。移動ロボット１は、マニピュレータ１０および無人搬送車５０を備える。マニピュレータ１０は、ロボットアーム１１および筐体部１５を備える。マニピュレータ１０は、移動可能な無人搬送車５０ではなく、固定台等に固定して載置されていてもよい。

　ロボットアーム１１は、ワーク２に対する把持動作を行う部材である。ロボットアーム１１は、その一端に、ワーク２を把持するためのワーク把持部１３と、カメラ１４とを備える。

　筐体部１５は、制御装置２０を備える。カメラ１４は、複数のワーク２が載置されることが可能なストッカ３を含む撮像領域（空間領域）を撮像する。

　図２に示すように、制御装置２０は、制御部２１および第１記憶部３０を備える。制御部２１は、撮像位置更新部２２、対象物特定部２３、把持動作制御部２４、撮像位置制御部２５、無人搬送車制御部２６、およびカメラ制御部２７を備える。

　撮像位置制御部２５（センシング位置制御部）は、上記撮像領域に対応付けられた撮像位置情報（センシング位置情報）に応じた撮像位置（センシング位置）にカメラ１４を移動させるように、ロボットアーム１１の動作を制御する。ここで、上記撮像位置情報は、ユーザにより指定または更新されてもよく、後述するように撮像位置更新部２２（センシング位置更新部）により更新されてもよい。

　対象物特定部２３は、上記撮像位置におけるカメラ１４による撮像画像（センシング結果）を解析し、今回の把持動作において把持すべきワーク２を特定する。また、撮像位置更新部２２は、上記撮像画像を解析し、次回の把持動作の前のカメラ１４による上記撮像位置を特定し、前記撮像位置情報を更新する。ここで、「次回」の把持動作とは、対象物特定部２３が特定したワーク２が把持され搬送された後に、連続して別のワーク２が搬送される場合の、当該別のワーク２に対する把持動作を示す。

　把持動作制御部２４は、対象物特定部２３によって特定された今回の把持動作において把持すべきワーク２を把持するように、ロボットアーム１１の動作を制御する。

　図３を用いて、移動ロボット１の動作の概要を説明する。図３の（ａ）に示すように、カメラ１４は、上記撮像位置情報に基づき、ストッカ３を含む撮像領域Ａ１を撮像する。撮像された撮像画像は対象物特定部２３によって解析され、把持すべきワーク２ａが特定される。

　このとき、撮像位置更新部２２は、上記撮像画像を解析し、次回の撮像位置を特定する。例えば、撮像位置更新部２２は、次回の撮像画像の所定範囲に次回の把持対象となるワーク２ｂが含まれるよう、次回の撮像位置を特定してもよい。上記次回の撮像位置は、次回の把持対象となるワーク２ｂが撮像範囲の略中心となるように撮像されるような位置であってもよい。このように、撮像位置更新部２２は、撮像位置を特定し第１記憶部３０に記憶される撮像位置情報を更新する。

　撮像位置更新部２２が次回の撮像位置を特定する構成によれば、次回の撮像において、カメラ１４はワーク２ｂを撮像することができる位置から、ストッカ３を含む撮像領域を撮像することができる。そのため、次回の把持対象となるワークを検出できず、再撮像が必要となる可能性を低減できる。

　また、上記撮像位置として、ワーク２ｂが略中心となるような撮像位置が特定される構成によれば、より確実にワーク２ｂを検出できるような撮像画像を得ることができる。そのため、次回の把持対象となるワーク２ｂを検出できず、再撮像が必要となる可能性をより低減できる。

　次に、図３の（ｂ）に示すように、更新された撮像位置情報に基づき、カメラ１４により撮像領域Ａ２が撮像される。ここでも、対象物特定部２３は撮像画像を解析してワーク２ｂを把持対象として特定し、撮像位置更新部２２は撮像画像を解析して次回の把持対象となるワーク２ｃの位置に基づき撮像位置情報を更新する。このように、前回の撮像位置と今回の撮像位置とが互いに異なると、今回の撮像画像に新たな（次回の）把持対象となる対象物（ワーク２ｃ）が含まれる可能性が高くなる。それゆえ、次々と把持対象となる対象物を検出し、対象物の位置を特定することができる。

　次に、図３の（ｃ）に示すように、更新された撮像位置情報に基づき、カメラ１４により撮像領域Ａ３が撮像される。ここで、対象物特定部２３はワーク２ｃを把持対象として特定するが、撮像領域Ａ３には他のワーク２が明確に含まれていないため、撮像位置更新部２２は、次回の把持対象となるワーク２を検出できない。

　この場合、撮像位置更新部２２は、第１記憶部３０に記憶された過去の撮像画像の解析結果を参照してもよい。例えば、撮像位置更新部２２は、撮像領域Ａ１が撮像された撮像画像を解析して未把持のワーク２ｄを次回の把持対象として特定し、ワーク２ｄが撮像範囲の略中心となるように撮像位置情報を更新してもよい。

　このような構成によれば、次回の把持対象となるワーク２を検出できる可能性がより高くなる。そのため、次回の把持対象となるワーク２を検出できず、再撮像が必要となる可能性を低減できる。

　§２　構成例
　（ロボットアーム１１）
　ロボットアーム１１は、任意の方向に回転および屈曲可能に形成される関節部１２を備える。ロボットアーム１１が備える関節部１２は、１つでもよく、複数でもよい。また、ロボットアーム１１の一端は、筐体部１５に、回転および屈曲可能な状態により取り付けられるように形成されている。

　ワーク把持部１３は、ワーク２を真空吸着可能なバキュームパッドを備える。なお、ワーク把持部１３はこれに限られず、例えば、ワーク２を挟んで把持するための１対の爪部を備えていてもよい。

　カメラ１４は、撮像対象を３次元的に認識可能な固体撮像素子およびレンズを備える。上記固体撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられてもよい。このような構成によれば、把持対象となるワーク２の空間的位置を正確に把握することができる。なお、カメラ１４はこのような例に限られず、例えば、２次元画像の撮像のみ可能な固体撮像素子およびレンズを備えていてもよい。

　また、カメラ１４は、ワーク把持部１３を備えるロボットアーム１１ではなく、カメラ１４専用のロボットアームに備えられていてもよい。このような構成によれば、ワーク２の搬送と、カメラ１４による撮像動作を独立して行うことができる。

　カメラ１４が撮像した撮像情報は、制御装置２０に入力される。また、上記撮像情報は第１記憶部３０に入力され、記憶されてもよい。

　（制御装置２０）
　制御装置２０が備える制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、各構成要素を制御する。第１記憶部３０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部２１で実行される各種プログラム並びに、カメラ１４により撮像された撮像画像データおよび撮像位置情報等を記憶する。

　撮像位置更新部２２および対象物特定部２３は、撮像画像におけるそれぞれの解析結果について、第１記憶部３０に出力し、第１記憶部３０は当該解析結果を記憶してもよい。また、記憶された上記解析結果は、適宜制御部２１に読み出されてもよい。

　また、撮像位置更新部２２および対象物特定部２３により解析される撮像画像は、過去にカメラ１４に撮像され、第１記憶部３０に記憶された撮像画像であってもよい。このような構成によれば、撮像位置更新部２２および対象物特定部２３が過去の撮像画像を参照することで、把持対象であるワーク２を検出できる可能性がより向上し、再撮像を抑制することができる。

　無人搬送車制御部２６は、無人搬送車５０の動作を制御し、移動ロボット１を所定の地点に移動させる。また、無人搬送車制御部２６は、上記撮像位置情報等に基づいて無人搬送車５０の動作を制御し、移動ロボット１の位置を微調整してもよい。

　カメラ制御部２７は、カメラ１４の撮像動作（センシング動作）を制御する。

　（無人搬送車５０）
　無人搬送車５０は、ホイール５１を備える。ホイール５１の動作が無人搬送車制御部２６により制御されることで、無人搬送車５０は、任意の地点に移動することができる。そのため、無人搬送車５０に載置されるマニピュレータ１０は、ロボットアーム１１が届かない距離にある、離れた位置にワーク２を搬送することができる。また、マニピュレータ１０が作業する地点を適宜変更することができる。

　なお、マニピュレータ１０が、移動可能な移動ロボット１として構成されるために載置されるのは、無人搬送車５０に限られない。例えば、飛行可能な無人航空機（ドローン）であってもよいし、手動により移動される台車等であってもよい。

　§３　動作例
　（カメラ１４の移動）
　図４は、本実施形態に係るカメラ１４の撮像領域Ａを模式的に例示する。まず、図４を用いてカメラ１４が移動可能に備えられる意義について説明する。

　図４に示すように、移動ロボット１が備えるカメラ１４は、例えば、複数のワーク２が載置されているストッカ３を撮像領域Ａとして撮像する。なお、ストッカ３は、シェルフ４等に載置されることで、立体的に複数備えられていてもよい。

　この場合、移動ロボット１は、ロボットアーム１１の動作および無人搬送車５０の移動によってカメラ１４の位置を調整することで、任意のストッカ３を撮像領域Ａに含めることができる。

　しかし、図４に示すように、撮像領域Ａ内に入っていても、ストッカ３の側壁に遮られる範囲、および、カメラ１４から見て手前側に載置されたワーク２に遮られる範囲等は、カメラ１４から死角となる。そのため、カメラ１４により撮像された撮像画像には含まれないワーク２が、ストッカ３内に存在し得る。

　このような問題を解決するために、カメラ１４が移動することができるように、例えば、ロボットアーム１１の一端にカメラ１４が備えられる。これにより、カメラ１４の位置および方向が任意に調節可能となり、ストッカ３を様々な方向から撮像することで、上記死角を最小限にできる。

　一方、カメラ１４がワーク２を最適に撮像できる撮像位置を特定するためには、例えば、予めカメラ１４が撮像した撮像画像の画像解析を行うなどによって、上記撮像位置を特定する必要がある。しかし、カメラ１４による撮像および上記撮像画像の画像解析処理は一定の時間を要するため、撮像回数が多くなると移動ロボット１の作業時間が増加する。

　そこで発明者は、鋭意検討の結果、ワーク２の検出成功率を向上させることで撮像回数を抑制し、上記遅延を招来しにくいように動作するマニピュレータ１０および、このようなマニピュレータ１０を備える移動ロボット１を見出した。

　（制御部２１の処理の流れ）
　図５は、本実施形態に係る制御部２１における処理の流れの一例を示すフローチャートである。図５を用いて、制御部２１における処理の流れの一例について説明する。

　まず、撮像位置制御部２５は、第１記憶部３０から、把持対象となるワーク２を含む撮像領域Ａに対応する撮像位置情報が取得できるか否かを判定する（Ｓ１）。上記撮像位置情報が取得できない場合（Ｓ１でＮＯ）、制御部２１は、ユーザが入力しておくなどしてあらかじめ第１記憶部３０に設定された標準値を撮像位置情報として取得する（Ｓ２）。

　次に、上記撮像位置情報が取得できた場合（Ｓ１でＹＥＳ）、またはステップＳ２において上記撮像位置情報が指定された場合、撮像位置制御部２５は、上記撮像位置情報に基づいてロボットアーム１１の動作を制御し、カメラ１４を上記撮像位置に移動させる（Ｓ３）。そして、カメラ制御部２７は、カメラ１４に撮像領域Ａを撮像させる。撮像された撮像画像は、対象物特定部２３に入力され、対象物特定部２３により画像解析が行われる（Ｓ４）。

　次に、対象物特定部２３は、上記画像解析により把持対象となるワーク２が検出されたか否かを判定する（Ｓ５）。ここで、把持対象となるワーク２が検出されなかった場合（Ｓ５でＮＯ）、撮像位置制御部２５は、カメラ１４の位置を所定量移動させるようにロボットアーム１１の動作を制御する（Ｓ６）。

　なお、上記所定量として、ワーク２の種類および配置状態等により任意の値が設定されてもよい。また、上記任意の値の設定はユーザにより設定されてもよい。また、第１記憶部３０に記憶された、撮像位置更新部２２および対象物特定部２３による撮像画像の解析結果に基づき、制御部２１により自動的に設定および更新されてもよい。

　次に、カメラ制御部２７は、カメラ１４により移動後における撮像領域Ａを撮像させ、対象物特定部２３は、カメラ１４により撮像された撮像画像を解析する（Ｓ７）。そして、対象物特定部２３は再度、上記画像解析により把持対象となるワーク２が検出されるか否かを判定する（Ｓ８）。把持対象となるワーク２が検出されなかった場合（Ｓ８でＮＯ）、ステップＳ６に処理が戻り、把持対象となるワーク２が検出されるまで、ステップＳ６からＳ８までの処理が繰り返される。

　このように、把持対象となるワーク２が検出されるまで、撮像および画像解析を繰り返す構成によれば、移動ロボット１は自動的に把持すべきワーク２を探して見つけ出すことができる。

　次に、対象物特定部２３が把持対象となるワーク２を検出した場合（Ｓ５またはＳ８でＹＥＳ）、把持動作制御部２４はロボットアーム１１の動作を制御し、ワーク２を把持する。把持されたワーク２は、搬送地点まで搬送される（Ｓ９）。

　上記把持および搬送が行われている間に、撮像位置更新部２２は、上記撮像画像を解析する。撮像画像にまだ搬送されていないワーク２があれば、該ワーク２を次回の把持対象とする。これにより、次回の把持動作の前のカメラ１４による撮像位置を特定し、第１記憶部３０に記憶された撮像位置情報を更新する（Ｓ１０）。

　次に、ステップＳ３に処理が戻され、ステップＳ１０で特定された撮像位置情報に基づいて、カメラ１４の位置が移動される。以降、一連の処理が改めて行われる。

　このような処理が行われることで、カメラ１４は次回の撮像において、次回の把持対象となるワーク２を撮像することができる位置から撮像領域Ａを撮像することができる。そのため、次回の把持対象となるワーク２を検出できず、再撮像（ステップＳ６～Ｓ８）が必要となる可能性を低減できる。

　〔実施形態２〕
　本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

　§１　構成例
　図６は、本実施形態に係る情報処理システムを模式的に示す図である。図７は、本実施形態に係る移動ロボットの要部構成を示すブロック図である。図６および図７を用いて、本実施形態に係る移動ロボット１および情報処理システムの構成例について説明する。

　図６および図７に示すように、本実施形態に係る移動ロボット１ａは、第１通信部４０を備えており、他の移動ロボット１ｂおよびサーバ（外部装置）６０と通信可能に構成される点において、実施形態１に係る移動ロボット１と異なる。なお、移動ロボット１ａ・１ｂの符号は、異なる移動ロボットであることを明示するために付されるものであり、移動ロボット１ａ・１ｂを移動ロボット１と総称することがある。

　（第１通信部４０）
　第１通信部４０は、後述するサーバ（外部機器）６０との通信を行う。第１通信部４０は、ケーブルなどを利用した優先の通信を行ってもよいし、無線通信を行ってもよい。また、第１通信部４０は、別の移動ロボット１が備える第１通信部４０と相互に通信を行ってもよい。

　（サーバ６０）
　サーバ６０は、第２通信部６１、情報管理制御部６２および第２記憶部６３を備える。情報管理制御部６２は、移動ロボット１の状態変化に応じた第２記憶部６３への書き込み制御（移動ロボット１の移動に応じてデータベースを更新する等）、および、第２通信部６１を介した通信制御（移動ロボット１の移動に応じた情報送信等）を行う。

　サーバ６０は、例えば、第２通信部６１により別の移動ロボット１ａ（別のマニピュレータ）が生成した撮像位置情報を受信し、当該撮像位置情報を第２記憶部６３に記憶する。当該撮像位置情報は、サーバ６０から移動ロボット１ｂ等に随時送信される。また、移動ロボット１ａは、自ら生成し送信した撮像位置情報を、サーバ６０から受信してもよい。これにより、上記撮像位置情報を複数の移動ロボット１間で共有させることができる。

　なお、複数の移動ロボット１間で共有される情報は、上記撮像位置情報に限られない。例えば、撮像位置情報として、移動ロボット１が撮像した撮像画像データが、サーバ６０を介して複数の移動ロボット１間で共有されてもよい。

　このように、複数の移動ロボット１と、サーバ６０とが相互に通信し、上記撮像位置情報の共有を行うことで、移動ロボット１が利用できる上記撮像位置情報の量は飛躍的に多くなる。移動ロボット１は、別の移動ロボット１ａによる撮像画像に基づく撮像位置情報を利用することができるので、適切な位置にカメラ１４を移動させて撮像できる可能性が向上する。そのため、移動ロボット１が把持対象となるワーク２を検出できず、再度撮像を行う可能性を低減できる。

　§２　動作例
　図８は、本実施形態に係る制御部２１における処理の流れの一例を示すフローチャートである。図８を用いて、制御部２１における処理の流れの一例について説明する。

　まず、撮像位置制御部２５は、第１記憶部３０から、把持対象となるワーク２を含む撮像領域Ａに対応する撮像位置情報が取得できるか否かを判定する（Ｓ１１）。上記撮像位置情報が取得できない場合（Ｓ１１でＮＯ）、制御部２１は、サーバ６０から、把持対象となるワーク２が載置されたストッカ３を含む撮像領域Ａに対応付けられた撮像位置情報を受信する（Ｓ１２）。

　なお、上記撮像位置情報がサーバ６０に記憶されていない場合、上記撮像位置情報が取得されるまで待機する。上記撮像位置情報の取得は、例えば、ユーザ入力によって行われてもよい。

　次に、上記撮像位置情報が取得できた場合（Ｓ１１でＹＥＳ）、またはステップＳ１２において上記撮像位置情報が受信または指定された場合、撮像位置制御部２５は、上記撮像位置情報に従ってロボットアーム１１の動作を制御し、カメラ１４を上記撮像位置に移動させる（Ｓ１３）。そして、カメラ制御部２７は、カメラ１４に撮像領域Ａを撮像させる。撮像された撮像画像は、対象物特定部２３に入力され、対象物特定部２３により画像解析が行われる（Ｓ１４）。

　次に、対象物特定部２３は、上記画像解析により把持対象となるワーク２が検出されたか否かを判定する（Ｓ１５）。ここで、把持対象となるワーク２が検出されなかった場合（Ｓ１５でＮＯ）、撮像位置制御部２５は、カメラ１４の位置を所定量移動させるようにロボットアーム１１の動作を制御する（Ｓ１６）。

　なお、上記所定量は、ワーク２の種類および配置状態等により任意の値が設定されてもよい。また、上記任意の値はユーザにより設定されてもよい。また、上記任意の値は、第１記憶部３０に記憶された、撮像位置更新部２２および対象物特定部２３による撮像画像の解析結果に基づき、制御部２１により自動的に設定および更新されてもよい。

　次に、カメラ制御部２７は、カメラ１４により移動先の撮像領域Ａを撮像させ、対象物特定部２３は、カメラ１４により撮像された撮像画像を解析する（Ｓ１７）。そして、対象物特定部２３は再度、上記画像解析により把持対象となるワーク２が検出されるか否かを判定する（Ｓ１８）。把持対象となるワーク２が検出されなかった場合（Ｓ１８でＮＯ）、ステップＳ１６に処理が戻り、把持対象となるワーク２が検出されるまで、ステップＳ１６からＳ１８までの処理が繰り返される。

　また、上記撮像画像の解析結果は、第１通信部４０からサーバ６０に送信され、サーバ６０により記憶されてもよい。そして、サーバ６０において蓄積された上記解析結果を移動ロボット１が受信し、受信した上記解析結果に基づいて自動的に上記任意の値が設定および更新されてもよい。

　次に、対象物特定部２３が把持対象となるワーク２を検出した場合（Ｓ１５またはＳ１８でＹＥＳ）、把持動作制御部２４はロボットアーム１１の動作を制御し、ワーク２を把持する。把持されたワーク２は、搬送地点まで搬送される（Ｓ１９）。

　上記把持および搬送が行われている間に、撮像位置更新部２２は、上記撮像画像を解析して、次回の把持動作の前のカメラ１４による撮像位置を特定し、第１記憶部３０に記憶された撮像位置情報を更新する（Ｓ２０）。また、撮像位置更新部２２によって生成された上記撮像位置情報は、第１通信部４０によってサーバ６０に送信される（Ｓ２１）。

　次に、ステップＳ１１に処理が戻される。このとき、無人搬送車５０による移動が行われていない期間に、マニピュレータ１０が複数のワーク２の把持動作を繰り返す場合には、撮像位置制御部２５は、第１通信部４０によって受信される撮像位置情報を利用せずに、撮像位置更新部２２が前回の把持動作において特定した撮像位置情報を利用して、カメラ１４の移動制御を行ってもよい（Ｓ１１をスキップ）。

　このような構成によれば、移動ロボット１が自ら生成した最新の撮像位置情報によって、次回の把持対象となるワーク２を撮像できる位置にカメラ１４を移動させることができる。また、サーバ６０から撮像位置情報を受信する必要がなくなる。

　また、移動ロボット１は、次の把持対象物が載置された空間領域に対応付けられた撮像位置情報をサーバ６０から受信してもよい。以降、一連の処理が改めて行われる。

　〔変形例〕
　上述の実施形態１、２では、複数のワークを検出するセンサとして、カメラ（撮像部）１４を用いる場合について説明した。ただしこれに限らず、所定の空間領域における複数のワークを検出するセンサ（センサ部）として、例えば、光（レーザ）によってセンシングを行うＬＩＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）、または超音波によってセンシングを行う超音波センサを用いることができる。例えば、マニピュレータの制御装置は、ＬＩＤＡＲによってセンシングすることで、所定の空間領域にある複数のワークの三次元位置の情報（センシング結果）を得てもよい。または、マニピュレータの制御装置は、超音波センサによってセンシングすることで、撮像画像に代わるセンシング画像（センシング結果）の情報を得てもよい。

　〔ソフトウェアによる実現例〕
　制御部２１の制御ブロック（特に撮像位置更新部２２、対象物特定部２３、および撮像位置制御部２５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

　後者の場合、制御部２１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

　〔まとめ〕
　本開示の一態様に係るマニピュレータは、対象物に対する把持動作を行うロボットアームと、前記ロボットアームに設けられた、複数の前記対象物が載置されることが可能な所定の空間領域を光または超音波によりセンシングするセンサ部と、前記空間領域に対応付けられたセンシング位置情報に応じたセンシング位置に前記センサ部を移動させるように前記ロボットアームの動作を制御するセンシング位置制御部と、前記センシング位置における前記センサ部によるセンシング結果を解析し、今回の把持動作において把持すべき前記対象物を特定する対象物特定部と、前記対象物特定部によって特定された、今回の把持動作において把持すべき前記対象物を把持するように前記ロボットアームの動作を制御する把持動作制御部と、前記センシング位置における前記センサ部によるセンシング結果を解析し、次回の把持動作の前の次回のセンシング動作のためのセンシング位置を特定し、前記センシング位置情報を更新するセンシング位置更新部と、を備える。

　上記の構成によれば、センサ部がセンシングしたセンシング結果に基づいて、今回の把持動作において把持すべき対象物が特定されるため、ロボットアームにより把持すべき対象物を把持および搬送できる。また、次回のセンシングにおいて、センサ部は、次回の把持対象となる対象物をセンシングすることができる位置に移動してセンシングすることができる。そのため、次回の把持対象となる対象物を検出できず、再センシングが必要となる可能性を低減できる。

　なお、今回のセンシング位置と次回のセンシング位置とは互いに異なる。そのため、次回のセンシング結果に新たな（次々回の）把持対象となる対象物が含まれる可能性が高くなる。それゆえ、次々と把持対象となる対象物を検出し、対象物の位置を特定することができる。

　前記センサ部は、前記所定の空間領域を撮像する撮像部であり、前記センシング位置情報は、撮像位置情報であり、前記センシング位置は、撮像位置であり、前記センシング位置制御部は、前記撮像位置情報に応じた前記撮像位置に前記撮像部を移動させるように前記ロボットアームの動作を制御する撮像位置制御部であり、前記センシング結果は、撮像画像であり、前記センシング動作は、撮像動作であり、前記センシング位置更新部は、前記撮像位置情報を更新する撮像位置更新部である構成であってもよい。

　前記センシング位置更新部は、前記センシング位置における前記センサ部によるセンシング結果を解析し、次回の把持動作において把持すべき前記対象物の位置に基づいて前記センシング位置情報を更新してもよい。

　上記の構成によれば、より確実に、次回の把持動作において把持すべき対象物を検出できるようなセンシング結果を得ることができる。そのため、次回の把持対象となる対象物を検出できず、再センシングが必要となる可能性をより低減できる。

　前記対象物特定部が前記センシング結果を解析した結果、今回の把持動作において把持すべき前記対象物が検出できない場合に、前記センシング位置制御部は、前記センサ部を所定量移動させるように前記ロボットアームの動作を制御し、前記対象物特定部は、前記センサ部が移動後の位置で再度センシングをおこなったセンシング結果を解析し、今回の把持動作において把持すべき前記対象物を特定してもよい。

　上記の構成によれば、センサ部によってセンシングされたセンシング結果に把持すべき対象物が検出できない場合でも、マニピュレータは自動的に把持すべき対象物を探して見つけ出すことができる。

　上述の何れかのマニピュレータは、無人搬送車に載置されてもよい。

　本開示の一態様に係る移動ロボットは、上述の何れかのマニピュレータと、前記マニピュレータを載置する無人搬送車とを備える。

　上記の構成によれば、マニピュレータを無人搬送車により移動させることができる。

　前記センシング位置更新部が特定したセンシング位置情報を、通信によって外部装置に送信するとともに、前記外部装置から別のマニピュレータによるセンシング結果に基づくセンシング位置情報を受信する通信部をさらに備え、前記センシング位置制御部が、前記通信部によって受信された前記センシング位置情報に応じたセンシング位置に前記センサ部を移動させるように前記ロボットアームの動作を制御してもよい。

　上記の構成によれば、複数のマニピュレータと、外部装置とが相互に通信し、センシング位置情報の共有を行うことで、マニピュレータが利用できるセンシング位置情報の量は飛躍的に多くなる。これにより、適切な位置にセンサ部を移動させてセンシングできる可能性が向上し、把持対象となる対象物を検出できる可能性が向上する。そのため、マニピュレータが把持対象となる対象物を検出できず、再度センシングを行う可能性を低減できる。

　なお、上記外部装置は、後述するサーバでもよいし、他のマニピュレータでもよい。上記外部装置が他のマニピュレータである場合、特定のマニピュレータがサーバ機能を有していてもよいし、複数のマニピュレータの間で上記センシング位置情報を相互に送受信してもよい。

　前記無人搬送車による移動が行われていない期間に複数の前記対象物の把持動作を繰り返す場合に、前記センシング位置制御部は、前記通信部によって受信される前記センシング位置情報を利用せずに、前記センシング位置更新部が前回の把持動作において特定したセンシング位置情報を利用して、前記センサ部の移動制御を行ってもよい。

　上記の構成によれば、マニピュレータが自ら生成した最新のセンシング位置情報によって、センサ部を、次回の把持対象となる対象物をセンシングできる位置に移動させることができる。また、外部装置からセンシング位置情報を受信する必要がなくなる。

　本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

　１、１ａ、１ｂ　移動ロボット
　２、２ａ、２ｂ、２ｃ、２ｄ、２ｅ　ワーク（対象物）
　１０　マニピュレータ
　１１　ロボットアーム
　１４　カメラ（撮像部、センサ部）
　２１　制御部
　２２　撮像位置更新部（センシング位置更新部）
　２３　対象物特定部
　２４　把持動作制御部
　２５　撮像位置制御部（センシング位置制御部）
　２６　無人搬送車制御部
　４０　第１通信部
　５０　無人搬送車
　６０　サーバ（外部装置）
　６１　第２通信部
　Ａ、Ａ１、Ａ２、Ａ３　撮像領域（空間領域）

Claims (8)

1. 　対象物に対する把持動作を行うロボットアームと、
   　前記ロボットアームに設けられた、複数の前記対象物が載置されることが可能な所定の空間領域を光または超音波によりセンシングするセンサ部と、
   　前記空間領域に対応付けられたセンシング位置情報に応じたセンシング位置に前記センサ部を移動させるように前記ロボットアームの動作を制御するセンシング位置制御部と、
   　前記センシング位置における前記センサ部によるセンシング結果を解析し、今回の把持動作において把持すべき前記対象物を特定する対象物特定部と、
   　前記対象物特定部によって特定された、今回の把持動作において把持すべき前記対象物を把持するように前記ロボットアームの動作を制御する把持動作制御部と、
   　前記センシング位置における前記センサ部によるセンシング結果を解析し、次回の把持動作の前の次回のセンシング動作のためのセンシング位置を特定し、前記センシング位置情報を更新するセンシング位置更新部と、
   を備えるマニピュレータ。
2. 　前記センサ部は、前記所定の空間領域を撮像する撮像部であり、
   　前記センシング位置情報は、撮像位置情報であり、
   　前記センシング位置は、撮像位置であり、
   　前記センシング位置制御部は、前記撮像位置情報に応じた前記撮像位置に前記撮像部を移動させるように前記ロボットアームの動作を制御する撮像位置制御部であり、
   　前記センシング結果は、撮像画像であり、
   　前記センシング動作は、撮像動作であり、
   　前記センシング位置更新部は、前記撮像位置情報を更新する撮像位置更新部である請求項１に記載のマニピュレータ。
3. 　前記センシング位置更新部は、前記センシング位置における前記センサ部によるセンシング結果を解析し、次回の把持動作において把持すべき前記対象物の位置に基づいて前記センシング位置情報を更新する請求項１または２に記載のマニピュレータ。
4. 　前記対象物特定部が前記センシング結果を解析した結果、今回の把持動作において把持すべき前記対象物が検出できない場合に、
   　前記センシング位置制御部は、前記センサ部を所定量移動させるように前記ロボットアームの動作を制御し、
   　前記対象物特定部は、前記センサ部が移動後の位置で再度センシングをおこなったセンシング結果を解析し、今回の把持動作において把持すべき前記対象物を特定する請求項１～３の何れか１項に記載のマニピュレータ。
5. 　無人搬送車に載置される請求項１～４の何れか１項に記載のマニピュレータ。
6. 　前記センシング位置更新部が特定したセンシング位置情報を、通信によって外部装置に送信するとともに、前記外部装置から別のマニピュレータによるセンシング結果に基づくセンシング位置情報を受信する通信部をさらに備え、
   　前記センシング位置制御部が、前記通信部によって受信された前記センシング位置情報に応じたセンシング位置に前記センサ部を移動させるように前記ロボットアームの動作を制御する請求項５に記載のマニピュレータ。
7. 　前記無人搬送車による移動が行われていない期間に複数の前記対象物の把持動作を繰り返す場合に、前記センシング位置制御部は、前記通信部によって受信される前記センシング位置情報を利用せずに、前記センシング位置更新部が前回の把持動作において特定したセンシング位置情報を利用して、前記センサ部の移動制御を行う請求項６に記載のマニピュレータ。
8. 　請求項１～７の何れか１項に記載のマニピュレータと、前記マニピュレータを載置する無人搬送車とを備える移動ロボット。

Images