JP7062406B2

JP7062406B2 - 情報処理装置及びロボットアーム制御システム

Info

Publication number: JP7062406B2
Application number: JP2017209394A
Authority: JP
Inventors: 昌孝佐藤; 優香渡辺
Original assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Current assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Priority date: 2017-10-30
Filing date: 2017-10-30
Publication date: 2022-05-16
Anticipated expiration: 2037-10-30
Also published as: US20190126473A1; EP3479973A1; JP2019081208A; CN109719719A

Description

本発明の実施形態は、情報処理装置及びロボットアーム制御システムに関する。

小包などの物品（荷物）を配送する仕分システムでは、収集した荷物を配送先ごとに仕分ける作業が必要となる。例えば、物品に吸着することにより物品を保持する保持機構と、保持機構を移動させるアーム機構とを有するロボットアームを備える仕分システムが実用化されている。

上記の様なロボットアームを備える仕分システムでは、画像に基づいて物品の形状等を認識し、認識結果に基づいて保持機構を物品に吸着させる位置を示す吸着点を決定する。しかし、認識が誤っていた場合、仕分システムは、吸着点を決定することができない、または吸着点に保持機構を移動させても物品に吸着させることができないなどの問題が生じる可能性がある。このような場合、ロボットアームの動作を停止させ、オペレータが物品の位置を調整する必要がある。

特開２０１６－１３２５２１号公報

本発明が解決しようとする課題は、ロボットアームの動作を停止させることなく、物品の保持作業を継続させることができる情報処理装置及びロボットアーム制御システムを提供することである。

実施形態によれば、所定範囲に置かれた物品に吸着し前記物品を保持する保持機構と、前記保持機構を移動させるアーム機構とを有するロボットアームに情報を供給する情報処理装置は、通信インタフェースと、制御部とを具備する。制御部は、前記所定範囲をカメラが撮像した画像に基づいて、前記保持機構を前記物品に吸着させる吸着点を算出し、算出した前記吸着点を示す情報を前記ロボットアームに供給する。また、制御部は、前記制御部は、前記画像に基づく前記吸着点の算出を行うことが出来なかった場合、オペレータが操作する操作端末から前記画像上の前記物品が写った領域を示す領域情報を取得し、前記領域情報に基づいて前記吸着点を再度算出し、再算出した前記吸着点を示す情報を前記ロボットアームに供給する。

図１は、一実施形態に係る仕分システムの構成例について説明する為の説明図である。図２は、一実施形態に係る情報処理装置の構成例について説明する為の説明図である。図３は、一実施形態に係る操作端末の構成例について説明する為の説明図である。図４は、一実施形態に係るロボットアームの動作について説明する為のフローチャートである。図５は、一実施形態に係る情報処理装置の動作について説明する為のフローチャートである。図６は、一実施形態に係る情報処理装置の動作について説明する為のフローチャートである。図７は、一実施形態に係る情報処理装置の動作について説明する為のフローチャートである。図８は、カメラから供給される画像の例について説明する為の説明図である。図９は、マスク画像の例について説明する為の説明図である。図１０は、マスク画像の他の例について説明する為の説明図である。図１１は、一実施形態に係る操作端末の動作について説明する為のフローチャートである。図１２は、一実施形態に係る操作端末の動作について説明する為のフローチャートである。図１３は、オペレータの操作結果の例について説明する為の図である。図１４は、オペレータの操作結果の例について説明する為の図である。図１５は、オペレータの操作結果の例について説明する為の図である。

以下、実施形態について、図面を参照して説明する。
図１は、仕分システム１の概略的な構成例について説明する為の説明図である。

仕分システム１は、カゴ車２に搭載された仕分対象である物品３を所定の仕分先に仕分けるシステムである。仕分先は、例えばベルトコンベア４である。なお、仕分先は、ベルトコンベア４に限定されるものではなく、仕分用のカゴであっても良いし、作業台などであっても良い。

仕分システム１は、ロボットアーム１１、情報処理装置１２、及び操作端末１３を備える。また、仕分システム１は、カメラ１４をさらに備える。ロボットアーム１１、情報処理装置１２、操作端末１３、及びカメラ１４は、ネットワーク１５を介して互いに通信可能に構成されている。

まず、ロボットアーム１１の構成について説明する。
ロボットアーム１１は、カゴ車２から物品３を持ち上げ、物品を仕分先に供給する装置である。ロボットアーム１１は、保持機構２１、アーム機構２２、接触センサ２３、圧力センサ２４、及びコントローラ２５を備える。

保持機構２１は、物品３を保持する機構である。保持機構２１は、例えば、物品３に吸着する少なくとも１つ以上の吸着パッドを備える。吸着パッドは、物品３の表面に接し、且つコントローラ２５により制御される真空ポンプ（図示せず）に連通したパッド部を備える。

アーム機構２２は、保持機構２１を移動させる機構である。アーム機構２２は、複数のアームと、複数のアームを連結する間接機構とを備える。間接機構は、コントローラ２５により制御されるアクチュエータ（図示せず）により可動することにより、アームを駆動する。

接触センサ２３は、保持機構２１に対して加えられる応力を検知するセンサである。接触センサ２３は、例えば、保持機構２１に対して鉛直方向から加わる応力を検知する。接触センサ２３は、検知結果をコントローラ２５に送信する。具体的には、接触センサ２３は、保持機構２１に対して鉛直方向から加わる応力を検知した場合、オン信号をコントローラ２５に供給する。

圧力センサ２４は、保持機構２１の吸着パッド内の圧力を検知するセンサである。圧力センサ２４は、例えば、保持機構２１の吸着パッドと真空ポンプとが連結される連結部の圧力を検知する。圧力センサは、検知結果をコントローラに送信する。具体的には、圧力センサ２４は、保持機構２１の吸着パッド内の圧力が負圧であることを検知した場合、オン信号をコントローラ２５に供給する。

コントローラ２５は、保持機構２１及びアーム機構２２の動作を制御する。コントローラ２５は、例えば、メモリ（図示せず）と、メモリに記憶されたプログラムを実行することにより保持機構２１及びアーム機構２２の動作を制御する演算素子（図示せず）とを備える。また、コントローラ２５は、シーケンサとして構成されていてもよい。

次に、カメラ１４の構成について説明する。
カメラ１４は、レンズと、レンズにより結像された光を画像に変換する撮像素子とを備える。カメラ１４のレンズは、ロボットアーム１１により持ち上げられる物品３が搭載されたカゴ車２内を撮影することができるように画角が調整されている。例えば、カメラ１４のレンズは、ロボットアーム１１の保持機構２１により物品３に吸着が可能な範囲が画角内に収まるように配置される。カメラ１４は、カゴ車２内を撮像することにより生成した画像を、ネットワーク１５を介して情報処理装置１２に供給する。なお、カメラは、物品３までの距離の情報を測定可能な、例えば３Ｄカメラを用いても良い。

次に、情報処理装置１２の構成について説明する。
図２は、情報処理装置１２の構成例について説明する為の説明図である。

情報処理装置１２は、ロボットアーム１１に座標情報を供給する装置である。座標情報は、鉛直方向に直交する面（水平面）における座標であり、ロボットアーム１１の保持機構２１の吸着パッドを物品３に吸着させる位置である吸着点を示す情報である。即ち、情報処理装置１２は、ロボットアーム１１に吸着点を指示する。例えば、情報処理装置１２は、パーソナルコンピュータ（ＰＣ）などの、データの処理及びデータの保存を行うことができる装置により構成される。

情報処理装置１２は、通信インタフェース３１及び制御部３２を備える。

通信インタフェース３１は、情報処理装置１２以外の他の機器と通信する為のインタフェースである。通信インタフェース３１は、ネットワーク１５を介してロボットアーム１１、操作端末１３、及びカメラ１４と通信する為の通信規格などに対応した端子及び回路を備える。通信インタフェース３１は、制御部３２の制御に基づいて、ロボットアーム１１、操作端末１３、及びカメラ１４などと通信する。

制御部３２は、種々の処理を実行する処理部である。制御部３２は、プロセッサ３３及びメモリ３４を備える。

プロセッサ３３は、演算処理を実行する演算素子である。プロセッサ３３は、例えばＣＰＵとして構成される。プロセッサ３３は、メモリ３４に記憶されているプログラムに基づいて種々の処理を行う。

メモリ３４は、プログラム及びデータを記憶する記憶装置である。メモリ３４は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。

次に、操作端末１３の構成について説明する。
図３は、操作端末１３の構成例について説明する為の説明図である。

操作端末１３は、情報処理装置１２に操作に基づく情報を供給する装置である。操作端末１３は、通信インタフェース４１、制御部４２、及びタッチパネル４３を備える。

通信インタフェース４１は、操作端末１３以外の他の機器と通信する為のインタフェースである。通信インタフェース４１は、ネットワーク１５を介してロボットアーム１１、情報処理装置１２、及びカメラ１４と通信する為の通信規格などに対応した端子及び回路を備える。通信インタフェース４１は、制御部４２の制御に基づいて、ロボットアーム１１、情報処理装置１２、及びカメラ１４などと通信する。

制御部４２は、種々の処理を実行する処理部である。制御部４２は、プロセッサ４４及びメモリ４５を備える。

プロセッサ４４は、演算処理を実行する演算素子である。プロセッサ４４は、例えばＣＰＵとして構成される。プロセッサ４４は、メモリ４５に記憶されているプログラムに基づいて種々の処理を行う。

メモリ４５は、プログラム及びデータを記憶する記憶装置である。メモリ４５は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。

タッチパネル４３は、画面の表示と、操作に基づく操作信号の生成とを行う装置である。タッチパネル４３は、一体に構成されたディスプレイ４６及びタッチセンサ４７を備える。操作端末１３は、タッチパネル４３の代わりに画面を表示するディスプレイと、操作に基づき操作信号を生成する操作部とを備える構成であってもよい。操作部は、マウス、トラックボール、キーボード、トラックパッドなど如何なるものであってもよい。

ディスプレイ４６は、制御部４２または図示されないグラフィックコントローラから供給される表示用のデータ（画面データ）に基づいて画面を表示する。

タッチセンサ４７は、ディスプレイ４６に表示された画面上において操作端末１３を操作するオペレータがタッチした位置を示す操作信号を生成する。

次に、ロボットアーム１１の動作について説明する。
図４は、ロボットアーム１１の動作について説明する為のフローチャートである。

ロボットアーム１１のコントローラ２５は、アームをカメラ１４のレンズの画角外（即ち撮影範囲外）に移動させる（ステップＳ１１）。例えば、コントローラ２５は、アーム機構２２の間接機構をアクチュエータにより可動させることにより、アーム機構２２を駆動し、アーム機構２２及び保持機構２１を撮影範囲外に移動させる。なお、カメラ１４は、アーム機構２２及び保持機構２１を撮影範囲外に移動したタイミングで画像を取得し、情報処理装置１２に送信する。

コントローラ２５は、アーム機構２２及び保持機構２１を撮影範囲外に移動させると、情報処理装置１２から座標情報が供給されるのを待つ（ステップＳ１２）。

コントローラ２５は、情報処理装置１２から座標情報が供給された場合（ステップＳ１２、ＹＥＳ）、座標情報に基づき保持機構２１の吸着パッドを移動させる（ステップＳ１３）。例えば、コントローラ２５は、座標情報が示す吸着点に保持機構２１の吸着パッドを移動させるように、アーム機構２２を制御する。より具体的には、コントローラ２５は、座標情報が示す吸着点と、保持機構２１の吸着パッドにおける基準点とが重なるように、アーム機構２２を制御する。吸着パッドの基準点は、例えば吸着パッドの中心（重心）であってもよいし、吸着パッドにおける任意の点であってもよい。

コントローラ２５は、吸着点において保持機構２１を下降させるように、アーム機構２２を制御する（ステップＳ１４）。

コントローラ２５は、接触センサ２３の検知結果（接触検知結果）がオンであるか否か判断する（ステップＳ１５）。コントローラ２５は、接触センサ２３の検知結果に基づいて、保持機構２１の吸着パッドが物品３の表面に接したか否か判断する。例えば、コントローラ２５は、接触センサ２３からオン信号を受信した場合、保持機構２１の吸着パッドが物品３の表面に接したと判断する。即ち、コントローラ２５は、物品３に吸着パッドが接したか否かを判断する。

コントローラ２５は、接触センサ２３からオン信号を受信しない場合（ステップＳ１５、ＮＯ）、最大ストロークであるか否か判断する（ステップＳ１６）。コントローラ２５は、アーム機構２２により保持機構２１をそれ以上下降できない場合、最大ストロークに達したと判断する。

コントローラ２５は、最大ストロークではないと判断した場合（ステップＳ１６、ＮＯ）、ステップＳ１４の処理に移行し、再度保持機構２１を下降させるように、アーム機構２２を制御する。これにより、コントローラ２５は、吸着パッドが物品３の表面に接するまで保持機構２１を効果させる。

コントローラ２５は、最大ストロークであると判断した場合（ステップＳ１６、ＹＥＳ）、物品３に吸着パッドが接触しなかったことを示す接触検知エラーを情報処理装置１２に送信し（ステップＳ１７）、ステップＳ１１の処理に移行する。即ち、コントローラ２５は、情報処理装置１２から指示された吸着点において、最大ストロークまで保持機構２１を下降させても、保持機構２１の吸着パッドが物品３の表面に接しなかった場合、接触検知エラーを情報処理装置１２に送信する。さらに、コントローラ２５は、アーム機構２２及び保持機構２１をカメラ１４の画角外に移動させ、次の座標情報の受信を待つ状態になる。

また、コントローラ２５は、ステップＳ１５において、接触センサ２３からオン信号を受信した場合（ステップＳ１５、ＹＥＳ）、保持機構２１により吸着処理を実行する（ステップＳ１８）。コントローラ２５は、保持機構２１の吸着パッドに連結した真空ポンプを動作させることにより、吸着パッドを物品３の表面に吸着させる吸着処理を実行する。例えば、コントローラ２５は、保持機構２１の吸着パッドが物品に接している状態で、真空ポンプにより吸着パッド内を真空状態にすることにより、吸着パッドを物品３の表面に吸着させる。

コントローラ２５は、圧力センサ２４の検知結果（圧力検知結果）に基づいて、保持機構２１の吸着パッド内の圧力が負圧であるか否か判断する（ステップＳ１９）。即ち、コントローラ２５は、圧力センサ２４の検知結果に基づいて、保持機構２１の吸着パッドが物品３の表面に吸着したか否かを判断する。例えば、コントローラ２５は、圧力センサ２４からオン信号を受信した場合、保持機構２１の吸着パッド内が真空状態になり、吸着パッドが物品３の表面に吸着したと判断する。

コントローラ２５は、保持機構２１の吸着パッド内の圧力が負圧ではないと判断した場合、（ステップＳ１９、ＮＯ）、物品３に吸着パッドが吸着しなかったことを示す圧力検知エラーを情報処理装置１２に送信し（ステップＳ２０）、ステップＳ１１の処理に移行する。即ち、コントローラ２５は、保持機構２１の吸着パッドが物品３の表面に接した状態で、吸着処理を実行しても、物品３の表面に吸着パッドが吸着しなかった場合、圧力検知エラーを情報処理装置１２に送信する。さらに、コントローラ２５は、アーム機構２２及び保持機構２１をカメラ１４の画角外に移動させ、次の座標情報の受信を待つ状態になる。なお、コントローラ２５は、保持機構２１の吸着パッドが物品３の表面に吸着したか否かを所定時間継続して行い、所定時間の間に圧力センサ２４からオン信号を受信しなかった場合に圧力検知エラーを情報処理装置１２に送信する構成であってもよい。

コントローラ２５は、保持機構２１の吸着パッド内の圧力が負圧と判断した場合、（ステップＳ１９、ＹＥＳ）、コントローラ２５は、物品３を保持した保持機構２１を上昇させるように、アーム機構２２を制御する（ステップＳ２１）。

コントローラ２５は、保持機構２１を所定の高さまで上昇させると、保持機構２１を仕分先に応じたベルトコンベア４に対応した位置まで移動させるように、アーム機構２２を制御する（ステップＳ２２）。

コントローラ２５は、保持機構２１を仕分先に応じたベルトコンベア４に対応した位置まで移動させると、吸着パッドから物品３を離すように保持機構２１を制御し（ステップＳ２３）、１つの物品の仕分が完了したことを示す完了通知を情報処理装置１２に送信し、ステップＳ１１の処理に移行する。これにより、吸着パッドから離れた物品３が、仕分先のベルトコンベア４に投入される。さらに、コントローラ２５は、アーム機構２２及び保持機構２１をカメラ１４の画角外に移動させ、次の座標情報の受信を待つ状態になる。

なお、ロボットアーム１１のコントローラ２５は、情報処理装置１２から終了指示が供給された場合、アーム機構２２及び保持機構２１を所定の位置に移動させ、図４の処理を終了する。

次に、情報処理装置１２の動作について説明する。
図５乃至図７は、情報処理装置１２の動作について説明する為のフローチャートである。

情報処理装置１２の制御部３２は、カメラ１４から画像が供給されるのを待つ（ステップＳ３１）。上記したように、カメラ１４は、ロボットアーム１１により持ち上げられる物品３が搭載されたカゴ車２内の画像を情報処理装置１２に供給する。

図８は、カメラ１４から供給される画像の例について説明する為の説明図である。図８に示されるように、カメラ１４から供給される画像には、カゴ車２内に搭載された複数の物品３が写っている。また、複数の物品３は、重ねられてカゴ車２に搭載される為、他の物品３により一部が隠れた物品３も映り込む。

制御部３２は、カメラ１４から画像を受信すると（ステップＳ３１、ＹＥＳ）、受信した画像に対して画像処理を施す（ステップＳ３２）。例えば、制御部３２は、カメラ１４から受信した画像（全体画像）に基づきマスク画像を生成する。

図９は、マスク画像の例について説明する為の説明図である。マスク画像は、全体画像の一部を抽出した（もしくは選択した）画像である。例えば、制御部３２は、物品３までの距離を計測する図示されない距離センサにより取得した距離情報に基づき、カゴ車２内で最も高い位置に存在する面に対応する領域５１抽出したマスク画像を生成する。

制御部３２は、画像処理を施した画像（マスク画像）に基づいて、仕分を行う対象の物品３の形状を認識する（ステップＳ３３）。例えば、制御部３２は、マスク画像の輪郭を物品３の形状として認識する。制御部３２は、画像上において、物品３の形状の輪郭で囲まれる面、即ち図９における領域５１を、吸着パッドにより吸着処理を行う面（吸着面）として認識する。なお、制御部３２は、ステップＳ３２の画像処理を行わずに、全体画像から特定の形状、または直線などを検出することによって、仕分を行う対象の物品３の形状を認識する構成であってもよい。

制御部３２は、物品３の形状の認識結果に基づいて、仕分が可能な物品が存在するか否か判断する（ステップＳ３４）。例えば、制御部３２は、ステップＳ３３で吸着面を認識することができ、且つ吸着面のサイズが予め設定されたサイズよりも大きい場合、仕分が可能な物品が存在すると判断する。また、制御部３２は、ステップＳ３３で吸着面を認識することができ、且つ吸着面のサイズが予め設定されたサイズよりも小さい場合、仕分が可能な物品が存在しないと判断する。また、制御部３２は、ステップＳ３３で吸着面を認識することができなかった場合、仕分が可能な物品が存在しないと判断する。

制御部３２は、仕分が可能な物品が存在すると判断した場合（ステップＳ３４、ＹＥＳ）、吸着点の座標を算出する（ステップＳ３５）。例えば、制御部３２は、ステップＳ３３で認識した吸着面に基づいて、吸着点の座標を算出する。具体的には、制御部３２は、吸着面の中心（若しくは重心）の座標を吸着点の座標として算出する。

制御部３２は、吸着点の座標を示す座標情報を生成し、座標情報をロボットアーム１１に送信する（ステップＳ３６）。

制御部３２は、ロボットアーム１１から完了通知を受信したか否か判断する（ステップＳ３７）。制御部３２は、ロボットアーム１１から完了通知を受信したと判断した場合（ステップＳ３７、ＹＥＳ）、ステップＳ３１の処理に移行し、カメラ１４から供給される画像に基づいて、次の物品３の吸着点の算出を行う。

また、制御部３２は、ロボットアーム１１から完了通知を受信していないと判断した場合（ステップＳ３７、ＮＯ）、接触検知エラーをロボットアーム１１から受信したか否か判断する（ステップＳ３８）。

制御部３２は、接触検知エラーをロボットアーム１１から受信していないと判断した場合（ステップＳ３８、ＮＯ）、圧力検知エラーをロボットアーム１１から受信したか否か判断する（ステップＳ３９）。

制御部３２は、圧力検知エラーをロボットアーム１１から受信していないと判断した場合（ステップＳ３９、ＮＯ）、ステップＳ３７の処理に移行し、完了通知、接触検知エラー、及び圧力検知エラーのいずれかの通知がロボットアーム１１から供給されるのを待つ。

また、制御部３２は、ステップＳ３４において、仕分が可能な物品が存在しないと判断した場合（ステップＳ３４、ＮＯ）、または、ステップＳ３８において、接触検知エラーをロボットアーム１１から受信したと判断した場合（ステップＳ３８、ＹＥＳ）、図６に示すステップＳ４１の処理に移行する。

カゴ車２内に物品３が存在しない、物品３がカメラ１４の死角に存在する、または正しく物品３の形状が認識できていない場合に、仕分が可能な物品が存在しないと制御部３２が判断することが想定される。例えば、図１０に示されるように物品３の吸着面５２の認識が誤っており、算出された吸着点５３に物品３が存在しない場合、ロボットアーム１１は、最大ストロークまで保持機構２１を下降させても、物品３の表面に吸着パッドを接触させることができない。このような場合に、制御部３２は、接触検知エラーをロボットアーム１１から受信することが想定される。このようなケースでは、画像を操作端末１３に送信し、操作端末１３のオペレータに画像を確認させ、オペレータの操作に基づいて吸着点を決定する必要がある。そこで、制御部３２は、カメラ１４から受信した画像と、領域の選択を要求する情報とを操作端末１３に送信する（ステップＳ４１）。制御部３２は、例えばカメラ１４から取得した画像に対して画像処理を施した画像を操作端末１３に供給する構成であってもよい。また、制御部３２は、カメラ１４により再度撮像を行わせることにより取得した画像を操作端末１３に供給する構成であってもよい。

操作端末１３では、後述する領域入力処理が行われ、画像上の領域（特定領域）を示す情報である領域情報が生成される。操作端末１３は、生成した領域情報を情報処理装置１２に送信する。

制御部３２は、操作端末１３から領域情報を受信したか否か判断する（ステップＳ４２）。制御部３２は、操作端末１３から領域情報を受信するまで待機する。

制御部３２は、操作端末１３から領域情報を受信したと判断した場合（ステップＳ４２、ＹＥＳ）、領域情報に基づいて、吸着点の座標を算出する（ステップＳ４３）。例えば、制御部３２は、領域情報が示す画像上の特定領域に基づいて、吸着点の座標を算出する。具体的には、制御部３２は、特定領域の中心（若しくは重心）の座標を吸着点の座標として算出する。

制御部３２は、ステップＳ４３で算出した吸着点の座標を示す座標情報を生成し、座標情報をロボットアーム１１に送信し（ステップＳ４４）、図５のステップＳ３７の処理に移行する。これにより、仕分が可能な物品が存在しないと判断した場合、または吸着点に対応する位置で吸着パッドと物品３とが接触しない場合、オペレータの操作に基づき決定された領域に基づき、吸着点の座標を再度算出することができる。これにより、情報処理装置１２は、認識不良が生じた場合であっても、ロボットアーム１１の動作を停止させずに、正しい吸着点を決定することができる。

また、制御部３２は、ステップＳ３９において、圧力検知エラーをロボットアーム１１から受信したと判断した場合（ステップＳ３９、ＹＥＳ）、図７に示すステップＳ５１の処理に移行する。

保持機構２１の吸着パッドが物品３の表面に接した状態で吸着パッドと物品３との間に隙間が存在する場合、吸着処理を実行したとしても圧力センサ２４が負圧を検知せず、ロボットアーム１１から圧力検知エラーが通知される。例えば、物品３の表面に凹凸が存在する場合に、吸着パッドと物品３との間に隙間が生じることが想定される。このようなケースでは、画像を操作端末１３に送信し、操作端末１３のオペレータに画像を確認させ、物品３の吸着しやすい位置をオペレータに選択させる必要がある。そこで、制御部３２は、カメラ１４から受信した画像と、吸着点の選択を要求する情報とを操作端末１３に送信する（ステップＳ５１）。制御部３２は、例えばカメラ１４から取得した画像に対して画像処理を施した画像を操作端末１３に供給する構成であってもよい。また、制御部３２は、カメラ１４により再度撮像を行わせることにより取得した画像を操作端末１３に供給する構成であってもよい。

操作端末１３では、後述する吸着点入力処理が行われ、画像上のある座標（吸着点）を示す情報である吸着点情報が生成される。操作端末１３は、生成した吸着点情報を情報処理装置１２に送信する。

制御部３２は、操作端末１３から吸着点情報を受信したか否か判断する（ステップＳ５２）。制御部３２は、操作端末１３から吸着点情報を受信するまで待機する。

制御部３２は、操作端末１３から吸着点情報を受信したと判断した場合（ステップＳ５２、ＹＥＳ）、吸着点情報に基づいて、吸着点の座標を決定する（ステップＳ５３）。例えば、制御部３２は、吸着点情報が示す座標を吸着点の座標として決定する。

制御部３２は、ステップＳ５３で算出した吸着点の座標を示す座標情報を生成し、座標情報をロボットアーム１１に送信し（ステップＳ５４）、図５のステップＳ３７の処理に移行する。これにより、吸着処理により吸着パッドが物品３に吸着しなかった場合、オペレータの操作に基づき、吸着点を再度算出することができる。これにより、情報処理装置１２は、物品３の表面に吸着に不向きな領域が存在する場合であっても、ロボットアーム１１の動作を停止させずに、正しい吸着点を決定することができる。

なお、情報処理装置１２の制御部３２は、操作端末１３から終了指示が供給された場合、ロボットアーム１１に終了指示を供給し、図５乃至図７の処理を終了する。

また、制御部３２は、図６のステップＳ４１乃至ステップＳ４４の処理、または図７のステップＳ５１乃至ステップＳ５５の処理により、座標情報をロボットアーム１１に再送したにも関わらず、図５のステップＳ３７でロボットアーム１１から完了通知を受信しなかったと判断した場合、ステップＳ３８及びステップＳ３７の処理に移行せず、エラーを報知する構成であってもよい。例えば、制御部３２は、操作端末１３に保持が失敗した旨を示す画面を送信し、表示させる。また例えば、制御部３２は、仕分システム１のネットワーク１５に接続された表示装置またはスピーカなどから、保持が失敗したことをオペレータに報知させてもよい。

次に、操作端末１３の動作について説明する。
図１１及び図１２は、操作端末１３の動作について説明する為のフローチャートである。

操作端末１３の制御部４２は、情報処理装置１２から画像が供給されるのを待つ（ステップＳ６１）。

制御部４２は、情報処理装置１２から画像が供給されると（ステップＳ６１、ＹＳＥ）、領域の選択が要求されているか、吸着点の選択が要求されているかを判断する（ステップＳ６２）。例えば、制御部４２は、情報処理装置１２から画像とともに領域の選択を要求する情報が送信された場合、領域の選択が要求されていると判断する。また、例えば、制御部４２は、情報処理装置１２から画像とともに吸着点の選択を要求する情報が送信された場合、吸着点の選択が要求されていると判断する。

制御部４２は、領域の選択が要求されていると判断した場合、領域入力処理を行う。この場合、制御部４２は、まず供給された画像をディスプレイ４６に表示させる（ステップＳ６３）。

制御部４２は、領域を入力すること促す情報をディスプレイ４６に表示させる（ステップＳ６４）。オペレータは、タッチパネル４３に対して、任意の領域をなぞる操作を行うことにより、領域を入力する。また、制御部４２は、領域の入力を行わずにロボットアーム１１の動作を停止（終了）させる為の表示であるボタン（終了ボタン）をディスプレイ４６にさらに表示させてもよい。

例えば、領域を入力すること促す情報は、仕分する物品３の輪郭を描画することを促す情報である。この場合、オペレータは、タッチパネル４３のディスプレイ４６に表示された物品３の輪郭をなぞる操作を行うことにより、領域を入力する。

図１３は、オペレータがタッチパネル４３のディスプレイ４６に表示された物品３の輪郭をなぞる操作を行った結果について説明する為の図である。制御部４２は、オペレータが物品３の輪郭をなぞる操作を行う際のタッチセンサ４７のタッチ位置の軌跡に基づいて、画像上の領域５４を特定する。情報処理装置１２は、この領域５４に基づいて吸着点５５を算出することができる。

また、例えば、領域を入力すること促す情報は、仕分する物品３において、吸着可能な領域を描画することを促す情報であってもよい。この場合、オペレータは、タッチパネル４３のディスプレイ４６に表示された物品３において、吸着可能であると判断される任意の領域の輪郭をなぞる操作を行うことにより、領域を入力する。

図１４は、オペレータがタッチパネル４３のディスプレイ４６に表示された物品３の、吸着可能であると判断される任意の領域の輪郭をなぞる操作を行った結果について説明する為の図である。制御部４２は、オペレータが領域の輪郭をなぞる操作を行う際のタッチセンサ４７のタッチ位置の軌跡に基づいて、画像上の領域５６を特定する。情報処理装置１２は、この領域５６に基づいて吸着点５７を算出することができる。

制御部４２は、領域を入力する操作が行われたか否か判断する（ステップＳ６５）。例えば、制御部４２は、ステップＳ６３及びステップＳ６４の表示を行った状態において、タッチセンサ４７に対して、任意の領域を囲う入力操作が行われた場合、領域を入力する操作が行われ、図１３または図１４に示されるような領域が特定されたか否か判断する。

制御部４２は、領域を入力する操作が行われ、領域が特定されたと判断した場合（ステップＳ６５、ＹＥＳ）、画像上において特定した領域の座標を示す領域情報を生成する（ステップＳ６６）。領域情報は、例えば、タッチセンサ４７のタッチ位置の軌跡に基づいて生成されたベクトルデータであってもよいし、領域の位置に対応するラスタデータであってもよい。

制御部４２は、生成した領域情報を情報処理装置１２に送信し（ステップＳ６７）、処理を終了する。

また、制御部４２は、ステップＳ６５において、領域を入力する操作が行われていないと判断した場合（ステップＳ６５、ＮＯ）、ロボットアーム１１の動作を終了させるか否か判断する（ステップＳ６８）。例えば、制御部４２は、領域を入力する操作が行われていない状態で所定時間が経過した場合、ロボットアーム１１の動作を終了させると判断する。また、例えば、制御部４２は、タッチパネル４３に表示された終了ボタンが選択された場合、ロボットアーム１１の動作を終了させると判断してもよい。

制御部４２は、ロボットアーム１１の動作を終了させないと判断した場合（ステップＳ６８、ＮＯ）、ステップＳ６４の処理に移行し、再度領域が入力されたか否か判断する。

また、制御部４２は、ロボットアーム１１の動作を終了させると判断した場合（ステップＳ６８、ＹＥＳ）、情報処理装置１２に終了指示を供給し（ステップＳ６９）、図１１の処理を終了する。

また、制御部４２は、ステップＳ６２で吸着点の選択が要求されていると判断した場合、吸着点入力処理を行う。この場合、制御部４２は、まず供給された画像をディスプレイ４６に表示させる（ステップＳ７１）。

制御部４２は、吸着点を入力すること促す情報をディスプレイ４６に表示させる（ステップＳ７２）。オペレータは、タッチパネル４３に対して、任意の吸着点をタッチする操作を行うことにより、吸着点を入力する。また、制御部４２は、吸着点の入力を行わずにロボットアーム１１の動作を停止（終了）させる為の表示であるボタン（終了ボタン）をディスプレイ４６にさらに表示させてもよい。

例えば、吸着点を入力すること促す情報は、仕分する物品３の表面において、吸着パッドにより吸着が可能であると思われる位置を選択することを促す情報である。この場合、オペレータは、タッチパネル４３のディスプレイ４６に表示された物品３の表面の状態を画像から認識し、画面上の任意の位置にタッチすることにより、吸着点を入力する。

図１５は、オペレータがタッチパネル４３のディスプレイ４６に表示された物品３の表面の吸着点を選択する操作を行った結果について説明する為の図である。制御部４２は、タッチセンサ４７のタッチ位置に基づいて、画像上の吸着点５８を特定する。

制御部４２は、吸着点を入力する操作が行われたか否か判断する（ステップＳ７３）。例えば、制御部４２は、ステップＳ７１及びステップＳ７２の表示を行った状態において、タッチセンサ４７に対してタッチ操作が行われた場合、図１５に示されるような吸着点が特定されたと判断する。

制御部４２は、吸着点が特定されたと判断した場合（ステップＳ７３、ＹＥＳ）、画像上において特定した吸着点の座標を示す吸着点情報を生成する（ステップＳ７４）。吸着点情報は、例えば、タッチセンサ４７のタッチ位置に応じた座標のデータである。

制御部４２は、生成した吸着点情報を情報処理装置１２に送信し（ステップＳ７５）、処理を終了する。

ロボットアーム１１のコントローラ２５は、情報処理装置１２から供給された吸着点情報（座標情報）を受信した場合、保持機構２１の吸着パッドにおける基準点と吸着点情報が示す吸着点とが重なる位置に保持機構２１が移動するように、アーム機構２２を制御する。さらに、コントローラ２５は、保持機構２１を下降させ、保持機構２１の吸着パッドを物品３の表面に接したか否か判断する。コントローラ２５は、保持機構２１の吸着パッドを物品３の表面に接した場合、保持機構２１により吸着処理を実行し、吸着パッドを物品３の表面に吸着させる。

また、制御部４２は、ステップＳ７３において、吸着点が特定されていないと判断した場合（ステップＳ７３、ＮＯ）、ロボットアーム１１の動作を終了させるか否か判断する（ステップＳ７６）。例えば、制御部４２は、吸着点を入力する操作が行われていない状態で所定時間が経過した場合、ロボットアーム１１の動作を終了させると判断する。また、例えば、制御部４２は、タッチパネル４３に表示された終了ボタンが選択された場合、ロボットアーム１１の動作を終了させると判断してもよい。

制御部４２は、ロボットアーム１１の動作を終了させないと判断した場合（ステップＳ７６、ＮＯ）、ステップＳ７３の処理に移行し、再度吸着点が入力されたか否か判断する。

また、制御部４２は、ロボットアーム１１の動作を終了させると判断した場合（ステップＳ７６、ＹＥＳ）、情報処理装置１２に終了指示を供給し（ステップＳ７７）、図１２の処理を終了する。

上記したように、情報処理装置１２は、画像認識の結果、仕分が可能な物品が存在しないと判断した場合、または吸着点に対応する位置で吸着パッドと物品３とが接触しない場合、領域の入力を要求する情報と画像とをオペレータが操作する操作端末１３に供給する。操作端末１３は、タッチパネル４３により画像を表示させ、オペレータに領域を入力することを促す。これにより、オペレータは、タッチパネル４３により物品３の表面に対応する領域を入力する。情報処理装置１２は、オペレータが入力した領域に基づき、吸着点の座標を再度算出し、ロボットアーム１１に供給する。この結果、情報処理装置１２は、認識不良が生じた場合であっても、再算出された吸着点によって、ロボットアーム１１の動作を継続させることができる。

操作端末１３は、オペレータが物品３の輪郭をなぞる操作を行った場合、画像上において物品３の吸着面に対応する領域を特定することができる。これにより、操作端末１３は、情報処理装置１２における画像処理では正しく吸着面が認識されなかった場合であっても、正しい吸着面を情報処理装置１２に教示することができる。

また、例えば物品３の表面において吸着に適さない領域が存在する場合、オペレータがその領域を除いて領域をなぞる操作を行うことが想定される。この場合、操作端末１３は、物品３の表面の吸着に適さない領域を避けて領域を特定することができる。これにより、操作端末１３は、ロボットアーム１１が吸着しやすい領域を情報処理装置１２に教示することができる。

また、上記したように、情報処理装置１２は、吸着処理が失敗する場合、吸着点の入力を要求する情報と画像とをオペレータが操作する操作端末１３に供給する。操作端末１３は、タッチパネル４３により画像を表示させ、オペレータに吸着点を入力することを促す。これにより、オペレータは、タッチパネル４３により物品３の表面において、吸着パッドを吸着させる位置を入力する。情報処理装置１２は、オペレータが入力した吸着点に対応する座標をロボットアーム１１に座標情報として供給する。この結果、情報処理装置１２は、吸着処理が失敗した場合であっても、オペレータが入力した吸着点を用いて、ロボットアーム１１の動作を継続させることができる。

なお、上記の実施形態では、ロボットアーム１１の保持機構２１は、吸着パッドを物品３の表面に吸着させることにより、物品３を保持する構成として説明したが、この構成に限定されない。ロボットアーム１１の保持機構２１は、２点以上の接点で物品３を挟むことにより物品３を保持する構成であってもよい。この場合、上記の吸着点は、２点以上の接点に置き換えられる。なお、接点は、吸着点とは異なり、物品３の輪郭上の点である必要がある。この場合、オペレータは、操作端末１３により、画像上の物品３の輪郭をなぞることにより、物品３の輪郭を入力する。操作端末１３は、物品３の輪郭を示す情報を情報処理装置１２に教示することにより、情報処理装置１２に接点を再算出させる。また、オペレータは、操作端末１３により、画像上の物品３の輪郭上の２つ以上の接点を入力してもよい。操作端末１３は、物品３を保持可能な接点を示す情報を情報処理装置１２に教示することにより、ロボットアーム１１による仕分を継続させる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
所定範囲に置かれた物品に吸着し前記物品を保持する保持機構と、前記保持機構を移動させるアーム機構とを有するロボットアームに情報を供給する情報処理装置であって、通信を行う通信インタフェースと、
前記所定範囲をカメラが撮像した画像に基づいて、前記保持機構を前記物品に吸着させる吸着点を算出し、算出した前記吸着点を示す情報を前記ロボットアームに供給する制御部と、
を具備し、
前記制御部は、前記画像に基づく前記吸着点の算出を行うことが出来なかった場合、オペレータが操作する操作端末から前記画像上の前記物品が写った領域を示す領域情報を取得し、前記領域情報に基づいて前記吸着点を再度算出し、再算出した前記吸着点を示す情報を前記ロボットアームに供給する、情報処理装置。
［Ｃ２］
前記制御部は、前記ロボットアームの前記保持機構が前記吸着点において前記物品に接しなかった場合、前記操作端末から前記画像上の前記物品が写った領域を示す領域情報を取得し、前記領域情報に基づいて前記吸着点を再度算出する、Ｃ１に記載の情報処理装置。
［Ｃ３］
前記領域情報は、前記画像上における前記物品の輪郭を示す情報である、Ｃ２に記載の情報処理装置。
［Ｃ４］
前記領域情報は、前記画像上における前記物品上の任意の領域を示す情報である、Ｃ２に記載の情報処理装置。
［Ｃ５］
前記制御部は、前記領域情報が示す領域の中心を前記吸着点として決定する、Ｃ１乃至４のいずれか１項に記載の情報処理装置。
［Ｃ６］
前記制御部は、前記ロボットアームの前記保持機構が前記吸着点において前記物品に接した状態で、前記物品に吸着することが出来なかった場合、前記物品において吸着が可能な点を示す吸着点情報を前記操作端末から取得し、前記吸着点情報が示す吸着点を前記ロボットアームに供給する、Ｃ１に記載の情報処理装置。
［Ｃ７］
前記制御部は、前記ロボットアームの前記保持機構が、再算出された前記吸着点において前記物品を保持できなかった場合、前記物品を保持できなかった旨を報知するＣ２又は６に記載の情報処理装置。
［Ｃ８］
ロボットアームと、前記ロボットアームに情報を供給する情報処理装置とを具備するロボットアーム制御システムであって、
前記ロボットアームは、
所定範囲に置かれた物品に吸着し前記物品を保持する保持機構と、
前記保持機構を移動させるアーム機構と、
を具備し、
前記情報処理装置は、
前記所定範囲をカメラが撮像した画像に基づいて、前記保持機構を前記物品に吸着させる吸着点を算出し、算出した前記吸着点を示す情報を前記ロボットアームに供給する制御部を具備し、
前記制御部は、前記画像に基づく前記吸着点の算出を行うことが出来なかった場合、オペレータが操作する操作端末から前記画像上の前記物品が写った領域を示す領域情報を取得し、前記領域情報に基づいて前記吸着点を再度算出し、再算出した前記吸着点を示す情報を前記ロボットアームに供給するロボットアーム制御システム。

１…仕分システム、２…カゴ車、３…物品、４…ベルトコンベア、１１…ロボットアーム、１２…情報処理装置、１３…操作端末、１４…カメラ、１５…ネットワーク、２１…保持機構、２２…アーム機構、２３…接触センサ、２４…圧力センサ、２５…コントローラ、３１…通信インタフェース、３２…制御部、３３…プロセッサ、３４…メモリ、４１…通信インタフェース、４２…制御部、４３…タッチパネル、４４…プロセッサ、４５…メモリ、４６…ディスプレイ、４７…タッチセンサ。

Claims

所定範囲に置かれた物品に吸着し前記物品を保持する保持機構と、前記保持機構を移動させるアーム機構とを有するロボットアームに情報を供給する情報処理装置であって、
通信を行う通信インタフェースと、
前記所定範囲をカメラが撮像した画像に基づいて、前記保持機構を前記物品に吸着させる吸着点を算出し、算出した前記吸着点を示す情報を前記ロボットアームに供給する制御部と、
を具備し、
前記制御部は、前記画像に基づく前記吸着点の算出を行うことが出来なかった場合、オペレータが操作する操作端末から前記画像上の前記物品が写った領域を示す領域情報を取得し、前記領域情報に基づいて前記吸着点を再度算出し、再算出した前記吸着点を示す情報を前記ロボットアームに供給する、情報処理装置。
前記制御部は、前記ロボットアームの前記保持機構が前記吸着点において前記物品に接しなかった場合、前記操作端末から前記画像上の前記物品が写った領域を示す領域情報を取得し、前記領域情報に基づいて前記吸着点を再度算出する、請求項１に記載の情報処理装置。
前記領域情報は、前記画像上における前記物品の輪郭を示す情報である、請求項２に記載の情報処理装置。
前記領域情報は、前記画像上における前記物品上の任意の領域を示す情報である、請求項２に記載の情報処理装置。
前記制御部は、前記領域情報が示す領域の中心又は重心を前記吸着点として決定する、請求項１乃至４のいずれか１項に記載の情報処理装置。
前記制御部は、前記ロボットアームの前記保持機構が、再算出された前記吸着点において前記物品を保持できなかった場合、前記物品を保持できなかった旨を報知する請求項２に記載の情報処理装置。
ロボットアームと、前記ロボットアームに情報を供給する情報処理装置とを具備するロボットアーム制御システムであって、
前記ロボットアームは、
所定範囲に置かれた物品に吸着し前記物品を保持する保持機構と、
前記保持機構を移動させるアーム機構と、
を具備し、
前記情報処理装置は、
前記所定範囲をカメラが撮像した画像に基づいて、前記保持機構を前記物品に吸着させる吸着点を算出し、算出した前記吸着点を示す情報を前記ロボットアームに供給する制御部を具備し、
前記制御部は、前記画像に基づく前記吸着点の算出を行うことが出来なかった場合、オペレータが操作する操作端末から前記画像上の前記物品が写った領域を示す領域情報を取得し、前記領域情報に基づいて前記吸着点を再度算出し、再算出した前記吸着点を示す情報を前記ロボットアームに供給するロボットアーム制御システム。