JP6576050B2 - 物体移動方法及びシステム - Google Patents

Description

本発明は、物体移動方法及びシステムに関する。

近年、工業用製品の組立等において、整列されずにバラ置き（積み）されたワーク（物体）をパレット（箱）から１つずつ取り出す作業や、ワークを整列させる作業を、人間のかわりにロボットが行うようになりつつある。このようなロボットによるワーク移動システムでは、まず、パレット（箱）内に様々な姿勢でバラ置きされている複数のワークを撮像する（撮像工程）。そして、撮像によって得られた画像を処理する事によってワークの２次元または３次元などの情報を取得する。そして、得られた情報を用いてワークの位置及び姿勢を求めるための演算を行い、ワークの位置及び姿勢を認識する（認識工程）。そして、ロボットマニピュレータを用いて、認識されたワークをパレットから取りだしたり、整列させたりする（ピッキング工程）。

複数のワークがバラ置きされた状態から特定のワークを掴んで移動させた際、掴んだワークが他のワークに接触したり、ワークが移動されたことによる重量バランスの崩れにより、他の複数のワークのバラ置き状態が崩れ、他のワークの位置や姿勢が変化してしまう。そのため、次のワークを移動させる前に、再び撮像工程と認識工程を行わなければならず、複数のワークを掴んで移動するための総時間（タクト）が長くなってしまう。

これに対し、特許文献１には、ワークのバラ積み状態が変化したか否かを判定する判断部を設けることが開示されている。また、特許文献１には、バラ積み状態が変化していないと判断した際は撮像工程を行う事無く、過去に撮像された画像を用いてワークを検出し、次のワークの取り出しを行うことが開示されている。特許文献２には、ワークをパレットから取り出した後に、ワークを撮像して２次元画像を取得し、ワーク取り出し前に撮像した２次元画像との変化が許容範囲内であれば、レーザーによる距離測定を行うことなく、次のワークの取り出しを行うことが開示されている。

特許第４１９９２６４号公報 特許第５２０１４１１号公報

しかし、特許文献１、２に記載の発明では、バラ積みされた場所からワークを移動した後に、バラ積みが崩れてしまった場合、再度、バラ積みされたワークを撮像した後にワークの位置を認識して、ワークを移動させる工程が必要である。つまり、ワークのバラ積みが崩れる度に、ワークの撮像および認識を行わなければならない。また、バラ積みが崩れていない場合でも、バラ積み状態が変化したか否かを判定するための時間を要する。したがって、特許文献１、２に記載の発明では、複数のワークを撮像してからワークの移動が完了するまでの時間は、依然として長い。

そこで、本発明は、複数の物体を撮像してから物体の移動が完了するまでの時間を短縮するための物体移動方法及びそのためのシステムを提供することを目的とする。

上記課題を解決する本発明の一側面としての移動方法は、物体を撮像し、撮像して得られた画像を用いて物体の位置を認識し、認識された物体を移動させる処理を繰り返すことにより、複数の物体を移動させる移動方法であって、物体が配置される第１場所と第２場所を区切る区切部材の推奨する配置に関する情報を表示する表示工程と、前記区切部材で区切られた前記第１場所と前記第２場所の各々に第１状態でバラ置きされている複数の物体を撮像して、前記第１状態における画像を取得する撮像工程と、前記第１状態における画像を用いて、前記第１場所に対応する第１部分領域内の第１物体の位置を認識する第１認識工程と、前記第１状態における画像を用いて、前記第２場所に対応する第２部分領域内の第２物体の位置を認識する第２認識工程と、前記第１認識工程で認識された前記第１物体を移動させる第１移動工程と、前記第２認識工程で認識された前記第２物体を移動させる第２移動工程と、を有することを特徴とする。

本発明によれば、複数の物体を撮像してから物体の移動が完了するまでの時間を短縮するための物体移動方法及びそのためのシステムを提供することができる。

第１実施形態の物体移動システムを示す図である。 物体移動方法のフローチャートを示す図である。 撮像して得られた画像を示す図である。 物体移動方法の手順を示す図である。 仕切りの配置を示す図である。 仕切りの形状を示す図である。 第４実施形態の物体移動システムを示す図である。 第４実施形態において、撮像して得られた画像を示す図である。 複数のパレットの配置を示す図である。 複数のパレットの区切部材の形状を示す図である。

（第１実施形態）
図１に、第一実施形態の物体移動システム１を示す。物体移動システム１は、処理部（情報処理装置）１００と、測距部（センサ部）２００と、ロボット（移動部）３００と、パレット４００を有する。物体移動システム１は、パレット４００内にバラ置きされたワーク（物体）６００をロボット３００で掴んで、パレット４００から取り出したり整列させたりするなどの移動を行う。ワークは、例えば、装置の部品などである。

処理部１００は、測距部２００に撮像指令を出し、測距部２００で撮像した画像を取得するセンサ制御部（取得部）１０１とを有する。さらに、測距部２００により撮像して得られた画像を用いてワークの位置を認識する認識部１０２と、認識されたワークを移動させるようにロボットに指令するロボット指令部１０３を有する。

測距部２００は、三角測量用の複数の光学系を有し、三角測量の原理を基にして測距を行う構成である。例えば、ステレオ方式による測距の場合では、ＣＣＤなどの撮像センサ（撮像素子）と、レンズなどの撮像光学系を有する光学系を複数構成する。また、パターン投影方式による測距の場合では、複数の光学系のうち一方は、撮像センサと撮像光学系を有する光学系であり、他方は、光源と投影パターンを生成するパターン生成部と投影光学系とを有する光学系である。

ロボット３００は、例えば、ロボットハンドや制御された把持装置であり、先端にワークを掴むマニピュレータ（把持部）を有する。ロボット３００には複数のロボットが含まれていてもよい。ロボット３００は、ロボットを制御する制御部を含み、ワークに対する位置や姿勢に関する入力情報を基にワークの把持と移動を行うことが可能である。ただし、入力情報は位置や姿勢に関する情報に限定されず、ワークを移動させるためのマニピュレータの軌跡や角度の情報や、マニピュレータの動作タイミングなどの情報を含んでいても構わない。

パレット４００には、内部の領域を区切るための仕切り（区切部材）５００が設けられている。本実施形態では、パレット４００内には、仕切り５００で互いに区切られた２つの場所（第１場所Ａ、第２場所Ｂ）（空間）が形成されている。ただし、区切られた場所の数は２つに限定されず、３つ以上でもよい。

次に、物体移動システム１を用いた物体移動方法を説明する。図２に、当該方法のフローチャートを示す。まず、互いに区切られた第１場所Ａ、第２場所Ｂの各々に、複数のワークをバラ置きする（Ｓ２０１）。バラ置き状態では、複数のワークが整列されていなく、位置や姿勢がバラバラな状態で置かれている。バラ置き状態では、複数のワークが互いに重なっていなくてもよいし、重なっていてバラ積みされていてもよいし、山積みされていても良い。本実施形態では、第１場所Ａ、第２場所Ｂの各々にバラ置きされているワークは、同一設計に基づいて製造された同種の物である。ただし、同種の物に限定されず、異なる種類の物であっても本実施形態を適用することができる。

次に、ワークを撮像する。具体的には、センサ制御部１０１が測距部２００に撮像指令を出し、測距部２００は、センサ制御部１０１からの撮像指令を受けて、第１場所Ａ、第２場所Ｂの各々に第１状態でバラ置きされている複数のワークの撮像を開始する（Ｓ２０２、撮像工程）。パターン投影方式による測距の場合では、第１場所Ａ及び第２場所Ｂの各々にバラ置きされている、第１場所Ａ及び第２場所Ｂの複数のワークにパターン光を投影して、撮像センサの撮像視野内において複数のワークで反射されたパターン光を撮像する。パターン光の投影は、第１場所Ａ及び第２場所Ｂの複数のワークに対して一括して行っても良いし、時間をずらして第１場所Ａと第２場所Ｂの各々に行っても良い。ワークの撮像が終了したら、撮像視野内で撮像して得られた、第１場所Ａ及び第２場所Ｂの第１状態における画像をセンサ制御部１０１に送信する。

センサ制御部１０１は、測距部２００が撮像した画像を取得し、取得した、第１状態における画像を認識部１０２に送る。認識部１０２は、取得した、第１状態における画像の全体領域内において、第１場所Ａと第２場所Ｂを区切っている仕切り５００の位置に基づいて、第１場所Ａに対応する第１部分領域と、第２場所Ｂに対応する第２部分領域と、を設定する（Ｓ２０３、設定工程）。第１部分領域と第２部分領域は、ワークの位置や姿勢を認識したい領域（認識対象領域）であって、第１状態における画像の全体領域内から抽出された一部の領域である。ここで、ワークはパレット４００内にあるため、認識対象領域はパレット４００の内部の領域に設定される。パレット４００は仕切り５００によって複数の場所に分割されているため、これに対応して認識対象領域も複数設定される。

図３は、認識対象領域の設定の一例を表した図である。図３の画像２１０は撮像して取得した画像の一例であり、パレットの像４１０と仕切りの像５１０とワークの像６１０とが表示されている。認識部１０２は、パレットの像４１０や仕切りの像５１０から得られる輪郭情報を用いて、仕切り５００によって分離された複数の場所に対応して認識対象領域を複数設定する。具体的には、第１場所Ａに対応して第１部分領域１２０と、第２場所に対応して第２部分領域１２１を設定する。また、輪郭情報に限定されず、例えば測距値の情報を基にパレットや仕切りの位置姿勢を算出し、算出したパレットや仕切りの位置や姿勢の情報を基に、仕切りによって隔てられたパレットの各場所に対して複数設定する方法でも構わない。また、第１場所Ａ内における特定の一部分の領域を第１部分領域１２０としてもよい。第２場所Ｂについても同様である。また、ステップＳ２０３で、Ｓ２０２の撮像で得られた画像を用いて領域を設定する例を示したが、パレットや仕切りを置く位置が工具により固定出来る場合には、ユーザーが予め複数の認識対象領域をメモリに登録（記憶）する事が可能である。また、事前に登録された複数の認識対象領域からユーザーが選択する方法もとる事が出来る。具体的には、Ｓ２０２の撮像とは別に、設定用の画像を取得して、各領域を予め定めることができる。具体的には、例えば、複数のワークが無い状態のパレットを撮像し、パレットの仕切りを含む境界を検出して、検出した境界に基づいて各領域を予め定めておき、メモリに登録（記憶）しておく。そして、Ｓ２０２で撮像して得られた画像の領域内に、予め登録した各領域を重ねることにより、当該領域を設定してもよい。

本実施形態では、ステップＳ２０３は、最初の認識工程が実行される前に一回実行される構成である。これはワークの移動が完了するまでの間にパレット４００や仕切り５００の位置に変化が無い事を前提としたものであり、その場合は、認識対象領域を変更する必要が無いため一回実行すればよい。但しこれに限定されず、パレット４００や仕切り５００の位置に変化がある場合に、認識対象領域を再定義するために複数回実行されても構わない。また、例えば、すり鉢状の床面を持つパレットからワークを取り出していくと、パレット内のワークが一部分へ集まる場合も、認識対象領域を再定義するために複数回実行しても構わない。

次に、認識部１０２は、設定された認識対象領域の中から、登録されたワークに関する情報と、撮像により得られた測距値や輪郭等の情報と、を参照・比較する事によりワークの位置や姿勢を認識（決定）する（Ｓ２０４（第１認識工程）、Ｓ２０５（第２認識工程））。認識方法は、公知又は周知の各種方法が適用でき、認識部１０２が、各種方法を用いて、物体の中心位置やエッジの位置、各軸回りの回転角等の姿勢を決定し、各データを出力、記憶又は表示する。そして、ロボットにより取り出しを行うワーク又はその候補群を決定する。認識対象領域は複数設定されているため、それぞれの認識対象領域について、物体の位置や姿勢を認識して、移動させるワーク又はその候補群の決定を行う。また、これに限定されず、認識対象領域に関係なく移動させるワークの候補群を算出し、その候補群を認識対象領域を基に区分する方法であっても構わない。このように一回の撮像工程で得た情報を基にそれぞれの認識対象領域から移動させるワーク又は候補群を決定する主旨においてアルゴリズムの形態は様々に変形可能であり、それらの変形も含めた総称として、複数の認識工程、と記述する。

なお、撮像して得られた画像から測距値を算出する処理は、撮像工程の直後、設定工程の直後、又は、認識工程の直後に行っても良い。撮像工程の直後に行う場合は、撮像して得られた画像を取得した後に、取得した画像の全域について測距値の算出を行う。また、設定工程の直後に行う場合は、画像から輪郭抽出等により認識対象領域を設定した後で、設定された領域の範囲についてのみ測距値の算出を行えば計算量が少なくなり効率が良い。また、認識工程の直後に行う場合は、画像から輪郭抽出等によりワークの輪郭を認識した後で、輪郭内又は輪郭を含む限定された領域についてのみ測距値の算出を行えば計算量が少なくなり効率が良い。測距値を算出するタイミングは、測距や輪郭抽出の精度や計算器の仕様等に応じてさまざまな変更が可能である。

次に、ロボット指令部１０３は、認識部１０２から認識されたワークの位置や姿勢の情報を取得し、認識したワークを掴んで移動させるようにロボット３００に指令する。そして、ロボット３００は、ロボット指令部１０３の指令に応じて、バラ置きされたワークを掴んで移動させる（Ｓ２０６（第１移動工程）、Ｓ２０７（第２移動工程））。移動工程は、認識対象領域または認識したワークの数に応じて複数回実行される。具体的には、バラ置きされた第１場所Ａから、認識された第１ワーク（第１物体）をロボット３００により掴んで移動させ、さらに、バラ置きされた第２場所Ｂから、認識された第２ワーク（第２物体）をロボット３００により掴んで移動させる。この際、第１場所Ａからワークを移動させることによって、第１場所Ａのバラ置き状態が変化する場合がある。しかし、その場合でも、第２場所Ｂは第１場所Ａとは仕切り５００で区切られているため、第２場所Ｂのバラ置き状態は崩れない。第１場所Ａからワークを移動させた後でも、第２場所Ｂから、認識されたワークを掴んで移動させることができる。つまり、１回の撮像工程によって得られた画像に基づいて、第１場所Ａと第２場所Ｂの各々から１つずつワークを移動させることができる。

以上の工程を、処理部１００は、指定した回数が完了するか、又は、指定した数のワークの移動が完了するか、又は、全てのワークの移動が完了したか、を判定する（Ｓ２０８）。完了したと判定した場合には終了する。完了していないと判定した場合には、次の撮像工程として、測距部２００は、センサ制御部１０１からの撮像指令を受けて、第１場所Ａ、第２場所Ｂの各々に、第１状態とは異なる第２状態でバラ置きされている複数の物体を撮像する（Ｓ２０９）。第２状態では、第１場所Ａから第１ワークが移動され、第２場所Ｂからは第２ワークが移動された状態であって、各場所でその他のワークの位置や姿勢が変化している場合がある。そして、Ｓ２０４（認識工程）〜Ｓ２０９（撮像工程）を繰り返し実行する。また、換言すれば、前の撮像工程と次の撮像工程との間に少なくとも、複数設定した認識対象領域の数に対応した複数の認識工程が含まれる。ここで、一回の撮像工程には、測距を一回行うために必要な撮像画像を取得する複数の処理を含んでおり、一枚の画像を取得する事には限定されない。例えば、測距方法としてパターン投影による三角測量法を用いた場合、パターン投影では一般に空間コード化法が用いられる。そして、一回の測距を行うために周期の異なった複数のパターンを投影し、それらを撮像した複数枚の画像を用いて処理する事により精度良く測距を行っている。また、一回の測距を行う際に、撮像センサのノイズや環境のゆらぎ等によってランダムに発生する誤差を低減するために複数枚の撮像を行い、得られた複数枚の画像を平均する事によってランダム誤差を低減する方法も一般に行われている。この様に測距の方式のため複数枚の画像を取得する処理や、誤差低減のために複数枚の画像を取得する処理が、一回の撮像工程内に含まれていても構わない。

従来は、１つの場所にバラ置きされている複数のワークを撮像し、撮像によって得られた画像に基づいてワークの位置を認識し、認識したワークを移動させた後に、その場所にあるワークを撮像した後でなければ、次のワークを移動させることができなかった。つまり、１回の撮像工程によりワーク１つしか移動させることができなかった。

本実施形態によれば、パレット４００は仕切り５００により、複数の場所が分離されているため、一方の場所からワークを取り出しても、他方の場所のワークのバラ置き状態が変化する事がない。よって、再び撮像工程を実行しなくても、他方の場所からはワークを取り出す事が可能である。従って、認識対象領域を仕切りで分けられた各場所に設定すれば、一回の撮像工程を実行するだけで各認識対象領域からそれぞれワークを取り出す事ができるため、複数のワークを撮像してからワークの移動が完了するまでの時間（総タクト）を短くする事が出来る。

特に、従来では、同種のワークの取り出しを行う場合には、場所を仕切り等で分割して区別する事は行われず、場所の区分の無いパレットにバラ置きしていた。したがって、同種の複数のワークに対して１回の撮像工程により、１つの場所から１つのワークしか移動させることができず、１つのワークを移動させると、バラ置きが崩れてしまうことがあった。それに対して、本実施形態では、同種の部品に対しても複数の場所に区切ってバラ置きし、１回の撮像工程で、複数回のワークの移動を行うことができ、ワークの移動が完了するまでの総タクトを短くする事が出来る。

なお、本実施形態では、仕切りが一つ含まれるパレットを用いて説明したが、これに限定されず、複数の仕切りを有するパレットであっても構わない。

（第２実施形態）
図４に、各工程（各シーケンス）の実行順序の一例を表した図である。各工程を時系列で並べて表示している。ここでは、説明を簡単にするため、認識対象領域の設定工程は省略している。

第１実施形態では、手順Ａのように、撮像工程の後、第１部分領域の第１ワークの位置を認識する第１認識工程と、第２部分領域の第２ワークの位置を認識する第２認識工程を行った。さらに、第２認識工程の後、第１ワークを移動させる第１移動工程と、第２移動工程とを順に行い、次の撮像工程２を行った（手順Ａ）。この手順は、先に認識工程を認識対象領域の数だけ繰り返せる場合、特に、複数の認識工程を並列処理可能な場合に好適である。

本実施形態では、手順Ｂのように、１つの認識対象領域に対して認識工程を実行した後に移動工程を実行し、認識対象領域の数だけこれを繰り返す構成を示している。具体的には、第１認識工程の後に、第１移動工程を行い、第１移動工程の開始後、第２認識工程を行う。第２認識工程は、第１移動工程が終了する前に、第１移動工程と並行して処理されてもよい。そして、次の撮像工程２を行う。これは、移動工程と認識工程を並列に処理できる場合に有効であり、このように構成する事によりロボット３００で移動動作を行っている最中に、次の認識対象領域の認識工程を実行する事が出来るため、総タクトをさらに短くする事が出来る。

また、手順Ｃのように、第１移動工程の終了後、第２移動工程の前に、第１場所Ａのワークを撮像する撮像工程２Ａを開始してもよい。ただし、撮像工程２Ａでは、第２場所Ｂにおいてロボットがワークを移動させているため、第２場所Ｂのワークを撮像することはできない。そのため、第２移動工程の後、第２場所Ｂのワークを撮像する撮像工程２Ｂを実行する。つまり、１回目の撮像工程の後は、第１場所の撮像と第２場所の撮像を交互に繰り返す。これにより、撮像工程２Ａや２Ｂを、認識工程や移動工程と並行処理することができ、総タクトをさらに短くすることができる。

なお、各工程の所要時間を同じように表示したが、これに限らず、互いに異なっていてもよい。例えば、認識部の処理時間は、ロボットによる移動時間よりも短い場合がある。また、認識工程や移動工程の最中など、撮像工程を常時行っていてもよい。

（第３実施形態）
本実施形態では、複数の場所を区切る区切部材の好適な配置と形状について説明する。図５（Ａ）は、測距部２００の構成の一例を表す図であり、測距部２００は第一の光学部２２０と第二の光学部２３０からなり、三角測量の原理を基にして測距を行う構成である。例えば、ステレオ方式による測距の場合では、第一の光学部２２０と第二の光学部２３０の各々は撮像センサと撮像光学系を有する構成である。また、パターン投影方式による測距の場合では、第一の光学部２２０と第二の光学部２３０のどちらか一方は撮像センサと撮像光学系を有する構成であり、他方は光源と投影パターンを生成するパターン生成部と投影光学系を有する構成である。各光軸は、第一の光学部２２０の光軸２４０であり、第二の光学部２３０の光軸２４１である。

図５（Ｂ）のように、パレット４００が仕切り５００を有する場合、仕切り５００がオクルージョンを発生させるため、これを低減する事が望ましい。オクルージョンとは、手前にある物体が背後にある物体を隠して見えないようにする状態である。オクルージョンが発生すると、物体の陰にあるワークは認識できないため、作業者又は別手段による認識またはピッキング等が必要となり、ワーク移動の総タクトを遅延させる。オクルージョンが発生する要因の一つは、第一の光学部２２０と第二の光学部２３０の隔たりにあり、光軸２４０と光軸２４１を含む面に平行な方向にオクルージョンが発生する。よって、仕切り５００によるオクルージョンを低減するには、撮像画面内で見た場合における仕切り５００の長手方向５２０を、光軸２４０と光軸２４１を含む面に沿って配置する事が好ましい。

ユーザーにとって光軸２４０と光軸２４１を含む面を認知する事は難しいため、好ましくは、仕切り５００の推奨する配置に関する情報を教示する事が望ましい。教示する方法は、例えば、測距部２００が有する光学部によって撮像した画像を表示する表示部に、その画像内に、場所を区切る区切部材の推奨する配置を合成した画像を表示する方法である。

また別の例では、測距部２００が投影部を有する場合には、区切部材の推奨する配置に関する情報を教示するパターン光を生成して投影光学系がその配置に関するパターン光を投影する方法もある。このようにパターン光を投影して、実際のパレット配置空間に推奨配置位置の教示を行えば、ユーザーは直接に推奨配置位置を見ながらパレットや仕切りを移動できるため、より好ましい。図５（Ｃ）（Ｄ）が、パターン光投影による教示を行う構成の一例を示したものである。投影光２２１が仕切りの推奨配置位置を教示するパターンであり、投影光２２１の照射位置に仕切り５００を配置する事により、仕切り５００によるオクルージョンを低減する事が可能となる。また、本実施形態では仕切りの位置を教示する例を紹介したが、これに限定されず間接的に仕切りの位置が分かる情報を教示する方法でも構わない。例えば、仕切りがパレットに対して固定されている場合には、パレットの位置を教示する事によって間接的に仕切りを推奨配置位置に設置する事が可能である。

次に、仕切りの好適な形状の一例を図６を用いて説明する。図６は、仕切り５００の断面形状を表す図であり、断面とは仕切り５００の長手方向５２０に垂直な断面である。上記のように、長手方向５２０を光軸２４０と光軸２４１を含む面に沿って配置した場合は、光軸２４０と光軸２４１を含む面に垂直な断面である。

仕切りにより発生するオクルージョンの別の要因として、測距部２００が有する光学部の開口の影響がある。仕切り５００近傍の測距を行う際に使用する光束の例を表したものが光束２２２及び２２３であり、光束２２２及び２２３は測距部２００が有する光学部の開口の大きさに対応して測距方向に収斂する形状を形成する。この収斂する光束を仕切りが遮る事によってオクルージョンが発生する。これを低減するために好適な仕切りの形状は、パレット４００の床面４０１（内底）と仕切り５００の側面５０２とが成す傾斜角５３０、及び、床面４０１（内底）と仕切り５００の側面５０１とが成す傾斜角５３１が鋭角である形状である。

この様に構成する事により、仕切り５００が光束２２２又は２２３を遮る事を低減し、オクルージョンを低減する事が可能となる。傾斜角５３０及び５３１のより具体的な数値は、測距部２００の開口の大きさや光学系の設計値や光束の遮蔽許容値を基に決定すればよく、鋭角である条件を満たす範囲で様々に変更が可能である。また最も光束の遮蔽を低減するにはパレットの床面から測距部２００を覗きみた際に、測距部２００が有する光学部の有効径全域が望めるように傾斜角を設定すればよい。

以上の構成により、オクルージョンの発生を低減し、高精度にワークの位置や姿勢を認識することができる。

（第４実施形態）
次に、図７を用いて第４実施形態を説明する。図７は物体移動システム２を表す図である。本実施形態では、第１実施形態の仕切りを有するパレットの代わりに、測距部２００の測距が可能な視野（測距視野）の範囲に、複数のパレットを配置する構成をとる。なお、その他の構成は第一実施形態と同じ構成である。図７では、パレット４０２及び４０３が測距視野２０１の範囲におかれた構成を表している。この構成を用いれば、パレット４０２とパレット４０３は独立であるため、一方のパレットからワークを取り出しても他方のパレットのバラ置き状態が変化する事がない。よって、再び撮像工程を実行しなくても他方のパレットからはワークを取り出す事が可能である。従って、認識対象領域を各パレットに設定すれば、一回の撮像工程を実行するだけで各認識対象領域からそれぞれワークを取り出す事ができるため、ワークを取り出す総タクトを短くする事が出来る。なお、本実施形態では、パレットが二つの構成を用いて説明しているが、これに限定されず、３つ以上のパレットを有する構成で有っても構わない。

図８は、撮像した画像２１０内に、パレット４０２の像４１２と、パレット４０３の像４１３と、ワークの像６１０と、が表示されていることを示す図である。ここで、点線で示す認識対象領域１３０及び１３１は、パレットの像４１２及び４１３から得られる輪郭情報を用いて、パレットの数に対応して複数設定する。また、輪郭情報に限定されず、例えば測距値の情報を基に各パレットの位置姿勢を算出し、算出した各パレットの位置姿勢情報を基に各パレットに対して認識対象領域を設定する方法でも構わない。

次に、本実施形態の複数のパレットの好適な配置および形状について図９、図１０を用いて説明する。ここで、測距部２００の構成は第一実施形態の図５（Ａ）に示す構成と同じであり、第一の光学部２２０と第二の光学部２３０からなり、第一の光学部２２０によって光軸２４０が規定され、第二の光学部２３０によって光軸２４１が規定される。図９（Ａ）のように、方向４２１に並ぶようにパレット４０２とパレット４０３が並べてある。パレット４０２とパレット４０３にはそれぞれ、互いに区切る内壁４３０及び４３１（区切部材）を有する。壁４３０及び４３１は、第一実施形態で説明した仕切り５００と同じ効果をもたらし、オクルージョンを発生させてしまう。オクルージョンが発生すると物体の陰にあるワークは認識できないため、作業者又は別手段による認識またはピッキング等が必要となり、ワーク取り出しの総タクトを遅延させる。よって、壁４３０及び４３１によって発生するオクルージョンを低減する事が望ましい。オクルージョンの発生する要因の一つは第一の光学部２２０と第二の光学部２３０の隔たりにあり、光軸２４０と光軸２４１を含む面に平行な方向にオクルージョンが発生する。よって、仕切りによるオクルージョンを低減するにはパレットの並び方向４２１を光軸２４０と光軸２４１を含む面と垂直にさせる事が好ましい。

更に好ましくは、ユーザーにとって光軸２４０と光軸２４１を含む面を認知する事は難しいため、パレット配置位置の推奨配置位置を教示する事が望ましい。教示する方法は、例えば測距部２００が有する光学部によって撮像した画像に、各パレットの推奨配置位置を合成した画像を表示する方法である。また別の例では、測距部２００が投影部を有する場合には、各パレットの推奨配置位置を教示するパターン光を生成して投影する事が出来る。

図９（Ｂ）、（Ｃ）が投影による教示を行う構成の一例を示したものであり、投影光２２４が各パレットの推奨配置位置を教示するパターンである。ユーザーは投影光２２４の照射位置にパレット４０２及び４０３を配置する事により、壁４３０及び４３１によるオクルージョンを低減する事が可能となる。また本実施形態では各パレットの位置を教示する例を紹介したが、これに限定されずより直接的にパレット同士が相対する壁の位置を教示する方法でも構わない。これを表した例が図９（Ｄ）であり、投影光２２４によってパレット同士が相対する壁４３０及び４３１の推奨配置位置を教示している。

次に、壁４３０及び４３１の好適な形状の一例を図１０を用いて説明する。図１０は壁４３０と４３１の断面形状を表す図であり、断面とはパレットの並び方向４２１でみた断面である。壁４３０及び４３１が発生するオクルージョンの別の要因として、測距部２００が有する光学部の開口の影響がある。壁４３０及び４３１近傍の測距を行う際に使用する光束の一例を表したものが光束２２５及び２２６であり、光束２２５及び２２６は測距部２００が有する光学部の開口の大きさと対応して測距方向に収斂する形状を成している。この収斂する光束を壁４３０又は４３１が遮る事によってオクルージョンが発生する。これを低減するために好適な壁４３０及び４３１の形状は、パレット４０２の床面（内底）と壁４３０とが成す傾斜角４４０、及び、パレット４０３の床面と壁４３１とが成す傾斜角４４１を鋭角にする形状である。この様に構成する事により、壁４３０又は４３１が光束２２５又は２２６を遮る事を低減し、オクルージョンを低減する事が可能となる。傾斜角４４０及び４４１のより具体的な数値は測距部２００の開口や光学系の設計値や光束の遮蔽許容値を基に決定すればよく、鋭角である条件を満たす範囲で様々に変更が可能である。また最も光束の遮蔽を低減するにはパレット４０２及び４０３の床面から測距部２００を覗きみた際に、測距部２００が有する光学部の有効径全域が望めるように傾斜角を設定すればよい。

（第５実施形態）
本実施形態では、ワーク認識装置３（処理システム）を独立させた形態について説明する。ワーク認識装置３は第一実施形態の測距部２００と処理部１００を有し、ワークの認識を可能にする装置である。この様にワーク認識装置を独立させた場合、例えば本実施形態のワーク認識装置と、市販されているロボットと、第一実施形態及び第二実施形態で説明したパレットや仕切りと、を用いてシステム設計を行う事ができる。ロボットマニピュレータは既に多種類の市販品があるため選択肢の幅が有り、ユーザーは用途によって従って選択を行う事が出来る。特に既にロボットを有するユーザーにとってみれば、本実施形態であるワーク認識装置を提供する事は有意義である。

ワーク認識装置３の構成は、測距部２００と処理部１００とで構成され、測距部２００は第一実施形態の図５（Ａ）に示した構成と同じであり、第一の光学部２２０と第二の光学部２３０をから成る。処理部１００は、第一実施形態の図１に示した構成と同様である。

また、測距部２００と処理部１００が行う、ワーク移動のためのフローは第１実施形態と同様である。処理部１００がワークを認識した後、次に、ワークの認識結果を出力する工程では、認識したワークの位置及び姿勢に関する情報を、ロボットの処理部やこれらを統括するシステム等に出力する。この出力を受け取ったロボットはワークに対する位置や姿勢に関する情報を基にワークの取り出しを行う事が可能となる。ただし、出力情報は位置及び姿勢に関する情報に限定されず、ワークを取り出すためのロボットマニピュレータの軌跡等の情報や、ロボットマニピュレータの動作タイミングなどの情報を含んでいても構わない。ここで、ワークの認識結果を出力する工程は認識工程の直後に行われても構わないし、次の撮像工程の直前に行われても構わず、処理を行うための計算機の演算仕様や出力仕様を鑑みて、好適なタイミングで出力を行うように変更する事が可能である。

また、撮像工程には、ロボットやそれを統括するシステムからの入力待ち工程が含まれても構わない。これは、複数の認識したワークに対して、ロボットによる取り出し作業を完了してから、次の撮像工程を実行するためである。また、これは、ロボットの動作と撮像工程のタイミング制御する外部のシステムからの入力を待つ工程である。

以上のような構成により、複数のワークを撮像してからワークの移動が完了するまでの時間を短縮するための処理システムを提供する事が可能となる。なお、処理部１００（情報処理装置）を独立した構成とし、様々な種類の測距部およびロボットと組み合わせることも可能である。

また、上述した処理部１００が実行する各工程を、処理部１００に実行させるためのソフトウェア（プログラム）を、ネット物体又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（情報処理装置）（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行することもできる。

Claims (14)

1. 物体を撮像し、撮像して得られた画像を用いて物体の位置を認識し、認識された物体を移動させる処理を繰り返すことにより、複数の物体を移動させる移動方法であって、
   物体が配置される第１場所と第２場所を区切る区切部材の推奨する配置に関する情報を表示する表示工程と、
   前記区切部材で区切られた前記第１場所と前記第２場所の各々に第１状態でバラ置きされている複数の物体を撮像して、前記第１状態における画像を取得する撮像工程と、
   前記第１状態における画像を用いて、前記第１場所に対応する第１部分領域内の第１物体の位置を認識する第１認識工程と、
   前記第１状態における画像を用いて、前記第２場所に対応する第２部分領域内の第２物体の位置を認識する第２認識工程と、
   前記第１認識工程で認識された前記第１物体を移動させる第１移動工程と、
   前記第２認識工程で認識された前記第２物体を移動させる第２移動工程と、
   を有することを特徴とする移動方法。
2. 物体を撮像し、撮像して得られた画像を用いて物体の位置を認識し、認識された物体を移動させる処理を繰り返すことにより、複数の物体を移動させる移動方法であって、
   物体が配置される第１場所と第２場所とを区切る複数のパレットの推奨する配置に関する情報を表示する表示工程と、
   前記複数のパレットにより区切られた前記第１場所と前記第２場所の各々に第１状態でバラ置きされている複数の物体を撮像して、前記第１状態における画像を取得する撮像工程と、
   前記第１状態における画像を用いて、前記第１場所に対応する第１部分領域内の第１物体の位置を認識する第１認識工程と、
   前記第１状態における画像を用いて、前記第２場所に対応する第２部分領域内の第２物体の位置を認識する第２認識工程と、
   前記第１認識工程で認識された前記第１物体を移動させる第１移動工程と、
   前記第２認識工程で認識された前記第２物体を移動させる第２移動工程と、
   を有することを特徴とする移動方法。
3. 前記表示工程において、撮像して得られた画像を表示する表示部が、前記画像内に前記配置に関する情報を表示することを特徴とする請求項１又は２に記載の移動方法。
4. 前記撮像工程において、パターン光を物体に投影する投影光学系を用いて前記パターン光を物体に投影して前記物体で反射されたパターン光を撮像し、
   前記表示工程において、前記投影光学系が、前記配置に関するパターン光を投影する、ことを特徴とする請求項１又は２に記載の移動方法。
5. 前記撮像工程において、三角測量用の複数の光学系で前記物体を撮像し、
   前記撮像工程において、撮像画面内において、前記第１場所と前記第２場所を区切る区切部材の長手方向が、前記複数の光学系の各々の光軸を含む面に沿って配置されていることを特徴とする請求項１に記載の移動方法。
6. 前記撮像工程において、三角測量用の複数の光学系で、パレット内にある前記物体を撮像し、
   前記撮像工程において、前記複数の光学系の各々の光軸を含む面に対して垂直な断面において、前記第１場所と前記第２場所を区切る区切部材の側面と前記パレットの内底との成す角が鋭角となるように前記区切部材が配置されていることを特徴とする請求項１に記載の移動方法。
7. 前記区切部材の推奨する配置は、前記区切部材の推奨する方向であることを特徴とする請求項１に記載の移動方法。
8. 前記複数のパレットの推奨する配置は、前記複数のパレットの並びであることを特徴とする請求項２に記載の移動方法。
9. 撮像された物体の画像を取得する取得部と、
   前記画像を用いて物体の位置を認識する認識部と、を有するシステムであって、
   物体が配置される第１場所と第２場所を区切る区切部材の推奨する配置に関する情報を表示する表示部を有し、
   前記取得部は、
   前記区切部材によって区切られた前記第１場所と前記第２場所の各々に第１状態でバラ置きされている複数の物体を撮像することによって得られる、前記第１状態における画像を取得し、
   前記認識部は、
   前記第１状態における画像を用いて、前記第１場所に対応する第１部分領域内の第１物体および前記第２場所に対応する第２部分領域内の第２物体の位置を認識する、
   ことを特徴とするシステム。
10. 撮像された物体の画像を取得する取得部と、
    前記画像を用いて物体の位置を認識する認識部と、を有するシステムであって、
    物体が配置される第１場所と第２場所とを区切る複数のパレットの推奨する配置に関する情報を表示する表示部を有し、
    前記取得部は、
    前記複数のパレットによって区切られた前記第１場所と前記第２場所の各々に第１状態でバラ置きされている複数の物体を撮像することによって得られる、前記第１状態における画像を取得し、
    前記認識部は、
    前記第１状態における画像を用いて、前記第１場所に対応する第１部分領域内の第１物体および前記第２場所に対応する第２部分領域内の第２物体の位置を認識する、
    ことを特徴とするシステム。
11. 前記表示部は、撮像して得られた画像を表示し、前記画像内に前記配置に関する情報を表示することを特徴とする請求項９又は１０に記載のシステム。
12. 前記表示部は、パターン光を物体に投影する投影光学系であって、前記投影光学系が前記配置に関するパターン光を投影する、ことを特徴とする請求項９又は１０に記載のシステム。
13. 前記区切部材の推奨する配置は、前記区切部材の推奨する方向であることを特徴とする請求項９に記載のシステム。
14. 前記複数のパレットの推奨する配置は、前記複数のパレットの並びであることを特徴とする請求項１０に記載のシステム。

Images