JP3849514B2 - 物品位置認識装置 - Google Patents
物品位置認識装置 Download PDFInfo
- Publication number
- JP3849514B2 JP3849514B2 JP2001375101A JP2001375101A JP3849514B2 JP 3849514 B2 JP3849514 B2 JP 3849514B2 JP 2001375101 A JP2001375101 A JP 2001375101A JP 2001375101 A JP2001375101 A JP 2001375101A JP 3849514 B2 JP3849514 B2 JP 3849514B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- corner
- coordinates
- pallet
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理によりパレット上の物品(ワーク)の位置を認識する物品位置認識装置に関するものである。
【0002】
【従来の技術】
従来の物品位置認識装置として、ロボットによるデパレタイズ時に使用される、ハンド搭載型のレーザースリット光方式(たとえば、特開平6−55477号公報参照)を採用した装置などがある。このような物品位置認識装置では、ロボットのハンドに3本のスリット光を照射する投光手段とCCDカメラからなる撮像手段を取り付け、事前に登録された積付パターン情報に基づく物品概略位置の範囲内で、ロボットのハンドに取り付けた投光手段より物品に対して3本のスリット光からなる“キ”の字を投影させ、これを撮像手段により撮影し、この撮像手段により撮影された撮像データに基づいて画像処理により物品の4辺のエッジを検出することにより物品の位置(主に中心座標)、向き(方向/傾き)を算出している。この算出した物品の位置・方向に基づいて、ハンドの位置が補正され、ハンドにより物品が支持され、移載される(デパレタイズされる)。
【0003】
【発明が解決しようとする課題】
上記物品の位置・方向を判断する上で重要なことは、判別可能な物品の形状(エッジ)をいかに確保するかということ、すなわち隣の物品との境界をクリアにし、その境界を判別可能にすることであり、このように隣の物品との境界をクリアにすることが物品認識の品質を保持する上で必要不可欠となっている。
【0004】
しかし、従来の物品位置検出装置では、物品同士に隙間がない場合、簡単には隣の物品との境界(物品のエッジやかど部)をクリアにすることができず、そのため位置・向き認識が正常に行われず画像認識異常(設備の停止)や誤認識による物品・装置破損を引き起こしてしまい、自動化レベルを低下させる原因となっている。
【0005】
そこで、本発明は、物品間の境界をクリアとすることにより、常に物品の位置・向き認識を正常に行うことができる物品位置認識装置を提供することを目的としたものである。
【0006】
【課題を解決するための手段】
前述した目的を達成するために、本発明のうち請求項1記載の発明は、パレット上の物品の位置を認識する装置であって、
前記パレットのほぼ中心上方から前記物品を撮影する撮像手段と、前記撮像手段により撮影された物品の撮像データを基に物品を認識する認識手段と、前記物品を少なくとも平面移動することが可能な移動手段と、前記パレットの斜め上方より前記物品に対して照明する照明手段を備え、
前記認識手段は、前記撮像手段により撮影された物品の撮像データにより前記照明手段によって前記物品のかど部に形成される影を利用して物品天面上のかど部を認識し、この物品のかど部の平面座標を求め、続いて認識した物品のかど部から伸びる2本の明暗差のふちから物品の2辺を求め、これら2辺により物品の向きを求め、この求めた物品の向きと予め記憶された物品の平面の辺の長さと前記求めた物品のかど部の平面座標により物品を認識することを特徴とするものである。
【0009】
上記構成によれば、撮像手段により撮影された物品の撮像データにより照明手段によって物品のかど部に形成される影を利用して物品天面上のかど部が認識され、この物品のかど部の平面座標が求められ、続いて認識した物品のかど部から伸びる2本の明暗差のふちから物品の2辺が求められ、これら2辺により物品の向きが求められ、この物品の向きと予め記憶された物品の平面の辺の長さと前記求められた物品のかど部の平面座標により物品が認識される。たとえば、物品の中心位置が認識され、この中心位置にロボットのハンドが移動されて物品が持ち上げられて移載される。これにより、移載中に物品が傾いたり、物品が外れることが防止される。
【0010】
また請求項2に記載の発明は、上記請求項1に記載の発明であって、認識手段は、認識した物品天面上のかど部から物品の2辺を求めることができないとき、予め記憶された物品の短辺を基にした正方形が、そのかど部が物品天面上のかど部と一致し、かつ物品の存在が認識される方向にあるものと仮定して前記正方形の中心座標を求め、この中心座標を移動手段へ出力し、前記移動手段はこの入力した中心座標に基づいて物品を移動させることを特徴とするものである。
【0011】
画像処理による物品の位置・向きの画像認識異常(障害)には、以下の判断レベルがある。すなわち、物品の境界がクリアでないとき、「物品のかど部すら判断できない場合」、「物品のかど部は判断できたが、かど部から延びる2辺が判別できない場合」、「物品のかど部を判断でき、かど部から延びる2辺を判断できたが、2辺のうちどちらが縦辺でどちらが横辺かを判別できない場合(物品の向きを判別できない場合)」、がある。
【0012】
上記構成によれば、「物品のかど部は判断できたが、かど部から延びる2辺が判別できない場合」、予め記憶された物品の短辺を基にした正方形が、そのかど部が物品天面上のかど部と一致し、かつ物品の存在が認識される方向にあるものと仮定して前記正方形の中心座標を求める。これにより、物品の認識されたかど部とそのかど部が一致した正方形が、物品天面とほぼ重なり合うように仮定され、この正方形の中心座標は、物品の中心座標の近くに求められる。この求められた正方形の中心座標は移動手段へ出力され、移動手段はこの入力した中心座標に基づいて物品を移動させる。よって、移動手段により物品が移動されるとき、物品が傾いたり、物品が外れたりする恐れが少なくなる。物品の移動により物品のかど部に影が形成される。
【0013】
また請求項3に記載の発明は、上記請求項1に記載の発明であって、認識手段は、求めた2辺により物品の向きを求めることができないとき、予め記憶された物品の短辺を基にした正方形が、求めた2辺に重ねあわせてあるものと仮定してその中心座標を求め、この中心座標を移動手段へ出力し、前記移動手段はこの入力した中心座標に基づいて物品を移動させることを特徴とするものである。
【0014】
上記構成によれば、「物品のかど部を判断でき、かど部から延びる2辺を判断できたが、2辺のうちどちらが縦辺でどちらが横辺かを判別できない場合(物品の向きを判別できない場合)」、予め記憶された物品の短辺を基にした正方形が、求めた2辺に重ねあわせてあるものと仮定してその中心座標を求める。これにより、正方形が、物品天面と重なり合うように仮定され、この正方形の中心座標は、物品の中心座標の近くに求められる。この求められた正方形の中心座標は移動手段へ出力され、移動手段はこの入力した中心座標に基づいて物品を移動させる。よって、移動手段により物品が移動されるとき、物品が傾いたり、物品が外れたりする恐れが少なくなる。物品の移動により物品のかど部に影が形成される。
【0015】
また請求項4に記載の発明は、上記請求項1〜請求項3のいずれかに記載の発明であって、移動手段は、物品を照明手段より遠い方向へ移動することを特徴とするものである。
【0016】
この構成によれば、移動手段により物品は照明手段より遠い方向へ移動され、物品同士の隙間により物品のかど部に影が形成される。
【0020】
また請求項5に記載の発明は、上記請求項1〜請求項4のいずれかに記載の発明であって、移動手段は、パレット上の物品を移載するロボットにより構成されることを特徴とするものである。
【0021】
この構成によれば、物品の移動、すなわち隙間の形成が、パレット上の物品を移載するロボットにより行われる。
【0022】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
[実施の形態1]
図1は本発明の実施の形態1における天井型濃淡方式の物品位置認識装置の構成図である。
【0023】
図1において、1は被認識対象の物品(ワーク)2が積付られたパレットであり、パレット1の最上段の物品2の位置を認識する物品位置認識装置3が設けられている。
【0024】
物品位置認識装置3は、パレット1のほぼ中心上方から物品2を撮影する第1CCDカメラ(撮像手段の一例)11と、パレット1の斜め上方より物品2を撮影する第2CCDカメラ12と、パレット1の斜め上方より物品2に対して照明する照明装置(照明手段の一例)13と、これら第1CCDカメラ11と第2CCDカメラ12と照明装置13に接続され、CCDカメラ11,12により撮影された物品2の撮像データを基にパレット1上の最上段の物品2の位置認識処理を行う画像処理装置(認識手段の一例)15から構成されている。
【0025】
第1CCDカメラ11と第2CCDカメラ12にはそれぞれ、レンズの表面に赤外線のみを透過する赤外線フィルタが取り付けられ、また物品2の表面にハレーションが発生しないように絞りを調整し安定した画像を取り込めるように絞り調整機能が付加されている。第1CCDカメラ11と第2CCDカメラ12においては、赤外線フィルタにより被写体を撮影するときに赤外映像のみを取り込んだ撮像データ(映像データ)が得られ、赤外映像のみを取り込むことにより物品2に印刷された文字、模様、貼付テープ色(青、緑色など)の影響を少なくすることができ、正確な撮像データを得ることができる。
【0026】
上記照明装置13は、パレット1を斜め上方より見下ろす所定の角度に固定された照明ランプ16と、画像処理装置15からの指令により垂直支柱17に沿って照明ランプ16を昇降する昇降装置18(昇降手段)から構成されている。昇降装置18は、たとえば照明ランプ16を支柱17に沿って支持する支持体と、この支持体に設置されたモータと、このモータの回転軸に連結されたピニオンと、支柱17に沿って上下方向に敷設され前記ピニオンが係合するラック(いずれも図示せず)などにより構成され、モータの回転により支持体が昇降することにより照明ランプ16が昇降される。
【0027】
上記画像処理装置15は、第1CCDカメラ11により撮影された物品2の撮像データにより照明装置13によって物品2のかど部(ふち,コーナー)に形成される影を利用して物品天面上のかど部を認識し、この物品天面のかど部の高さを、第1CCDカメラ11により撮影された物品2の撮像データと第2CCDカメラ12により撮影された物品2の撮像データにより求め、物品2の位置(主に重心平面座標)と向き(方向)を認識するものである(詳細は後述する)。
【0028】
上記構成の制御構成図を図2に示す。
画像処理装置15は、図2に示すように、
第1CCDカメラ11により撮影された物品2の撮像データを平面座標で記憶する第1画像メモリ21と、
第2CCDカメラ12により撮影された物品2の撮像データを平面座標で記憶する第2画像メモリ22と、
照明装置13により最上段の物品2のかど部に形成される影Sを利用した複数の物品天面のかど部のパターンが予め登録(記憶)されたパターンメモリ23と、
第1画像メモリ21に記憶された物品2の撮像データより、パターンメモリ23に予め記憶された物品天面のかど部のパターンと一致するパターンを全てサーチし、すなわち物品2のかど部の影Sを利用して最上段の物品天面のかど部と思われるかど角(以下、かど部候補と称す)を全て抽出し、その平面座標を記憶するパターンマッチング手段25と、
パターンマッチング手段25により求められた物品2のかど部候補の高さhを、第1画像メモリ21に記憶された物品2の撮像データと第2画像メモリ22に記憶された撮像データにより検出する高さ検出手段26と、
高さ検出手段26により検出された物品2のかど部候補の高さhと、後述する昇降用制御手段により求められる最上段の物品2の高さHが一致する物品2のかど部候補を求め、この候補を最上段の物品2のかど部と認定してその平面座標を記憶する選択手段27と、
選択手段27により求めた物品2のかど部から伸びる2本のエッジ(明暗差のふち)の長さを、第1画像メモリ21に記憶された撮像データより求め、これらエッジの長さと後述する昇降用制御手段において求められる最上段の物品2の数(個数)により物品2の向きを求め、物品2のかど部の平面座標とともに出力し、また物品2のかど部から伸びる2辺を認識できなかったとき、あるいはこれら2辺が短辺か長辺かを認識できなかったとき(物品2の向きを求めることができなかったとき)、物品移動情報(詳細は後述する)を、後述するロボット制御装置19へ出力する向き検出手段28と、
後述する昇降用制御手段により入力した物品の平面サイズ(物品2の平面上の短辺と長辺の長さのデータ)と、向き検出手段28により求められた物品2の向きとこの物品2のかど部の平面座標により物品2の重心の平面座標を求め、この物品2の平面座標と向きからなる重心平面座標情報を後述するロボット制御装置19へ出力する重心検出手段29と、
後述するロボット制御装置19より入力した物品2のサイズ(物品2の短辺と長辺の長さ、高さのデータ)、パレット上の総物品数、1段の総物品数、パレット1の厚みのデータより、最上段の物品2の数と、最上段の物品2までの高さHを演算し(求め)、この最上段の物品2までの高さHに基づいて、最上段の物品2と現状認識している照明装置13との距離を一定とするように、パルス信号を照明装置13の昇降装置18へ出力する昇降用制御手段30と、
照明装置13の照明ランプ16へ点灯信号を出力する駆動手段31
から構成されている。
【0029】
上記物品位置認識装置3を備えたデパレタイズ部の構成を図3に示す。
図3において、20はロボット(移動手段の一例)であり、このロボット20は、後述するロボット制御装置19からの指令に基づいてパレット1から物品2を1個ずつ持ち上げて移載し、また物品2を平面移動する。
【0030】
また41は駆動ローラコンベヤから構成された搬入コンベヤであり、自動搬送台車(搬送手段)42より、デパレタイズされる物品2が積付られたパレット1を受け取り、物品位置認識装置3が設置されたデパレタイズ位置aまで搬送する。このデパレタイズ位置aにおいて前記ロボット20により物品2はデパレタイズされ、移載コンベヤ43へ移載される。終了すると、パレット1は搬入コンベヤ41より、駆動ローラコンベヤから構成された搬出コンベヤ44へ移載され、この搬出コンベヤ44によりパレット1は搬送され、自動搬送台車42へ搬出される。
【0031】
ロボット制御装置19には、物品2の移載等を管理する上位コンピュータ(図示せず)より物品2の移載の数(ピッキング数)などの指令データ、およびデパレタイズに必要なデータ、たとえば物品2のサイズ(物品2の平面上の短辺と長辺の長さと高さのデータ)、パレット上の総物品数、1段の総物品数、パレット1の厚みなどのデータが入力され、図4に示すように、図1に示す天井型濃淡方式の画像処理装置15より上記重心平面座標情報を入力すると、この情報の物品2の重心平面座標と向きおよび前記デパレタイズに必要なデータに基づいて、ロボット20へ指令してロボット20を駆動し、指令データのピッキング数の物品2を1個ずつパレット1より移載コンベヤ43へ移載させる。また画像処理装置15より物品移動情報(後述する)を入力すると、この物品移動情報に基づいて、ロボット20へ指令してロボット20を駆動し、物品移動情報の物品2を照明装置13から遠い方向へずらし(移動させ)、物品2の移動が終了すると移動終了情報を画像処理装置15へ出力する。
【0032】
上記画像処理装置15により上記重心平面座標情報と物品移動情報を求める手順を図5〜図7のフローチャートにしたがって詳細に説明する。なお、ロボット制御装置19より、物品2のサイズ(物品2の平面上の短辺と長辺の長さと高さのデータ)、パレット1上の総物品数、1段の総物品数、パレット1の厚みのデータが入力されているものとする。
【0033】
まず、昇降用制御手段30により、ロボット制御装置19から入力した物品2の高さデータ、パレット1上の総物品数、1段の総物品数、パレット1の厚みのデータにより最上段の物品2の数と、最上段の物品2までの高さHを演算し(ステップ−1)、この最上段の物品2までの高さHに基づいて、パルス信号を照明装置13の昇降装置18へ出力し、最上段の物品2と照明装置13との距離を一定とする(ステップ−2)。これにより第1CCDカメラ11と第2CCDカメラ12は、常に同じ明るさで、精度よく撮像データを得ることができる。
【0034】
次に、駆動手段31により照明装置13の照明ランプ16を駆動してストロボ照射させ、同時に第1CCDカメラ11と第2CCDカメラ12によりパレット1上の物品2を撮影し、その撮像データを平面座標で、それぞれ第1画像メモリ21と第2画像メモリ22に記憶する(ステップ−3)。
【0035】
次に、パターンマッチング手段25において、第1画像メモリ21に記憶された物品2の撮像データによりパターンメモリ23に予め登録された物品天面のかど部のパターンと一致するパターンを全てサーチし、すなわち物品2のかど部の影Sを利用して最上段の物品天面のかど部候補を全て抽出し、その平面座標を記憶する(ステップ−4)。
【0036】
パターンマッチング手段25により予め記憶された物品天面のかど部のパターンと一致するパターンが確認されると(ステップ−5)、続いて高さ検出手段26において、パターンマッチング手段25により求められた物品2のかど部候補までの高さhを、第1画像メモリ21に記憶された物品2の撮像データと第2画像メモリ22に記憶された撮像データにより求める(ステップ−6)。
【0037】
次に選択手段27において、物品2のかど部候補の中から、高さ検出手段26により検出された物品2のかど部候補までの高さhと、昇降制御手段30により算出された最上段の物品2までの高さHが一致する物品2のかど部候補を求め、求めたかど部候補を最上段の物品2のかど部と認定して、この最上段の物品2のかど部の平面座標を記憶する(ステップ−7)。
【0038】
次に向き検出手段28において、選択手段27により求めた物品2のかど部から伸びる2本のエッジを第1画像メモリ21に記憶された撮像データから求める{たとえば、トーン差のある数点(たとえば7点)をラインとして見なす}(ステップ−8)。次にこれらエッジが直交しているかを確認し(ステップ−9)、直交していることが確認されると、これらエッジを延ばし、断点(条件が変わる点)を見つけ、2辺の長さを求める(ステップ−10)。ステップ−9においてエッジが直交していないことを確認すると、エッジ(辺)を認識できなったとして「エラー1」を実行する(後述する)。
【0039】
以下、下記のステップにより、昇降用制御手段30において求められた最上段の物品2の個数に応じて、求めた2辺のうち、どちらが長辺でどちらが短辺かを認識し、物品2の向きを求める。
【0040】
まず、向き検出手段28において、昇降用制御手段30において求められた最上段の物品2の個数が1個かどうかを確認し(ステップ−11)、確認すると、求めた2辺の長さの差の領域のエッジを検出し(ステップ−12)、一方のエッジが認識され、他方のエッジが認識されないと、一方のエッジを長辺、他方のエッジを短辺と認識し、物品2の向きを求める(ステップ−13)。2辺から長辺と短辺を認識できないとき、「エラー2」を実行する(後述する)。
【0041】
向き検出手段28は、上記ステップ−11において、昇降用制御手段30において求められた最上段の物品2の個数が1個でない場合、最上段の物品2の個数が2個かどうかを確認し(ステップ−14)、確認すると、求めた2辺にそれぞれ対向する辺の位置で物品2のエッジを検出し(ステップ−15)、2つ以上のエッジを抽出した辺を長辺、他方の辺を短辺と認識し、物品2の向きを求める(ステップ−16)。2辺から長辺と短辺を認識できないとき、「エラー2」を実行する(後述する)。
【0042】
向き検出手段28は、上記ステップ−14において、最上段の物品2の個数が2個でない場合、すなわち物品2が3個以上の場合、物品2のかど部に対する対向辺の長辺・短辺が同時に検出できるかを調べ(ステップ−17)、長辺・短辺を同時に検出できるとき、検出した長辺に対向する辺を長辺、検出した短辺に対向する辺を短辺と認識し、物品2の向きを求める(ステップ−18)。ステップ−18において、長辺・短辺を同時に検出できないとき、上記最上段の物品2の個数が2個のときの処理を行い(ステップ−19)、2つ以上のエッジを抽出した辺を長辺、他方の辺を短辺と認識し、物品2の向きを求める(ステップ−20)。2辺から長辺と短辺を認識できないとき、「エラー2」を実行する(後述する)。
【0043】
上記ステップ−9において「エラー1」が生じたとき、すなわち認識した物品天面上のかど部から物品2の2辺を求めることができないとき、図8(a)に示すように、昇降制御手段30より入力された物品2の短辺(予め記憶された物品の短辺)を基にした正方形が、角度0で、そのかど部が物品天面上のかど部と一致し、かつ物品の存在が認識される方向にあるものと仮定して正方形の中心Mの座標(平面)を求め(ステップ−21)、この中心座標データを含む上記物品移動情報をロボット制御装置19へ出力する(ステップ−22)。そして、この物品移動情報に基づいて物品2が移動され、ロボット制御装置19より上記移動終了情報を入力すると(ステップ−23)、ステップ−3へ戻る。
【0044】
上記ステップ−13,15,20において「エラー2」が生じたとき、すなわち求めた2辺により長辺・短辺を認識できないとき(物品の向きを求めることができないとき)、図8(b)に示すように、昇降制御手段30より入力された物品2の短辺(予め記憶された物品の短辺)を基にした正方形が、求めた2辺に重ねあわせてあるものと仮定してその中心Mの座標(平面)を求め(ステップ−24)、続いて上記ステップ−22を実行してこの中心座標をロボット制御装置19へ出力する。
【0045】
物品2の向きを認識できると、重心検出手段29において、昇降制御手段30より入力された物品2の短辺と長辺の長さのデータと、向き検出手段28により求められた物品2の向きと、この物品2のかど部の平面座標により物品2の重心の平面座標を求め(ステップ−25)、この重心の平面座標と物品2の向きからなる重心平面座標情報をロボット制御装置19へ出力する(ステップ−26)。
【0046】
上記ロボット制御装置19により駆動されるロボット20による、物品2のずらし動作を図9に基づいて詳細に説明する。
画像処理装置15より上記物品移動情報を入力すると、図9(b)に示すように、この物品移動情報の中心座標へハンド46を移動させ、物品2を吸着して上昇させ、図9(c)に示すように、予め設定したX−Y方向へ所定距離{たとえば20mm;物品2を照明装置16(ランプ光)より遠い方向}に物品2をずらし(移動させ)、図9(d)に示すように、物品2を下降させて吸着を解除し、この移動が終了すると移動終了情報を画像処理装置15へ出力する。
【0047】
これにより、物品2同士間に隙間が生じ、ずらした物品2の周囲に影が生じることから、再認識を実行することにより、物品2が確実に認識され、物品2の重心平面座標と向きが求められる。
【0048】
このように、物品位置が未知なとき、物品位置認識装置38(画像処理装置15)において、第1CCDカメラ11により撮影された物品2の撮像データにより照明装置13によって最上段の物品2のかど部に形成される影を利用して物品天面上のかど部が認識され、この物品2のかど部の平面座標が求められ、続いて認識した物品2のかど部から伸びる2本の明暗差のふちから物品2の2辺が求められ、これら2辺により物品2の向きが求められ、この物品2の向きと予め記憶された物品2の平面の辺の長さと前記求められた物品2のかど部の平面座標により物品2の重心座標データが認識される。そして、この重心座標データに基づいてロボット制御装置19を介してロボット20により物品2のデパレタイズが行われることにより、人手が介在してパレット1上のどの位置に物品2があるのか分からない状態においても自動でデパレタイズを実行することができ、全自動で物品2のピッキング作業を行うことができ、また移載中に物品2が傾いたり、物品2が外れることを防止できる。
【0049】
また物品2同士に隙間がなく物品2の境界がクリアでなく、「物品2のかど部は判断できたが、かど部2から延びる2辺が判別できない場合」、予め記憶された物品2の短辺を基にした正方形が、そのかど部が物品天面上のかど部と一致し、かつ物品2の存在が認識される方向にあるものと仮定して前記正方形の中心Mの座標が求められ、また「物品2のかど部を判断でき、かど部から延びる2辺を判断できたが、2辺のうちどちらが縦辺でどちらが横辺かを判別できない場合(物品の向きを判別できない場合)」、予め記憶された物品2の短辺を基にした正方形が、求めた2辺に重ねあわせてあるものと仮定してその中心Mの座標が求められ、この求められた正方形の中心Mの座標は物品移動情報としてロボット制御装置19へ出力される。このとき、正方形の中心Mの座標は、物品2の中心座標の近くに求められる。ロボット制御装置19は、この入力した情報の中心Mの座標に基づいてロボット20を駆動して物品2を照明装置13より遠い方向へ移動させる。
【0050】
この移動、すなわち物品2のずらしにより物品2間に隙間が設けられ、物品2の境界がクリアとされ、すなわち物品2の移動により物品のかど部に影が形成され、再認識を行うことにより物品2を認識することができ、よって物品2の認識異常により設備停止することなく、自動運転を継続することができる。またロボット20により物品2のずらしが行われるとき、正方形の中心Mの座標は、物品2の中心座標の近くに求められることにより、物品2が傾いたり、物品2が外れたりする恐れを少なくできる。
【0051】
また物品位置認識装置3に必要なデータは、物品2のサイズ、パレット上の総物品数、1段の総物品数、パレット1の厚みのデータと数が少なくてよく、設定にかかる時間を短縮でき、認識処理時間を短縮することができる。
【0052】
なお、上記実施の形態1では、照明装置13を1台設けているが、新たに、照明装置13とはパレット1を挟んで対象の位置で、パレット1の斜め上方より物品2に対して照明する第2の照明装置(第2照明手段)を設けることもできる。
【0053】
これにより、2台の照明装置を選択することにより、最上段の物品2のかど部に形成される影Sの方向を逆にすることができ、一方の照明により物品2のかど部に形成される影Sにより物品2を認識できないとき、他方の照明により物品2のかど部に形成される影Sにより物品2の認識を実行することにより、認識できる割合を高くすることができる。そして、照明の向きを代えても物品2を認識できないときに、物品2のずらし動作を実行する。
【0054】
また上記実施の形態1において、照明装置13に昇降装置18を設けているが、これら昇降装置18に代えて、パレット1を昇降させる昇降装置を設け、昇降用制御手段30により求められた最上段の物品2の高さHにより、この昇降装置を駆動して最上段の物品2と照明装置13の距離を一定とする構成としてもよい。
【0055】
また上記実施の形態1において、照明装置13に昇降装置18を設けているが、これら昇降装置18に代えて、第1CCD装置11または第2CCD装置12の少なくとも一方に自動ズーム機能を付加し、昇降用制御手段30により算出された最上段の物品2の高さHにより、前記自動ズーム機能により最上段の物品2の撮像データの大きさを調整し一定とする構成としてもよい。
[実施の形態2]
図10は本発明の実施の形態2におけるレーザー方式の物品位置認識装置を備えた物品移載装置(ロボット)の構成図である。
【0056】
物品位置認識装置50は、ロボット20のハンド46に取り付けられた3本のスリット光(互いに垂直に交差する一対のスリット光とこれらスリット光の一方のスリット光と略平行なスリット光の一例)を照射するレーザー(照明手段の一例)53およびCCDカメラ(撮像手段の一例)54と、これらレーザー53とCCDカメラ54に接続され、CCDカメラ54により撮影された物品2の撮像データによりレーザー53によって物品2上に投影されたスリット光の像を利用して物品2の4辺のエッジを認識し、これら物品2のエッジにより物品を認識することにより、パレット1上の最上段の物品2の位置認識処理を行う画像処理装置(認識手段の一例)55から構成されている。
【0057】
いま、図11に示すように、CCDカメラ54の被撮像面56は矩形状であり、レーザー53から物品2に投影される2本のスリット光L1,L2は互いに平行で、CCDカメラ54の画像のy軸方向と一致し、かつレーザー53から物品2に投影されるスリット光L3は上記スリット光L1,L2と直角でCCDカメラ54の画像のx軸方向と一致するように、3本のレーザー53およびCCDカメラ54が配置されている。このレーザー53およびCCDカメラ54の配置により、ロボット20のハンド46に取り付けた3本のレーザー53からパレット1上の物品2に対して“キ”の字が投影される。なお、各スリット光L1,L2,L3の長さは物品2のサイズに基づいて物品2をはみ出る長さとしている。
【0058】
また画像処理装置55には、ロボット20の制御装置19より予め上記物品2の認識の画像処理に必要なデータ、すなわち物品2のサイズ(物品の平面上の短辺と長辺の長さおよび高さのデータ)が設定されている。
【0059】
またロボット制御装置19には、移載のデータとして予め、物品2のサイズ(物品の平面上の短辺と長辺の長さおよび高さのデータ)、パレット1上の物品2の概略配置および積み付け段数が入力される。
【0060】
この画像処理装置55による物品2の認識の手順を、ロボット制御装置19による物品2の移載・移動(ずらし)の手順とともに、図12のフローチャートにしたがって説明する。
【0061】
まず、ロボット制御装置19は、パレット1上の物品2の配置および積み付け段数に基づいて、移載する目的の物品2の所定高さ上方へハンド46を移動させる(ステップ−A1)。ロボットハンド角度は通常0度としている。なお、物品2の移載は、端部に位置する物品2より順に実行される。
【0062】
ハンド46の移動が終了すると、画像処理装置55に対して認識実行指令を出力する(ステップ−A2)。
画像処理装置55は、認識実行指令を入力すると(ステップ−B1)、ロボット20のハンド46に取り付けたレーザー53からパレット1上の物品2に対してスリット光L1,L2,L3を照射させて“キ”の字を投影させ(ステップ−B2)、これをCCDカメラ54により撮影させ、その撮像を入力する(ステップ−B3)。
【0063】
次にCCDカメラ54の撮像データにおいて、各スリット光L1,L2,L3の画像データを強調することにより他の画像のデータやノイズのデータより抽出し、図13に示すように、各スリット光L1,L2,L3のみの画像データを求める(ステップ−B4)。
【0064】
レーザー53がCCDカメラ54に対し画像のx軸方向とy軸方向に所定の変位をもって配置されていることから、移載を鋭う物品2が段の端に位置し、この物品2と他の物品2間に隙間がある場合、物品2上のスリット光L1,L2,L3は物品2外のスリット光L1,L2,L3に対して横方向にズレが生じることにより、図13(a)に示すように、物品2の周囲に各スリット光L1,L2,L3に2ヶ所、不連続点(繋がらない点)が存在する。また移載を行う物品2は段の端に位置し、この物品2と他の物品2間に隙間がない場合、隙間がないエッジ側は不明確となり、スリット光L1,L2,L3は連続して抽出され、図13(b)に示すように、各スリット光L1,L2,L3には1ヶ所しか不連続点が存在しない。
【0065】
そこで次に、抽出した各スリット光L1,L2,L3の画像それぞれにおける被撮像面おける不連続点(座標)を求め(ステップ−B5)、続いて不連続点が2ヶ所か1ヶ所かを確認する(ステップ−B6)。
【0066】
各スリット光L1,L2,L3における不連続点が2ヶ所の場合、物品2の位置(中心位置の座標)と方向を求めることができる。
すなわち、図14に示すように、被撮像画面において目的の物品2に対応する、スリット光L1の不連続点P1の座標を(X1,Y1)、P2の座標を(X1,Y2)(ただし、Y1>Y2)、スリット光L2の不連続点P3の座標を(X3,Y3)、P4の座標を(X3,Y4)(ただし、Y3>Y4)、スリット光L3の不連続点P5の座標を(X5,Y5)、P6の座標を(X6,Y5)(ただし、X5>X6)とすると、不連続点P1とP3を通る辺は、(1)式で表される。
【0067】
y=a(x−X1)+Y1 …(1)
但し a=(Y3−Y1)/(X3−X1)
また不連続点P2を通る辺は、不連続点P1とP3を通る辺と平行で、傾きが同じ傾きaで表されるので、(2)式で表される。
【0068】
y=a(x−X1)+Y2 …(2)
また不連続点P5,P6を通る辺の傾きは、物品2のかど部の角度は90度であることから(1/a)で表されるので、不連続点P5,P6を通る辺は、(3)式、(4)式で表される。
【0069】
y=(1/a)(x−X5)+Y5 …(3)
y=(1/a)(x−X6)+Y5 …(4)
よって、図14に示す、物品2の4つの交点(かど部)A,B,C,Dの各座標を(1)〜(4)式により求めることができ、物品2の中心Qの座標を求めることができる。
【0070】
そこで、不連続点が2ヶ所の場合、物品2の位置に相当する中心Qの座標と向き(方向)に相当する傾きaを求め(ステップ−B7)、求めた物品2の位置・向きのデータからなる物品認識情報をロボット制御装置19へ出力する(ステップ−B8)。
【0071】
ロボット制御装置19は、画像処理装置55よりこの物品認識情報を入力すると(ステップ−A3)、入力した物品認識情報に基づいて、ハンド46の位置と傾きを補正し、ハンド46により物品2を支持し、移載する(デパレタイズする)(ステップ−A4)。
【0072】
上記ステップ−B6において、不連続点が1ヶ所しかない場合、すなわち、図15に示すように、不連続点P1,P3,P5の座標しか求めることができなかった場合、上記(1)(3)式しか求めることができないが、これら式で物品2の2辺の位置とこの2辺の交点(かど部)Bと傾きaは求めることができる。
【0073】
そこで、不連続点が1ヶ所しかない場合、物品2の2辺の位置と辺の交点(端部)Bと傾きaを求め(ステップ−B9)、図15(b)に示すように、求めた物品2の2辺の位置と辺の交点Bに、物品2の短辺(予め設定された物品の短辺)を基にした正方形が、重ねあわせてあるものと仮定してその中心Mの平面座標を求め(ステップ−B10)、続いて2辺の位置より正方形を移動させる方向(移動方向)を、正方形の中心Mから交点Bへの方向zとしてx軸からの角度θを求め(物品2の2辺の方向にし)(ステップ−B11)、この中心Mの座標データと移動方向指示の角度θからなる物品移動情報をロボット制御装置19へ出力する(ステップ−B12)。
【0074】
ロボット制御装置19は、物品移動情報を入力すると(ステップ−A5)、入力した物品移動情報に基づいて、物品移動情報の中心座標へハンド46を移動させ、物品2をハンド46により物品2を支持し、指示された角度θ方向へ、予め設定した所定距離(たとえば20mm)物品2をずらし(移動させ)、ハンド46を元の上方位置へ戻す(ステップ−A6)。これにより、物品2同士間に隙間が形成される。この移動が終了するとステップ−A2へ戻り、再び認識実行指令を画像処理装置55へ出力する。
【0075】
画像処理装置55は、ロボット制御装置19より上記認識実行指令を入力すると再認識を行う。
このように、パレット1上の物品2の位置にズレや傾きが発生している恐れがあるとき、CCDカメラ54により撮影された物品2の撮像データより、レーザー53によって物品2上に投影されたスリット光の像を利用して、すなわち物品2上と物品2外とでスリット光の横ズレが生じることを利用して、横ズレ位置の座標を求めることで物品2の4辺のエッジが認識され、これら物品2のエッジにより物品2の中心Qの座標と向きが認識され、認識された物品2の中心座標と向きのデータ(物品認識情報)に基づいてロボット制御装置19を介してロボット20により物品2のデパレタイズが行われる。よって、物品位置にズレや傾きが発生している状態においても自動でデパレタイズを実行することができ、全自動で物品2のピッキング作業を行うことができる。また移載中に物品2が傾いたり、物品2が外れることを防止できる。
【0076】
また、物品位置認識装置50により物品の2辺のエッジのみしか認識することができないとき(目的の物品2を認識できないとき)、認識できる2辺のエッジより物品2の2辺の位置を認識し、予め記憶された物品2の短辺を基にした正方形が、認識できる2辺に重ねあわせてあるものと仮定して(正方形が物品天面と重なり合うように仮定して)その中心Mの座標を求め、またこの中心Mの座標より物品2に隙間が形成される移動方向を求め、求めた中心座標および移動方向指示からなる物品移動情報がロボット制御装置19へ出力される。このとき、正方形の中心Mの座標は、物品2の中心座標の近くに求められる。ロボット制御装置19はこの入力した物品移動情報の中心座標および移動方向指示に基づいて物品2をずらす(移動させる)ことによって、物品2同士に隙間が形成される。
【0077】
この物品2同士の隙間によりスリット光の横ズレが生じ、移動させた物品2の周囲に不連続点が生じ、よって再認識を実行することによりエッジが認識可能となり、物品2が確実に認識され、物品2の位置に相当する中心Qの座標と向きに相当する傾きaからなる物品認識情報が求められ、その結果、設備停止することなく、自動運転を継続することができる。またロボット20により物品2が移動されるとき、正方形の中心Mの座標は、物品2の中心座標の近くに求められることにより、物品2が傾いたり、物品が外れたりする恐れを少なくできる。
【0078】
また物品位置認識装置50に必要なデータは、物品2のサイズだけでよく、設定にかかる時間を短縮でき、認識処理時間を短縮することができる。
なお、上記実施の形態2では、レーザー53より3本のスリット光を照射しているが、3本に限ることはなく、さらにスリット光の本数を増してもよい。たとえば、スリット光L3に平行なスリット光を増して照射するようにしてもよい。このとき、物品2の周囲に生じる不連続点の数が増すことから、物品2の平面形状が正四角形でない場合に、その形状を求めることが可能となり、その重心位置を求めることが可能となる。
【0079】
また上記実施の形態1,2においては、図3に示すように、デパレタイズ位置aにおいてロボット20によりパレット1上より物品2はデパレタイズされ、移載コンベヤ43へ移載される運用形態を示しているが、デパレタイズされた物品2が、他のパレット1へ積付られる運用形態とすることもできる。この「パレットからパレットへのデパレタイズ・パレタイズ」の運用形態の一例を図16に示す。図16において、48は、自動搬送台車(搬送手段)42より、パレタイズされる物品2を積付けるパレット1を受け取り、パレタイズ位置bへ搬送する第2搬入コンベヤであり、この第2搬入コンベヤ48によりパレタイズ位置bへ搬入されたパレット1に対して、ロボット20によりデパレタイズ位置aのパレット1上よりデパレタイズされた物品2が積み込まれる(パレタイズされる)構成としている。またパレタイズが終了したパレット1は、第2搬入コンベヤ48より第2搬出コンベヤ49へ移載され、この第2搬出コンベヤ49により自動搬送台車42へ搬出される構成としている。前記第2搬入コンベヤ48と第2搬出コンベヤ49は、たとえば駆動ローラコンベヤから構成される。
【0080】
また上記実施の形態1,2において物品2の移動手段としてロボット20を使用しているが、このデパレタイズ用のロボット20に限ることはなく、物品2を平面移動できる手段であればよい。
【0081】
【発明の効果】
以上述べたように本発明によれば、撮像手段により撮影された物品の撮像データを基に物品を認識することができないとき、すなわち物品同士に隙間がなく物品の境界がクリアでない場合、物品を移動させて物品同士に隙間を形成することにより、物品の認識が可能となり、物品位置にズレや傾きが発生している状態においても自動でデパレタイズを実行することができ、全自動で物品のピッキング作業を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1における物品位置認識装置の構成図である。
【図2】同物品位置認識装置の制御構成図である。
【図3】同物品位置認識装置を備えたデパレタイズ部の構成図である。
【図4】同物品位置認識装置を備えたデパレタイズ部のロボット駆動の手順を示すフローチャートである。
【図5】同物品位置認識装置による物品認識のフローチャートである。
【図6】同物品位置認識装置による物品認識のフローチャートである。
【図7】同物品位置認識装置による物品認識のフローチャートである。
【図8】同物品位置認識装置による物品認識異常発生時の物品移動中心を求める説明図である。
【図9】同物品位置認識装置による物品移動情報に基づく物品のずらし動作の説明図である。
【図10】本発明の実施の形態2における物品位置認識装置の構成図である。
【図11】同物品位置認識装置のCCDカメラの被撮像面図である。
【図12】同物品位置認識装置の画像処理装置とロボット制御装置の動作を説明するフローチャートである。
【図13】同物品位置認識装置による物品認識の説明図である。
【図14】同物品位置認識装置による物品認識の説明図である。
【図15】同物品位置認識装置による物品認識異常発生時の物品移動中心を求める説明図である。
【図16】他の実施の形態における物品位置認識装置を備えたデパレタイズ部の構成図である。
【符号の説明】
1 パレット
2 物品
3,50 物品位置認識装置
11 第1CCDカメラ
12 第2CCDカメラ
13 照明装置
15,55 画像処理装置
16 照明ランプ
18 昇降装置
19 ロボット制御装置
20 ロボット
53 レーザー
54 CCDカメラ
Claims (5)
- パレット上の物品の位置を認識する装置であって、
前記パレットのほぼ中心上方から前記物品を撮影する撮像手段と、
前記撮像手段により撮影された物品の撮像データを基に物品を認識する認識手段と、
前記物品を少なくとも平面移動することが可能な移動手段と、
前記パレットの斜め上方より前記物品に対して照明する照明手段
を備え、
前記認識手段は、前記撮像手段により撮影された物品の撮像データにより前記照明手段によって前記物品のかど部に形成される影を利用して物品天面上のかど部を認識し、この物品のかど部の平面座標を求め、続いて認識した物品のかど部から伸びる2本の明暗差のふちから物品の2辺を求め、これら2辺により物品の向きを求め、この求めた物品の向きと予め記憶された物品の平面の辺の長さと前記求めた物品のかど部の平面座標により物品を認識すること
を特徴とする物品位置認識装置。 - 認識手段は、認識した物品天面上のかど部から物品の2辺を求めることができないとき、予め記憶された物品の短辺を基にした正方形が、そのかど部が物品天面上のかど部と一致し、かつ物品の存在が認識される方向にあるものと仮定して前記正方形の中心座標を求め、この中心座標を移動手段へ出力し、
前記移動手段はこの入力した中心座標に基づいて物品を移動させること
を特徴とする請求項1に記載の物品位置認識装置。 - 認識手段は、求めた2辺により物品の向きを求めることができないとき、予め記憶された物品の短辺を基にした正方形が、求めた2辺に重ねあわせてあるものと仮定してその中心座標を求め、この中心座標を移動手段へ出力し、
前記移動手段はこの入力した中心座標に基づいて物品を移動させること
を特徴とする請求項1に記載の物品位置認識装置。 - 移動手段は、物品を照明手段より遠い方向へ移動すること
を特徴とする請求項1〜請求項3のいずれかに記載の物品位置認識装置。 - 移動手段は、パレット上の物品を移載するロボットにより構成されること
を特徴とする請求項1〜請求項4のいずれかに記載の物品位置認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001375101A JP3849514B2 (ja) | 2001-12-10 | 2001-12-10 | 物品位置認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001375101A JP3849514B2 (ja) | 2001-12-10 | 2001-12-10 | 物品位置認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003172605A JP2003172605A (ja) | 2003-06-20 |
JP3849514B2 true JP3849514B2 (ja) | 2006-11-22 |
Family
ID=19183529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001375101A Expired - Fee Related JP3849514B2 (ja) | 2001-12-10 | 2001-12-10 | 物品位置認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3849514B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010256209A (ja) * | 2009-04-27 | 2010-11-11 | Ihi Corp | 袋状ワーク認識装置および方法 |
CN108189079A (zh) * | 2017-12-30 | 2018-06-22 | 芜湖哈特机器人产业技术研究院有限公司 | 一种纸箱垛拆盘系统视觉定位装置 |
CN111633633A (zh) * | 2018-10-30 | 2020-09-08 | 牧今科技 | 具有自动化物体检测机构的机器人系统及其操作方法 |
US11780101B2 (en) | 2018-10-30 | 2023-10-10 | Mujin, Inc. | Automated package registration systems, devices, and methods |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4470662B2 (ja) * | 2004-09-14 | 2010-06-02 | 株式会社ダイフク | 物品の取扱方法 |
JP4793109B2 (ja) * | 2005-12-05 | 2011-10-12 | 株式会社安川電機 | 物体検出法およびロボット |
JP4911341B2 (ja) * | 2006-03-24 | 2012-04-04 | 株式会社ダイフク | 物品移載装置 |
JP4297142B2 (ja) * | 2006-09-13 | 2009-07-15 | 株式会社日立製作所 | 運搬システム |
JP5339037B2 (ja) * | 2008-06-25 | 2013-11-13 | 株式会社Ihi | ピッキング装置と方法 |
EP2835234A4 (en) * | 2012-04-02 | 2016-02-17 | Yaskawa Denki Seisakusho Kk | ROBOTIC SYSTEM AND ROBOT CONTROL DEVICE |
US10124489B2 (en) * | 2016-02-26 | 2018-11-13 | Kinema Systems Inc. | Locating, separating, and picking boxes with a sensor-guided robot |
JP6825454B2 (ja) * | 2017-03-30 | 2021-02-03 | 愛知製鋼株式会社 | 物品の個数カウント装置 |
DE102017122939A1 (de) * | 2017-10-04 | 2019-04-04 | Symplex Vision Systems Gmbh | Vorrichtung und Verfahren zur Überprüfung eines Palettiervorgangs |
JP7086380B2 (ja) * | 2018-02-28 | 2022-06-20 | 株式会社エヌテック | 物品移載装置及び荷取位置検出装置 |
CN108313748A (zh) * | 2018-04-18 | 2018-07-24 | 上海发那科机器人有限公司 | 一种3d视觉纸箱拆垛系统 |
JP6795007B2 (ja) * | 2018-04-27 | 2020-12-02 | 株式会社ダイフク | ピッキング設備 |
ES2939386T3 (es) * | 2018-05-21 | 2023-04-21 | Automatizacion Y Sist De Inspeccion En Linea Global S L | Dispositivo y método para la clasificación de contenedores |
JP6833777B2 (ja) | 2018-09-10 | 2021-02-24 | 株式会社東芝 | 物体ハンドリング装置及びプログラム |
JP7232652B2 (ja) * | 2019-01-29 | 2023-03-03 | Kyoto Robotics株式会社 | ワーク移載システム |
JP7261597B2 (ja) * | 2019-02-01 | 2023-04-20 | Kyoto Robotics株式会社 | 移載対象ワーク記憶システム |
US11389965B2 (en) | 2019-07-26 | 2022-07-19 | Mujin, Inc. | Post-detection refinement based on edges and multi-dimensional corners |
JP7146829B2 (ja) * | 2020-02-04 | 2022-10-04 | 株式会社メイキコウ | 画像処理装置及び画像処理装置を備えた搬送装置 |
DE102020113183B4 (de) * | 2020-05-15 | 2021-12-16 | Sick Ag | Kamera und Verfahren zur Erfassung von bewegten Objekten |
-
2001
- 2001-12-10 JP JP2001375101A patent/JP3849514B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010256209A (ja) * | 2009-04-27 | 2010-11-11 | Ihi Corp | 袋状ワーク認識装置および方法 |
CN108189079A (zh) * | 2017-12-30 | 2018-06-22 | 芜湖哈特机器人产业技术研究院有限公司 | 一种纸箱垛拆盘系统视觉定位装置 |
CN111633633A (zh) * | 2018-10-30 | 2020-09-08 | 牧今科技 | 具有自动化物体检测机构的机器人系统及其操作方法 |
US11062457B2 (en) | 2018-10-30 | 2021-07-13 | Mujin, Inc. | Robotic system with automated package registration mechanism and minimum viable region detection |
US11176674B2 (en) | 2018-10-30 | 2021-11-16 | Mujin, Inc. | Robotic system with automated object detection mechanism and methods of operating the same |
US11189033B2 (en) | 2018-10-30 | 2021-11-30 | Mujin, Inc. | Robotic system with automated package registration mechanism and auto-detection pipeline |
US11288810B2 (en) | 2018-10-30 | 2022-03-29 | Mujin, Inc. | Robotic system with automated package registration mechanism and methods of operating the same |
US11501445B2 (en) | 2018-10-30 | 2022-11-15 | Mujin, Inc. | Robotic system with automated package scan and registration mechanism and methods of operating the same |
US11636605B2 (en) | 2018-10-30 | 2023-04-25 | Mujin, Inc. | Robotic system with automated package registration mechanism and minimum viable region detection |
US11780101B2 (en) | 2018-10-30 | 2023-10-10 | Mujin, Inc. | Automated package registration systems, devices, and methods |
US11797926B2 (en) | 2018-10-30 | 2023-10-24 | Mujin, Inc. | Robotic system with automated object detection mechanism and methods of operating the same |
US11961042B2 (en) | 2018-10-30 | 2024-04-16 | Mujin, Inc. | Robotic system with automated package registration mechanism and auto-detection pipeline |
US12002007B2 (en) | 2018-10-30 | 2024-06-04 | Mujin, Inc. | Robotic system with automated package scan and registration mechanism and methods of operating the same |
Also Published As
Publication number | Publication date |
---|---|
JP2003172605A (ja) | 2003-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3849514B2 (ja) | 物品位置認識装置 | |
JP4911341B2 (ja) | 物品移載装置 | |
KR101126437B1 (ko) | 전자 부품 장착 장치 | |
JP4670180B2 (ja) | 表面欠陥検査方法および表面欠陥検査装置 | |
US20240043227A1 (en) | Depalletizer system and controlling method for the same | |
JP2010006510A (ja) | ピッキング装置と方法 | |
JP2002037441A (ja) | ランダムワークの整列方法および整列装置 | |
JP3482938B2 (ja) | 物品位置認識装置 | |
JP6104429B2 (ja) | 搬送システム | |
JP2687030B2 (ja) | ロボット使用の自動移載装置 | |
JP3596434B2 (ja) | 物品位置認識装置 | |
CN109502357A (zh) | 一种码垛机器人工作站和板件码垛方法 | |
JP2006300929A (ja) | 物体の3次元位置認識装置およびデパレタイズシステム | |
JP2006273533A (ja) | コンテナ荷役用クレーン | |
JPH06241719A (ja) | 物品位置検出装置 | |
JP2010161243A (ja) | 部品認識装置および部品移載装置 | |
CN111422570A (zh) | 吊顶输送车 | |
JP3434004B2 (ja) | 部品認識装置及び部品実装装置 | |
JP2974111B2 (ja) | 物品移載方法 | |
JP4096594B2 (ja) | 物品保管設備 | |
JPH10128689A (ja) | 無人移動体の視覚補正装置 | |
JP2005109287A (ja) | 電子部品実装装置 | |
JP2007200990A (ja) | 部品認識方法、同装置および表面実装機 | |
JPH06132697A (ja) | 部品装着装置 | |
JP2896043B2 (ja) | 画像認識装置及びそれを用いた部品供給装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3849514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |