JP5007093B2 - 画像処理による製品の搬送システム及びその方法 - Google Patents

Description

この発明は画像処理による製品の搬送システム及びその方法に関し、さらに詳細には、積載された製品を撮像し所定の位置へ搬送するため製品の画像処理を行う画像処理による製品の搬送システム及びその方法に関する。

従来、例えばレーザ加工機等により板材を切断加工し、切り出した板金製品に、曲げ加工機により曲げ加工を行うごとくの加工の工程において、前記レーザ加工機による切断加工で切り出した複数個の製品を積載したパレット（トレイ）を、台車で曲げ加工機の設置してある場所まで運搬し、曲げ加工機で曲げ加工を行う。この際に、前記製品の選別、及び取り出しは人手により行い、曲げ加工を行っていた。一方、画像処理により製品を認識し、この製品を搬送する方法も行われていた。

また、特許文献１を参照。
特開２００４−０２１４０３号公報

このような従来の方法では、以下のような問題があった。すなわち、例えばレーザ加工機と曲げ加工機の間を中継ぎする入れ物（トレイ等）には、製品が複数入っており、その製品の姿勢が均一でない（運搬の際に移動してしまう。またトレイの上では製品をクランプしていないため、製品の上下が入れ替わる）と自動化は不可能である。

一方、現存の画像処理を用いる製品の移動（トレイから曲げ加工機までの移動）でも製品に穴加工が施されており、吸着するにもその穴を避けて吸着することが必要であるという問題があった。また、一体何を掴まなくてはいけないのか、一番上部にある製品は何かを判断しなければならないという問題があった。

さらに、金属の反射があるので光学系（非接触型）で行うと、下面から投光してＣＣＤカメラで影を捉え製品位置を知ることができるが、混載されていると影で捉えることが出来なく、また、上面から投光すると金属の反射は製品の材質によってまちまちなため輪郭や穴位置を正確に知ることができないという問題があった。

本発明は、前述のごとき問題に鑑みてなされたもので請求項１に係る発明は、積載された製品を搬送手段により所定の位置へ搬送するため製品を撮像し画像処理を行う画像処理による製品の搬送システムにおいて、
前記製品の形状データを記憶した形状データメモリと、
前記形状データメモリから前記製品の形状データを読み込む読み込み手段と、
積載された前記製品を上方向から撮像する撮像手段と、
前記撮像手段で撮像された撮像データを記憶する撮像データメモリと、
形状ビットマップデータと、前記撮像データとを比較し比較結果を生成する比較手段と、
前記比較結果に基づき積載された製品の一番上の製品形状を特定する製品特定手段とを備え、
さらに、前記製品の形状データであるＣＡＤデータと前記搬送手段の複数のバキュームパット位置から、前記製品の穴と重ならないように前記搬送手段を移動、回転させる制御を行う搬送制御手段と、前記ＣＡＤデータをビットマップデータに変換する変換手段とを備え、画像処理部へ前記ビットマップデータを送出する画像処理による製品の搬送システムである。

請求項２に係る発明は、前記搬送制御手段は、特定のバキュームパットの位置が、前記製品の穴と重なる場合に前記バキュームパットを作動させない制御を行う請求項１記載の画像処理による製品の搬送システムである。

請求項３に係る発明は、材質毎に異なる画像属性データを記憶するデータベースを有する請求項１又は２記載の画像処理による製品の搬送システムである。

請求項４に係る発明は、積載された製品を搬送手段により所定の位置へ搬送するため製品を撮像し画像処理を行う画像処理による製品の搬送方法において、
前記製品の形状データを記憶した形状データメモリから前記製品の形状データを読み込む読み込み工程と、
積載された前記製品を上方向から撮像手段で撮像し、撮像された撮像データを記憶する撮像データ記憶工程と、
形状ビットマップデータと、前記撮像データとを比較し比較結果を生成する比較工程と、
前記比較結果に基づき積載された製品の一番上の製品形状を特定する製品特定工程とを含むものであり、
さらに、前記製品の形状データであるＣＡＤデータと前記搬送手段の複数のバキュームパット位置から、前記製品の穴と重ならないように前記搬送手段を移動、回転させる制御を行う搬送制御工程と、前記ＣＡＤデータをビットマップデータに変換する変換工程とを含み、画像処理部へ前記ビットマップデータを送出する画像処理による製品の搬送方法である。

上述の如く本発明によれば、画像処理により、正確にハンドリングできるフレーム座標を得ることで、トレイ上にある単品または複数の製品で一番上にあるものだけを特定でき、的確にバキュームパットで吸着することができる（穴位置も吸ってしまうと下にある製品も持ち上げてしまう）という効果がある。

また、次に使おうとする加工機械へのアライメントが可能（例えば、画像処理により次の加工製品を認識できるので、次加工に対する段取りが自動化できる）になるという効果がある。

そして、人手や人の判断を行う必要が無くなるので、完全自動化、ミスの低減により高品質な加工か得られる効果がある。

本発明の実施の形態を、図面を参照して説明する。図１に画像処理による製品の搬送システム１の概略の構成を示す。

前記画像処理による製品の搬送システム１は、全体制御部３と、ＣＡＤデータ処理部５と、画像処理部７と、データベース９と、機械制御部１１とを備えている。

前記全体制御部３は、上記各処理部（全体制御部３、ＣＡＤデータ処理部５、画像処理部７、データベース９、機械制御部１１）への処理の振り分けと指示を行う。さらに、相関値判断による製品のハンドリング位置指示と、該当製品の判断等を行う。ここで、相関値とは、形状（具体的には、輪郭形状と穴形状）の一致の具合を数値化した値であり相関率が大きいほど、一致している可能性が高いものとする。

ＣＡＤデータ処理部５は、ＣＡＤデータからビットマップデータへデータ変換する。これにより、撮像された製品の形状との比較が容易になる。すなわち、比較するデータを重ね合わせることで、外形や内部の穴形状の一致まで容易に判断できる。

また、製品の穴位置と輪郭から搬送手段（例えばバキュームパットフレーム）の最適位置計算を行う。さらに吸着を行うか行わないかの判断処理を行う。

より詳細には、搬送手段は複数（例えば２５個）のバキュームパットを有し、複数のバキュームパットが、製品（処理上はＣＡＤデータ）と重なる部分が多くなるように搬送手段を移動、回転させる制御を行う。例えば、製品が正方形の場合で、バキュームパットの配置も縦横（５×５）正方形的に配置されている場合、製品がＡ度回転している場合には、バキュームパット（搬送手段）もＡ度回転するように制御する。これにより外形部分が一致するので、吸着する部分が多くなりより強い吸着が可能になる。

そして、搬送制御手段は、特定のバキュームパットの位置が、製品の穴と重なる場合に前記バキュームパットを作動（吸着）させない制御を行う。これにより、一番上の製品のみを吸着することができる。

前記データベース９には、材質毎に画像属性データ（蛍光管の光量、ＣＣＤカメラの受光感度、ＣＡＤデータと撮像データの一致を判定するしきい値である相関値を含み、測定結果の相関値が設定値以上であれば、撮像ＯＫと判断する）と、トレイ上にあるべき製品データ名と、製品データのＣＡＤデータと、バキュームパット配置位置等が記憶されている。これにより、実際の撮像される製品とＣＡＤデータを関連付けることができるとともに搬送手段のバキュームパットの移動位置を決定することができる。

前記機械制御部（搬送制御手段）１１は製品を載せたトレイ出し入れを行う出し入れ制御部１３と、バキュームパットＯＮ／ＯＦＦ制御とバキュームパットフレーム駆動制御を行うバキュームパットハンド制御部１５とを有している。

図２〜図５を参照し前記画像処理による製品の搬送システム１の動作を説明する。

ステップＳ２０１では、前記ＣＡＤデータ処理部３が、トレイ上にあると想定された製品のＣＡＤデータから各ビットマップデータを生成する。

例えば、図３に示すようにトレイＴ上に複数の製品Ｗが積載されている。そして、ここでは、搬送途中で製品が所定位置からずれてしまっているため、画像処理により一番上の製品を識別することが必要になる。一方、データベース９にはトレイ上にあると想定される製品のＣＡＤデータが記憶されている。

ステップＳ２０３では、前記ＣＡＤデータ処理部３が、各製品ＣＡＤデータ（製品形状）と搬送手段（例えば、ロボット）装着のバキュームパット配置から穴位置にバキュームパットができるだけ一致しないようにＰ１（Ｘ１，Ｙ１）のオフセット計算（平行移動）する。その結果、吸ってはいけないバキュームパットをアドレスＶ指定して記憶する。これにより、複数積載された製品のうち下に積載された製品を一番上に積載された製品とともに吸着してしまうことを防止できる。

ステップＳ２０５では、前記ＣＡＤデータ処理部３が、画像処理による製品の搬送システムの画像処理部７へ１個の製品のビットマップデータを送出する。これにより、画像データ（撮像データ）と、ビットマップデータの比較処理が容易になる。

ステップＳ２０７では、前記ＣＡＤデータ処理部３は、合わせて製品材質による画像処理の属性（明るさや感度）をデータベース９から取得して画像処理による搬送システムの画像処理部７へ送出する。

材料に応じた光の反射特性を材質テーブルとして登録しておき設定値以上であれば撮像ＯＫと判断する。また、蛍光管の光の照射を適正に調節するとともに、撮像手段（画像処理用カメラ）と製品の距離を調節し一番上の製品の輪郭が明確になるようにする。これにより、撮像された画像の濃淡より一番上の製品形状を特定することができる。

ステップＳ２０９では、前記画像処理部７が、製品の材質上定められた相関率最小値Ｂをデータベース９から取得する。

ステップＳ２１１では、画像処理による搬送システムの画像処理部７がトレイ上に載せられた製品の画像処理を行う。すなわち、画像の白黒境界線である輪郭線と穴位置を測定し、ビットマップデータとの相関率＝Ａを求める。

ステップＳ２１３では、画像処理部７が、この測定の中で一番相関率が高い製品と、相関率Ａｍａｘをメモリに記憶する。

ステップＳ２１５では、前記画像処理部７が、トレイ上にあるべき製品全てについて検証したか否かの判断を行う。トレイ上にあるべき製品全てについて検証したと判断した場合処理はステップＳ２１７に進む。トレイ上にあるべき製品全てについて検証していない場合に処理はステップＳ２１１に戻る。

ステップＳ２１７では、前記画像処理部７が、相関率Ａｍａｘが最小相関率Ｂより大きいか否か（相関率Ａｍａｘ＞最小相関率Ｂ）を判断する。ここで、相関率が大きいほど、一致している可能性が高いものとする。

相関率Ａｍａｘが最小相関率Ｂより大きいと判断した場合に処理はステップＳ２１９に進む。相関率Ａｍａｘが最小相関率Ｂより小さい判断した場合に処理はステップＳ２２１に進む。

ステップＳ２１９では、前記画像処理部７が、Ａｍａｘに対応する製品をトレイの一番上に載せられた製品と判断する。

ステップＳ２２１では、前記画像処理部７が、ワーニング表示を行い、製品の選択画面を表示装置（図示しない）出力する。これにより、画像処理不能な製品を手動で処理することができる。

ステップＳ２２３では、前記機械制御部１１が、このとき実際に製品がトレイのどこにあるのかを画像処理部７から受け取り計算する。この中心点Ｐ１と回転角Ｐ２（Ｘ２，Ｙ２，Ｒ２）とする。

図４、図５を参照し、ＣＡＤデータ処理部５、画像処理部７、機械制御部１１等による撮像データの補正処理を説明する。図４に示すように、バキュームパット計算値センタＰ１と製品をビットマップに貼り付けた中心位置Ｐ０（０，０）とすると、、バキュームパットと製品の穴が重ならないように補正できる。そして、図５に示すように、撮像された製品がビットマップデータに対してＲ２度分回転していることを算出することによりＲ２度分逆回転し補正することができるとともに画像処理部７が捉えた製品中心位置Ｐ２のＰ０に対してのＸＹ移動距離を算出することができる。

ステップＳ２２５では、上記の結果、前記機械制御部１１がＰ０（０，０）の原点を基準にＰ１，Ｐ２，Ｒ２の値に基づき計算しバキュームパットを移動させアドレスＶの値から吸わない箇所を制御し製品を吸着する。

図６を参照し、画像処理による製品の搬送システム１の機械制御部１１の制御の詳細を説明する。図６（ａ）はシステムを上方からみた図である。図６（ｂ）はシステムを正面からみた図である。図６（ｃ）はシステムを側面からみた図である。

はじめに、作業者が運んできたトレイ搬送装置６０１から、トレイチェンジ装置６０３がＴＺ移動のトレイＴを引き出す。

そして、トレイＴを引出し後、トレイチェンジ装置６０３がトレイＴを昇降させ製品Ｗを所定の計測高さに移動する。そして、蛍光管６１３で光の照射率等を調整し撮像手段（画像処理用カメラ６０９）で製品Ｗの撮像を行い計測結果を算出する。

そして、計測結果に合わせて２５個のバキュームパット６１５を備えた搬送手段６０７が製品位置までＭＸ，ＭＹ，ＭＲ移動を行う。

シリンダ６１１にて搬送手段６０７が備えたバキュームパット６１５を降下する。吸着する／吸着しないを各バキュームパット６１５に指令する（本例では、製品Ｗの穴Ｈと、複数のバキュームパット６１５のうち重なるバキュームパットは吸着しない。なお、その他のバキュームパットは吸着することは当然である）。その後、製品Ｗを吸着したままバキュームパットの上昇を行う。

製品端面が次工程受け渡し基準位置６０５に合うように位置決めを行う。そして、バキュームパット６１５を移動させ降下し吸着を開く。その後、バキュームパット６１５を上昇しアームが待機する。位置決めされた製品Ｗはロボットにより移動させられ曲げ加工等が行われる。

なお、本発明は、上述した実施の態様の例に限定されることなく、適宜の変更を加えることにより、その他の態様で実施できるものである。

画像処理による製品の搬送システムの概略の構成を説明する概略図である。 画像処理による製品の搬送システムの動作を示すフローチャートである。 トレイ上の製品を説明する説明図である。 画像処理を説明する説明図である。 画像処理を説明する説明図である。 （ａ），（ｂ），（ｃ）は機械制御部の制御を説明する説明図である。

符号の説明

１ 画像処理による製品の搬送システム
３ 全体制御部
５ ＣＡＤデータ処理部
７ 画像処理部
９ データベース
１１ 機械制御部
１３ トレイ出し入れ制御部
１５ バキュームパットハンド部

Claims (4)

1. 積載された製品を搬送手段により所定の位置へ搬送するため製品を撮像し画像処理を行う画像処理による製品の搬送システムにおいて、
   前記製品の形状データを記憶した形状データメモリと、
   前記形状データメモリから前記製品の形状データを読み込む読み込み手段と、
   積載された前記製品を上方向から撮像する撮像手段と、
   前記撮像手段で撮像された撮像データを記憶する撮像データメモリと、
   ビットマップデータと、前記撮像データとを比較し比較結果を生成する比較手段と、
   前記比較結果に基づき積載された製品の一番上の製品形状を特定する製品特定手段とを備え、
   さらに、前記製品の形状データであるＣＡＤデータと前記搬送手段の複数のバキュームパット位置から、前記製品の穴と重ならないように前記搬送手段を移動、回転させる制御を行う搬送制御手段と、前記ＣＡＤデータをビットマップデータに変換する変換手段とを備え、画像処理部へ前記ビットマップデータを送出することを特徴とする画像処理による製品の搬送システム。
2. 前記搬送制御手段は、特定のバキュームパットの位置が、前記製品の穴と重なる場合に前記バキュームパットを作動させない制御を行うことを特徴とする請求項１記載の画像処理による製品の搬送システム。
3. 材質毎に異なる画像属性データを記憶するデータベースを有することを特徴とする請求項１又は２記載の画像処理による製品の搬送システム。
4. 積載された製品を搬送手段により所定の位置へ搬送するため製品を撮像し画像処理を行う画像処理による製品の搬送方法において、
   前記製品の形状データを記憶した形状データメモリから前記製品の形状データを読み込む読み込み工程と、
   積載された前記製品を上方向から撮像手段で撮像し、撮像された撮像データを記憶する撮像データ記憶工程と、
   ビットマップデータと、前記撮像データとを比較し比較結果を生成する比較工程と、
   前記比較結果に基づき積載された製品の一番上の製品形状を特定する製品特定工程とを含むものであり、
   さらに、前記製品の形状データであるＣＡＤデータと前記搬送手段の複数のバキュームパット位置から、前記製品の穴と重ならないように前記搬送手段を移動、回転させる制御を行う搬送制御工程と、前記ＣＡＤデータをビットマップデータに変換する変換工程とを含み、画像処理部へ前記ビットマップデータを送出することを特徴とする画像処理による製品の搬送方法。

Images