JPWO2017208389A1 - 画像処理装置、ワーク移載装置及び画像処理方法 - Google Patents

画像処理装置、ワーク移載装置及び画像処理方法 Download PDF

Info

Publication number
JPWO2017208389A1
JPWO2017208389A1 JP2018520277A JP2018520277A JPWO2017208389A1 JP WO2017208389 A1 JPWO2017208389 A1 JP WO2017208389A1 JP 2018520277 A JP2018520277 A JP 2018520277A JP 2018520277 A JP2018520277 A JP 2018520277A JP WO2017208389 A1 JPWO2017208389 A1 JP WO2017208389A1
Authority
JP
Japan
Prior art keywords
unit
work
image processing
collection
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018520277A
Other languages
English (en)
Other versions
JP6737882B2 (ja
Inventor
信夫 大石
信夫 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2017208389A1 publication Critical patent/JPWO2017208389A1/ja
Application granted granted Critical
Publication of JP6737882B2 publication Critical patent/JP6737882B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23PMETAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/02Gripping heads and other end effectors servo-actuated
    • B25J15/0206Gripping heads and other end effectors servo-actuated comprising articulated grippers
    • B25J15/0226Gripping heads and other end effectors servo-actuated comprising articulated grippers actuated by cams
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Automatic Assembly (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

ワーク移載装置20は、画像処理装置を備える。画像処理装置は、採取用載置部13に光を照射する照明部26と、採取用載置部13のカラー画像を撮像可能である撮像部25と、撮像部25から出力された信号から得られる輝度−色差信号のうち色差信号を用いてワーク領域を検出し、ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する判定部とを備える。ワーク移載装置20は、画像処理装置の判定結果を用いて採取用載置部13上のワークWを採取部22によって採取する。

Description

本発明は、画像処理装置、ワーク移載装置及び画像処理方法に関する。
従来、ワーク移載装置としては、例えば、開閉可能な一対の把持爪部によりワークを把持して該ワークを移動させるロボットハンドの近傍にカメラを取り付け、カメラにより撮像した画像を処理することによってトレイ上に整列されたワークの位置を計測し、その位置で一対の把持爪部の把持動作を行うものが提案されている(例えば、特許文献1参照)。この装置では、多少の位置誤差があっても正確にワークを把持することができるとしている。
特開2013−43231号公報
ところで、この特許文献1に記載された装置では、例えば、ワークが金属など光を反射するものや、白色、黒色など、ワークの色が変わるような場合、あるいは、ワークの立体形状が変わり、影になる部分や反射する部分がある場合などには、撮像した画像からワークの位置を判定することが困難である場合があった。このような装置では、ワークの変更に伴いワークの載置台の色を変更するのは手間がかかる問題があった。また、このような装置では、影ができないようにワーク全体に光を照射する照明をワーク近傍に設けるものとすると、ワークを採取しにくくなる問題があった。
本発明は、このような課題に鑑みなされたものであり、汎用性を有しつつワークの位置をより確実に把握することができる画像処理装置、ワーク移載装置及び画像処理方法を提供することを主目的とする。
本発明は、上述の主目的を達成するために以下の手段を採った。
本発明の画像処理装置は、
1以上のワークが載置された採取用載置部から該ワークを採取部により採取して移動させるワーク移載装置に用いられる画像処理装置であって、
前記採取用載置部に光を照射する照明部と、
前記採取用載置部のカラー画像を撮像可能である撮像部と、
前記撮像部から出力された信号から得られる輝度−色差信号のうち色差信号を用いてワーク領域を検出し、前記ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する判定部と、
を備えたものである。
この画像処理装置は、カラー画像を撮像する撮像部から出力された信号から得られる輝度−色差信号のうち色差信号を用いてワーク領域を検出し、検出したワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する。画像処理装置において、例えば、輝度信号によりワーク領域を検出するものとすると、例えば、金属光沢を有するワークでは、ハレーションが起きたり、影になる領域が生じたりして正確なワーク領域を把握できない場合がある。これに対して、この画像処理装置では、色差信号を用いてワーク領域を検出するため、背景(採取用載置部)とワークとの色差レベルがより明確となり、輪郭抽出がより安定する。この装置では、例えば背景や照明の変更などを抑制することができ、汎用性を有しつつワークの位置をより確実に把握することができる。そして、判定結果を取得したワーク移載装置では、より確実なワークの位置に基づいて、より確実にワークを採取することができる。
ワーク移載システム10の概略説明図。 ワーク移載装置20の概略説明図。 補色関係の説明図。 画像処理装置50の概略説明図。 ワーク移載装置20が実行するワーク移載処理の説明図。 画像処理ルーチンの一例を示すフローチャート。 採取用載置部13と撮像画像60の説明図。 撮像画像と輝度信号、色差信号の説明図。
本発明の実施形態を図面を参照しながら以下に説明する。図1は、本発明の一例であるワーク移載システム10の概略説明図である。図2は、ワーク移載システム10が備えるワーク移載装置20の概略説明図である。図3は、採取用載置部13と照明部26が照射する光との補色関係の説明図である。図4は、ワーク移載装置20が備える画像処理装置50の概略説明図である。ワーク移載システム10は、ワーク移載装置20と、ワーク供給装置40とを備えている。なお、ワーク移載システム10における、左右方向(X軸)、前後方向(Y軸)及び上下方向(Z軸)は、図1に示した通りとして以下説明する。
ワーク移載システム10は、ワーク収容部材11に収容された作業対象のワークWをその後の作業に用いられる作業用載置部16へ移動、載置させる装置として構成されている(図1参照)。ワーク移載システム10は、例えば、不定姿勢でワーク収容部材11の採取用載置部13に載置されたワークWを、後工程で作業者が作業しやすいように、所定の姿勢で整列させた状態で作業用載置部16へ載置させるものとしてもよい。ここで、「不定姿勢」とは、ワークWの位置、方向などが統一されていない状態をいうものとする。ワークWは、特に限定されないが、例えば、機械部品、電気部品、電子部品、化学部品などが挙げられ、例えば、ボルト、ナット、ワッシャ、ねじ、釘及びリベットなどのうち1以上の締結部材としてもよい。このワークWは、少なくとも一部が磁性体により形成されているものとしてもよい。また、ワークWは、例えば、黒色、白色、灰色及び銀色のうち1以上を含む無彩色であるものとしてもよい。ワーク移載システム10は、作業用載置部16の搬入、搬送、ワークWの移載位置での固定、搬出を行うユニットである搬送部15を備えている。
ワーク収容部材11は、ワークWを貯蔵する部材である。ワーク移載システム10では、複数のワーク収容部材11が配設されており、それぞれのワーク収容部材11に所定種別のワークWが収容されている。このワーク収容部材11は、ワークWが貯蔵される貯蔵部12と、貯蔵部12から供給されたワークWを載置する採取用載置部13と、ワーク収容部材11の外壁を構成する筐体14とを備えている。採取用載置部13は、より詳しくは後述するが、ワークWの移載処理時にワークWを載置した状態で撮像される平板状の部材であり、その撮像時に照射される光の色に対して補色関係にある色で着色されている。作業用載置部16は、ワークWを配列載置する部材である。この作業用載置部16は、磁力を帯びており、磁性体であるワークWを磁力で固定するパレットとして構成されている。この作業用載置部16は、ワークWの種別に応じて定められた位置にそのワークWが配設固定される。作業者は、ワークWが配設固定された作業用載置部16を用い、配設固定された位置に基づいてワークWを特定しながらワークWの組付けなどを行う。
ワーク移載装置20は、1以上のワークWが載置されたワーク収容部材11からワークWを採取し、採取したワークWを所定の配列で作業用載置部16へ移動載置する移載部21を備えている。移載部21は、図1、2に示すように、採取部22と、撮像部25と、照明部26と、アーム部28と、移載制御部29とを有している。ワーク移載装置20は、例えば、ワークWとしてのボルトをワークWに配列させる工程や、ワークWとしてのワッシャを、配列されたボルトに組付ける工程などを実行するものとしてもよい。採取部22は、ワークWを採取する部材であり、アーム部28の先端に回動可能に装着されている(図2参照)。採取部22は、軸部材の磁力で引き付けたワークWを挟み込んで支持する挟持部24を備えている。この採取部22では、2つの挟持部24によりワークWを挟持するが、3以上の挟持部によりワークWを挟持するものとしてもよい。アーム部28は、採取部22が配設された第1アーム28aと、一端側に第1アーム28aを支持し他端側に台座が配設された第2アーム28bとを有している。アーム部28は、複数の駆動部によって駆動される。移載制御部29は、装置全体を制御するものであり、CPU30などを備えている。
撮像部25は、画像を撮像するユニットであり、照明部26と共に採取部22の先端側に固定されている。撮像部25は、カラー画像を撮像可能であり、撮像素子27と、レンズ31と、偏光フィルタ32とを備えている。撮像素子27は、受光により電荷を発生させ発生した電荷を出力する素子であり、偏光フィルタ32及びレンズ31を介して入射した光を受光する。撮像素子27は、例えば、CMOSイメージセンサとしてもよい。偏光フィルタ32は、その偏光面が照明部26側の偏光面と垂直になるよう調整されており、ハレーションなどを防止する。撮像部25は、撮像素子27から出力され電荷に基づいて画像データを生成し、生成した画像データを移載制御部29へ出力する。照明部26は、リング照明34と、偏光板35とを備えている。リング照明34は、撮像素子27の外周側に円状に配設された落射照明であり、下方にある撮像対象に対して光を照射する。リング照明34は、光源の主成分を青色(波長450nm前後)とする白色LEDにより光を照射する。この照明部26は、採取用載置部13の彩色に対して補色関係にある光を採取用載置部に照射する。図3に示すように、採取用載置部13は、青色を主とする光源に対して補色の関係にある橙色で着色されているものとする。また、採取用載置部13は、光の反射を抑える観点から、無光沢であることが好ましい。照明部26は、撮像対象である採取用載置部13の全体に光を照射するよう採取部22に配設されている。ここでは、採取用載置部13は彩色(橙色)で着色され、補色の関係にある光(青色光)を採取用載置部13へ照射するものとして説明する。この組み合わせでは、ワークWが黒色、白色、灰色及び銀色のうちいずれの無彩色であっても同様の精度でその領域を把握することができる。なお、採取用載置部13の色や照明部26の照明色は、ワークWの色も考慮し、補色関係で適宜良好な組み合わせを用いることができる。
このワーク移載装置20は、画像処理装置50を備えている。画像処理装置50は、採取用載置部13上にあるワークWの領域(ワーク領域)を検出し、採取可能なワークWを判定するものである。この画像処理装置50は、図4に示すように、撮像部25、照明部26及び判定部51を備える。判定部51は、撮像部25から出力された信号から得られる輝度−色差信号のうち色差信号を用いてワーク領域を検出し、ワーク領域のワークWが採取可能であるか否かを判定し、判定結果を出力する処理を行う。この判定部51は、信号変換部52、色差抽出部53、輝度抽出部54、輝度判定部55、切替部56、基準画像保持部57、ワーク認識部58及び採取可能判定部59を備えている。信号変換部52は、撮像素子27から出力された各画素のRGB信号を、所定の演算式により輝度−色差信号であるYCbCr信号へ変換するものである。なお、輝度−色差信号としては、例えば、YUVやYPbPrなどを用いることができる。色差抽出部53は、信号変換部52で変換された信号のうち、色差信号(CbCr信号)を入力し、その画素がワークWに該当する信号レベルであるか否かを判定することにより、ワーク領域に該当する画素を検出する。色差抽出部53は、−128〜+127の値である正負の色差レベルをオフセットした、0〜255の値のオフセットバイナリ形式の色差信号を入力する。この色差信号において、無彩色の画素は白黒含めて8bit入力のフルスケールの中間値(値128)近傍になり、彩色の画素は値128に対して十分レベル差を有する値になる。この色差抽出部53では、所定の無彩色レベル(例えば(128−α)〜(128+α)など、αはオフセット値)にある領域をワーク領域の画素として検出する。なお、色差信号は、輝度信号に対してサンプリングレートが下げられることもあるが(4:2:2や4:1:1など)、位置精度を確保する上では、輝度信号と同じレートで取り扱われることが好ましい。
輝度抽出部54は、信号変換部52で変換された輝度信号(Y信号)を色差抽出部53と並行して入力する。輝度判定部55は、輝度抽出部54に入力した値が色差抽出部53でワークWに該当する色差信号レベルであるときに、その画素が無彩色に含まれる色(例えば、黒色、白色(銀色)、灰色)のうちいずれであるかを輝度レベルに応じて判定する。ワークWの色は、輝度判定部55の判定結果によって特定できる。切替部56は、輝度信号と色差信号とのいずれかを後段のワーク認識部58へ出力するかを切り替えるものである。基準画像保持部57は、ワークWのテンプレートとなる基準画像を記憶する記憶部である。基準画像保持部57は、採取対象のワークWを1以上の角度から見たものなど、1以上の基準画像を記憶する。ワーク認識部58は、採取対象のワークWの基準画像と、色差抽出部53で検出されたワーク領域レベルの画素の集合領域とのマッチングにより、採取対象のワーク領域を検出するものである。採取可能判定部59は、2以上のワーク領域の近接状態及び重なり状態に基づいて採取可能なワーク領域を判定するものである。例えば、複数のワークW近接している場合や、重なり合っている場合は、挟持部24がワークWを採取するのを失敗することがある。ここでは、他のワーク領域が所定値よりも離れている場合に採取可能と判定するものとする。採取可能判定部59は、採取可能なワーク領域の判定結果を移載制御部29へ出力する。なお、判定部51は、各処理をソフトウエアにより行うものとしてもよいが、ハードウエア(回路構成)により行うことが、処理時間の短縮の面からみて好ましい。
ワーク供給装置40は、ワーク移載装置20により採取可能となるよう、ワーク収容部材11の貯蔵部12に収容された1以上のワークWを採取し、不定姿勢で採取用載置部13へ供給する供給部41を備えている(図1参照)。供給部41は、磁力によってワークWを一度に多数採取する採取部42と、アーム部28と同様のアーム部48とを備えている。また、ワーク供給装置40は、装置全体を制御する供給制御部44を備えている。
次に、こうして構成された本実施形態のワーク移載システム10の動作、まず、採取用載置部13から作業用載置部16へワークWを配列固定させる処理について説明する。図5は、ワーク移載装置20が実行するワーク移載処理の説明図であり、図5(a)が採取用載置部13上を撮像する図、図5(b)がワークWを採取する図、図5(c)が挟持部24でワークWを固定した図である。また、図5(d)がワークWを引き付けた図、図5(e)が挟持部24を移動する図、図5(f)が挟持部24でワークWを固定した図、図5(g)が作業用載置部16へ配列載置する図である。まず、ワーク移載システム10は、搬送部15により作業用載置部16を搬送させ、作業用載置部16を移載位置で固定させる。次に、ワーク供給装置40の採取部42が貯蔵部12に収容された多数のワークWを採取して採取用載置部13上に落下させる。落下したワークWは、分散し、採取用載置部13上に不定姿勢で載置される。次に、ワーク移載装置20のCPU30は、採取すべきワークWがある採取用載置部13上に撮像部25を移動させ、採取用載置部13を照明部26で照明し、撮像部25に撮像させる(図5(a))。画像処理装置50は、採取用載置部13上のワークWの位置を検出し、採取可能なワークWの位置や向きを移載制御部29へ出力する。CPU30は、採取可能なワークW上に採取部22を移動させ(図5(b))、採取部22にワークWを採取させる(図5(c)〜(f))。CPU30は、採取したワークWを作業用載置部16の所定位置に配設させる(図5(g))。このように、ワーク移載システム10では、作業用載置部16上に様々なワークWを配列させる。
次に、画像処理装置50が実行するワーク領域の検出処理について説明する。図6は、画像処理装置50の判定部51が実行する画像処理ルーチンの一例を示すフローチャートである。このルーチンは、撮像部25から撮像した信号が入力されると判定部51により実行される。まず、撮像部25が撮像した画像のRGB信号を撮像素子27から順に出力すると、信号変換部52は、RGB信号から輝度−色差信号(YCbCr信号)へ変換して色差抽出部53と輝度抽出部54へ出力する(ステップS100)。色差抽出部53は、色差信号を入力し(ステップS110)、入力した信号レベルが所定の色差レベル(無彩色範囲)であるか否かを判定する(ステップS120)。色差抽出部53は、入力した信号レベルが所定の色差レベルであるときには該当画素がワーク領域レベルにあると判定し(ステップS130)、入力した信号レベルが所定の色差レベルにないときには該当画素が背景領域レベルにあると判定する(ステップS170)。次に、輝度抽出部54は、輝度信号を入力し(ステップS140)、輝度判定部55は、該当画素が所定の輝度レベルであるか否かを判定する(ステップS150)。この所定の輝度レベルは、例えば、採取対象のワークWの色(例えば、白、銀、黒、灰色などのいずれか1つ)に合わせて設定される。該当画素が所定の輝度レベルであるときには、該当画素を対象ワーク色であると判定し(ステップS160)、該当画素が所定の輝度レベルにないときには、該当画素を対象外ワーク色であると判定する(ステップS180)。判定部51は、このような処理をすべての画素に対して行う。
ステップS160、S170、S180のあと、ワーク認識部58は、ワーク領域の検出処理を実行する(ステップS190)。ワーク認識部58は、基準画像保持部57に記憶された採取対象のワークWの基準画像と、色差抽出部53で検出されたワーク領域レベルにある画素の集合領域とのマッチングにより採取対象のワーク領域を検出する。ワーク領域を検出すると、採取可能判定部59は、検出されたワーク領域のうち、採取可能なワーク領域を判定処理し(ステップS200)、判定結果を移載制御部29へ出力し(ステップS210)、このルーチンを終了する。採取可能判定部59は、2以上のワーク領域の近接状態や重なり状態、更には載置位置に基づいて採取可能なワーク領域を判定する。また、採取可能判定部59は、ワーク領域の色が採取対象のワーク領域と異なる対象外ワーク色である場合にもそのワーク領域を採取可能でないものと判定する。図7は、採取用載置部13と撮像画像60の説明図である。図7に示すように、判定部51は、撮像画像60のワークWの基準画像に適合したワーク領域のうち、他のワーク領域との重なりがなく近接しないもの、且つ採取用載置部13の縁部分にないものを採取可能ワーク領域61と認識する。一方、判定部51は、ワーク領域のうち、他のワーク領域と重なっているもの、近接しているもの、採取対象のワークWと異なる色のもの、採取用載置部13の縁部分にあるものを採取不能ワーク領域62と認識する。このように、画像処理装置50は、採取部22によって、より確実に採取できるワークWの位置を検出する。
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の撮像部25が撮像部に相当し、照明部26が照明部に相当し、判定部51が判定部に相当し、採取用載置部13が採取用載置部に相当する。なお、本実施形態では、画像処理装置50の動作を説明することにより本発明の画像処理方法の一例も明らかにしている。
以上説明した本実施形態の画像処理装置50は、1以上のワークWが載置された採取用載置部13からワークWを採取部22により採取して移動させるワーク移載装置に用いられる装置である。この画像処理装置50は、採取用載置部13に光を照射する照明部26と、採取用載置部13のカラー画像を撮像可能である撮像部25と、撮像部25から出力された信号から得られる輝度−色差信号のうち色差信号を用いてワーク領域を検出し、ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する判定部51とを備える。この画像処理装置50は、カラー画像を撮像する撮像部から出力された信号から得られる輝度−色差信号のうち主に色差信号を用いてワーク領域を検出し、検出したワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する。
図8は、金属光沢を有するワークWの撮像画像の一例と、撮像画像のA−Aにおける輝度信号、色差信号の説明図である。輝度信号は、全体的に出力が大きいため、閾値を設定しやすい利点がある反面、図8に示すように金属光沢を有するワークWにおいては、ハレーションが起きたり、曲面を有するワークWでは側面に照明が当たりにくいため、側面側のコントラストが弱くなることがある。あるいは、輝度信号では、ワーク表面の凹凸部分(ボルトのねじ山部分など)で輝度レベルが不安定になり、画像処理装置50は、ワークの輪郭形状(エッジ部分)を誤検出することがあり、ワークを正確に検出できない場合がある。これは、ワークWを側面から照明すれば解消できるが、採取用載置部13ごとに照明を配置するのは設備上問題があり、側面に照明を配置すると採取部22がワークWを採取しにくくなる問題がある。また、輝度信号を用いてワーク領域を検出する場合、ワークWの色が白や黒であると、ワークWの色に応じて背景色を変更しなければコントラスト差を得られない問題がある。これに対して、色差信号を用いてワーク領域を検出する場合、無彩色のワークWをカラー背景上に載置すれば、ワーク領域は固定値(略値128)になり、金属ワークWの側面の輪郭抽出も確実に行え、背景色の変更も必要がなくなる。このように、画像処理装置50では、色差信号を用いてワーク領域を検出するため、背景色を適切に選択することによって、背景(採取用載置部13)とワークWとの色差レベルがより安定となり、輪郭抽出がより安定する。この装置では、例えば、背景のノイズや照明の照度の変動に対するロバスト性を高くすることができ、安価で汎用的な設備を用いてワークWの位置をより確実に把握することができる。そして、判定結果を取得したワーク移載装置20では、より確実に求められたワークWの位置に基づいて、より確実にワークWを採取することができる。
また、画像処理装置50は、採取用載置部13は所定の彩色であり、照明部26は、採取用載置部13の彩色に対して補色関係にある光を採取用載置部13に照射する。この装置では、補色の光によりワークWの影などの影響をより抑制することができるため、ワークWの位置を更に確実に把握することができる。画像処理装置50では、ワークWが無彩色であり、採取用載置部13が橙色であり、照明部26が青色光を照射することが好ましい。更に、画像処理装置50では、ワークWは、黒色、白色、灰色及び銀色のうち1以上を含む無彩色であり、判定部51は、輝度信号を用いてワーク領域が無彩色に含まれる色のいずれであるかを判定する。色差信号において、無彩色領域では色差レベルが固定値(例えば、値128)になることから、この装置では、ワークWの位置をより確実に把握しやすい。また、この装置では、輝度信号に基づいてその領域がどの無彩色であるかを判定することができるから、採取対象であるワーク領域をより確実に把握することができる。
また、判定部51は、採取対象のワークWの基準画像とワーク領域に該当する画素領域とのマッチングによりワーク領域を検出し、2以上のワーク領域の近接状態や重なり状態、ワーク領域の色、ワークWの載置場所などに基づいて、採取可能なワーク領域を判定する。この装置では、基準画像を用いてワーク領域を検出することができる。また、この装置では、ワーク領域の状態を用いて採取可能なワーク領域を判定することができる。更に、ワーク移載装置20において、照明部26及び撮像部25は、移載部21に配設されている。この装置では、ワークWにより近い位置で画像を撮像できるため、ワークWの位置座標をより正確に検出することができる。
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
例えば、上述した実施形態では、採取用載置部13と照明部26の照射光とが補色の関係にあるものとして説明したが、特にこれに限定されず、補色の関係にないものとしてもよい。この装置においても、色差レベルを用いてワーク領域を検出するため、汎用性を有しつつワークWの位置をより確実に把握することができる。
上述した実施形態では、ワークWは黒色、白色、灰色及び銀色のうち1以上を含む無彩色であり、判定部51は、輝度信号を用いてワーク領域が無彩色に含まれる色のいずれであるかを判定するものとしたが、輝度信号による無彩色を特定する処理を省略してもよい。ワーク収容部材11へ収容するワークWが所定のもの以外は入らないようにすれば、この処理は省略できる。
上述した実施形態では、判定部51は、所定の無彩色レベルにある領域をワーク領域として検出するものとしたが、これに限定されず、所定の彩色レベル(例えば、値90以下など)にある領域以外の領域(図8の色差信号の図参照)をワーク領域として検出するものとしてもよい。この場合、上述した画像処理ルーチンにおいて、ステップS120の色差レベルは、背景色のレベルに設定され、ステップS130では、該当画素を背景領域に判定し、その補領域(背景領域以外の領域)を反転信号などを用いてワーク領域に判定するものとすればよい。
上述した実施形態では、照明部26及び撮像部25は、移載部21に配設されているものとしたが、特にこれに限定されず、採取用載置部13の上方に配設されているものとしてもよいし、移載部21に配設されているものと採取用載置部13の上方に配設されているものとしてもよい。照明部26及び撮像部25が採取用載置部13の上方に配設されている装置では、ワークWを移載部21が移動している間に、画像処理装置50が採取用載置部13上のワークWの画像を撮像し、ワーク領域を検出することができるため、処理時間の短縮をより図ることができ、好ましい。
上述した実施形態では、採取部22は、磁力で引き付けて挟持部24で把持してワークWを採取するものとしたが、特にこれに限定されず、磁力のみでワークWを採取してもよいし、挟持部24のみで把持してワークWを採取してもよいし、あるいは吸着ノズルで吸着してワークWを採取するものとしてもよい。
上述した実施形態では、ワーク収容部材11に配設された採取用載置部13に採取対象のワークWを載置するものとしたが、特にこれに限定されない。例えば、移動するベルトコンベア上に採取対象のワークWを載置するものとしてもよい。この装置では、ベルトコンベアが採取用載置部に該当し、このベルトコンベアの色を彩色などにする。この装置においても、色差レベルを用いてワーク領域を検出するため、汎用性を有しつつワークWの位置をより確実に把握することができる。採取用載置部がベルトコンベアである場合、複数種のワークWをベルトコンベア上に載置し、画像処理装置50によるワーク領域の認識において、採取対象のワークWを特定するものとしてもよい。なお、ワーク収容部材11に配設された採取用載置部13においても、複数種のワークWを載置し、画像処理装置50によるワーク領域の認識において、採取対象のワークWを特定するものとしてもよい。
上述した実施形態では、ワークWは、無彩色であるものとしたが、無彩色でないものとしてもよい。このワークWを取り扱う装置では、採取用載置部13の色や照明部26の色をワークWに適した色にすればよい。例えば、ワークWが彩色であり、採取用載置部13が無彩色に着色されているものとしてもよい。
上述した実施形態では、画像処理装置50が画像処理ルーチンを実行するものとしたが、特にこれに限定されず、移載制御部29が実行するものとしてもよい。
上述した実施形態では、ワーク移載システム10は、ワーク移載装置20とワーク供給装置40とを1つずつ備えたものとしたが、特にこれに限定されず、それぞれの装置を1以上備えるものとしてもよい。
上述した実施形態では、本発明は、ワークを採取部により採取して移動させるワーク移載装置に適用されるものとしたが、電子部品回路組立機における部品や基板のマークの認識、工作機械における刃具やワークの認識に適用されるものとしてもよい。
上述した実施形態では、ワーク移載装置20とワーク供給装置40とを備えたワーク移載システム10として説明したが、ワーク移載装置20のみとしてもよいし、画像処理装置50のみとしてもよいし、画像処理方法として提供されるものとしてもよい。なお、この画像処理方法において、上述した画像処理装置50の種々の態様を採用してもよいし、また、上述した画像処理装置50の各機能を実現するようなステップを追加してもよい。
本発明は、ワークを採取、配置などの処理を行う装置の技術分野に利用可能である。
10 ワーク移載システム、11 ワーク収容部材、12 貯蔵部、13 採取用載置部、14 筐体、15 搬送部、16 作業用載置部、20 ワーク移載装置、21 移載部、22 採取部、24 挟持部、25 撮像部、26 照明部、27 撮像素子、28 アーム部、28a 第1アーム、28b 第2アーム、29 移載制御部、30 CPU、31 レンズ、32 偏光フィルタ、34 リング照明、35 偏光板、40 ワーク供給装置、41 供給部、42 採取部、43 アーム部、44 供給制御部、
50 画像処理装置、51 判定部、52 信号変換部、53 色差抽出部、54 輝度抽出部、55 輝度判定部、56 切替部、57 基準画像保持部、58 ワーク認識部、59 採取可能判定部、60 撮像画像、61 採取可能ワーク領域、62 採取不能ワーク領域、W ワーク。

Claims (8)

  1. 1以上のワークが載置された採取用載置部から該ワークを採取部により採取して移動させるワーク移載装置に用いられる画像処理装置であって、
    前記採取用載置部に光を照射する照明部と、
    前記採取用載置部のカラー画像を撮像可能である撮像部と、
    前記撮像部から出力された信号から得られる輝度−色差信号のうち色差信号を用いてワーク領域を検出し、前記ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力する判定部と、
    を備えた画像処理装置。
  2. 前記採取用載置部は所定の彩色であり、
    前記照明部は、前記採取用載置部の彩色に対して補色関係にある光を前記採取用載置部に照射する、請求項1に記載の画像処理装置。
  3. 前記ワークは、黒色、白色、灰色及び銀色のうち1以上を含む無彩色であり、
    前記判定部は、前記輝度信号を用いて前記ワーク領域が前記無彩色に含まれる色のいずれであるかを判定する、請求項1又は2に記載の画像処理装置。
  4. 前記判定部は、所定の無彩色レベルにある領域を前記ワーク領域として検出するか、または、所定の彩色レベルにある領域以外の領域を前記ワーク領域として検出する、請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記判定部は、採取対象のワークの基準画像と前記ワーク領域とのマッチングにより採取対象のワーク領域を検出し、2以上の該ワーク領域の近接状態及び重なり状態に基づいて採取可能なワーク領域を判定する、請求項1〜4のいずれか1項に記載の画像処理装置。
  6. 請求項1〜5のいずれか1項に記載の画像処理装置と、
    ワークを採取する採取部が配設され該採取部を移動する移載部と、
    前記画像処理装置の前記判定部から出力された判定結果に基づいて前記移載部を制御する制御部と、
    を備えたワーク移載装置。
  7. 前記照明部及び前記撮像部は、前記移載部に配設されているか、前記採取用載置部の上方に配設されているか、のうち少なくとも一方である、請求項6に記載のワーク移載装置。
  8. 1以上のワークが載置された採取用載置部から該ワークを採取部により採取して移動させるワーク移載装置に用いられる画像処理方法であって、
    (a)前記採取用載置部に光を照射し、前記採取用載置部のカラー画像を撮像部で撮像するステップと、
    (b)前記撮像部から出力された信号から得られる輝度−色差信号のうち色差信号を用いてワーク領域を検出し、前記ワーク領域のワークが採取可能であるか否かを判定し、判定結果を出力するステップと、
    を含む画像処理方法。
JP2018520277A 2016-06-01 2016-06-01 画像処理装置、ワーク移載装置及び画像処理方法 Active JP6737882B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/066180 WO2017208389A1 (ja) 2016-06-01 2016-06-01 画像処理装置、ワーク移載装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2017208389A1 true JPWO2017208389A1 (ja) 2019-03-28
JP6737882B2 JP6737882B2 (ja) 2020-08-12

Family

ID=60479346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018520277A Active JP6737882B2 (ja) 2016-06-01 2016-06-01 画像処理装置、ワーク移載装置及び画像処理方法

Country Status (4)

Country Link
EP (1) EP3466604B1 (ja)
JP (1) JP6737882B2 (ja)
CN (1) CN109153099B (ja)
WO (1) WO2017208389A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019181600A (ja) * 2018-04-05 2019-10-24 花王株式会社 ピックアンドプレイス装置
CN108908294B (zh) * 2018-07-09 2022-03-29 无锡南理工科技发展有限公司 一种自动化机械抓手装置
EP3715067A3 (de) * 2019-03-07 2020-12-23 Zahoransky AG Greifvorrichtung, vereinzelungsvorrichtung sowie verfahren zum greifen von körpern und verwendung einer greifvorrichtung
WO2021009800A1 (ja) * 2019-07-12 2021-01-21 株式会社Fuji ロボット制御システム及びロボット制御方法
CN113109365A (zh) * 2021-04-16 2021-07-13 中国科学院自动化研究所 适用于多种工件的缺陷检测系统及方法
CN114535114B (zh) * 2022-01-19 2023-11-21 湖南视比特机器人有限公司 输送线上工件随动分拣系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402053A (en) * 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
JPH08271223A (ja) * 1995-02-03 1996-10-18 Kobe Steel Ltd 物体の位置認識装置
JPH11312898A (ja) * 1998-02-27 1999-11-09 Matsushita Electric Ind Co Ltd 電子部品実装装置
JP2003279334A (ja) * 2002-02-01 2003-10-02 Ckd Corp 三次元計測装置、フィルタ格子縞板及び照明手段
JP2014006852A (ja) * 2012-06-27 2014-01-16 Seiko Epson Corp 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646403B2 (ja) * 1985-06-13 1994-06-15 株式会社クボタ 作物認識装置
JPS62274379A (ja) * 1986-05-22 1987-11-28 Kubota Ltd 果実認識用の画像処理装置
KR101734962B1 (ko) * 2010-01-12 2017-05-15 삼성전자주식회사 로봇의 위치 인식 장치 및 방법
JP5846363B2 (ja) * 2011-09-02 2016-01-20 富士ゼロックス株式会社 画像処理装置および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402053A (en) * 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
JPH08271223A (ja) * 1995-02-03 1996-10-18 Kobe Steel Ltd 物体の位置認識装置
JPH11312898A (ja) * 1998-02-27 1999-11-09 Matsushita Electric Ind Co Ltd 電子部品実装装置
JP2003279334A (ja) * 2002-02-01 2003-10-02 Ckd Corp 三次元計測装置、フィルタ格子縞板及び照明手段
JP2014006852A (ja) * 2012-06-27 2014-01-16 Seiko Epson Corp 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム

Also Published As

Publication number Publication date
CN109153099A (zh) 2019-01-04
WO2017208389A1 (ja) 2017-12-07
CN109153099B (zh) 2020-11-17
EP3466604B1 (en) 2020-12-23
JP6737882B2 (ja) 2020-08-12
EP3466604A4 (en) 2019-04-24
EP3466604A1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
JPWO2017208389A1 (ja) 画像処理装置、ワーク移載装置及び画像処理方法
TWI711817B (zh) 外觀檢測裝置
CN108037130B (zh) 电芯的极耳缺陷自动检测方法及自动检测装置
US9329585B2 (en) Article assembling device using robot
EP3173194B1 (en) Manipulator system, image capturing system, transfer method of object, and carrier medium
US9665946B2 (en) Article conveyor system
TW201102639A (en) Vision inspection apparatus and vision inspection method therefor
KR20140117319A (ko) 전자 부품 반송 장치 및 전자 부품 검사 장치
CN110709975B (zh) 基于图像的基板映射器
KR20180103701A (ko) 다이 본딩 장치 및 반도체 장치의 제조 방법
JP2019145177A (ja) 画像処理方法および撮影装置
JP7225337B2 (ja) 半導体製造装置および半導体装置の製造方法
JP2014108868A (ja) 移載装置および該移載装置を備えた箱詰めシステム
WO2017068638A1 (ja) 画像処理装置および部品実装機
CN101355045A (zh) 基板检测装置和基板处理装置
JP4775005B2 (ja) 搬送物の搬送方法、搬送物の搬送プログラム、搬送装置の位置調整装置及びicハンドラー
WO2018055757A1 (ja) 照明条件特定装置及び照明条件特定方法
CN214375120U (zh) 一种pcb板检测机构
CN107917920A (zh) 边缘检测设备、边缘检测方法以及物体保持设备
JP3386183B2 (ja) 物品の位置検出装置
JP4618203B2 (ja) 電子部品実装装置及び電子部品実装方法
JP6761477B2 (ja) 部品実装装置および位置認識方法
CN210981343U (zh) 外观检测设备
WO2018055663A1 (ja) 撮像装置及び実装装置
CN210803301U (zh) 光学式瑕疵检测系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200716

R150 Certificate of patent or registration of utility model

Ref document number: 6737882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250