WO2010041374A1 - ワーク形状推定装置及びワーク形状推定方法 - Google Patents

ワーク形状推定装置及びワーク形状推定方法 Download PDF

Info

Publication number
WO2010041374A1
WO2010041374A1 PCT/JP2009/004398 JP2009004398W WO2010041374A1 WO 2010041374 A1 WO2010041374 A1 WO 2010041374A1 JP 2009004398 W JP2009004398 W JP 2009004398W WO 2010041374 A1 WO2010041374 A1 WO 2010041374A1
Authority
WO
WIPO (PCT)
Prior art keywords
workpiece
image information
partial images
image
work
Prior art date
Application number
PCT/JP2009/004398
Other languages
English (en)
French (fr)
Inventor
古川誠
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to CN2009801393791A priority Critical patent/CN102171531B/zh
Priority to US13/122,762 priority patent/US8611672B2/en
Priority to EP09818914A priority patent/EP2343497B1/en
Publication of WO2010041374A1 publication Critical patent/WO2010041374A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/028—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04—Sorting according to size
    • B07C5/10—Sorting according to size measured by light-responsive means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to a workpiece shape estimation device and a workpiece shape estimation method.
  • the shape of the workpiece is statistically determined from an image obtained by a camera without using CAD (Computer Aided Design) data of the workpiece. It is characterized in that it can be processed and a shape model can be automatically generated.
  • Patent Document 1 discloses that alignment is performed by associating an alignment point of CAD data serving as a reference when aligning and a target point group corresponding to the alignment surface of non-contact measurement data. Also, when a work that is difficult to position is loaded on a pallet and this work is automatically supplied to a processing machine by a robot or the like, it is necessary to detect the position and posture of the work. Therefore, Patent Document 2 discloses a matching method in which a model of a target workpiece is created in advance, the model is applied to a workpiece that is a target object, and the degree of matching is determined.
  • CAD data relating to the shape of an object or a workpiece needs to be stored in a database in advance. Therefore, when there are many types of objects and workpieces to be handled, CAD data is required for each object and workpiece. As a result, there is a problem that the amount of data increases. In the latter related technique, the stacked workpieces often overlap, and there is also a problem that matching with CAD data is difficult when only a part is visible. Furthermore, since the overlapping parts of the workpiece are divided when the edge is detected, there is a problem that it is difficult to recognize which are connected and one part.
  • the present invention estimates a workpiece shape that can be recognized as one workpiece by estimating its connection and overlap from the shape of a workpiece that overlaps the image information, even when there is no CAD model.
  • An object is to provide an apparatus.
  • An apparatus for estimating a workpiece shape includes: an image information acquisition unit that acquires image information by sensing a plurality of identical workpieces in a stacked state; and edge-images the image information obtained by the image information acquisition unit.
  • An edge detection unit to detect; a separation unit that separates the workpiece into partial images based on image information obtained by the edge detection unit; a workpiece classification unit that classifies partial images of the separated workpiece; and the workpiece classification
  • a workpiece estimated shape generation unit that generates an estimated shape of the workpiece by complementing information of the partial image of the workpiece classified by the unit.
  • the workpiece classification unit may perform classification based on an image having a common feature shape of the partial images separated by the separation unit.
  • the workpiece classification unit may classify an image having a large area among the partial images separated by the separation unit.
  • the workpiece shape estimation apparatus according to the present invention includes a step of sensing a plurality of workpieces having the same shape to acquire image information; a step of detecting a boundary portion K of the workpiece from the image information; Separating the workpiece into partial images based on the boundary portion K; classifying the separated partial images; and supplementing information on the classified partial images of the workpiece.
  • the classification step may be performed on the basis of an image having a common feature shape of the separated partial images.
  • the classification step may be performed on the basis of an image having a large area among the separated partial images.
  • partial images of a plurality of workpieces overlapped from image information obtained by detecting an edge from the image information obtained by the image information acquisition unit by the edge detection unit and obtained by edge detection by the separation unit The workpiece partial image is classified by the workpiece classification unit from the separated workpiece partial image, and the workpiece estimated shape generation unit can generate the workpiece estimated shape from the classified workpiece partial image. Even if CAD data of workpieces does not exist, it is possible to easily recognize workpieces that are stacked and not aligned. Further, even if a workpiece has a portion that cannot be seen due to overlapping, it can be estimated by superimposing data of partial images of the workpiece obtained from the image information and complementing the missing portion. Further, according to the inventions of (2) to (3), in addition to the effect of the invention of (1), the classification of the partial images by the work classification unit is performed in consideration of the characteristic part and the area, so that it is quicker. In addition, the workpiece shape can be estimated.
  • FIG. 1 is a block diagram of an embodiment of the present invention. It is a top view which shows the loading condition of the workpiece
  • FIG. 1 is a block diagram of a workpiece shape estimation apparatus.
  • the camera 1 senses (captures) and acquires two-dimensional image information when a large number of identical workpieces loaded in the bucket 2 are viewed from above.
  • Image information acquired by the camera 1 is stored in the image information storage unit 3.
  • the image information is an RGB value for each pixel, which is luminance information, for example.
  • the camera needs to be a three-dimensional imaging camera that can incorporate distance information.
  • the image information storage unit 3 is connected to an edge detection unit 4 for performing edge detection of an image based on the stored image information.
  • the edge detection unit 4 is connected to an image separation unit 5 that cuts out each partial image at a boundary K that is an edge obtained by edge detection.
  • the partial image cut out by the image separation unit 5 is stored in the image information storage unit 3.
  • the partial images stored in the image information storage unit 3 are stored in the image information storage unit 3 in a state of being statistically classified by the partial image classification unit 6.
  • the partial images stored in the image information storage unit 3 are superimposed for each same classification.
  • the estimated shape of the workpiece is obtained by determining the outer edge portion of the superimposed image in the workpiece estimated shape generation unit 7.
  • FIG. 2 shows a state in which a plurality of bolts B having the same shape as the workpiece are stacked on the bucket 2.
  • the bolt B loaded on the bucket 2 is overlapped and loaded only in two postures, a direction along the axial direction of the bolt B and a direction perpendicular to the axial direction of the bolt B. It shall be.
  • the plurality of bolts B are stacked so as to overlap in a plan view.
  • the plurality of bolts B are photographed by the camera 1.
  • a luminance value (RGB) which is image information of luminance for each pixel
  • a distance value (mm, cm) which is image information of the distance for each pixel, are acquired as necessary to obtain an image information storage unit. 3 is stored.
  • the edge detection unit 4 detects the boundary portion K in the image from the luminance image information captured in the image information storage unit 3 and, if necessary, the distance image information.
  • the edge detection performed by the edge detection unit 4 can determine, as the boundary portion K, a portion where the change rate of the luminance value is large in the image information.
  • the distance of the image information of the distance is fixed to a predetermined range by moving the camera 1 or using a stereo camera or the like, and an image within the range is detected. Just extract.
  • edge detection can be performed using only the image information of the luminance corresponding to the image.
  • the bold line indicates the boundary portion K.
  • the partial image classification unit 6 cuts the image into partial images a to q and separates and extracts them.
  • the extracted partial images a to q of the bolt B include many portions that are blocked by the bolt B loaded on the upper side and can be seen only partially. Accordingly, images having various shapes are extracted and stored in the image information storage unit 3.
  • the partial image taken out first is stored.
  • the partial image taken out next coincides with the portion taken out first the number of partial images taken out first is added.
  • the next extracted partial image does not match the first extracted portion, it is stored as a different partial image in the image information storage unit 3, and all the partial images a to q are stored in the image information storage unit 3.
  • the stored partial image is stored in the image information storage unit 3 including area information.
  • the number of partial images is too large, the number may be reduced and stored in order from the largest image. Whether or not they match is determined by pattern matching.
  • the partial images are statistically classified by the partial image classification unit 6 pattern-matching the partial images and collecting the images having the same feature shape (see FIG. 5). Further, in classification, since an image having a large area of a partial image is closer to an estimated shape, classification is performed based on this. That is, in FIG. 5, the partial images a to h in which the head portion of the bolt B is present in the first stage have a larger area than the second and subsequent stages, and thus are classified as the same classification in the horizontal direction. In the second stage, the partial images i to k in which the axial length of the axial portion of the bolt B appears longer than the radial length are classified as the same classification in the horizontal direction.
  • partial images l, m, and n in which the axial length of the axial portion of the bolt B appears shorter than the other portions are classified in the third to fifth stages. Further, partial images o, p, and q in which the hexagonal outer edge, which is the head of the bolt B, is partly present are classified in the sixth row.
  • This classification table is shown as FIG. 5 (part parts statistically classified by shape features) represented in a table format for easy understanding of the images stored in the image information storage unit 3.
  • the estimated shape of the bolt B can be obtained by superimposing the partial images in the same classification, in particular each image of the same classification having a partial image having a large area, by the workpiece estimated shape generation unit 7 in order.
  • This estimated shape is stored in the image information storage unit 3 together with the partial image.
  • the partial images a to h in the same classification of the first classification in FIG. 5 including the partial image a having the largest area compared to the other classifications are superimposed in the descending order.
  • the estimated image T1 (the right end of the first stage) of the bolt B can be obtained.
  • the outer edge portion of the estimated image T1 obtained in this way is the shape (most part) of the bolt B that is the estimated workpiece, that is, the partial image a.
  • the estimated images T2 and T3 can be obtained by superimposing the second and sixth partial images.
  • an image having a large area can be used as a main, and another partial image of the same classification can be complemented with the overlapped missing portion.
  • the second-stage estimated image T2 can be overlaid on.
  • the estimated image T3 at the sixth stage cannot be superimposed on the estimated images at the first and second stages in FIG. 5, but from another angle of the bolt B that is a work viewed from another angle.
  • the estimated shape can be estimated. Note that no estimated image is generated for the third to fifth stages because there is one partial image.
  • FIG. 5 shows an area ratio with respect to the estimated shapes of the classified partial images a to q shown in FIG. 5 (which is also the partial image a having the largest area)
  • priority is given to the order of taking out the bolt B in descending order of the area ratio.
  • FIG. 6 shows the area ratio and the extraction priority for the estimated shape of the first stage partial image in FIG.
  • partial image a has an area ratio of 100% and ranks first in priority
  • partial image b has an area ratio of 66% and rank 5 in priority
  • partial image c has an area ratio of 82% and rank 3 in priority
  • partial image d Is the 4th priority in the area ratio 77%
  • the partial image e is the 2nd priority in the area ratio 96%
  • the partial image f is the area ratio 47%
  • the partial image g is the area ratio 43%
  • the partial image h is the area ratio 36. %.
  • the partial images f, g, and h are small in area (50% or less), and therefore are not ranked.
  • the area ratio or rank is obtained by re-classifying the bolts B from the first to the fifth, for example. Can be attached.
  • both the area ratio and the priority order are stored in the image information storage unit 3.
  • one bolt is represented by a plurality of partial images in the partial image. Accordingly, the bolts B in the first stage classification in FIG. 5 can be taken out in order, and after the completion, the second and subsequent stages can be taken out.
  • the camera 1 can acquire the image again and perform the same process as described above to perform the extraction.
  • a large number of bolts B loaded in the bucket 2 are sensed by the camera 1 from above, and the boundary portion which is an edge portion by the edge detection unit 4 from the two-dimensional image information obtained thereby. K is detected, and a plurality of overlapping partial images of bolts B are separated from image information obtained by edge detection by the image separation unit 5, and the partial image classification unit 6 then separates the bolts B from the separated partial images of the bolts B. Since the estimated shape of the bolt B can be generated by the workpiece estimated shape generation unit 7 from the classified image of the bolt B, even if the CAD data of the bolt B does not exist in advance, Bolts B that are separated and not aligned can be easily recognized. Therefore, the database of bolt B is not necessary.
  • the classification of the partial images by the partial image classifying unit 6 can be performed more quickly by taking into account the characteristic portion and the area. Also, even if the bolt B is on the bucket 2 where there is an overlapping portion that cannot be seen, it can be estimated by superimposing the partial images of the bolt B obtained from the image information and complementing the missing portion, so Even if the workpieces are bolts B and the like that are overlapped with each other, the shape of the workpiece can be recognized without CAD information.
  • an image information acquisition part is not restricted to a camera, A normal camera may be used. Further, it may be a sensing device or an image sensor using a laser capable of obtaining distance image information. Further, the classification is based on the area ratio, but it is also possible to classify based on the length or by taking the length element into consideration.
  • the edge detection unit detects an edge from the image information obtained by the image information acquisition unit, and the separation unit separates the overlapping partial images of the workpiece from the image information obtained by the edge detection.
  • the workpiece classification image can be classified from the separated workpiece partial image by the workpiece classification unit, and the workpiece estimated shape can be generated from the classified workpiece partial image by the workpiece estimation shape generation unit. Even if data does not exist, it is possible to easily recognize workpieces that are stacked and not aligned. Further, even if a workpiece has a portion that cannot be seen due to overlapping, it can be estimated by superimposing data of partial images of the workpiece obtained from the image information and complementing the missing portion.
  • the classification of the partial images by the work classification unit can be performed more quickly by taking the characteristic part and area into consideration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

　ワーク形状推定装置は、バラ積みされた状態の複数の同一ワークをセンシングして画像情報を取得する画像情報取得手段と；前記画像情報取得部により得られた画像情報をエッジ検出するエッジ検出部と；前記エッジ検出部により得られた画像情報に基づいて前記ワークを部分画像に分離する分離部と；分離されたワークの部分画像を分類するワーク分類部と；前記ワーク分類部により分類された前記ワークの部分画像の情報を補完することで前記ワークの推定形状を生成するワーク推定形状生成部とを有する。

Description

ワーク形状推定装置及びワーク形状推定方法
　この発明は、ワーク形状推定装置及びワーク形状推定方法に関する。特にこの発明は、バラ積みされた状態の複数の同一のワークを認識する場合に、ワークのＣＡＤ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｓｉｇｎ）データを使用せずに、カメラにより得られた画像からワークの形状を統計的に処理し、自動的に形状モデルを生成することができる点に特徴を有する。
　本願は、２００８年１０月８日に、日本に出願された特願２００８－２６２０３４号に基づき優先権を主張し、その内容をここに援用する。
　従来からＣＡＤデータを基に製作された物体がＣＡＤデータ通りに作られているかを確認するために位置合わせする装置が知られている。特許文献１には、位置合わせする際に基準となるＣＡＤデータの位置合わせ面と非接触計測データの位置合わせ面に対応する対象点群を対応付けて位置合わせを行うことを開示している。
　また、パレット上に位置決めが困難なワークを積載し、このワークをロボットなどにより自動的に加工機械に供給する場合にはワークの位置と姿勢を検出する必要がある。そこで、特許文献２では、対象となるワークのモデルを予め作成し、対象物体であるワークにモデルを当てはめ、その一致度合いを判断するマッチング方法を開示している。
特開２００１－８２９５１号公報 特開平９－５３９１５号公報
　しかしながら、何れの関連技術においても、物体やワークの形状に関するＣＡＤデータを予めデータベースに蓄積しておく必要がある。従って、取り扱われる物体やワークの種類が多い場合には、各物体やワーク毎にそれぞれＣＡＤデータが必要となる。その結果、データ量が多くなってしまうという問題がある。
　また、後者の関連技術にあっては、バラ積みされたワークは重なり合っている場合が多く、一部分しか見えない状態ではＣＡＤデータとのマッチングが困難であるという問題もある。更に、重なり合っているワークの部分はエッジ検出した場合に分断されているため、どれが繋がっていて一つの部品であるかを認識することが困難であるという問題もある。
　本発明は、上記課題に鑑み、ＣＡＤモデルがない場合であっても、画像情報から重なり合ったワークの部品形状から、その繋がりや重なりを推定して一つのワークとして認識することができるワーク形状推定装置を提供することを目的とする。
　本発明は、上記課題を解決するために以下の手段を採用した。
（１）本発明のワーク形状推定装置は、バラ積みされた状態の複数の同一ワークをセンシングして画像情報を取得する画像情報取得部と；前記画像情報取得部により得られた画像情報をエッジ検出するエッジ検出部と；前記エッジ検出部により得られた画像情報に基づいて前記ワークを部分画像に分離する分離部と；分離されたワークの部分画像を分類するワーク分類部と；前記ワーク分類部により分類された前記ワークの部分画像の情報を補完することで前記ワークの推定形状を生成するワーク推定形状生成部と；を有する。
（２）上記（１）のワーク形状推定装置では、前記ワーク分類部が、前記分離部により分離された前記部分画像の特徴形状が共通する画像を基準にして分類しても良い。
（３）上記（１）のワーク形状推定装置では、前記ワーク分類部が前記分離部により分離された前記部分画像のうち、面積の大きい画像を基準にして分類しても良い。
（４）本発明のワーク形状推定装置は、複数の同一形状のワークをセンシングして画像情報を取得する工程と；前記画像情報から、前記ワークの境界部分Ｋを検出する工程と；検出された境界部分Ｋに基づいて前記ワークを部分画像に分離する工程と；分離された前記部分画像を分類する工程と；分類された前記ワークの部分画像の情報を補完する工程と；を有する。
（５）上記（４）に記載のワーク形状推定方法では、前記分類する工程が、分離された前記部分画像の特徴形状が共通する画像を基準にして分類しても良い。
（６）上記（４）に記載のワーク形状推定方法では、前記分類する工程が、分離された前記部分画像のうち、面積の大きい画像を基準にして分類しても良い。
　上記（１）の発明によれば、画像情報取得部によって得られた画像情報からエッジ検出部によりエッジを検出し、分離部によりエッジ検出により得られた画像情報から重なり合った複数のワークの部分画像を分離して、分離したワークの部分画像から、ワーク分類部によりワークの部分画像を分類し、分類されたワークの部分画像からワーク推定形状生成部によりワークの推定形状を生成することができるため、ワークのＣＡＤデータが存在していなくてもバラ積みされ、整列していないワークの認識を容易に行うことができる。
　また、重なり合って見えない部分があるワークであっても、画像情報から得られるワークの部分画像のデータを重ね合わせ、欠損部分を補完して推定することができる。
　また、上記（２）～（３）の発明によれば、上記（１）の発明の効果に加え、ワーク分類部による部分画像の分類が特徴部分や面積を加味して行われるため、より迅速にワーク形状の推定を行うことができる。
この発明の実施形態のブロック図である。 この発明の実施形態のワークの積載状況を示す平面図である。 この発明の実施形態のエッジ部分を示す平面図である。 この発明の実施形態のエッジ部分において画像を切り分けた状態を示す平面図である。 この発明の実施形態の部分画像の分類状況を示す図である。 この発明の実施形態の面積比と優先順位を示す図である。
　次に、この発明の実施形態を図面に基づいて説明する。
　図１は、ワーク形状推定装置のブロック図である。カメラ１はバケット２に積載された多数の同一のワークを上側から見た場合の２次元の画像情報をセンシング（撮影）して取得する。カメラ１により取得された画像情報は画像情報記憶部３に記憶される。ここで画像情報とは、例えば輝度情報である各画素毎のＲＧＢ値である。尚、輝度の画像情報に加えた距離の画像情報を対応する各画素毎に得るようにしてもよい。この場合には距離の情報も取り入れられる３次元撮影用のカメラであることが必要である。
　画像情報記憶部３には記憶された画像情報に基づいて画像のエッジ検出を行うためのエッジ検出部４が接続さる。このエッジ検出部４にはエッジ検出により得られたエッジ部分である境界部分Ｋを境にして各部分画像を切り出す画像分離部５が接続されている。画像分離部５により切り出された部分画像は画像情報記憶部３に記憶される。
　画像情報記憶部３に記憶された部分画像は部分画像分類部６により統計的に分類された状態で画像情報記憶部３に記憶される。この画像情報記憶部３に記憶された部分画像は同一分類毎に重ね合わされる。そして、最終的にワーク推定形状生成部７において重ね合わされた画像の外縁部を確定して推定されたワークの形状を得る。
　図２はワークとしての同一形状のボルトＢがバケット２に複数積載された状態を示している。ここで、説明を単純化するためにバケット２に積載されたボルトＢは、ボルトＢの軸方向に沿う方向と、ボルトＢの軸方向に直角な方向の２つの姿勢のみで重なり合って積載されているものとする。
　図２に示すように、複数のボルトＢは平面視において重なり合うようにして積載されている。この複数のボルトＢをカメラ１によって撮影する。そして、各画素ごとの輝度の画像情報である輝度の値（ＲＧＢ）と、必要に応じて各画素毎の距離の画像情報である距離の値（ｍｍ、ｃｍ）を取得して画像情報記憶部３に記憶する。
　図３に示すように、画像情報記憶部３に取り込まれた輝度の画像情報、及び必要があれば距離の画像情報から、エッジ検出部４によって画像における境界部分Ｋを検出する。
　エッジ検出部４によって行われるエッジ検出は、画像情報において輝度の値の変化率が大きい部分を境界部分Ｋとして判定することができる。しかし、このように輝度のみによるエッジ検出ができない場合には、カメラ１を移動させたり或いはステレオカメラ等を用いて、距離の画像情報の距離を所定の範囲に固定して、その範囲内の画像だけを抽出する。これにより、その画像に対応する輝度の画像情報のみを用いエッジ検出することができる。尚、図３において、太線は境界部分Ｋを示す。
　そして、図４に示すように、図３に示す境界部分Ｋにおいて部分画像分類部６が画像を部分画像ａ～ｑに切り分けて分離して抽出する。抽出されたボルトＢの部分画像ａ～ｑは、上側に積載されているボルトＢに遮られ部分的にしか見えない部分がたくさん含まれている。従って、様々な形状の画像が抽出されて画像情報記憶部３に記憶される。
　ここで、画像情報記憶部３に部分画像ａ～ｑを記憶する場合には、最初に取り出した部分画像を記憶する。ここで、次に取り出した部分画像が最初に取り出した部分と一致した場合には、最初に取り出した部分画像の個数を加算する。一方、次に取り出した部分画像が最初に取り出した部分と一致しない場合には、異なる部分画像として画像情報記憶部３に記憶され、全ての部分画像ａ～ｑが画像情報記憶部３に記憶される。また、記憶される部分画像は面積の情報も含めて画像情報記憶部３に記憶される。ここで、部分画像の数が多過ぎる場合には、大きい画像から順に数を絞って記憶するようにしてもよい。尚、一致するか否かはパターンマッチングにより行う。
　そして、部分画像分類部６が各部分画像をパターンマッチングして特徴形状が共通する画像をまとめることで部分画像が統計的に分類される（図５参照）。また、分類にあたっては部分画像の面積の大きい画像がより推定形状に近いため、これを基準にして分類する。つまり、図５においては、１段目にボルトＢの頭部の部分が存在する部分画像ａ～ｈが２段目以降よりも面積が大きいため、横方向に同一分類として分類されている。そして、２段目にはボルトＢの軸部分の軸方向長さが径方向の長さより長く現れている部分画像ｉ～ｋが横方向に同一分類として分類されている。更に、３～５段目にはボルトＢの軸部分の軸方向長さが他の部分よりも短く現れている部分画像ｌ、ｍ、ｎがそれぞれ分類されている。また、６段目にはボルトＢの頭部である六角形の外縁が一部でも存在している部分画像ｏ、ｐ、ｑが分類されている。尚、この分類表は画像情報記憶部３に記憶されている画像をわかり易くするために表形式として表した図５（形状特徴により統計的に分類された部品部分）として記載した。
　そして、同一分類における部分画像、とりわけ面積の大きい部分画像を備えている同一分類の各画像を順にワーク推定形状生成部７により重ね合わせることでボルトＢの推定形状を得ることができる。この推定形状は部分画像と共に画像情報記憶部３に記憶される。
　ここでは、他の分類に比べ面積が最も大きな部分画像ａを含む、図５の１段目の分類の同一分類にある部分画像ａ～ｈを大きい順に重ね合わせる。これにより、ボルトＢの推定画像Ｔ１（１段目の右端）を得ることができる。このようにして得られた推定画像Ｔ１の外縁部が、推定されるワークであるボルトＢの形状（の大部分）、つまり部分画像ａとなる。
　また、２段目、６段目の部分画像についても夫々重ね合わせて推定画像Ｔ２、Ｔ３を得ることができる。ここで、重ね合わせる場合には、同分類の部分画像のうち、面積が大きい画像をメインとして他の同分類の部分画像を重ね合わせ欠損部分を補完することができ、１段目の推定画像Ｔ１に２段目の推定画像Ｔ２を重ね合わせることができる。また、６段目の推定画像Ｔ３については、図５の１段目や２段目の推定画像には重ね合わせることはできないが、別の角度から見たワークであるボルトＢの別の角度から見た推定形状として推定することができる。
尚、３段目～５段目については部分画像が１個であるので推定画像は生成されない。
　そして、図５に示す分類された部分画像ａ～ｑの推定形状（最も面積の大きい部分画像ａでもある）に対する面積比率を求め、この面積比率の大きい順にボルトＢの取り出しの順位を付けて優先的に取り出す計画を設定する。そして、この計画に基づいて各ボルトＢをロボットにより順番にバケット２から取り出す。図６は図５の１段目の部分画像の推定形状に対する面積比率と取り出し優先順位を示す。
　具体的には、部分画像ａは面積比率１００％で優先順位１位、部分画像ｂは面積比率６６％で優先順位５位、部分画像ｃは面積比率８２％で優先順位３位、部分画像ｄは面積比率７７％で優先順位４位、部分画像ｅは面積比率９６％で優先順位２位、部分画像ｆは面積比率４７％、部分画像ｇは面積比率４３％、部分画像ｈは面積比率３６％である。尚、部分画像ｆ、ｇ、ｈについては、面積が小さい（５０％以下）ので順位は付けておらず、例えば１位から５位のボルトＢを取り出した後に再度分類する等により面積比率や順位付けを行うことができる。
　ここで、面積比率も優先順位も画像情報記憶部３に記憶されている。尚、部分画像には一つのボルトが複数の部分画像で表されている場合がある。従って、図５の１段目の分類にあるボルトＢから順に取り出しを行い、それが終了したら２段目以降について取り出しを行うことができる。また、１段目の取り出しが終わった段階で再度カメラ１によって画像を取り込んで前述した処理と同様の処理を行い、取り出しを行うこともできる。
　したがって、上記実施形態によれば、バケット２に積載された多数のボルトＢをカメラ１によって上からセンシングし、これにより得られた２次元の画像情報からエッジ検出部４によりエッジ部分である境界部分Ｋを検出し、画像分離部５でエッジ検出して得られた画像情報から重なり合った複数のボルトＢの部分画像を分離して、分離したボルトＢの部分画像から部分画像分類部６によりボルトＢの部分画像を分類し、分類されたボルトＢの部分画像からワーク推定形状生成部７によりボルトＢの推定形状を生成することができるため、ボルトＢのＣＡＤデータが予め存在していなくても、バラ積みされ、整列していないボルトＢを容易に認識できる。したがって、ボルトＢのデータベースが必要なくなる。
　ここで、部分画像分類部６による部分画像の分類は特徴部分や面積を加味して行うことでより迅速な処理を行うことができる。
　また、重なり合って見えない部分があるバケット２上のボルトＢであっても、画像情報から得られるボルトＢの部分画像を重ね合わせ、欠損部分を補完して推定することができるので、無造作に積載され、互いに重なり合ったボルトＢ等のワークであっても、ＣＡＤ情報が存在しなくてもワークの形状を認識できる。
　尚、この発明は上記実施形態のみに限られるものではなく、例えば、画像情報取得部はカメラに限られず、通常のカメラであってもよい。また、距離の画像情報を得られるレーザを用いたセンシング装置や画像センサであってもよい。また、面積比を基準にして分類したが、長さを基準にしたり、長さの要素を加味して分類することも可能である。
　本願発明によれば、画像情報取得部によって得られた画像情報からエッジ検出部によりエッジを検出し、分離部によりエッジ検出により得られた画像情報から重なり合った複数のワークの部分画像を分離して、分離したワークの部分画像から、ワーク分類部によりワークの部分画像を分類し、分類されたワークの部分画像からワーク推定形状生成部によりワークの推定形状を生成することができるため、ワークのＣＡＤデータが存在していなくてもバラ積みされ、整列していないワークの認識を容易に行うことができる。
　また、重なり合って見えない部分があるワークであっても、画像情報から得られるワークの部分画像のデータを重ね合わせ、欠損部分を補完して推定することができる。
　ここで、ワーク分類部による部分画像の分類は特徴部分や面積を加味して行うことでより迅速な処理を行うことができる。
１　カメラ（画像情報取得部）
４　エッジ検出部（エッジ検出部）
５　画像分離部（分離部）
６　部分画像分類部（ワーク分類部）
７　ワーク推定形状生成部（ワーク推定形状生成部）
ａ～ｑ　部分画像
Ｂ　ボルト（ワーク）

Claims (6)

  1. 　バラ積みされた状態の複数の同一ワークをセンシングして画像情報を取得する画像情報取得部と；
    　前記画像情報取得部により得られた画像情報をエッジ検出するエッジ検出部と、
    　前記エッジ検出部により得られた画像情報に基づいて前記ワークを部分画像に分離する分離部と；
    　分離されたワークの部分画像を分類するワーク分類部と；
    　前記ワーク分類部により分類された前記ワークの部分画像の情報を補完することで前記ワークの推定形状を生成するワーク推定形状生成部と；
    を有することを特徴とするワーク形状推定装置。
  2. 　前記ワーク分類部は、前記分離部により分離された部分画像の特徴形状が共通する画像を基準にして分類することを特徴とする請求項１に記載のワーク形状推定装置。
  3. 　前記ワーク分類部は、前記分離部により分離された部分画像のうち、面積の大きい画像を基準にして分類することを特徴とする請求項１に記載のワーク形状推定装置。
  4. 　複数の同一形状のワークをセンシングして画像情報を取得する工程と；
    　前記画像情報から、前記ワークの境界部分Ｋを検出する工程と；
    　検出された境界部分Ｋに基づいて前記ワークを部分画像に分離する工程と；
    　分離された前記部分画像を分類する工程と；
    　分類された前記ワークの部分画像の情報を補完する工程と；
    を有する、ワーク形状推定方法。
  5. 　前記分類する工程は、分離された前記部分画像の特徴形状が共通する画像を基準にして分類することを特徴とする、請求項４に記載のワーク形状推定方法。
  6. 　前記分類する工程は、分離された前記部分画像のうち、面積の大きい画像を基準にして分類することを特徴とする、請求項４に記載のワーク形状推定方法。
PCT/JP2009/004398 2008-10-08 2009-09-04 ワーク形状推定装置及びワーク形状推定方法 WO2010041374A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2009801393791A CN102171531B (zh) 2008-10-08 2009-09-04 工件形状推定装置及工件形状推定方法
US13/122,762 US8611672B2 (en) 2008-10-08 2009-09-04 Work piece shape estimation device and work piece shape estimation method
EP09818914A EP2343497B1 (en) 2008-10-08 2009-09-04 Work piece shape estimation device and work piece shape estimation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008262034A JP4866890B2 (ja) 2008-10-08 2008-10-08 ワーク形状推定装置
JP2008-262034 2008-10-08

Publications (1)

Publication Number Publication Date
WO2010041374A1 true WO2010041374A1 (ja) 2010-04-15

Family

ID=42100336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004398 WO2010041374A1 (ja) 2008-10-08 2009-09-04 ワーク形状推定装置及びワーク形状推定方法

Country Status (5)

Country Link
US (1) US8611672B2 (ja)
EP (1) EP2343497B1 (ja)
JP (1) JP4866890B2 (ja)
CN (1) CN102171531B (ja)
WO (1) WO2010041374A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220371143A1 (en) * 2020-02-14 2022-11-24 Yamazaki Mazak Corporation Workpiece installation method and workpiece installation support system

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5577508B2 (ja) * 2010-10-19 2014-08-27 株式会社ミツトヨ 画像測定装置及びその駆動制御方法
JP5464176B2 (ja) * 2011-06-20 2014-04-09 株式会社安川電機 ピッキングシステム
CN103325106B (zh) * 2013-04-15 2015-11-25 浙江工业大学 基于LabVIEW的运动工件分拣方法
JP6746140B2 (ja) * 2017-08-23 2020-08-26 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 ピッキングシステム
JP6902208B2 (ja) * 2017-11-14 2021-07-14 オムロン株式会社 把持方法、把持システム及びプログラム
US11766757B2 (en) * 2017-12-25 2023-09-26 Nikon Corporation Processing system, measuring probe, shape measuring device, and program
JP6879238B2 (ja) 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
DE102019106068B3 (de) 2019-03-11 2020-06-10 Hiwin Technologies Corp. System zur beseitigung von überlagerungen zufällig angeordneter werkstücke

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6352268A (ja) * 1986-08-21 1988-03-05 Kurabo Ind Ltd 重なり部品における重なり方の判別方法
JPH0953915A (ja) 1995-08-18 1997-02-25 Meidensha Corp 重なり状態認識方法
JPH10222670A (ja) * 1997-02-07 1998-08-21 Mazda Motor Corp 画像処理方法及びワーク移載装置の制御方法
JP2001082951A (ja) 1999-09-16 2001-03-30 Armonicos:Kk 非接触計測点データ位置合わせ装置、非接触計測点データ位置合わせ方法及び記録媒体
JP2004333422A (ja) * 2003-05-12 2004-11-25 Fanuc Ltd 画像処理装置
JP2008262034A (ja) 2007-04-12 2008-10-30 Matsushita Electric Ind Co Ltd 画像表示システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0820725B2 (ja) * 1990-02-06 1996-03-04 大日本スクリーン製造株式会社 画像輪郭データの作成方法
KR100414432B1 (ko) * 1995-03-24 2004-03-18 마츠시타 덴끼 산교 가부시키가이샤 윤곽추출장치
US6532299B1 (en) * 2000-04-28 2003-03-11 Orametrix, Inc. System and method for mapping a surface
JP4409072B2 (ja) * 2000-09-14 2010-02-03 本田技研工業株式会社 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体
WO2005058165A1 (ja) * 2003-12-16 2005-06-30 Hitachi Medical Corporation 領域抽出方法及び装置
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6352268A (ja) * 1986-08-21 1988-03-05 Kurabo Ind Ltd 重なり部品における重なり方の判別方法
JPH0953915A (ja) 1995-08-18 1997-02-25 Meidensha Corp 重なり状態認識方法
JPH10222670A (ja) * 1997-02-07 1998-08-21 Mazda Motor Corp 画像処理方法及びワーク移載装置の制御方法
JP2001082951A (ja) 1999-09-16 2001-03-30 Armonicos:Kk 非接触計測点データ位置合わせ装置、非接触計測点データ位置合わせ方法及び記録媒体
JP2004333422A (ja) * 2003-05-12 2004-11-25 Fanuc Ltd 画像処理装置
JP2008262034A (ja) 2007-04-12 2008-10-30 Matsushita Electric Ind Co Ltd 画像表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2343497A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220371143A1 (en) * 2020-02-14 2022-11-24 Yamazaki Mazak Corporation Workpiece installation method and workpiece installation support system

Also Published As

Publication number Publication date
JP2010091429A (ja) 2010-04-22
EP2343497A1 (en) 2011-07-13
US8611672B2 (en) 2013-12-17
EP2343497B1 (en) 2013-01-09
JP4866890B2 (ja) 2012-02-01
CN102171531B (zh) 2013-08-14
EP2343497A4 (en) 2012-03-21
US20110194754A1 (en) 2011-08-11
CN102171531A (zh) 2011-08-31

Similar Documents

Publication Publication Date Title
WO2010041374A1 (ja) ワーク形状推定装置及びワーク形状推定方法
CN102164718B (zh) 工件取出方法
JP4087874B2 (ja) ワーク取り出し装置
US9483707B2 (en) Method and device for recognizing a known object in a field of view of a three-dimensional machine vision system
JP5376906B2 (ja) 特徴量抽出装置、物体識別装置及び特徴量抽出方法
CN107315011A (zh) 图像处理装置、图像处理方法及存储介质
US20150262012A1 (en) Object picking system, object detecting device, object detecting method
JP2010064202A (ja) ピッキング装置と方法
JP5263501B2 (ja) デパレタイズ用のワーク位置認識装置および方法
JP5476943B2 (ja) 姿勢認識方法およびこの方法を用いた３次元視覚センサ
JPH08293029A (ja) 箱状物体の積重ね状態認識装置
JP4823996B2 (ja) 輪郭検出方法及び輪郭検出装置
JP6624911B2 (ja) 計測装置、計測方法および物品の製造方法
JP6041710B2 (ja) 画像認識方法
US20230206606A1 (en) Method and system for training a neural network-implemented sensor system to classify objects in a bulk flow
JP7436170B2 (ja) ロボットシステム
JPH0953915A (ja) 重なり状態認識方法
CN116197885A (zh) 图像数据处理方法、装置、电子设备和存储介质
JP6026365B2 (ja) 画像認識方法
JP4138943B2 (ja) 板材の形状認識装置
WO2023042391A1 (ja) アノテーション装置
JP7328017B2 (ja) ロボットシステム及び制御装置
TWI741317B (zh) 行人辨識方法與系統
CN116210025A (zh) 掩模设定装置
JP2003150965A (ja) 形状認識方法及びその装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980139379.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09818914

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009818914

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13122762

Country of ref document: US