JPH11333770A - Loading position and attitude recognizing device - Google Patents
Loading position and attitude recognizing deviceInfo
- Publication number
- JPH11333770A JPH11333770A JP11069829A JP6982999A JPH11333770A JP H11333770 A JPH11333770 A JP H11333770A JP 11069829 A JP11069829 A JP 11069829A JP 6982999 A JP6982999 A JP 6982999A JP H11333770 A JPH11333770 A JP H11333770A
- Authority
- JP
- Japan
- Prior art keywords
- cargo
- work
- corner
- work area
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、積荷の荷降ろし等
を行わせるハンドリングロボットに積荷の３次元位置姿
勢を指示するための積荷位置姿勢認識装置であって、積
荷に端数が存在したり、荷ズレが存在しても、最上段に
存在する積荷の３次元位置姿勢を視覚センサにより確実
に検出し、ハンドリングロボットに確実な荷降ろし作業
等を実施させることができる積荷位置姿勢認識装置に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a cargo position / posture recognizing device for instructing a three-dimensional position / posture of a cargo to a handling robot for unloading the cargo. A load position / posture recognition device that can reliably detect the three-dimensional position / posture of a load existing at the top level by a visual sensor even if a load shift exists, and can cause a handling robot to perform a reliable unloading operation. It is.
【０００２】[0002]
【従来の技術】通常、工場からの出荷時においては、多
量の製品を効率良く搬出するため、製品を収容した袋詰
物やダンボール箱等の貨物をパレット上に複数段に積み
上げた後、パレット単位で運搬を行うようになってい
る。また、工場への原材料の入荷時においても、袋詰物
やダンボール箱等の貨物をパレット上に複数段に積み上
げた後、パレット単位で運搬を行うようになっている。
そして、近年においては、パレットへの貨物の積み上げ
・荷降し作業がハンドリングロボットにより自動化され
ることによって、オペレータの作業負担の低減化および
省人化が図られている。2. Description of the Related Art Normally, at the time of shipment from a factory, in order to carry out a large amount of products efficiently, cargo such as bagged products or cardboard boxes containing the products is stacked on a pallet in a plurality of stages, and then palletized. It is designed to be transported. Also, at the time of receiving raw materials into a factory, cargo such as bagging and cardboard boxes are stacked on a pallet in a plurality of stages, and then transported in pallet units.
In recent years, the loading and unloading of cargo on pallets has been automated by a handling robot, thereby reducing the work load on the operator and saving labor.
【０００３】ところで、荷降し作業をハンドリングロボ
ットに実施させようとすると、次の荷降し位置となるピ
ック位置とピック角度を、水平座標、鉛直（高さ）座標
およびワーク角度により指定してハンドリングロボット
に指示する必要がある。従って、従来においては、貨物
の立体的な配置状況を認識してピック位置およびピック
角度を指示できるように、下記に示すような積荷位置姿
勢認識方法が提案されている。By the way, when the handling robot attempts to carry out the unloading operation, a pick position and a pick angle to be the next unloading position are specified by the horizontal coordinate, the vertical (height) coordinate and the work angle. It is necessary to instruct the handling robot. Therefore, conventionally, a cargo position / posture recognition method as described below has been proposed so that the pick position and the pick angle can be designated by recognizing the three-dimensional arrangement of the cargo.
【０００４】即ち、特開平３−２３４４９１号公報に
は、図１６に示すように、パレット５２上に積み上げら
れた貨物５１に対して上方からレーザ光５３を線状に照
射し、このレーザ光５３を斜め上方から撮像することに
より貨物５１の高さ位置を求める。この後、貨物５１の
全体を上方から撮像し、撮像画像中における貨物５１の
固有マーク５４の濃淡画像を基本マーク形状との突き合
わせ処理により検出して平面的な配置状況を求めること
によって、貨物５１の立体的な配置状況を認識する方法
が開示されている。[0004] That is, as shown in FIG. 16, a laser beam 53 is irradiated linearly from above onto a cargo 51 stacked on a pallet 52, Is imaged from obliquely above to find the height position of the cargo 51. Thereafter, the entire cargo 51 is imaged from above, and the grayscale image of the unique mark 54 of the cargo 51 in the captured image is detected by a matching process with the basic mark shape to obtain a planar arrangement state. A method for recognizing the three-dimensional arrangement situation of the above is disclosed.
【０００５】また、特開平７−８８７７９１号公報に
は、図１７に示すように、貨物５１の全体を上方から撮
像し、撮像画像中における各貨物５１のエッジ点を検出
し、エッジ点の配置よりワークの２次元配置を認識する
か、あるいは認識対象ワークモデルとして濃淡画像テン
プレートを登録しておき、登録された濃淡画像テンプレ
ートと撮影画像との類似性評価により積荷の平面的な配
置状況を求める。この後、配置状況を基にして決定され
た測定点に超音波信号を送信して各貨物５１の高さ位置
を求めることによって、貨物５１の立体的な配置状況を
認識する方法が開示されている。Japanese Patent Application Laid-Open No. Hei 7-887791 discloses that the entire cargo 51 is imaged from above as shown in FIG. 17, the edge points of each cargo 51 in the captured image are detected, and the arrangement of the edge points is performed. A two-dimensional arrangement of the work is recognized, or a gray-scale image template is registered as a work model to be recognized, and a planar arrangement state of the cargo is obtained by evaluating the similarity between the registered gray-scale image template and the captured image. . Thereafter, a method of recognizing a three-dimensional arrangement state of the cargo 51 by transmitting an ultrasonic signal to a measurement point determined based on the arrangement state and obtaining a height position of each cargo 51 is disclosed. I have.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、図１６
に示すように、荷の上面に帯状のレーザ光を投光して撮
像を行い、荷上面高さを検出すると共に、別途、物体配
置上面を撮影した濃淡画像から荷の上面に設けた固有マ
ークを検出して物体配置認識を行っているため、計測ス
テージが２カ所となり、大きな設置スペースが必要とい
う課題があった。また、荷の上面に固有マークを必要と
し、固有マークを付加するのに余分なコストを必要とす
る。さらに、検出対象の２次元配置が既知でなければな
らないといった制約があった。However, FIG.
As shown in the figure, an image is formed by projecting a belt-like laser beam on the upper surface of the load, the height of the upper surface of the load is detected, and a unique mark is separately provided on the upper surface of the load from a grayscale image obtained by photographing the upper surface of the object. However, there is a problem that a large installation space is required because the number of measurement stages is two, since the object arrangement recognition is performed by detecting the position. Further, a unique mark is required on the upper surface of the load, and extra cost is required to add the unique mark. Further, there is a restriction that the two-dimensional arrangement of the detection target must be known.
【０００７】また、図１７に示すように、撮像手段によ
り撮像された画像からワークの２次元的な配置を認識
し、その認識結果に基づいて決定された距離計測プラン
に従って距離センサで計測された距離情報を、前記の２
次元配置情報を統合してワークの３次元的な配置を計測
する方法では、撮像手段を用いた計測処理と距離センサ
を用いた計測処理といった２種類の計測を時系列的に行
うことが必要となり、ワークの３次元位置姿勢を認識す
るのに時間がかかるという問題がある。Further, as shown in FIG. 17, a two-dimensional arrangement of the work is recognized from an image picked up by the image pickup means, and the work is measured by a distance sensor according to a distance measurement plan determined based on the recognition result. The distance information described in the above 2
In the method of measuring the three-dimensional arrangement of a work by integrating the three-dimensional arrangement information, it is necessary to perform two types of measurement in a time series, a measurement processing using an imaging unit and a measurement processing using a distance sensor. However, there is a problem that it takes time to recognize the three-dimensional position and orientation of the work.
【０００８】さらに、特開平７−８８７７９１号公報に
おける撮影画像内のエッジ点に基づくワーク２次元配置
認識処理では、個別ワークの境界信号以外の模様やガム
テープなどワーク境界信号と類似した画像信号が存在す
る場合には、撮影画像内で誤ったワーク境界信号が多数
検出等され、画像内の個別ワーク位置姿勢を誤って認識
するという問題がある。Further, in the work two-dimensional arrangement recognition processing based on an edge point in a photographed image in Japanese Patent Application Laid-Open No. 7-887791, an image signal similar to a work boundary signal such as a pattern other than a boundary signal of an individual work or a gum tape exists. In this case, a large number of erroneous work boundary signals are detected in the captured image, and there is a problem that the individual work position and orientation in the image are erroneously recognized.
【０００９】また、特開平７−８８７７９１号公報にお
ける濃淡画像テンプレートを用いたワーク２次元配置認
識処理では、積荷とカメラとの距離変化に伴う撮影画像
内でのワークサイズ変化により、撮影画像内でのワーク
２次元配置認識性能が低下するという問題があった。そ
こで、本発明は、貨物５１の配置状況を高い信頼性でも
って認識することができると共に、認識に要する処理時
間を短時間化することができる積荷位置姿勢認識装置を
提供しようとするものである。In the two-dimensional work arrangement recognition processing using a grayscale image template disclosed in Japanese Patent Application Laid-Open No. 7-887791, the work size changes in the photographed image due to the change in the distance between the cargo and the camera. In this case, there is a problem that the work two-dimensional arrangement recognition performance is deteriorated. Accordingly, the present invention is to provide a cargo position / posture recognition device that can recognize the arrangement state of the cargo 51 with high reliability and can shorten the processing time required for the recognition. .
【００１０】[0010]
【課題を解決するための手段】上記課題を解決するため
に、本発明は、積荷対象物の立体的な配置状況を認識す
る積荷位置姿勢認識装置において、積荷上方に設置され
たカメラと、帯状の光を走査可能なスリット光投光器等
からなるセンサヘッドを制御し、積荷最上段およびその
下段に配置された積荷対象物の上面各部の３次元座標を
距離データとして求める距離データ計測手段と、前記距
離データの高さ成分から積荷最上段のワーク領域を求め
る領域抽出手段と、前記ワーク領域の輪郭線の形状より
コーナー部を検出し、さらに該ワーク領域内部にてワー
ク境界信号を領域内境界部として求める判定部抽出手段
と、前記ワーク領域のコーナー部に積荷対象物のテンプ
レートのコーナー部を一致させた後、該テンプレートの
４辺近傍に存在する輪郭部および領域内境界部を基にし
て積荷存在性を求める処理を検出されたコーナー部につ
いて行い、最大の積荷存在性を示すテンプレートの位置
姿勢を個別ワーク位置姿勢として認識する個別ワーク認
識手段とを有していることを特徴としている。SUMMARY OF THE INVENTION In order to solve the above-mentioned problems, the present invention relates to a cargo position / posture recognizing apparatus for recognizing a three-dimensional arrangement of a cargo object, comprising: a camera installed above the cargo; A distance data measuring means for controlling a sensor head composed of a slit light projector or the like capable of scanning light, and obtaining, as distance data, three-dimensional coordinates of each part of the upper surface of the load object disposed at the uppermost stage of the load and the lower stage thereof; Area extracting means for obtaining a work area at the top of the load from the height component of the distance data; detecting a corner from the shape of the contour line of the work area; And the determination unit extracting means, which is determined as the following, is made to match the corner of the template of the load object with the corner of the work area, and then exists near the four sides of the template. An individual work recognizing means for performing processing for obtaining the cargo existence based on the outline and the boundary within the area on the detected corner portion, and recognizing the position and orientation of the template showing the maximum cargo existence as the individual work position and orientation; It is characterized by having.
【００１１】上記の構成によれば、積荷上方にカメラと
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッドを設置するだけで積荷位置姿勢が計測可能である
ため、図１６に示すような２か所の計測ステージは不要
となり、設置スペースの節約が図れる。また、図１７に
示す方法では、撮像手段を用いた計測と距離センサを用
いた計測を時系列に行う必要があり、計測時間が長くな
るという問題があったが、本発明では前記センサヘッド
による計測のみで積荷上面の３次元データが得られるの
で、計測時間を短縮することが可能である。According to the above arrangement, the position and orientation of the cargo can be measured simply by installing a camera and a sensor head composed of a slit light projector capable of scanning band-like light above the cargo, as shown in FIG. The need for two measurement stages is eliminated, saving installation space. Further, in the method shown in FIG. 17, it is necessary to perform the measurement using the imaging unit and the measurement using the distance sensor in time series, and there is a problem that the measurement time is long. Since the three-dimensional data of the upper surface of the load can be obtained only by the measurement, the measurement time can be reduced.
【００１２】さらに、本発明は、最上段ワーク領域の輪
郭線の形状を解析し、この輪郭線から個々のワーク角部
に相当するコーナー点を検出し、算出したコーナー点の
位置と方向に、ワークサイズを示す四角形テンプレート
のコーナー点を一致させ、一致させたテンプレートの４
辺近傍に存在するワーク境界信号の出現性より、個別ワ
ークの存在性を評価し、一番存在性が高いテンプレート
位置姿勢を、個別ワーク位置姿勢として認識する。Further, according to the present invention, the shape of the contour line of the uppermost work area is analyzed, and corner points corresponding to individual work corners are detected from the contour line, and the calculated corner point position and direction are calculated. Match the corner points of the square template indicating the work size, and
The existence of the individual work is evaluated based on the appearance of the work boundary signal existing near the side, and the template position and orientation having the highest existence are recognized as the individual work position and orientation.
【００１３】このように、本手法では、ワーク表面の模
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線に注目して、最上段ワーク領域内の個別
ワーク識別用テンプレート設置位置を求めると共に、テ
ンプレート設置後の個別ワーク存在性評価においても、
設定したテンプレートの４辺近傍だけでワーク境界信号
の出現性を評価するため、最上段ワーク領域内部にワー
ク表面の模様やガムテープなどに起因する誤り易いワー
ク境界の疑似信号が存在する場合でも、安定して個別ワ
ークの位置姿勢を検出することが可能となる。As described above, according to the present method, first, height information is used to stably determine a work boundary, instead of information in the uppermost work area, which is likely to be erroneous as a work boundary signal such as a work surface pattern or a gum tape. Paying attention to the contour line of the uppermost work area that can be obtained, the individual work identification template installation position in the uppermost work area is obtained, and the individual work existence evaluation after the template installation is also performed.
Since the appearance of the work boundary signal is evaluated only in the vicinity of the four sides of the set template, it is stable even when there is a false signal of the work boundary that is likely to be erroneous due to the work surface pattern or gum tape inside the top work area. Thus, the position and orientation of the individual work can be detected.
【００１４】また、濃淡画像処理で用いられるテンプレ
ートマッチングでは、マッチング対象データ全てに対
し、テンプレートを移動させつつワーク存在性を評価す
るため、大量のデータ処理が必要となり、計算時間が長
くなるという問題があったが、本手法では、最上段ワー
ク領域の輪郭線を解析することにより、テンプレートマ
ッチング計算を行う場所を輪郭線コーナー点のみに限定
しているため、テンプレートマッチング計算量が少なく
なり、計算時間の短縮が図れる。In the template matching used in the grayscale image processing, a large amount of data processing is required for estimating the work existence while moving the template for all matching target data, and the calculation time becomes long. However, in this method, the location of the template matching calculation is limited to only the corner points of the contour line by analyzing the contour line of the uppermost work area. Time can be reduced.
【００１５】請求項２記載の発明は、請求項１記載の発
明の構成に加えて、前記個別ワーク認識手段が、前記個
別ワーク位置姿勢を認識できない場合に、前記ワーク領
域及び前記コーナー部から該コーナー部の方向を算出
し、該コーナー部の位置及び方向から、ずらし位置・方
向を算出するずらし位置・方向算出手段と、前記ずらし
位置・方向に基づいて、前記積荷をずらすずらし手段と
を有していることを特徴とする。これにより、積荷が互
いに密着してワーク領域内の境界部を求めることができ
ない場合でも、密着した積荷をずらすことによって、積
荷を個別認識できるようになり、積荷の位置姿勢を認識
できる。また、３次元計測を行っているため、積荷高さ
を知ることができ、積荷高さが未知なものについても対
応可能となる。そのため、積荷の最上段から最下段まで
すべての段でずらし動作を実施できる。さらに、積荷の
最上段が図１２（ｃ）に示すように、回転している場合
でも、３次元座標である距離データに基づいてワーク領
域を求めるため、積荷が互いに密着している場合でも、
ずらし動作を実施できる。According to a second aspect of the present invention, in addition to the configuration of the first aspect, when the individual work recognizing means cannot recognize the position and orientation of the individual work, the individual work recognizing means outputs the individual work from the work area and the corner portion. A shift position / direction calculating means for calculating a direction of the corner portion and calculating a shift position / direction from the position and direction of the corner portion; and a shift means for shifting the cargo based on the shift position / direction. It is characterized by doing. Accordingly, even when the cargoes are in close contact with each other and a boundary portion in the work area cannot be determined, the cargoes can be individually recognized by shifting the closely attached cargoes, and the position and orientation of the cargo can be recognized. In addition, since the three-dimensional measurement is performed, the height of the cargo can be known, and it is possible to cope with an unknown cargo height. Therefore, the shifting operation can be performed at all stages from the uppermost stage to the lowermost stage of the load. Further, as shown in FIG. 12 (c), even when the uppermost stage of the cargo is rotating, the work area is obtained based on the distance data as three-dimensional coordinates.
A shifting operation can be performed.
【００１６】請求項３記載の発明は、請求項１記載の発
明の構成に加えて、前記個別ワーク認識手段が、前記個
別ワーク位置姿勢を認識できない場合に、前記距離デー
タに基づいて前記積荷をずらすずらし手段を有すること
を特徴とする。これにより、積荷が互いに密着してワー
ク領域内の境界部を求めることができない場合でも、密
着した積荷をずらすことによって、積荷を個別認識でき
るようになり、積荷の位置姿勢を認識できる。According to a third aspect of the present invention, in addition to the configuration of the first aspect, when the individual work recognizing means cannot recognize the position and orientation of the individual work, the load is determined based on the distance data. It has a shifting means. Accordingly, even when the cargoes are in close contact with each other and a boundary portion in the work area cannot be determined, the cargoes can be individually recognized by shifting the closely attached cargoes, and the position and orientation of the cargo can be recognized.
【００１７】[0017]
【発明の実施の形態】本発明の実施の形態を図１ないし
図８に基づいて以下に説明する。尚、本説明では、貨物
の荷降し作業の適用について説明するが、本説明におけ
る発明は、貨物の積み上げ作業にも適用可能である。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to FIGS. In this description, the application of the unloading operation of the cargo will be described. However, the invention in this description is also applicable to the operation of stacking the cargo.
【００１８】本実施の形態に係る積荷位置姿勢認識装置
は、図１に示すように、パレット１上に積み上げられた
袋状や箱状の貨物２の上方に設置されたセンサヘッド機
構３と、センサヘッド機構３に接続された認識処理制御
盤４とを有している。センサヘッド機構３は、図２にも
示すように、帯状のレーザ光からなるスリット光５を水
平面に拡散させながら出射するスリット光投光器６と、
スリット光投光器６からのスリット光５を貨物２方向に
反射する反射ミラー７と、反射ミラー７の傾斜角度を任
意に変更可能なステッピングモータ８と、貨物２に投影
されたスリット光５等を撮像する近距離用撮像装置９ａ
および遠距離用撮像装置９ｂとを有している。As shown in FIG. 1, the cargo position / posture recognition apparatus according to the present embodiment includes a sensor head mechanism 3 installed above a bag-like or box-like cargo 2 stacked on a pallet 1; A recognition processing control panel 4 connected to the sensor head mechanism 3; As shown in FIG. 2, the sensor head mechanism 3 includes a slit light projector 6 that emits the slit light 5 composed of a belt-shaped laser light while diffusing the slit light 5 into a horizontal plane.
A reflection mirror 7 that reflects the slit light 5 from the slit light projector 6 in the cargo 2 direction, a stepping motor 8 that can change the inclination angle of the reflection mirror 7 arbitrarily, and an image of the slit light 5 projected on the cargo 2 and the like. Short distance imaging device 9a
And a long-distance imaging device 9b.
【００１９】上記の近距離用撮像装置９ａは、広角レン
ズ１０ａと撮像部材１１とを有しており、撮像装置９ａ
に接近した高い位置（段）の撮像時に用いられるように
なっている。一方、遠距離用撮像装置９ｂは、望遠レン
ズ１０ｂと撮像部材１１とを有しており、撮像装置９ｂ
から離隔した低い位置（段）の撮像時に用いられるよう
になっている。これらの撮像装置９ａ・９ｂの広角レン
ズ１０ａおよび望遠レンズ１０ｂは、図３に示すよう
に、撮像方向が鉛直方向（Ｚ方向）となるように設定さ
れている。また、各撮像装置９ａ・９ｂの撮像部材１１
は、レンズ１０を介して貨物２上に投影されたスリット
光５が結像される撮像面１１ａを有しており、撮像面１
１ａは、鉛直方向（Ｚ方向）に対して垂直となるように
設定されている。そして、撮像部材１１の撮像面１１ａ
には、レンズ中心Ｏを中心として点対称に画像が投影さ
れるようになっており、例えばスリット光５を貨物２に
照射して形成された照射線５のＱ1 点、Ｑ2 点、Ｑ3 点
は、それぞれＰ1 点、Ｐ2 点、Ｐ3 点として撮像面１１
ａに結像されるようになっている。尚、図３には記載し
ていないが、レンズ１０前方に干渉フィルタなどの光学
的なバンドパスフィルタを設置することによって、撮像
面１１ａ上にスリット光の像のみを結像させることが可
能である。The short-distance imaging device 9a has a wide-angle lens 10a and an imaging member 11, and the imaging device 9a
It is used at the time of imaging of a high position (stage) close to. On the other hand, the long-distance imaging device 9b has a telephoto lens 10b and an imaging member 11, and the imaging device 9b
It is used at the time of imaging at a low position (stage) away from the camera. As shown in FIG. 3, the wide-angle lens 10a and the telephoto lens 10b of these imaging devices 9a and 9b are set so that the imaging direction is the vertical direction (Z direction). Further, the imaging member 11 of each of the imaging devices 9a and 9b
Has an imaging surface 11a on which the slit light 5 projected on the cargo 2 via the lens 10 is formed.
1a is set to be perpendicular to the vertical direction (Z direction). Then, the imaging surface 11a of the imaging member 11
, An image is projected point-symmetrically about the lens center O. For example, Q 1 point, Q 2 point, and Q of an irradiation line 5 formed by irradiating the cargo 2 with the slit light 5 3 points, respectively P 1 point, P 2 points, the imaging surface 11 as a three-point P
a is formed. Although not shown in FIG. 3, by installing an optical band-pass filter such as an interference filter in front of the lens 10, only the image of the slit light can be formed on the imaging surface 11a. is there.
【００２０】上記の撮像部材１１は、光量に応じた電荷
を発生させる受光素子部（画素）をＸ方向およびＹ方向
のマトリックス状に複数有しており、これらの受光素子
部の電荷を例えばラスタスキャン形式により電圧出力と
して読み出して画像データとして順に出力するようにな
っている。そして、各撮像装置９ａ・９ｂの撮像部材１
１・１１からの出力信号は、図１に示すように、認識処
理制御盤４に接続されている。The image pickup member 11 has a plurality of light receiving element portions (pixels) for generating electric charges corresponding to the light quantity in a matrix in the X and Y directions. The data is read out as a voltage output in a scan format and sequentially output as image data. Then, the imaging member 1 of each of the imaging devices 9a and 9b
The output signals from 1 and 11 are connected to a recognition processing control panel 4 as shown in FIG.
【００２１】認識処理制御盤４は、両撮像部材１１・１
１からの出力信号を切り替える画像データ切り替え器１
９と、画像データ切り替え器１９やスリット光投光器６
等に接続されたＩ／Ｏ部１２ａとを有している。画像デ
ータ切り替え器１９は、各撮像装置９ａ・９ｂの撮像部
材１１・１１からの出力信号を入力する入力端子１９ａ
・１９ｂと、これらの入力端子１９ａ・１９ｂの何れか
一方に切替え可能に接続された出力端子１９ｃと、入力
端子１９ａ・１９ｂおよび出力端子１９ｃ間の接続状態
を切り替える切替え端子１９ｄとを有している。そし
て、出力端子１９ｃおよび切替え端子１９ｄは、Ｉ／Ｏ
部１２ａに接続されており、画像データ切り替え器１９
は、Ｉ／Ｏ部１２ａからの切替え信号が切替え端子１９
ｄに入力されたときに、切替え信号に応じた接続状態と
なることによって、撮像装置９ａ・９ｂから入力される
何れか一方の画像データをＩ／Ｏ部１２ａに出力するよ
うになっている。The recognition processing control panel 4 includes the two imaging members 11.1
Image data switching device 1 for switching the output signal from device 1
9, the image data switch 19 and the slit light projector 6
And the like. The image data switch 19 is an input terminal 19a for inputting an output signal from the imaging member 11 of each of the imaging devices 9a and 9b.
19b, an output terminal 19c switchably connected to one of the input terminals 19a and 19b, and a switching terminal 19d for switching a connection state between the input terminals 19a and 19b and the output terminal 19c. I have. The output terminal 19c and the switching terminal 19d are connected to the I / O
The image data switch 19 is connected to the
Is a switching terminal from the I / O unit 12a.
When the image data is input to d, a connection state corresponding to the switching signal is established, so that either one of the image data input from the imaging devices 9a and 9b is output to the I / O unit 12a.
【００２２】さらに、認識処理制御盤４は、上述の画像
データ切り替え器１９およびＩ／Ｏ部１２ａの他、Ｉ／
Ｏ部１２ａに信号バス１４を介して接続されたＩ／Ｏ部
１２ｂ、モータ駆動部１３、演算部１６、ＲＡＭ１７、
およびＲＯＭ１８を有している。上記のＲＡＭ１７に
は、撮像部材１１の受光素子部の配列と一致したＸ方向
およびＹ方向のマトリックス状のデータテーブルを有す
るように、画像データ記憶領域１７ａが形成されてい
る。そして、画像データ記憶領域１７ａには、Ｉ／Ｏ部
１２ａを介して入力された上述の撮像装置９ａ・９ｂか
らの画像データが格納されるようになっている。さら
に、ＲＡＭ１７には、距離データ記憶領域１７ｂが形成
されており、距離データ記憶領域１７ｂには、貨物２上
面の３次元座標の距離データが格納されるようになって
いる。Further, the recognition processing control panel 4 includes an I / O section 12a and an I / O section 12a.
An I / O unit 12b connected to the O unit 12a via a signal bus 14, a motor driving unit 13, an arithmetic unit 16, a RAM 17,
And a ROM 18. An image data storage area 17a is formed in the RAM 17 so as to have a matrix-like data table in the X and Y directions that matches the arrangement of the light receiving elements of the imaging member 11. In the image data storage area 17a, the image data from the above-described imaging devices 9a and 9b input via the I / O unit 12a is stored. Further, a distance data storage area 17b is formed in the RAM 17, and distance data of three-dimensional coordinates on the upper surface of the cargo 2 is stored in the distance data storage area 17b.
【００２３】一方、ＲＯＭ１８には、ミラー角度データ
等の各種の処理データが格納されていると共に、積荷位
置姿勢認識ルーチン等の各種のプログラムが格納されて
いる。上記のミラー角度データは、反射ミラー７の傾斜
角度を設定して画像データを得る際に使用されるように
なっている。また、積荷位置姿勢認識ルーチンは、図４
に示すように、３次元計測処理（Ｓ１〜Ｓ５）、最上段
ワーク領域抽出処理（Ｓ６）、境界部検出処理（Ｓ
７）、コーナー部抽出処理（Ｓ８）、個別ワーク認識処
理（Ｓ９）等の処理ルーチンを備えており、これの処理
ルーチンにより貨物２の配置状況を認識するようになっ
ている。On the other hand, the ROM 18 stores various processing data such as mirror angle data, and also stores various programs such as a load position / posture recognition routine. The above-mentioned mirror angle data is used when obtaining the image data by setting the inclination angle of the reflection mirror 7. The load position / posture recognition routine is shown in FIG.
As shown in (3), three-dimensional measurement processing (S1 to S5), uppermost work area extraction processing (S6), boundary part detection processing (S
7), processing routines such as corner extraction processing (S8) and individual work recognition processing (S9) are provided, and the arrangement status of the cargo 2 is recognized by these processing routines.
【００２４】上記の構成を有した認識処理制御盤４は、
Ｉ／Ｏ部１２ｂを介してロボット制御盤２０に接続され
ている。ロボット制御盤２０は、図２に示すように、パ
レット１の近傍に設置されたハンドリングロボット２１
に接続されている。また、ハンドリングロボット２１の
近傍には、貨物２を移送するローラコンベア２２等が配
設されている。そして、ロボット制御盤２０は、認識処
理制御盤４から認識データを受信したときに、次の貨物
２のピッキング位置を決定し、このピッキング位置に存
在する貨物２をローラコンベア２２等に移載するよう
に、ハンドリングロボット２１に対して指令するように
なっている。The recognition processing control panel 4 having the above configuration is
It is connected to the robot control panel 20 via the I / O unit 12b. The robot control panel 20 includes a handling robot 21 installed near the pallet 1 as shown in FIG.
It is connected to the. In addition, a roller conveyor 22 and the like for transferring the cargo 2 are disposed near the handling robot 21. Then, when receiving the recognition data from the recognition processing control panel 4, the robot control panel 20 determines the picking position of the next cargo 2 and transfers the cargo 2 existing at this picking position to the roller conveyor 22 or the like. Thus, a command is issued to the handling robot 21.
【００２５】上記の構成において、積荷位置姿勢認識装
置の動作を図４のフローチャートに基づいて説明する。
図１および図２に示すように、パレット１がセンサヘッ
ド機構３の下方の所定位置に搬入されると、ロボット制
御盤２０から認識処理制御盤４に対して計測を開始する
ように指示信号が送信される。そして、この指示信号の
入力を待っている認識処理制御盤４が指示信号を受信す
ると（Ｓ１）、パレット１上に積み上げられた貨物２上
面の距離データを取得するように３次元計測処理を実行
する。The operation of the cargo position / posture recognizing device having the above configuration will be described with reference to the flowchart of FIG.
As shown in FIGS. 1 and 2, when the pallet 1 is carried into a predetermined position below the sensor head mechanism 3, an instruction signal is issued from the robot control panel 20 to the recognition processing control panel 4 to start measurement. Sent. When the recognition processing control panel 4 waiting for the input of the instruction signal receives the instruction signal (S1), the three-dimensional measurement processing is executed so as to acquire the distance data on the upper surface of the cargo 2 stacked on the pallet 1. I do.
【００２６】即ち、スリット光投光器６からスリット光
５を出射させるように、スリット光投光器６に対して制
御信号を出力する。また、ステッピングモータ８を初期
スリット光投光角度に復帰させるように、ステッピング
モータ８に対してモータ駆動部１３から駆動出力を出力
させる。この後、ミラー角度データをＲＯＭ１８から読
み出し、ミラー角度データに対応する反射ミラー７の傾
斜角度となるように、モータ駆動部１３からパルス状の
駆動出力をステッピングモータ８に出力させることによ
って、ステッピングモータ８を回転駆動させる（Ｓ
２）。That is, a control signal is outputted to the slit light projector 6 so that the slit light 5 is emitted from the slit light projector 6. In addition, the motor drive unit 13 outputs a drive output to the stepping motor 8 so that the stepping motor 8 returns to the initial slit light projection angle. Thereafter, the mirror angle data is read out from the ROM 18 and the stepping motor 8 is caused to output a pulsed drive output from the motor drive unit 13 to the stepping motor 8 so as to obtain the inclination angle of the reflection mirror 7 corresponding to the mirror angle data. 8 is rotated (S
2).
【００２７】ステッピングモータ８の回転駆動により反
射ミラー７が所定の傾斜角度に設定されると、スリット
光投光器６から帯状に拡散しながら出射されたスリット
光５は、反射ミラー７からパレット１方向に反射し、パ
レット１やパレット１上に積み上げられた積荷最上段お
よびその下段の貨物２の両端にかけて線状に投射され
る。そして、このようにしてスリット光５が投射された
パレット１や貨物２の全体が近距離用撮像装置９ａおよ
び遠距離用撮像装置９ｂにより撮像されることになる
（Ｓ３）。When the reflecting mirror 7 is set at a predetermined inclination angle by the rotation of the stepping motor 8, the slit light 5 emitted from the slit light projector 6 while being spread in a band shape is emitted from the reflecting mirror 7 in the direction of the pallet 1. The light is reflected, and is projected linearly to the pallet 1 and to both ends of the cargo 2 at the uppermost stage and the cargo 2 at the lower stage. Then, the entire pallet 1 and cargo 2 on which the slit light 5 is projected in this way are imaged by the short-distance imaging device 9a and the long-distance imaging device 9b (S3).
【００２８】次に、画像データ切り替え器１９を切り替
えることによって、積荷最上段の貨物２の撮影に最適な
撮像装置９ａ・９ｂを選択する。そして、選択した撮像
装置９ａ・９ｂからの画像データをＩ／Ｏ部１２ａを介
して認識処理制御盤４に取り込み、ＲＡＭ１７の画像デ
ータ記憶領域１７ａに格納する。この後、図３に示すよ
うに、画像データ記憶領域１７ａの画像データ中からス
リット光５の投光ライン５ａを特定し、この投光ライン
５ａの各点（例えばＰ1 ・Ｐ2 ・Ｐ3 ）とレンズ１０の
中心点０とを結ぶ視線直線（例えばＬ1 ・Ｌ2 ・Ｌ3 ）
を求める。そして、上述の反射ミラー７の傾斜角度を設
定したミラー角度データを基にしてスリット光５のスリ
ット光平面Ｓを求めた後、このスリット光平面Ｓと視線
直線との交点（例えばＱ1 ・Ｑ2 ・Ｑ3 ）の３次元位置
を距離データとして求め、図１の距離データ記憶領域１
７ｂに順に格納する（Ｓ４）。Next, by switching the image data switch 19, the most suitable imaging devices 9a and 9b for photographing the cargo 2 at the top of the cargo are selected. Then, the image data from the selected imaging devices 9a and 9b is taken into the recognition processing control panel 4 via the I / O unit 12a, and stored in the image data storage area 17a of the RAM 17. Thereafter, as shown in FIG. 3, the image data storage area 17a to identify the projection line 5a of the slit light 5 from the image data of each point of the projection line 5a (e.g. P 1 · P 2 · P 3 ) And the line of sight connecting the center point 0 of the lens 10 (for example, L 1 , L 2 , L 3 )
Ask for. Then, a slit light plane S of the slit light 5 is obtained based on the mirror angle data in which the inclination angle of the reflection mirror 7 is set, and then the intersection of the slit light plane S and the line of sight (for example, Q 1 .Q 2 · Q 3 ) is obtained as distance data, and the distance data storage area 1 in FIG.
7b (S4).
【００２９】上記のようにして画像データ記憶領域１７
ａ中の画像データに基づいてスリット光５による投光ラ
イン５ａの一連の距離データを求めると、これらの距離
データが最終の投光ライン５ａに基づいて得られたもの
であるか否かを判定する（Ｓ５）。そして、最終の投光
ライン５ａでない場合には（Ｓ５，ＮＯ）、次のミラー
角度データをＲＯＭ１８から読み出し、このミラー角度
データに対応するミラー傾斜角度におけるスリット光投
光位置の距離データを求める（Ｓ２〜Ｓ５）。一方、最
終の投光ライン５ａである場合には（Ｓ５，ＹＥＳ）、
図５に示すように、所定数の投光ライン５ａにおける距
離データを得たと判断し、Ｓ６の最上段ワーク領域抽出
処理を実行する。As described above, the image data storage area 17
When a series of distance data of the light projecting line 5a by the slit light 5 is obtained based on the image data in a, it is determined whether or not these distance data are obtained based on the final light projecting line 5a. (S5). If it is not the last light projecting line 5a (S5, NO), the next mirror angle data is read from the ROM 18, and the distance data of the slit light projecting position at the mirror tilt angle corresponding to this mirror angle data is obtained ( S2 to S5). On the other hand, if it is the last light emitting line 5a (S5, YES),
As shown in FIG. 5, it is determined that the distance data has been obtained for the predetermined number of light projecting lines 5a, and the uppermost work area extraction processing in S6 is executed.
【００３０】即ち、距離データ記憶領域１７ｂから距離
データの高さ成分（Ｚ軸成分）を取り出し、最も大きな
距離データを最高高さＨｍａｘとする。そして、この最
高高さＨｍａｘから例えば貨物２の半分の高さΔｈを減
算することによって、パレット１の上面から積荷最上段
の貨物２の中間の高さ位置までの高さ閾値Ｈｔｈを求め
る。この後、距離データ記憶領域１７ｂに格納された距
離データの高さ成分（Ｚ軸成分）と高さ閾値Ｈｔｈとを
比較し、高さ閾値Ｈｔｈよりも大きな距離データの高さ
成分（Ｚ軸成分）を抽出することによって、積荷最上段
となる高さ成分（Ｚ軸成分）を含む距離データをワーク
領域Ｌとして求める（Ｓ６）。That is, the height component (Z-axis component) of the distance data is extracted from the distance data storage area 17b, and the largest distance data is set as the maximum height Hmax. Then, by subtracting, for example, half the height Δh of the cargo 2 from the maximum height Hmax, a height threshold Hth from the upper surface of the pallet 1 to the middle height position of the cargo 2 at the top of the load is obtained. Thereafter, the height component (Z-axis component) of the distance data stored in the distance data storage area 17b is compared with the height threshold Hth, and the height component (Z-axis component) of the distance data larger than the height threshold Hth is compared. ), Distance data including the height component (Z-axis component) at the top of the load is obtained as the work area L (S6).
【００３１】この後、図６に示すように、ワーク領域Ｌ
に含まれる全ての投光ライン５ａの集合を解析し、高さ
変化が存在する輪郭点３３を決定すると共に、投光ライ
ン５ａの明るさ変化位置や形状変化位置を検出し、これ
らの位置をワーク領域Ｌ内のワーク境界点３４として決
定する。尚、投光ライン５ａの明るさ変化位置や形状変
化位置をワーク境界点３４として決定できる理由は、隣
接する貨物２間の境界部においてはスリット光５が反射
しないため、投光ライン５ａの途切れによる明るさ変化
が発生したり、或いは隣接する貨物２間での高さの相違
による投光ライン５ａの形状変化が発生するため、これ
らの変化が貨物２間の境界を示していることになるから
である（Ｓ７）。Thereafter, as shown in FIG.
Is analyzed to determine the contour point 33 where the height change exists, and also detects the brightness change position and shape change position of the light projection line 5a, and determines these positions. It is determined as the work boundary point 34 in the work area L. The reason why the brightness change position and the shape change position of the light projecting line 5a can be determined as the work boundary point 34 is that the slit light 5 is not reflected at the boundary between the adjacent cargoes 2, so that the light projecting line 5a is interrupted. Or a change in the shape of the light emitting line 5a due to a difference in height between the adjacent cargoes 2, and these changes indicate a boundary between the cargoes 2. (S7).
【００３２】そして、上記のようにして輪郭点３３を求
めると、この輪郭点３３をワーク領域Ｌ内の投光ライン
５ａ集合の配置関係を解析しつつ、例えば時計まわりに
追跡することによりワーク領域Ｌの輪郭線３１を求め
る。この後、輪郭線３１の曲折部分を抽出し、曲折部分
の夾角側がワーク領域Ｌ側となる曲折部分をコーナー点
３２として決定する（Ｓ８）。When the contour points 33 are obtained as described above, the contour points 33 are traced clockwise, for example, in the work area L while analyzing the arrangement relationship of the set of the projection lines 5a in the work area L. The contour line 31 of L is obtained. Thereafter, a bent portion of the contour 31 is extracted, and a bent portion in which the included angle side of the bent portion is on the work area L side is determined as the corner point 32 (S8).
【００３３】次に、貨物２のサイズおよび形状に対応し
たテンプレート３５のコーナー部３５ｂをＳ８で求めた
コーナー点３２に一致させると共に、テンプレート３５
のコーナー部３５ｂを挟む２辺３５ａ・３５ａをワーク
領域Ｌの輪郭線３１に一致させる。この後、４辺３５ａ
の近傍にウインドウ領域３６を設定し、これらのウイン
ドウ領域３６内に存在する輪郭点３３およびワーク境界
点３４の総数と各ウインドウ内に存在するスリット光の
本数の比率を求めることによって、貨物２が存在する可
能性の程度を示す積荷存在性を得る。尚、一つのコーナ
ー点３２に対してテンプレート３５を一致させる形態
は、図７と図８との２種類が考えられる。従って、上記
の個別ワークの積荷存在性は、一つのコーナー点３２に
対して２種類の形態のものが得られることになる。そし
て、このような積荷存在性を全てのコーナー点３２に対
して求めた後、最も高い積荷存在性を示すテンプレート
３５の姿勢（位置および方向）を貨物２の位置姿勢とし
て認識する（Ｓ９）。Next, the corner 35b of the template 35 corresponding to the size and shape of the cargo 2 is made to coincide with the corner point 32 obtained in S8, and the template 35
Are made to coincide with the contour 31 of the work area L. After this, four sides 35a
Are set in the vicinity of the window area 36, and the ratio of the total number of contour points 33 and work boundary points 34 existing in these window areas 36 to the number of slit lights existing in each window is determined. Obtain a cargo presence that indicates the degree of possible presence. It should be noted that two forms of FIGS. 7 and 8 are conceivable for matching the template 35 with one corner point 32. Therefore, as for the existence of the load of the individual work, two kinds of forms can be obtained for one corner point 32. Then, after such cargo presence is obtained for all corner points 32, the posture (position and direction) of the template 35 showing the highest cargo presence is recognized as the position and posture of the cargo 2 (S9).
【００３４】次に、図２に示すように、認識結果をロボ
ット制御盤２０に出力する。ロボット制御盤２０は、認
識結果を基にして次のピック位置を特定し、ハンドリン
グロボット２１に対して指令することによって、ピック
位置の貨物２をローラコンベア２２等に移載させる（Ｓ
１０）。Next, as shown in FIG. 2, the recognition result is output to the robot control panel 20. The robot control panel 20 specifies the next pick position based on the recognition result and instructs the handling robot 21 to transfer the cargo 2 at the pick position to the roller conveyor 22 or the like (S
10).
【００３５】以上のように、本実施形態における積荷位
置姿勢認識装置は、図１に示すように、積み上げられた
貨物２（積荷対象物）の立体的な配置状況を認識するも
のであり、積荷上方に設置されたカメラと、帯状の光を
走査可能なスリット光投光器等からなるセンサヘッド機
構３を制御し、積荷最上段およびその下段に配置された
貨物２の上面各部の３次元座標を距離データとして求め
る距離データ計測手段（センサヘッド機構３、図４のＳ
２〜Ｓ５）と、距離データの高さ成分から積荷最上段の
ワーク領域Ｌを求める領域抽出手段（図４のＳ６）と、
ワーク領域Ｌの輪郭線３１の形状よりコーナー点３２
（コーナー部）を検出し、さらに該ワーク領域Ｌ内部に
てワーク境界信号をワーク境界点３４（領域内境界部）
として求める判定部抽出手段（図４のＳ７〜Ｓ８）と、
ワーク領域Ｌのコーナー点３２に貨物２のテンプレート
３５のコーナー部３５ｂを一致させた後、テンプレート
３５の４辺近傍に存在する輪郭点３３およびワーク境界
点３４を基にして積荷存在性を求める処理を検出された
コーナー点３２について行い、最大の積荷存在性を示す
テンプレート３５の位置姿勢を個別ワーク位置姿勢とし
て認識する個別ワーク認識手段（図４のＳ９）とを有し
ている。As described above, the cargo position / posture recognition apparatus according to the present embodiment recognizes the three-dimensional arrangement of the stacked cargoes 2 (loading objects) as shown in FIG. It controls a camera installed above and a sensor head mechanism 3 including a slit light projector capable of scanning strip-shaped light, and distances the three-dimensional coordinates of each part of the upper surface of the cargo and the upper surface of the cargo 2 arranged therebelow. Distance data measuring means to be obtained as data (sensor head mechanism 3, S in FIG. 4)
2 to S5), and an area extracting means (S6 in FIG. 4) for obtaining the work area L at the top of the load from the height component of the distance data;
A corner point 32 based on the shape of the contour line 31 of the work area L
(Corner part), and furthermore, a work boundary signal is sent to the work boundary point 34 (boundary part in the area) inside the work area L.
Determination unit extraction means (S7 to S8 in FIG. 4) obtained as
After matching the corner portion 35b of the template 35 of the cargo 2 with the corner point 32 of the work area L, a process of obtaining the cargo existence based on the contour points 33 and the work boundary points 34 near the four sides of the template 35 Is performed for the detected corner point 32, and individual work recognizing means (S9 in FIG. 4) for recognizing the position and orientation of the template 35 indicating the maximum cargo existence as the individual work position and orientation.
【００３６】上記の構成によれば、積荷上方にカメラと
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッド機構３を設置するだけで積荷位置姿勢が計測可能
であるため、図９に示すような２か所の計測ステージは
不要となり、設置スペースの節約が図れる。また、図１
０に示す方法では、撮像手段を用いた計測と距離センサ
を用いた計測を時系列に行う必要があり、計測時間が長
くなるという問題があったが、本発明では前記センサヘ
ッド機構３による計測のみで積荷上面の３次元データが
得られるので、計測時間を短縮することが可能である。According to the above configuration, the load position / posture can be measured only by installing the camera and the sensor head mechanism 3 composed of a slit light projector capable of scanning band-like light above the load. Such two measurement stages are not required, and the installation space can be saved. FIG.
In the method shown in FIG. 0, the measurement using the imaging means and the measurement using the distance sensor need to be performed in chronological order, and there is a problem that the measurement time is long. However, in the present invention, the measurement by the sensor head mechanism 3 is performed. Since the three-dimensional data of the upper surface of the load can be obtained only by using only the data, the measurement time can be reduced.
【００３７】さらに、本発明は、最上段ワーク領域の輪
郭線３１の形状を解析し、この輪郭線３１から個々のワ
ーク角部に相当するコーナー点３２を検出し、算出した
コーナー点３２の位置と方向に、ワークサイズを示す四
角形テンプレート３５のコーナー部３５ｂを一致させ、
一致させたテンプレート３５の４辺近傍に存在するワー
ク境界信号の出現性より、個別ワークの存在性を評価
し、一番存在性が高いテンプレート位置姿勢を、個別ワ
ーク位置姿勢として認識する。Further, the present invention analyzes the shape of the contour 31 of the uppermost work area, detects corner points 32 corresponding to individual work corners from the contour 31, and calculates the position of the calculated corner point 32. In the direction, the corners 35b of the rectangular template 35 indicating the work size are matched,
The existence of the individual work is evaluated from the appearance of the work boundary signals existing near the four sides of the matched template 35, and the template position and orientation having the highest existence is recognized as the individual work position and orientation.
【００３８】このように、本手法では、ワーク表面の模
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線３１に注目して、最上段のワーク領域Ｌ
内の個別ワーク識別用テンプレート設置位置を求めると
共に、テンプレート設置後の個別ワーク存在性評価にお
いても、設定したテンプレート３５の４辺近傍だけでワ
ーク境界信号の出現性を評価するため、最上段のワーク
領域Ｌ内部にワーク表面の模様やガムテープなどに起因
する誤り易いワーク境界の疑似信号が存在する場合で
も、安定して個別ワークの位置姿勢を検出することが可
能となる。As described above, according to the present method, first, height information is used to stably determine a work boundary, instead of information in the uppermost work area, which is likely to be erroneous as a work boundary signal such as a work surface pattern or a gum tape. Paying attention to the contour line 31 of the uppermost work area, the uppermost work area L
In order to evaluate the appearance of the work boundary signal only in the vicinity of the four sides of the set template 35 in the individual work existence evaluation after the template is installed, the uppermost work is determined. Even when there is a false signal of a work boundary that is likely to be erroneous due to a work surface pattern, a gum tape, or the like in the region L, it is possible to stably detect the position and orientation of the individual work.
【００３９】また、濃淡画像処理で用いられるテンプレ
ートマッチングでは、マッチング対象データ全てに対
し、テンプレート３５を移動させつつワーク存在性を評
価するため、大量のデータ処理が必要となり、計算時間
が長くなるという問題があったが、本手法では、最上段
のワーク領域Ｌの輪郭線３１を解析することにより、テ
ンプレートマッチング計算を行う場所を輪郭線３１のコ
ーナー点３２のみに限定しているため、テンプレートマ
ッチング計算量が少なくなり、計算時間の短縮が図れ
る。In the template matching used in the grayscale image processing, a large amount of data processing is required because the work existence is evaluated while moving the template 35 for all matching target data, so that the calculation time becomes long. Although there was a problem, in the present method, the location for performing template matching calculation is limited to only the corner points 32 of the contour line 31 by analyzing the contour line 31 of the uppermost work area L. The amount of calculation is reduced, and the calculation time can be reduced.
【００４０】以上、本発明を好適な実施の形態に基づい
て説明したが、本発明はその趣旨を逸脱しない範囲にお
いて変更が可能である。Although the present invention has been described based on the preferred embodiments, the present invention can be modified without departing from the spirit thereof.
【００４１】即ち、本実施形態の積荷位置姿勢認識手段
は、図７に示すように、ウインドウ領域３６内に存在す
る輪郭点３３およびワーク境界点３４の総数を求めるこ
とにより積荷存在性を得るようになっているが、これに
限定されることもない。That is, the cargo position / posture recognizing means of this embodiment obtains the cargo presence by calculating the total number of the contour points 33 and the work boundary points 34 existing in the window area 36 as shown in FIG. , But is not limited to this.
【００４２】次に、別の実施形態を図９に基づいて説明
する。図１の積荷位置姿勢認識装置と異なる点は、ずら
し位置・方向算出手段（図１１のＳ１１〜Ｓ１２）を有
する点と、ずらし手段を構成するハンドリングロボット
２１により積み上げられた貨物２をずらして間隙をつく
る点である。これにより、図９の積荷位置姿勢認識装置
は、ずらし処理（図１１のＳ１３）により貨物２をずら
すようにハンドリングロボット２１を制御する。例え
ば、図１２に示すように、貨物２が密着している場合、
図１の積荷位置認識装置では、投光ラインの明るさ変化
や形状変化を検出できない場合があり、貨物２を認識で
きなくなることがある。これに対して、図９の積荷位置
姿勢認識装置は、貨物２が密着しているような場合で
も、貨物２をずらすことにより積荷位置姿勢を認識でき
る装置である。Next, another embodiment will be described with reference to FIG. The difference from the cargo position / posture recognition device of FIG. 1 is that the cargo position 2 has a shift position / direction calculation means (S11 to S12 in FIG. 11), and the cargo 2 stacked by the handling robot 21 constituting the shift means is shifted. The point is to make Thereby, the cargo position / posture recognition device in FIG. 9 controls the handling robot 21 to shift the cargo 2 by the shifting process (S13 in FIG. 11). For example, as shown in FIG. 12, when the cargo 2 is in close contact,
The cargo position recognition device of FIG. 1 may not be able to detect a change in brightness or a change in shape of the light emitting line, and may not be able to recognize the cargo 2. On the other hand, the cargo position / posture recognition device shown in FIG. 9 is a device that can recognize the cargo position / posture by shifting the cargo 2 even when the cargo 2 is in close contact.
【００４３】ずらし処理（Ｓ１１〜Ｓ１３）は、図９に
示すように、ＲＯＭ１８に格納されている積荷位置姿勢
認識ルーチンに含まれており、密着した貨物２のずらす
位置・方向を認識するようになっている。尚、３次元計
測処理（Ｓ１〜Ｓ５）、その他の処理（Ｓ６〜Ｓ９、Ｓ
１４）は図４の積荷位置姿勢認識ルーチンと同じであ
る。The shift processing (S11 to S13) is included in the load position / posture recognition routine stored in the ROM 18 as shown in FIG. Has become. Incidentally, three-dimensional measurement processing (S1 to S5), other processing (S6 to S9, S
14) is the same as the cargo position / posture recognition routine of FIG.
【００４４】上記の構成に基づいて、積荷位置姿勢認識
装置の動作を図１０及び図１１のフローチャートに基づ
いて説明する。尚、Ｓ１〜Ｓ５の３次元計測処理につい
ては、図４のフローチャートの説明と同様であるので、
説明を省略する。The operation of the cargo position / posture recognition apparatus based on the above configuration will be described with reference to the flowcharts of FIGS. Note that the three-dimensional measurement processing of S1 to S5 is the same as the description of the flowchart of FIG.
Description is omitted.
【００４５】Ｓ６において、図１２（ａ）及び図１３に
示すように、最上段ワーク領域内の距離データに含まれ
る全ての投光ライン５ａの集合を解析し、高さ変化が存
在する輪郭点３３を決定する。次に、投光ライン５ａの
明るさ変化位置や形状変化位置からワーク領域内のワー
ク境界点３４（図６参照）を検出する（Ｓ７）。In step S6, as shown in FIGS. 12 (a) and 13, a set of all the projection lines 5a included in the distance data in the uppermost work area is analyzed, and the contour points at which the height change exists are analyzed. 33 is determined. Next, the work boundary point 34 (see FIG. 6) in the work area is detected from the brightness change position and the shape change position of the light emitting line 5a (S7).
【００４６】輪郭点３３及びワーク境界点３４（図６参
照）を検出すると、この輪郭点３３をワーク領域Ｌ内の
投光ライン５ａ集合の配置関係を解析しつつ、例えば、
時計回りに追跡することによりワーク領域Ｌの輪郭線３
１を求める。この後、輪郭線３１の曲折部分を抽出し、
曲折部分の夾角側がワーク領域Ｌ側となる曲折部分３２
をコーナー点（Ｘ、Ｙ、Ｚ）として決定する（Ｓ８）。
コーナー点（Ｘ、Ｙ、Ｚ）を抽出すると、図４のＳ９と
同様に、貨物２のサイズ及び形状に対応したテンプレー
ト３５をコーナー点（Ｘ、Ｙ、Ｚ）に一致させて、積荷
存在性を求める（Ｓ９）。When the contour point 33 and the work boundary point 34 (see FIG. 6) are detected, the contour point 33 is analyzed, for example, while analyzing the arrangement relationship of the set of the projection lines 5a in the work area L.
The contour 3 of the work area L is obtained by tracing clockwise.
Find 1 Thereafter, the bent portion of the contour 31 is extracted,
A bent portion 32 in which the included angle side of the bent portion is the work area L side
Is determined as a corner point (X, Y, Z) (S8).
When the corner points (X, Y, Z) are extracted, the template 35 corresponding to the size and shape of the cargo 2 is matched with the corner points (X, Y, Z) as in S9 in FIG. (S9).
【００４７】全てのコーナー点（Ｘ、Ｙ、Ｚ）に対して
積荷存在性を求めると、個別ワークを認識できるか判定
する（Ｓ１０）。図１２（ａ）に示すように、貨物２が
互いに密着しており、明るさ変化位置や形状変化位置を
検出できない場合には、ワーク境界点が検出されていな
いので、個別ワークを認識できず（Ｓ１０、ＮＯ）、ず
らし処理サブルーチンが実行される。When the cargo existence is determined for all corner points (X, Y, Z), it is determined whether or not the individual work can be recognized (S10). As shown in FIG. 12A, when the cargo 2 is in close contact with each other and the brightness change position or the shape change position cannot be detected, the work boundary point is not detected, and the individual work cannot be recognized. (S10, NO), a shift processing subroutine is executed.
【００４８】次に、ＲＡＭ１７ｂの距離データ記憶領域
（図９参照）から距離データを読み出し、Ｓ６と同様に
積荷最上段となる高さ成分（Ｚ軸成分）を含む距離デー
タ（ワーク領域Ｌ）を算出する。ワーク領域Ｌを算出す
ると、図１３及び図１４に示すように、ワーク領域Ｌの
点列をＳ８と同様に解析して、コーナーの位置（Ｘ、
Ｙ、Ｚ）と方向（θ）を算出する（Ｓ１１）。ここで、
コーナーの方向とは、内側に入る方向であり、ＸＹ平面
におけるＸ軸とのなす角度である。例えば、時計まわり
に外形輪郭を構成する距離データ点列を追跡することに
よりワーク領域Ｌの輪郭線３１を求め、この後、輪郭線
３１の曲折部分の夾角側がワーク領域内となる曲折部分
３２をコーナー点（Ｘ、Ｙ、Ｚ）として決定する。Next, the distance data is read from the distance data storage area (see FIG. 9) of the RAM 17b, and the distance data (work area L) including the height component (Z-axis component), which is the uppermost load, is read in the same manner as in S6. calculate. When the work area L is calculated, as shown in FIGS. 13 and 14, the point sequence of the work area L is analyzed in the same manner as in S8, and the position of the corner (X,
Y, Z) and the direction (θ) are calculated (S11). here,
The direction of the corner is a direction into the inside, and is an angle between the corner and the X axis in the XY plane. For example, the contour line 31 of the work area L is obtained by tracing a distance data point sequence forming the outer contour in a clockwise direction, and thereafter, the bent part 32 in which the included angle side of the bent part of the contour line 31 is within the work area is determined. It is determined as a corner point (X, Y, Z).
【００４９】次に、ずらし位置・方向を算出する（Ｓ１
２）。複数コーナーが抽出されるので、その中から、ず
らすコーナーを選択する。例えば、図１５に示すよう
に、できるだけずらすための動作時間を短縮させるため
に、ハンドリングロボット２１から最も近いコーナーを
選択する。選択されたコーナーの位置を（Ｃｘ、Ｃｙ、
Ｃｚ）とし、コーナーの方向を、ＸＹ平面におけるＸ軸
とのなす角度θとしたとき、コーナー（Ｃｘ、Ｃｙ、Ｃ
ｚ）から所定の長さＬｅｎだけ入ったところをずらす位
置（Ｐｘ、Ｐｙ、Ｐｚ）とする。今、ワーク長さをＬ、
幅をＷとしたとき、Ｌｅｎ＝ｍｉｎ（Ｌ、Ｗ）／２とな
り、ずらす位置（Ｐｘ、Ｐｙ、Ｐｚ）は、数１のように
算出される。Next, the shift position / direction is calculated (S1).
2). Since a plurality of corners are extracted, a corner to be shifted is selected from the extracted corners. For example, as shown in FIG. 15, in order to shorten the operation time for shifting as much as possible, a corner closest to the handling robot 21 is selected. Set the position of the selected corner to (Cx, Cy,
Cz), and when the direction of the corner is an angle θ between the corner and the X axis on the XY plane, the corner (Cx, Cy, C
A position (Px, Py, Pz) is shifted from the position z) by a predetermined length Len. Now, the work length is L,
Assuming that the width is W, Len = min (L, W) / 2, and the shift position (Px, Py, Pz) is calculated as in Equation 1.
【００５０】[0050]
【数１】 (Equation 1)
【００５１】また、ずらす方向は、コーナーの方向θと
逆方向（つまり、ワークコーナーから外側の方向）なの
で、数２のように算出される。The shifting direction is opposite to the direction θ of the corner (that is, the direction outward from the work corner), and is calculated as shown in Equation 2.
【００５２】[0052]
【数２】 (Equation 2)
【００５３】ずらす位置・方向が算出されると、図９に
示すように、貨物２のずらす位置・方向をロボット制御
盤２０に出力する。ロボット制御盤２０は、貨物２のず
らす位置・方向に基づいてハンドリングロボット２１に
対して指令することによって、貨物２をずらすように処
理させる（Ｓ１３）。ハンドリングロボット２１は、ロ
ボット制御盤２０から指令を受けると、ずらし位置（Ｐ
ｘ、Ｐｙ、Ｐｚ）でワークをハンドリングし、外方向
（Ｐθ）に、貨物２が落ちない程度にワークを動かし、
図５に示すように、ずらした貨物２と、それ以外の貨物
２の間に間隙をつくるようになっている。このように、
間隙ができると、間隙部においてはスリット光５が反射
しないため、投光ライン５ａの途切れによる明るさ変化
が発生したり、或いは隣接する貨物２間での高さの相違
による投光ライン５ａの形状変化が発生し、これらの変
化から貨物２間の境界を検出できるようになる。When the position / direction to be shifted is calculated, the position / direction to shift the cargo 2 is output to the robot control panel 20 as shown in FIG. The robot control panel 20 instructs the handling robot 21 based on the position and direction of the cargo 2 to be shifted, thereby causing the cargo 2 to be shifted (S13). When receiving a command from the robot control panel 20, the handling robot 21 shifts the position (P
(x, Py, Pz), handle the work, and move the work in the outward direction (Pθ) so that the cargo 2 does not fall.
As shown in FIG. 5, a gap is formed between the shifted cargo 2 and the other cargo 2. in this way,
If a gap is formed, the slit light 5 is not reflected in the gap, so that a change in brightness occurs due to interruption of the light emitting line 5a, or the light emitting line 5a is changed due to a difference in height between adjacent cargoes 2. Shape changes occur, and the boundaries between the cargoes 2 can be detected from these changes.
【００５４】ずらし処理が完了すると、Ｓ２へ移行し、
最終の投光ラインを検出するまで新たに３次元計測処理
（Ｓ２〜Ｓ５）を行う。そして、最上段ワーク領域抽出
処理（Ｓ６）を行い、輪郭点を求め、投光ライン５ａの
明るさ変化位置や形状変化位置からワーク領域Ｌ内のワ
ーク境界点３４（図６参照）を検出する（Ｓ７）。輪郭
点及びワーク境界点からコーナー点を抽出する（Ｓ
８）。コーナー点を抽出すると、図４のＳ９と同様に、
貨物２のサイズ及び形状に対応したテンプレートをコー
ナー点に一致させて、積荷存在性を求める（Ｓ９）。個
別に貨物２の位置姿勢を認識できると（Ｓ１０、ＹＥ
Ｓ）、図９に示すように、認識結果をロボット制御盤２
０に出力する。ロボット制御盤２０は、認識結果を基に
してハンドリングロボット２１に対して指令することに
よって（Ｓ１４）、ピック位置の貨物２をローラコンベ
ア２２等に移載させる。When the shifting process is completed, the process proceeds to S2,
New three-dimensional measurement processing (S2 to S5) is performed until the last light projection line is detected. Then, the uppermost work area extraction processing (S6) is performed to obtain a contour point, and a work boundary point 34 (see FIG. 6) in the work area L is detected from a brightness change position or a shape change position of the light projecting line 5a. (S7). A corner point is extracted from a contour point and a work boundary point (S
8). When the corner points are extracted, similarly to S9 in FIG.
The presence of the cargo is determined by matching the template corresponding to the size and shape of the cargo 2 to the corner points (S9). If the position and orientation of the cargo 2 can be individually recognized (S10, YE
S), and as shown in FIG.
Output to 0. The robot control panel 20 transfers the cargo 2 at the pick position to the roller conveyor 22 or the like by instructing the handling robot 21 based on the recognition result (S14).
【００５５】尚、最上段ワーク領域は、距離データ記憶
領域１７ｂに格納された距離データの高さ成分（Ｚ軸成
分）と高さ閾値Ｈｔｈとを比較して求められるため、図
１２（ｂ）のように端数が存在する場合や図１２（ｃ）
のように最上段の貨物２が回転している場合であって
も、最上段ワーク領域は、下段ワーク領域と区別して認
識される。このため、図１２（ｂ）及び（ｃ）に示すよ
うに、端数が存在する場合でも、ずらし処理（Ｓ１１〜
Ｓ１３）を実施できる。Since the uppermost work area is obtained by comparing the height component (Z-axis component) of the distance data stored in the distance data storage area 17b with the height threshold Hth, FIG. When there is a fraction as shown in FIG.
Even when the uppermost cargo 2 is rotating, the uppermost work area is recognized separately from the lower work area. For this reason, as shown in FIGS. 12B and 12C, even if there is a fraction, the shift processing (S11 to S11) is performed.
S13) can be performed.
【００５６】尚、Ｓ１１では、輪郭線３１からコーナー
点（Ｘ、Ｙ、Ｚ）を算出しているが、Ｓ８で既にコーナ
ー点（Ｘ、Ｙ、Ｚ）を検出済であるため、コーナー方向
のみ算出するように処理してもよい。この場合、ＲＡＭ
１７にコーナー点記憶領域を設け、Ｓ８で一旦コーナー
点をコーナー点記憶領域に格納し、再度、Ｓ１１でコー
ナー点記憶領域からコーナー点を読み出すようにすれば
よい。In S11, the corner points (X, Y, Z) are calculated from the contour line 31, but since the corner points (X, Y, Z) have already been detected in S8, only the corner direction is calculated. It may be processed to calculate. In this case, RAM
A corner point storage area may be provided at 17, a corner point may be temporarily stored in the corner point storage area at S8, and a corner point may be read from the corner point storage area again at S11.
【００５７】尚、本実施形態に係るずらし処理（Ｓ１１
〜Ｓ１３）は、相互に密着した貨物２をずらすことによ
り貨物２間に間隙をつくるものであればよいので、ずら
し手段（Ｓ１３）は、コーナー部の位置及び方向（Ｓ１
１）からずらし位置・方向を算出するずらし位置・方向
算出手段（Ｓ１２）に基づいて貨物をずらすものに限定
されない。従って、ずらし手段は、距離データに基づい
て貨物をずらすものであってもよい。Note that the shift processing according to the present embodiment (S11)
Since (S13) is only required to create a gap between the cargoes 2 by shifting the cargoes 2 that are in close contact with each other, the shifting means (S13) determines the position and direction of the corner portion (S1).
The method is not limited to the method of shifting the cargo based on the shift position / direction calculating means (S12) for calculating the shift position / direction from 1). Therefore, the shifting means may shift the cargo based on the distance data.
【００５８】[0058]
【発明の効果】以上のように、請求項１記載の発明は、
積荷対象物の立体的な配置状況を認識する積荷位置姿勢
認識装置において、積荷上方に設置されたカメラと、帯
状の光を走査可能なスリット光投光器等からなるセンサ
ヘッドを制御し、積荷最上段およびその下段に配置され
た積荷対象物の上面各部の３次元座標を距離データとし
て求める距離データ計測手段と、前記距離データの高さ
成分から積荷最上段のワーク領域を求める領域抽出手段
と、前記ワーク領域の輪郭線の形状よりコーナー部を検
出し、さらに該ワーク領域内部にてワーク境界信号を領
域内境界部として求める判定部抽出手段と、前記ワーク
領域のコーナー部に積荷対象物のテンプレートのコーナ
ー部を一致させた後、該テンプレートの４辺近傍に存在
する輪郭部および領域内境界部を基にして積荷存在性を
求める処理を検出されたコーナー部について行い、最大
の積荷存在性を示すテンプレートの位置姿勢を個別ワー
ク位置姿勢として認識する個別ワーク認識手段とを有し
ている構成である。As described above, the first aspect of the present invention provides
In a cargo position / posture recognition device for recognizing a three-dimensional arrangement state of a cargo object, a camera installed above the cargo and a sensor head composed of a slit light projector capable of scanning band-like light are controlled, and the topmost cargo of the cargo is controlled. And distance data measuring means for obtaining, as distance data, three-dimensional coordinates of each portion of the upper surface of the load object disposed below the area, area extracting means for obtaining a work area at the top of the load from a height component of the distance data, A judging unit extracting means for detecting a corner portion from the shape of the contour line of the work area and further obtaining a work boundary signal inside the work area as a boundary within the area; After matching the corners, a process for determining the cargo existence based on the outline and the boundary within the area near the four sides of the template is detected. The performed on the corner portion, a Configurations of and a separate workpiece recognition means for recognizing the position and orientation of the template indicating the maximum cargo existence as an individual work position and orientation.
【００５９】上記の構成によれば、積荷上方にカメラと
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッドを設置するだけで積荷位置姿勢が計測可能である
ため、図９に示すような２か所の計測ステージは不要と
なり、設置スペースの節約が図れる。また、図１０に示
す方法では、撮像手段を用いた計測と距離センサを用い
た計測を時系列に行う必要があり、計測時間が長くなる
という問題があったが、本発明では前記センサヘッドに
よる計測のみで積荷上面の３次元データが得られるの
で、計測時間を短縮することが可能であるという効果を
奏する。According to the above configuration, the load position and orientation can be measured only by installing a camera and a sensor head composed of a slit light projector capable of scanning a strip of light above the load. The need for two measurement stages is eliminated, saving installation space. Further, in the method shown in FIG. 10, the measurement using the imaging unit and the measurement using the distance sensor need to be performed in time series, and there is a problem that the measurement time is long. Since the three-dimensional data of the upper surface of the load can be obtained only by measurement, there is an effect that the measurement time can be reduced.
【００６０】さらに、本発明は、最上段ワーク領域の輪
郭線の形状を解析し、この輪郭線から個々のワーク角部
に相当するコーナー点を検出し、算出したコーナー点の
位置と方向に、ワークサイズを示す四角形テンプレート
のコーナー点を一致させ、一致させたテンプレートの４
辺近傍に存在するワーク境界信号の出現性より、個別ワ
ークの存在性を評価し、一番存在性が高いテンプレート
位置姿勢を、個別ワーク位置姿勢として認識する。Further, according to the present invention, the shape of the contour of the uppermost work area is analyzed, and corner points corresponding to individual corners of the work are detected from the contour, and the positions and directions of the calculated corner points are calculated. Match the corner points of the square template indicating the work size, and
The existence of the individual work is evaluated based on the appearance of the work boundary signal existing near the side, and the template position and orientation having the highest existence are recognized as the individual work position and orientation.
【００６１】このように、本手法では、ワーク表面の模
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線に注目して、最上段ワーク領域内の個別
ワーク識別用テンプレート設置位置を求めると共に、テ
ンプレート設置後の個別ワーク存在性評価においても、
設定したテンプレートの４辺近傍だけでワーク境界信号
の出現性を評価するため、最上段ワーク領域内部にワー
ク表面の模様やガムテープなどに起因する誤り易いワー
ク境界の疑似信号が存在する場合でも、安定して個別ワ
ークの位置姿勢を検出することが可能となるという効果
を奏する。As described above, according to the present method, first, height information is used to stably determine a work boundary, instead of information in the uppermost work area, which is likely to be erroneous as a work boundary signal such as a work surface pattern or a gum tape. Paying attention to the contour line of the uppermost work area that can be obtained, the individual work identification template installation position in the uppermost work area is obtained, and the individual work existence evaluation after the template installation is also performed.
Since the appearance of the work boundary signal is evaluated only in the vicinity of the four sides of the set template, it is stable even when there is a false signal of the work boundary that is likely to be erroneous due to the work surface pattern or gum tape inside the top work area. As a result, the position and orientation of the individual work can be detected.
【００６２】また、濃淡画像処理で用いられるテンプレ
ートマッチングでは、マッチング対象データ全てに対
し、テンプレートを移動させつつワーク存在性を評価す
るため、大量のデータ処理が必要となり、計算時間が長
くなるという問題があったが、本手法では、最上段ワー
ク領域の輪郭線を解析することにより、テンプレートマ
ッチング計算を行う場所を輪郭線コーナー点のみに限定
しているため、テンプレートマッチング計算量が少なく
なり、計算時間の短縮が図れるという効果を奏する。In the template matching used in the grayscale image processing, a large amount of data processing is required to evaluate the work existence while moving the template for all matching target data. However, in this method, the location of the template matching calculation is limited to only the corner points of the contour line by analyzing the contour line of the uppermost work area. This has the effect of shortening the time.
【００６３】請求項２記載の発明は、請求項１記載の発
明の効果に加えて、積荷が互いに密着してワーク領域内
の境界部を求めることができない場合でも、密着した積
荷をずらし手段によりずらすことによって、再計測する
と、個別認識できるようになり、積荷の位置姿勢を認識
できるという効果を奏する。また、積荷の最上段が図１
２（ｃ）に示すように、回転している場合でも、個別に
認識できるようになり、積荷の位置姿勢を認識できる。
さらに、３次元計測を行っているため、積荷高さを知る
ことができ、積荷高さが未知なものについても対応可能
となる。そのため、ワーク最上段から最下段まですべて
の段でずらし動作を実施できるという効果を奏する。According to the second aspect of the present invention, in addition to the effect of the first aspect, even when the cargoes are in close contact with each other and a boundary portion in the work area cannot be obtained, the closely attached cargoes can be shifted by the shifting means. By shifting, when re-measurement is performed, individual recognition can be performed, and the position and orientation of the load can be recognized. Fig. 1
As shown in FIG. 2 (c), even when the vehicle is rotating, it can be individually recognized, and the position and orientation of the cargo can be recognized.
Further, since the three-dimensional measurement is performed, the height of the load can be known, and the load of which the height is unknown can be handled. Therefore, there is an effect that the shifting operation can be performed in all stages from the uppermost stage to the lowermost stage of the work.
【００６４】請求項３記載の発明は、請求項１記載の発
明の効果に加えて、積荷が互いに密着してワーク領域内
の境界部を求めることができない場合でも、密着した積
荷をずらし手段によりずらすことによって、個別認識で
きるようになり、積荷の位置姿勢を認識できるという効
果を奏する。According to the third aspect of the present invention, in addition to the effects of the first aspect, even when the cargoes are in close contact with each other and a boundary portion in the work area cannot be obtained, the closely attached cargoes can be shifted by the shifting means. By shifting, the individual recognition can be performed, and the effect that the position and orientation of the cargo can be recognized can be achieved.
【図１】認識処理制御盤のブロック図である。FIG. 1 is a block diagram of a recognition processing control panel.
【図２】荷降ろしする状態を示す説明図である。FIG. 2 is an explanatory diagram showing a state of unloading.
【図３】距離データの算出原理を示す説明図である。FIG. 3 is an explanatory diagram illustrating a calculation principle of distance data.
【図４】積荷位置姿勢認識ルーチンのフローチャートで
ある。FIG. 4 is a flowchart of a cargo position / posture recognition routine.
【図５】投光ラインの状態を示す説明図である。FIG. 5 is an explanatory diagram showing a state of a light projecting line.
【図６】ワーク領域の状態を示す説明図である。FIG. 6 is an explanatory diagram showing a state of a work area.
【図７】テンプレートとワーク領域との関係を示す説明
図である。FIG. 7 is an explanatory diagram showing a relationship between a template and a work area.
【図８】テンプレートとワーク領域との関係を示す説明
図である。FIG. 8 is an explanatory diagram showing a relationship between a template and a work area.
【図９】本実施形態に係る他の認識処理制御盤のブロッ
ク図である。FIG. 9 is a block diagram of another recognition processing control panel according to the embodiment.
【図１０】本実施形態に係る他の積荷位置姿勢認識ルー
チンのフローチャートである。FIG. 10 is a flowchart of another cargo position / posture recognition routine according to the embodiment;
【図１１】ずらし処理サブルーチンのフローチャートで
ある。FIG. 11 is a flowchart of a shift processing subroutine.
【図１２】積荷の状態を説明する図である。FIG. 12 is a diagram illustrating a state of a load.
【図１３】積荷の外形輪郭を構成する距離データ点列を
説明する図である。FIG. 13 is a diagram illustrating a distance data point sequence forming an outer shape of a load.
【図１４】積荷のコーナー部を説明する図である。FIG. 14 is a diagram illustrating a corner portion of a load.
【図１５】積荷のずらし位置を説明する図である。FIG. 15 is a diagram illustrating a shift position of a load.
【図１６】従来の認識処理により貨物を移載する状態を
示す説明図である。FIG. 16 is an explanatory diagram showing a state where cargo is transferred by a conventional recognition process.
【図１７】従来の認識処理により貨物を移載する状態を
示す説明図である。FIG. 17 is an explanatory diagram showing a state where cargo is transferred by a conventional recognition process.
１ パレット ２ 貨物 ３ センサヘッド機構 ４ 認識処理制御盤 ５ スリット光 ６ スリット光投光器 ７ 反射ミラー ８ ステッピングモータ ９ａ 近距離用撮像装置 ９ｂ 遠距離用撮像装置 １１ 撮像部材 １３ モータ駆動部 １４ 信号バス １６ 演算部 １７ ＲＡＭ １８ ＲＯＭ １９ 画像データ切り替え器 ２０ ロボット制御盤 ２１ ハンドリングロボット ２２ ローラコンベア ３１ 輪郭線 ３２ コーナー点 ３３ 輪郭点 ３４ ワーク境界点 ３５ テンプレート ３６ ウインドウ領域 DESCRIPTION OF SYMBOLS 1 Pallet 2 Cargo 3 Sensor head mechanism 4 Recognition processing control panel 5 Slit light 6 Slit light projector 7 Reflecting mirror 8 Stepping motor 9a Close-range imaging device 9b Long-range imaging device 11 Imaging member 13 Motor drive unit 14 Signal bus 16 Calculation Unit 17 RAM 18 ROM 19 Image data switcher 20 Robot control panel 21 Handling robot 22 Roller conveyor 31 Contour line 32 Corner point 33 Contour point 34 Work boundary point 35 Template 36 Window area
───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 英二 兵庫県神戸市西区高塚台１丁目５番５号 株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者 山本 直樹 兵庫県神戸市西区高塚台１丁目５番５号 株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者 重吉 正之 愛知県豊橋市三弥町字中原１番地２ 株式 会社神戸製鋼所豊橋ＦＡ・ロボットセンタ ー内 ──────────────────────────────────────────────────続 き Continuing from the front page (72) Eiji Takahashi 1-5-5 Takatsukadai, Nishi-ku, Kobe City, Hyogo Prefecture Inside Kobe Research Institute, Kobe Steel Co., Ltd. (72) Naoki Yamamoto Takatsuka, Nishi-ku, Kobe City, Hyogo Prefecture Kobe Steel Co., Ltd. Kobe Research Institute, Kobe Steel Co., Ltd. (72) Inventor Masayuki Shigeyoshi 1-2 Nakahara, Miya-machi, Toyohashi-city, Aichi Prefecture Kobe Steel Co., Ltd. Toyohashi FA / Robot Center
Claims (3)
る積荷位置姿勢認識装置において、 積荷上方に設置されたカメラと、帯状の光を走査可能な
スリット光投光器等からなるセンサヘッドを制御し、積
荷最上段およびその下段に配置された積荷対象物の上面
各部の３次元座標を距離データとして求める距離データ
計測手段と、 前記距離データの高さ成分から積荷最上段のワーク領域
を求める領域抽出手段と、 前記ワーク領域の輪郭線の形状よりコーナー部を検出
し、さらに該ワーク領域内部にてワーク境界信号を領域
内境界部として求める判定部抽出手段と、 前記ワーク領域のコーナー部に積荷対象物のテンプレー
トのコーナー部を一致させた後、該テンプレートの４辺
近傍に存在する輪郭部および領域内境界部を基にして積
荷存在性を求める処理を検出されたコーナー部について
行い、最大の積荷存在性を示すテンプレートの位置姿勢
を個別ワーク位置姿勢として認識する個別ワーク認識手
段とを有していることを特徴とする積荷位置姿勢認識装
置。An apparatus for recognizing a three-dimensional arrangement of a load object, comprising: a camera installed above the load, a sensor head including a slit light projector capable of scanning a band of light, and the like. A distance data measuring means for obtaining, as distance data, three-dimensional coordinates of each portion of the upper surface of the load and an upper surface portion of the load object arranged therebelow; Extracting means; detecting means for detecting a corner portion from the shape of the contour line of the work area; and determining means for obtaining a work boundary signal as a boundary within the work area within the work area; and loading at the corner of the work area. After matching the corners of the template of the object, the cargo existence is determined based on the outline and the boundary within the area near the four sides of the template. And an individual work recognizing means for performing, as an individual work position and orientation, the position and orientation of the template exhibiting the maximum cargo existence by performing a process of determining the position of the detected corner portion. apparatus.
ーク位置姿勢を認識できない場合に、前記ワーク領域及
び前記コーナー部から該コーナー部の方向を算出し、該
コーナー部の位置及び方向から、ずらし位置・方向を算
出するずらし位置・方向算出手段と、 前記ずらし位置・方向に基づいて、前記積荷をずらすず
らし手段と、を有していることを特徴とする請求項１記
載の積荷位置姿勢認識装置。2. If the individual work recognizing means cannot recognize the position and orientation of the individual work, the individual work recognizing means calculates the direction of the corner from the work area and the corner, and shifts from the position and direction of the corner. The load position and orientation recognition according to claim 1, further comprising: a shift position / direction calculating unit that calculates a position / direction; and a shift unit that shifts the cargo based on the shift position / direction. apparatus.
ーク位置姿勢を認識できない場合に、前記距離データに
基づいて前記積荷をずらすずらし手段を有することを特
徴とする請求項１記載の積荷位置姿勢認識装置。3. The load position / posture according to claim 1, further comprising a shift unit that shifts the load based on the distance data when the individual work recognition unit cannot recognize the individual work position / posture. Recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11069829A JPH11333770A (en) | 1998-03-20 | 1999-03-16 | Loading position and attitude recognizing device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7110298 | 1998-03-20 | ||
| JP10-71102 | 1998-03-20 | ||
| JP11069829A JPH11333770A (en) | 1998-03-20 | 1999-03-16 | Loading position and attitude recognizing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11333770A true JPH11333770A (en) | 1999-12-07 |
Family
ID=26411012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11069829A Pending JPH11333770A (en) | 1998-03-20 | 1999-03-16 | Loading position and attitude recognizing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11333770A (en) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004051185A1 (en) * | 2002-12-04 | 2004-06-17 | Techno Network Shikoku Co.,Ltd. | Relative distance measuring method and its instrument |
| EP1586422A1 (en) * | 2004-04-15 | 2005-10-19 | IMR-Metalle und Technologie GMBH | Method and device for manipulating workpieces with a 3D sensor |
| JP2007254128A (en) * | 2006-03-24 | 2007-10-04 | Daifuku Co Ltd | Article transfer device |
| JP2008119786A (en) * | 2006-11-13 | 2008-05-29 | Nissan Diesel Motor Co Ltd | Apparatus and method for identifying workpiece |
| JP2010064202A (en) * | 2008-09-11 | 2010-03-25 | Ihi Corp | Picking device and method |
| EP2957397A3 (en) * | 2014-06-20 | 2016-01-20 | Ricoh Company, Ltd. | Measurement system, object pickup system, measurement method, and carrier means |
| JP2016222377A (en) * | 2015-05-28 | 2016-12-28 | 株式会社東芝 | Cargo handling device and operation method thereof |
| JP2017039189A (en) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | Layout detector and picking apparatus |
| CN108016878A (en) * | 2018-01-11 | 2018-05-11 | 广东科达洁能股份有限公司 | A kind of ceramic tile truss mechanical device with vision system |
| KR20180113154A (en) * | 2017-04-05 | 2018-10-15 | 무라다기카이가부시끼가이샤 | Depression detecting apparatus, transfer apparatus, and depression detecting method |
| CN109436820A (en) * | 2018-09-17 | 2019-03-08 | 武汉库柏特科技有限公司 | A kind of the de-stacking method and de-stacking system of stacks of goods |
| JP2019509559A (en) * | 2016-02-26 | 2019-04-04 | キネマ システムズ インコーポレイテッド | Box location, separation, and picking using a sensor-guided robot |
| WO2019208292A1 (en) * | 2018-04-27 | 2019-10-31 | 株式会社ダイフク | Picking facility |
| CN110751640A (en) * | 2019-10-17 | 2020-02-04 | 南京鑫和汇通电子科技有限公司 | Quadrangle detection method of depth image based on angular point pairing |
| US10614340B1 (en) | 2019-09-23 | 2020-04-07 | Mujin, Inc. | Method and computing system for object identification |
| WO2020105295A1 (en) * | 2018-11-21 | 2020-05-28 | Thk株式会社 | Image information processing device, holding system, and image information processing method |
| JP2020121346A (en) * | 2019-01-29 | 2020-08-13 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Workpiece transfer system and method thereof |
| JP2020125916A (en) * | 2019-02-01 | 2020-08-20 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Transfer target workpiece storage system |
| JP2021050100A (en) * | 2018-10-30 | 2021-04-01 | 株式会社Ｍｕｊｉｎ | Robot system with automatic package registration mechanism and minimum execution possible area detection |
| WO2021059438A1 (en) * | 2019-09-26 | 2021-04-01 | 株式会社Ｆｕｊｉ | Height measurement device |
| FR3102468A1 (en) * | 2019-10-29 | 2021-04-30 | Fives Syleps | PALETIZATION AND DEPALETTIZATION SYSTEM AND METHOD |
| JP2021111354A (en) * | 2020-01-10 | 2021-08-02 | 株式会社Mujin | Method and calculation system for object recognition or object registration based on image classification |
| JP2021122879A (en) * | 2020-02-04 | 2021-08-30 | 株式会社メイキコウ | Image processing device and carrier device equipped with image processing device |
| JP2022010961A (en) * | 2020-06-29 | 2022-01-17 | 株式会社Ｎｔｔドコモ | Detection apparatus and detection program |
| WO2022245842A1 (en) * | 2021-05-18 | 2022-11-24 | Mujin, Inc | A robotic system for object size measurement |
| WO2023157964A1 (en) * | 2022-02-21 | 2023-08-24 | 興和株式会社 | Picking device, and picking control program |
| US11772271B2 (en) | 2020-01-10 | 2023-10-03 | Mujin, Inc. | Method and computing system for object recognition or object registration based on image classification |
| WO2024009387A1 (en) * | 2022-07-05 | 2024-01-11 | ファナック株式会社 | Vision system and vision detection method |
-
1999
- 1999-03-16 JP JP11069829A patent/JPH11333770A/en active Pending
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004051185A1 (en) * | 2002-12-04 | 2004-06-17 | Techno Network Shikoku Co.,Ltd. | Relative distance measuring method and its instrument |
| EP1586422A1 (en) * | 2004-04-15 | 2005-10-19 | IMR-Metalle und Technologie GMBH | Method and device for manipulating workpieces with a 3D sensor |
| JP2007254128A (en) * | 2006-03-24 | 2007-10-04 | Daifuku Co Ltd | Article transfer device |
| JP2008119786A (en) * | 2006-11-13 | 2008-05-29 | Nissan Diesel Motor Co Ltd | Apparatus and method for identifying workpiece |
| JP2010064202A (en) * | 2008-09-11 | 2010-03-25 | Ihi Corp | Picking device and method |
| EP2957397A3 (en) * | 2014-06-20 | 2016-01-20 | Ricoh Company, Ltd. | Measurement system, object pickup system, measurement method, and carrier means |
| JP2016222377A (en) * | 2015-05-28 | 2016-12-28 | 株式会社東芝 | Cargo handling device and operation method thereof |
| JP2017039189A (en) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | Layout detector and picking apparatus |
| JP2019509559A (en) * | 2016-02-26 | 2019-04-04 | キネマ システムズ インコーポレイテッド | Box location, separation, and picking using a sensor-guided robot |
| KR20180113154A (en) * | 2017-04-05 | 2018-10-15 | 무라다기카이가부시끼가이샤 | Depression detecting apparatus, transfer apparatus, and depression detecting method |
| CN108692681A (en) * | 2017-04-05 | 2018-10-23 | 村田机械株式会社 | Recessed portion detection device, conveying device and recessed portion detection method |
| TWI758459B (en) * | 2017-04-05 | 2022-03-21 | 日商村田機械股份有限公司 | Depressed portion detection device, conveying device, and depressed portion detection method |
| CN108016878A (en) * | 2018-01-11 | 2018-05-11 | 广东科达洁能股份有限公司 | A kind of ceramic tile truss mechanical device with vision system |
| KR20210002481A (en) * | 2018-04-27 | 2021-01-08 | 가부시키가이샤 다이후쿠 | Picking facility |
| WO2019208292A1 (en) * | 2018-04-27 | 2019-10-31 | 株式会社ダイフク | Picking facility |
| JP2019189438A (en) * | 2018-04-27 | 2019-10-31 | 株式会社ダイフク | Picking facility |
| CN109436820A (en) * | 2018-09-17 | 2019-03-08 | 武汉库柏特科技有限公司 | A kind of the de-stacking method and de-stacking system of stacks of goods |
| CN109436820B (en) * | 2018-09-17 | 2024-04-16 | 武汉库柏特科技有限公司 | Destacking method and destacking system for goods stack |
| JP2021050100A (en) * | 2018-10-30 | 2021-04-01 | 株式会社Ｍｕｊｉｎ | Robot system with automatic package registration mechanism and minimum execution possible area detection |
| JP2021051797A (en) * | 2018-10-30 | 2021-04-01 | 株式会社Ｍｕｊｉｎ | Robotic system with automated package registration mechanism and auto-detection pipeline |
| US11961042B2 (en) | 2018-10-30 | 2024-04-16 | Mujin, Inc. | Robotic system with automated package registration mechanism and auto-detection pipeline |
| US12002007B2 (en) | 2018-10-30 | 2024-06-04 | Mujin, Inc. | Robotic system with automated package scan and registration mechanism and methods of operating the same |
| WO2020105295A1 (en) * | 2018-11-21 | 2020-05-28 | Thk株式会社 | Image information processing device, holding system, and image information processing method |
| JP2020082253A (en) * | 2018-11-21 | 2020-06-04 | Thk株式会社 | Image information processor, holding system, and image information processing method |
| CN113165187A (en) * | 2018-11-21 | 2021-07-23 | Thk株式会社 | Image information processing device, gripping system, and image information processing method |
| CN113165187B (en) * | 2018-11-21 | 2023-07-21 | Thk株式会社 | Image information processing device, gripping system, and image information processing method |
| US11607803B2 (en) | 2018-11-21 | 2023-03-21 | Thk Co., Ltd. | Image information processing device, gripping system, and image information processing method |
| JP2020121346A (en) * | 2019-01-29 | 2020-08-13 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Workpiece transfer system and method thereof |
| JP2020125916A (en) * | 2019-02-01 | 2020-08-20 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Transfer target workpiece storage system |
| JP2021051721A (en) * | 2019-09-23 | 2021-04-01 | 株式会社Ｍｕｊｉｎ | Method and computing system for object identification |
| US10614340B1 (en) | 2019-09-23 | 2020-04-07 | Mujin, Inc. | Method and computing system for object identification |
| JP2021051712A (en) * | 2019-09-23 | 2021-04-01 | 株式会社Ｍｕｊｉｎ | Method and computing system for object identification |
| US11763459B2 (en) | 2019-09-23 | 2023-09-19 | Mujin, Inc. | Method and computing system for object identification |
| WO2021059438A1 (en) * | 2019-09-26 | 2021-04-01 | 株式会社Ｆｕｊｉ | Height measurement device |
| JPWO2021059438A1 (en) * | 2019-09-26 | 2021-04-01 | ||
| CN110751640A (en) * | 2019-10-17 | 2020-02-04 | 南京鑫和汇通电子科技有限公司 | Quadrangle detection method of depth image based on angular point pairing |
| WO2021084009A1 (en) * | 2019-10-29 | 2021-05-06 | Fives Syleps | Palletisation and depalletisation system and method |
| FR3102468A1 (en) * | 2019-10-29 | 2021-04-30 | Fives Syleps | PALETIZATION AND DEPALETTIZATION SYSTEM AND METHOD |
| JP2021111354A (en) * | 2020-01-10 | 2021-08-02 | 株式会社Mujin | Method and calculation system for object recognition or object registration based on image classification |
| US11772271B2 (en) | 2020-01-10 | 2023-10-03 | Mujin, Inc. | Method and computing system for object recognition or object registration based on image classification |
| JP2021122879A (en) * | 2020-02-04 | 2021-08-30 | 株式会社メイキコウ | Image processing device and carrier device equipped with image processing device |
| JP2022010961A (en) * | 2020-06-29 | 2022-01-17 | 株式会社Ｎｔｔドコモ | Detection apparatus and detection program |
| WO2022245842A1 (en) * | 2021-05-18 | 2022-11-24 | Mujin, Inc | A robotic system for object size measurement |
| WO2023157964A1 (en) * | 2022-02-21 | 2023-08-24 | 興和株式会社 | Picking device, and picking control program |
| WO2024009387A1 (en) * | 2022-07-05 | 2024-01-11 | ファナック株式会社 | Vision system and vision detection method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11333770A (en) | Loading position and attitude recognizing device | |
| CN109160452B (en) | Unmanned transfer forklift based on laser positioning and stereoscopic vision and navigation method | |
| US10967506B2 (en) | Determining a virtual representation of an environment by projecting texture patterns | |
| JP3805302B2 (en) | Work take-out device | |
| CN102735166B (en) | Spatial digitizer and robot system | |
| Nitzan | Three-dimensional vision structure for robot applications | |
| US9327406B1 (en) | Object segmentation based on detected object-specific visual cues | |
| KR101095579B1 (en) | A method for positioning and orienting of a pallet based on monocular vision | |
| US20030044047A1 (en) | System and method for object localization | |
| JPH11278799A (en) | Loading control device for unmanned fork lift, and loading control method for unmanned fork lift | |
| US20210039257A1 (en) | Workpiece picking device and workpiece picking method | |
| US20200394747A1 (en) | Shading topography imaging for robotic unloading | |
| JP7252581B2 (en) | Article detection device, article detection method, and industrial vehicle | |
| CN105431370A (en) | Method and system for automatically landing containers on a landing target using a container crane | |
| JP2004317507A (en) | Axis-adjusting method of supervisory device | |
| CN113284178B (en) | Object stacking method, device, computing equipment and computer storage medium | |
| CN114170521B (en) | Forklift pallet butt joint identification positioning method | |
| JPH08271223A (en) | Device for recognizing object position | |
| JP4767052B2 (en) | Optical axis deviation detector | |
| CN114341930A (en) | Image processing device, imaging device, robot, and robot system | |
| JP2001277167A (en) | Three-dimensional attitude recognizing method | |
| JPH09255158A (en) | Article disposition recognizing device | |
| CN117115249A (en) | Container lock hole automatic identification and positioning system and method | |
| KR100439178B1 (en) | System and method for taking the dimensions of 3d objects | |
| JPH0430991A (en) | Robot with visual device |