JPH07299782A - Method and device for image preparation for depalletizing - Google Patents
Method and device for image preparation for depalletizingInfo
- Publication number
- JPH07299782A JPH07299782A JP6112063A JP11206394A JPH07299782A JP H07299782 A JPH07299782 A JP H07299782A JP 6112063 A JP6112063 A JP 6112063A JP 11206394 A JP11206394 A JP 11206394A JP H07299782 A JPH07299782 A JP H07299782A
- Authority
- JP
- Japan
- Prior art keywords
- image
- depalletizing
- box
- stereo
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、産業用ロボット等によ
りパレット上に積まれた段ボール箱などの物体を順次降
ろし（デパレタイズ作業）する際に用いられる画像を作
成するデパレタイズ用画像作成方法および画像作成装置
に関する。さらに詳しくは、斜め上方より照明すること
により最上位に位置する箱体の特定が簡素化されてなる
デパレタイズ用画像作成方法および画像作成装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image forming method for depalletizing and an image used for sequentially unloading (depalletizing) objects such as cardboard boxes stacked on a pallet by an industrial robot or the like. Regarding the creating device. More specifically, the present invention relates to a depalletizing image creating method and an image creating apparatus in which the box located at the uppermost position is simplified by illuminating it obliquely from above.
【０００２】[0002]
【従来の技術】従来より、パレット上にパレタイズされ
た段ボール箱のデパレタイズに産業用ロボットが用いら
れている。この産業用ロボットを用いたデパレタイズに
おいては、次のような方法が従来より採用されている。2. Description of the Related Art Conventionally, industrial robots have been used for depalletizing corrugated cardboard boxes palletized on pallets. In depalletizing using this industrial robot, the following method has been conventionally adopted.
【０００３】作業の対象となるすべての物体の位置、
姿勢および荷降ろし順序をあらかじめ教示し、その教示
情報に従って作業を行う方法The position of all objects to be worked on,
Method to teach posture and unloading order in advance and work according to the teaching information
【０００４】２台のテレビカメラを用いて、ステレオ
立体視により、段ボール箱等の３次元位置を計測し、そ
の情報に基づいてデパレタイズ作業を行う方法A method of measuring the three-dimensional position of a cardboard box or the like by stereo stereoscopic vision using two TV cameras and performing depalletizing work based on the information.
【０００５】しかしながら、前記従来の方法は、それぞ
れ次のような問題点を有しているために、さらなる改良
が望まれている。However, since the above-mentioned conventional methods have the following problems, further improvement is desired.
【０００６】の物体の位置をあらかじめ教示しておく
方法では、教示作業に非常に手間がかかるとともに、
ａ）物体がパレット上に不規則にパレタイズされている
場合、ｂ）パレットを置く位置がずれた場合、ｃ）作業
開始時または作業中に物体の位置がずれた場合には物体
を把持することができず、荷降ろし作業ができなくなる
という問題がある。In the method of teaching the position of the object in advance, the teaching work is very troublesome and
a) If the object is irregularly palletized on the pallet, b) If the position of placing the pallet is misaligned, or c) If the object is misaligned at the start of work or during work, grasp the object. Therefore, there is a problem that the unloading work cannot be done.
【０００７】のステレオ立体視により、段ボール箱等
の３次元位置を計測する場合には、ａ）画像中の全ての
点について画像間の対応をとって、距離情報を得るため
に、探索操作に多大な時間がかかるという問題や、ｂ）
計測対象となる荷姿が大きい場合、対象物が存在しうる
領域をステレオテレビカメラの両方の視野に納めるため
には、カメラと対象物との距離を大きく取るか、あるい
は焦点距離の短いレンズを用いるかのいずれかになる
が、カメラと対象物との距離を大きく取ると装置が大型
になってしまうという問題があり、焦点距離の短いレン
ズでは下段の対象物に対して所望の計測精度が確保でき
ないという問題がある。When the three-dimensional position of a cardboard box or the like is measured by stereo stereoscopic vision of (a), a) a search operation is performed in order to obtain distance information by taking correspondence between images at all points in the image. It takes a lot of time and b)
When the package to be measured is large, in order to fit the area where the object may exist in the field of view of both stereo TV cameras, either increase the distance between the camera and the object or use a lens with a short focal length. However, if the distance between the camera and the object is large, the device becomes large, and a lens with a short focal length will not provide the desired measurement accuracy for the object in the lower stage. There is a problem that it cannot be secured.
【０００８】一方、ピンピッキングにおいては、分離す
るのに多大な時間を要することなく、また前処理に多く
の工程も必要としないピンピッキングの方法を可能とす
るために、収納手段に収納された複数の物体の中から上
位の位置に存在する物体を目標物体として順次指定する
指定手段と、指定された目標物体を摘出する摘出手段と
を有する物体摘出装置であって、前記指定手段は、前記
複数の物体にそれぞれ異なる方向から光を順次断続的に
照射する複数の光照射手段と、前記複数の光照射手段の
光の照射に同期した前記複数の物体の画像を生成する撮
像手段と、前記光の照射に同期した画像の各々を合成し
て合成画像を生成する画像合成手段と、前記合成画像か
ら指定領域の画像を抽出してこれを前記目標物体の画像
とする画像抽出手段とを備えた物体摘出装置が提案され
ている（特開平４ー３３１０８１号公報）。On the other hand, in the pin picking, it is housed in the housing means so as to enable a pin picking method which does not require a great amount of time for separation and does not require many steps for pretreatment. An object extracting device having a specifying unit that sequentially specifies an object existing at a higher position from a plurality of objects as a target object, and an extracting unit that extracts a specified target object, wherein the specifying unit is the A plurality of light irradiating means for sequentially and intermittently irradiating a plurality of objects with light from different directions; an imaging means for generating images of the plurality of objects in synchronization with the light irradiation of the plurality of light irradiating means; Image synthesizing means for synthesizing images synchronized with the irradiation of light to generate a synthetic image, and an image extracting means for extracting an image of a designated area from the synthetic image and using this as an image of the target object. It has been proposed an object extraction device equipped with a preparative (JP-A-4-331081).
【０００９】しかしながら、前記物体摘出装置は、コン
デンサー等のサイズが非常に小さい物体を対象としてい
るので、本件発明が対象としているデパレタイズにはそ
のまま適用することができない。というのは、パレタイ
ズされている物体に複数の方向から順次断続的に光を照
射しようとすると、出力の大きな照明設備をパレットの
外方に散点状に設ける必要があり、またそれによる消費
電力も多くなり、その結果、設備の大型化を招来すると
ともに、ランニングコストの上昇を招くという問題があ
るからである。However, since the object extracting device is intended for an object having a very small size such as a condenser, it cannot be directly applied to the depalletizing targeted by the present invention. This is because if you want to irradiate a palletized object with light intermittently from multiple directions, it is necessary to install lighting equipment with high output in a scattered manner on the outside of the pallet. This is because there is a problem in that the size of the equipment also increases, resulting in an increase in the size of equipment and an increase in running cost.
【００１０】[0010]
【発明が解決しようとする課題】本発明はかかる従来技
術の問題点に鑑みなされたものであって、パレタイズさ
れている箱体の中から、簡易に最上部に位置している箱
体を特定できるデパレタイズ用画像作成方法および画像
作成装置を提供することを目的としている。SUMMARY OF THE INVENTION The present invention has been made in view of the above problems of the prior art, and it is possible to easily specify the box body located at the uppermost position from among the palletized box bodies. An object of the present invention is to provide an image creating method and an image creating apparatus for depalletizing.
【００１１】[0011]
【課題を解決するための手段】本発明者等は、前記従来
技術の問題点につき鋭意研究した結果、デパレタイズ作
業においては最上部に位置する箱に対してのみ確実に計
測がなし得ればよいことから、パレタイズされている箱
に対して斜め上方から照明し、最上位または局所的最上
位にある箱のエッジに陰影を付け、ついで陰影の付いた
エッジのみを抽出して対応探索を行なえば、対応点の探
索操作を著しく減少させることができ、それにより高速
な処理が可能であることを見出し本発明を完成するに至
った。また、作業対象となる箱を他の箱や背景から分離
する際に、エッジが箱のどの部分に属するものかわかれ
ば有益であるが、ここでは、陰影の付いたエッジを有す
る箱は、陰影とは反対側に存在していることが明確であ
るから、画像中の物体の位置は容易に特定される。Means for Solving the Problems As a result of earnest studies on the problems of the prior art, the inventors of the present invention should be able to reliably measure only the uppermost box in the depalletizing work. Therefore, if the palletized box is illuminated from diagonally above, the edge of the box at the top or the local top is shaded, and then only the shaded edges are extracted to perform the correspondence search. The inventors have found that it is possible to remarkably reduce the search operation of corresponding points, thereby enabling high-speed processing, and completed the present invention. It is also useful to know which part of the box the edge belongs to when separating the box to work from other boxes or the background, but here the box with shaded edges is The position of the object in the image can be easily specified because it is clear that the object exists on the opposite side.
【００１２】すなわち、本発明のパレタイズ用画像作成
方法は、任意に積み上げられている箱体、例えばパレッ
ト上にパレタイズされている箱体をデパレタイズする際
に用いるデパレタイズ用画像作成方法であって、パレタ
イズされている箱体を斜め上方から照明する手順と、斜
め上方から照明されたパレタイズされている箱体を撮像
する手順と、撮像された画像の中から箱体の上面のエッ
ジを陰影に基づいて抽出する手順と、前記抽出されたエ
ッジの中から、最上部に位置する箱体に属するものを選
出する手順と、照明を斜め上方から上方に切り換える手
順と、上方から照明されているパレタイズされている箱
体を撮像する手順と、撮像された箱体の中から、前記手
順によりエッジが抽出された箱体の残りのエッジを抽出
する手順と、前記エッジにより囲まれる領域のマッチン
グを行う手順とを含んでいることを特徴とする。That is, the palletizing image creating method of the present invention is a depalletizing image creating method used when depalletizing boxes that are arbitrarily stacked, for example, boxes palletized on a pallet. Based on the procedure of illuminating the box body that is diagonally above, the procedure of imaging the palletized box body that is illuminated from diagonally above, and the shadow of the edge of the top surface of the box body from the captured image. The procedure of extracting, the procedure of selecting the one belonging to the box located at the top from the extracted edges, the procedure of switching the illumination from diagonally above to the upper, and the palletizing illuminated from above. A procedure for imaging the existing box, a procedure for extracting the remaining edges of the box whose edges have been extracted by the procedure from the imaged box, and Characterized in that it includes a procedure for matching the region surrounded by Tsu di.
【００１３】本発明のデパレタイズ用画像作成方法にお
いては、前記斜め上方から照明する手順において、パレ
タイズされている箱体の高さに応じて照明高さが変更さ
れるのが好ましく、また前記斜め上方から照明する手順
において、パレタイズされている箱体の高さに応じて照
明角度が変更されるのも好ましい。In the image forming method for depalletizing of the present invention, it is preferable that the illumination height is changed according to the height of the palletized box body in the procedure of illuminating from the diagonally upper side, and the diagonally upper direction. It is also preferable that the illumination angle be changed in accordance with the height of the palletized box in the procedure of illuminating from.
【００１４】また、本発明のデパレタイズ用画像作成方
法においては、焦点距離の異なる複数のステレオ画像撮
像手段を用い、パレタイズされている箱体の高さに応じ
て使用するステレオ画像撮像手段を切り換えるのも好ま
しい。In the image forming method for depalletizing according to the present invention, a plurality of stereo image capturing means having different focal lengths are used and the stereo image capturing means to be used is switched according to the height of the palletized box. Is also preferable.
【００１５】一方、本発明のデパレタイズ用画像作成装
置は、任意に積み上げられている箱体、例えばパレット
上にパレタイズされている箱体をデパレタイズする際に
用いるデパレタイズ用画像作成装置であって、パレット
上にパレタイズされている箱体を斜め上方から照明する
第１照明手段および上方から照明する第２照明手段と、
前記第１および第２照明手段を切り換える照明切り換え
手段と、パレット上にパレタイズされている箱体を上方
から撮像する、少なくとも一組のステレオ画像撮像手段
と、前記ステレオ画像撮像手段からの画像を処理する画
像処理手段とを備え、前記画像処理手段により、前記
ステレオ画像撮像手段から入力された、斜め上方から照
明されているパレット上にパレタイズされている箱体の
ステレオ画像から箱体のエッジが陰影に基づいて抽出さ
れ、前記抽出されたエッジの中から、最上部に位置す
る箱体に属するものが選出され、前記ステレオ画像撮
像手段から入力された、上方から照明されているパレッ
ト上にパレタイズされている箱体のステレオ画像から、
前記エッジが抽出された箱体の残りのエッジが抽出さ
れ、前記抽出されたエッジに囲まれた領域がマッチン
グされることを特徴とする。On the other hand, the image forming apparatus for depalletizing of the present invention is an image forming apparatus for depalletizing used when depalletizing boxes that are arbitrarily stacked, for example, boxes that are palletized on a pallet. First illuminating means for illuminating the box palletized above from diagonally above and second illuminating means for illuminating from above
Illumination switching means for switching the first and second illumination means, at least one set of stereo image capturing means for capturing an image of a box palletized on a pallet from above, and an image from the stereo image capturing means. Image processing means for performing the image processing means, the edge of the box body is shaded from the stereo image of the box body that is input from the stereo image capturing means and is palletized on the palette illuminated obliquely from above. The one belonging to the box located at the top is selected from the extracted edges, and is palletized on the palette illuminated from above, which is input from the stereo image capturing means. From the stereo image of the box that is
The remaining edges of the box from which the edges have been extracted are extracted, and the region surrounded by the extracted edges is matched.
【００１６】本発明のデパレタイズ用画像作成装置にお
いては、前記第１照明手段が、取付け高さを異にしてい
る複数の照明装置からなるのが好ましく、また前記第１
照明手段が昇降自在あるいは前記第１照明手段の照明角
度が調整自在とされてなるのも好ましい。In the image forming apparatus for depalletizing according to the present invention, it is preferable that the first illuminating means comprises a plurality of illuminating apparatuses having different mounting heights.
It is also preferable that the illumination means can be moved up and down or the illumination angle of the first illumination means can be adjusted.
【００１７】また、本発明のデパレタイズ用画像作成装
置においては、焦点距離の異なる複数のステレオ画像撮
像手段を用い、パレタイズされている箱体の高さに応じ
て使用するステレオ画像撮像手段を切り換えるのも好ま
しい。あるいは、前記ステレオ画像撮像手段がズームレ
ンズを備えてなるのも好ましい。Further, in the image forming apparatus for depalletizing of the present invention, a plurality of stereo image capturing means having different focal lengths are used and the stereo image capturing means to be used is switched according to the height of the palletized box. Is also preferable. Alternatively, it is also preferable that the stereo image capturing means includes a zoom lens.
【００１８】[0018]
【作用】第１照明手段によりパレタイズされている箱体
を斜め上方から照明し、ステレオ画像撮像手段により斜
め上方から照明されたパレタイズされている箱体を撮像
し、画像処理手段により撮像された画像の中から箱体の
上面のエッジを陰影に基づいて抽出するとともに、前記
抽出されたエッジの中から最上部に位置する箱体に属す
るものを３次元計測により選出し、ついで切り換え手段
により照明を第１照明手段から第２照明手段に切り換え
て上方から照明し、再度ステレオ画像処理手段により上
方から照明されているパレタイズされている箱体を撮像
し、画像処理手段により撮像された箱体の中から前記手
順によりエッジが抽出された箱体の残りのエッジを抽出
し、前記エッジにより囲まれる領域のマッチングを行
い、しかるのち、箱の種類、姿勢および把持位置を算出
する。The first lighting means illuminates the palletized box body obliquely from above, the stereo image capturing means images the palletized box body illuminated from obliquely above, and the image captured by the image processing means. The upper edge of the box is extracted from among the extracted edges based on the shadow, and the one belonging to the box located at the top of the extracted edges is selected by three-dimensional measurement, and then illuminated by the switching means. Switching from the first illuminating means to the second illuminating means, illuminating from above, and again capturing the palletized box body illuminated from above by the stereo image processing means, inside the box body imaged by the image processing means From the above, the remaining edges of the box whose edges have been extracted by the above procedure are extracted, and the region surrounded by the edges is matched, and then the box is extracted. Type, and calculates the posture and gripping position.
【００１９】[0019]
【実施例】以下、添付図面を参照しながら本発明を実施
例に基づいて説明するが、本発明はかかる実施例のみに
限定されるものではない。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described based on embodiments with reference to the accompanying drawings, but the present invention is not limited to such embodiments.
【００２０】実施例１ 本発明の実施例１にかかわるデパレタイズ用画像作成方
法に用いられる画像作成装置の概略図を図１に示し、本
実施例にかかわる画像作成装置Ａは、パレットＰの近傍
に設けられた垂直部材１に取り付けられた、第１照明手
段２を構成する２個の照明装置２１，２２と、この垂直
部材１の先端１ａからパレットＰ上部において垂直部材
１に面しているのとは反対側のパレットＰの端部近傍ま
で延伸している水平部材３の先端部３ａに設けられてい
る、第２照明手段４を構成する照明装置４１と、水平部
材３のパレットの中央部に対応する位置で所定の間隔を
おいて設けられている、ステレオ画像撮像手段５を構成
する広角ステレオテレビカメラ装置５１，５１と、その
外側に配設されている望遠ステレオテレビカメラ装置５
２，５２と、これらの両ステレオテレビカメラ装置５
１，５１，５２，５２により撮像された画像を処理する
画像処理装置６と、この画像処理装置６を内蔵している
制御装置７とを主要部としてなる。Embodiment 1 FIG. 1 shows a schematic diagram of an image forming apparatus used in a depalletizing image forming method according to Embodiment 1 of the present invention. An image forming apparatus A according to this embodiment is located near a pallet P. The two lighting devices 21 and 22 constituting the first lighting means 2 attached to the provided vertical member 1 and the tip 1a of the vertical member 1 face the vertical member 1 above the pallet P. The illuminating device 41 that constitutes the second illuminating means 4 that is provided at the tip 3a of the horizontal member 3 that extends to the vicinity of the end of the pallet P on the side opposite to the pallet P, and the center of the pallet of the horizontal member 3 The wide-angle stereo television camera devices 51 and 51, which form the stereo image pickup means 5 and are provided at predetermined positions at positions corresponding to, and the telescopic stereo television camera device provided outside thereof. Set 5
2, 52 and these stereo TV camera devices 5
An image processing device 6 that processes the images picked up by 1, 51, 52, and 52 and a control device 7 that incorporates the image processing device 6 are the main parts.
【００２１】第１照明手段２を構成している照明装置２
１，２２は、図示のように、パレットＰ上に積み上げら
れている、すなわちパレタイズされている直方体の箱Ｂ
を斜め上方から照明するようにその照射角度が調整され
ている。そして、照明装置２１は上部の箱Ｂを照射する
ように位置調整がなされ、また照明装置２２は下部の箱
Ｂを照射するように位置調整がなされている。Illumination device 2 constituting the first illumination means 2
1, 22 are cuboidal boxes B stacked on a pallet P, that is, palletized, as shown in the figure.
The irradiation angle is adjusted so as to illuminate obliquely from above. The position of the lighting device 21 is adjusted to illuminate the upper box B, and the position of the lighting device 22 is adjusted to illuminate the lower box B.
【００２２】第２照明手段４を構成している照明装置４
１は、パレタイズされている箱Ｂを真上から照明するよ
うに位置調整がなされている。Illumination device 4 constituting the second illumination means 4
In No. 1, the position is adjusted so that the palletized box B is illuminated from directly above.
【００２３】そして、この第１照明手段２と第２照明手
段４とによる照明は、制御装置７により切り換え可能と
されている。ここでは、制御装置７が切り換え手段の役
割を果たしている。The illumination by the first illumination means 2 and the second illumination means 4 can be switched by the control device 7. Here, the control device 7 serves as a switching means.
【００２４】広角ステレオテレビカメラ装置５１，５１
および望遠ステレオテレビカメラ装置５２，５２は、パ
レタイズされている箱Ｂのステレオ画像を撮像して、画
像処理装置６に入力する基本的機能については同一であ
るが、広角ステレオテレビカメラ装置５１，５１は、パ
レタイズされている箱Ｂの内、上部に存在するもののス
テレオ画像を撮像し、望遠ステレオテレビカメラ装置５
２，５２は下部に存在するもののステレオ画像を撮像す
るものとされている。この広角ステレオテレビカメラ装
置５１，５１と望遠ステレオテレビカメラ装置５２，５
２との切り換えは、画像処理装置６により求められた箱
Ｂの高さが閾値を超えたと制御装置７により判断される
と自動的になされるものとされている。Wide-angle stereo television camera device 51, 51
The telescopic stereo TV camera devices 52, 52 have the same basic functions of capturing a stereo image of the palletized box B and inputting it to the image processing device 6, but the wide-angle stereo TV camera devices 51, 51. Picks up a stereo image of the upper part of the palletized box B, and the telescopic stereo TV camera device 5
Reference numerals 2 and 52 are for capturing a stereo image of what is present at the bottom. This wide-angle stereo TV camera device 51, 51 and the telephoto stereo TV camera device 52, 5
The switching to 2 is automatically performed when the control device 7 determines that the height of the box B obtained by the image processing device 6 exceeds the threshold value.
【００２５】なお、撮像画像に極端な変化がないよう
に、望遠ステレオテレビカメラ装置５２，５２は、広角
ステレオテレビカメラ装置５１，５１の撮像範囲をある
程度カバーできる焦点距離の望遠レンズを有するものが
用いられている。It should be noted that the telephoto stereo TV camera devices 52, 52 are each equipped with a telephoto lens having a focal length capable of covering the imaging range of the wide-angle stereo TV camera devices 51, 51 to some extent so that the picked-up image does not change extremely. It is used.
【００２６】画像処理装置６および制御装置７の構成の
詳細な説明は省略するが、後述する諸作業がなし得る機
能を有するものとされ、具体的には、例えばコンピュー
タに対応するプログラムを格納することにより構成され
る。Although detailed description of the configurations of the image processing device 6 and the control device 7 is omitted, it is assumed that the image processing device 6 and the control device 7 have a function capable of performing various operations described later. Specifically, for example, a program corresponding to a computer is stored. It is composed of
【００２７】次に、かかる構成を有するデパレタイズ用
画像作成装置Ａによるデパレタイズ用画像の作成につい
て説明する。Next, the creation of a depalletizing image by the depalletizing image creating apparatus A having the above configuration will be described.
【００２８】ステップ１：第１照明手段２の照明装置２
１，２２または照明装置２１のみを点灯し、パレタイズ
されている箱Ｂを斜め上方から照明する。Step 1: Illumination device 2 of first illumination means 2
1, 22 or only the lighting device 21 is turned on to illuminate the palletized box B obliquely from above.
【００２９】ステップ２：広角ステレオテレビカメラ装
置５１，５１によりステレオ画像を撮像し、その画像を
画像処理装置６に入力する。Step 2: A wide-angle stereo television camera device 51, 51 captures a stereo image and inputs the image to the image processing device 6.
【００３０】ステップ３：画像処理装置６は、入力され
た左右の画像の各々からエッジを抽出する。このエッジ
の抽出は、第１照明手段２の照明方向が斜め上方である
ところから容易になし得る（図２参照）。というのは、
この抽出に際しては、最上部に位置する箱Ｂあるいは局
所的最上位にある箱Ｂは、他の箱より影を落とされるこ
とはないので、影のある部分とない部分との境界のみを
探索すればよくなり、その結果、探索数を著しく減ずる
ことができるからである。ここで、局所的最上位にある
箱Ｂとは、真の最上位ではないが、他の箱Ｂより影を落
とされることがない箱Ｂをいう。なお、図２において
は、エッジＥ1が安定するので、エッジＥ1が抽出され
る。Step 3: The image processing device 6 extracts an edge from each of the input left and right images. This edge can be easily extracted from the point where the illumination direction of the first illumination means 2 is obliquely upward (see FIG. 2). I mean,
In this extraction, the box B located at the top or the box B located locally at the top is not cast a shadow more than other boxes, so it is only necessary to search for the boundary between the shaded portion and the non-shadowed portion. This is because the number of searches can be significantly reduced as a result. Here, the box B at the local top is the box B that is not the true top but is not cast a shadow over the other boxes B. In FIG. 2, the edge E 1 is stable, so the edge E 1 is extracted.
【００３１】ステップ４：画像処理装置６は抽出された
エッジＥ1の３次元位置を算出する。この３次元位置の
算出については後述する。このエッジＥ1の３次元位置
に基づいて真に最上位にある箱ＢUを選定する。Step 4: The image processing device 6 calculates the three-dimensional position of the extracted edge E 1 . The calculation of this three-dimensional position will be described later. Based on the three-dimensional position of the edge E 1 , the box B U truly at the top is selected.
【００３２】ステップ５：制御装置７により照明が第１
照明手段２から第２照明手段４に切り換えられる。Step 5: The controller 7 turns on the illumination first.
The lighting means 2 is switched to the second lighting means 4.
【００３３】ステップ６：広角ステレオテレビカメラ装
置５１，５１によりステレオ画像を再度撮像し、その画
像を画像処理装置６に入力する。Step 6: The wide-angle stereo television camera device 51, 51 captures a stereo image again and inputs the image to the image processing device 6.
【００３４】ステップ７：画像処理装置６は、入力され
た左右の画像の一方の画像について、ステップ３におい
てエッジＥ1が抽出された箱ＢUの残りのエッジＥ2，
Ｅ3，Ｅ4を抽出する。このエッジＥ2，Ｅ3，Ｅ4の抽出
は、空間微分を用いる従来より公知の方法によりなされ
る。Step 7: The image processing device 6 detects the remaining edges E 2 , of the box B U from which the edge E 1 was extracted in step 3 for one of the left and right input images.
Extract E 3 and E 4 . The extraction of the edges E 2 , E 3 , E 4 is performed by a conventionally known method using spatial differentiation.
【００３５】ステップ８：画像処理装置６は、ついで抽
出されたエッジＥ1，Ｅ2，Ｅ3，Ｅ4により形成された領
域のマッチングを行い、箱の種別、姿勢および把持位置
を決定する。Step 8: The image processing device 6 then matches the areas formed by the extracted edges E 1 , E 2 , E 3 , E 4 to determine the type, posture and gripping position of the box.
【００３６】なお、この画像処理装置６により得られた
データを用いて産業用ロボットによりデパレタイズを行
う場合は、このデータがロボットコントローラに入力さ
れて、ロボットアームの移動量等が算出されてロボット
が動作させられる。When the data obtained by the image processing device 6 is used for depalletizing by the industrial robot, this data is input to the robot controller to calculate the movement amount of the robot arm and the robot Be operated.
【００３７】また、産業用ロボットによるデパレタイズ
により荷積み高さが低くなり、画像処理装置６により算
出された高さから、広角ステレオテレビカメラ装置５
１，５１による撮像限界に近づいたと判断されると、制
御装置７により望遠ステレオテレビカメラ装置５２，５
２による撮像に切り換えられて、前記各ステップが実施
される。この場合、下部の照明装置２２による照明のみ
とされてもよい。Further, the loading height becomes low due to the depalletizing by the industrial robot, and the wide-angle stereo television camera device 5 is obtained from the height calculated by the image processing device 6.
When it is determined that the image pickup limit by the cameras 1, 51 is approached, the control device 7 causes the telephoto stereo television camera devices 52, 5
The image capturing is switched to 2 and the above steps are performed. In this case, only the illumination by the lower illumination device 22 may be used.
【００３８】次に、ステレオ画像による３次元位置計測
方法の一例について説明する。Next, an example of a three-dimensional position measuring method using a stereo image will be described.
【００３９】図３に示す３次元座標系において、カメラ
ＡとカメラＢは距離Ｌの間隔をおいてｘ軸上にあり、い
ずれにもｚ軸に平行に配置されているとする。また、レ
ンズによる画像の歪みは全て無視できるほど小さいとす
る。このとき、カメラＡおよびカメラＢにより対象物Ｐ
を視野内に促えている場合、カメラＡの画像における対
象物Ｐの位置とカメラＢの画像における対象物Ｐの位置
には、ｘ軸方向にずれｄを生じる（図３（ｂ）参照）。
このずれｄを視差と呼び、下記式により対象物Ｐの座標
のｚ成分ｚpが算出できる。 ｚp＝Ｃ（Ｌ／ｄ） ここに、Ｃはレンズの焦点距離等により決まる定数であ
る。In the three-dimensional coordinate system shown in FIG. 3, it is assumed that the camera A and the camera B are on the x-axis at a distance L and are arranged parallel to the z-axis. Further, it is assumed that the distortion of the image due to the lens is small enough to be ignored. At this time, the object P is captured by the cameras A and B.
Is being promoted within the field of view, a shift d occurs in the x-axis direction between the position of the object P in the image of the camera A and the position of the object P in the image of the camera B (see FIG. 3B).
This shift d is called parallax, and the z component z p of the coordinates of the object P can be calculated by the following formula. z p = C (L / d) where C is a constant determined by the focal length of the lens.
【００４０】また、ｘ成分ｘpおよびｙ成分ｙpについて
は、カメラＡまたはカメラＢのいずれかの画像から視野
方向（方位角と仰角）を求めれば、ｚpと合わせて算出
できる。Further, the x component x p and the y component y p can be calculated together with z p by obtaining the viewing direction (azimuth angle and elevation angle) from the image of either the camera A or the camera B.
【００４１】実施例２ 本発明の実施例２にかかわるデパレタイズ用画像作成方
法に用いられる画像作成装置の概略図を図４に示し、本
実施例にかかわる画像作成装置Ａ1は実施例１を改変し
たものであって、第１照明手段２が垂直部材１に沿って
昇降自在とされてなるものである。この第１照明手段２
の昇降は、制御装置７によりパレタイズされている箱Ｂ
の積み付け高さに応じて適宜調整される。この第１照明
手段２を昇降させる昇降機構としては、従来よりこの種
の昇降機構として用いられているものが好適に用いら
れ、その構成に特に限定はない。Embodiment 2 FIG. 4 shows a schematic diagram of an image creating apparatus used in a depalletizing image creating method according to Embodiment 2 of the present invention. The image creating apparatus A 1 according to this embodiment is a modification of Embodiment 1. The first illuminating means 2 is movable up and down along the vertical member 1. This first lighting means 2
The lifting and lowering of the box B is palletized by the control unit 7.
It is adjusted appropriately according to the stacking height. As an elevating mechanism for elevating and lowering the first illuminating means 2, one conventionally used as this type of elevating mechanism is preferably used, and the configuration thereof is not particularly limited.
【００４２】なお、実施例２のその余の構成は実施例１
と同様であるので、図４に図１と同一の符号を付してそ
の詳細な説明は省略する。The remaining structure of the second embodiment is the same as that of the first embodiment.
4 is denoted by the same reference numeral as in FIG. 1 and its detailed description is omitted.
【００４３】このように、実施例２においては、第１照
明手段２の高さがパレタイズされている箱Ｂの高さに応
じて調整されるので、常に最適の高さから照明すること
ができる。そのため、エッジの抽出が精度よくなし得
る。As described above, in the second embodiment, since the height of the first illuminating means 2 is adjusted according to the height of the palletized box B, it is possible to always illuminate from the optimum height. . Therefore, the edge can be accurately extracted.
【００４４】実施例３ 本発明の実施例３にかかわるデパレタイズ用画像作成方
法に用いられる画像作成装置の概略図を図５に示し、本
実施例にかかわる画像作成装置Ａ2は実施例１を改変し
たものであって、第１照明手段２の照明角度が調整自在
とされてなるものである。この第１照明手段２の照明角
度は、制御装置７によりパレタイズされている箱の積み
付け高さに応じて適宜調整される。この第１照明手段２
の照明角度を変更させる角度変更機構としては、従来よ
りこの種の角度変更機構として用いられているものが好
適に用いられ、その構成に特に限定はない。Embodiment 3 FIG. 5 shows a schematic diagram of an image creating apparatus used in a depalletizing image creating method according to Embodiment 3 of the present invention. The image creating apparatus A 2 according to this embodiment is a modification of Embodiment 1. The illumination angle of the first illuminating means 2 is adjustable. The illumination angle of the first illumination means 2 is appropriately adjusted by the control device 7 in accordance with the stacking height of the palletized boxes. This first lighting means 2
As the angle changing mechanism for changing the illumination angle, the one conventionally used as this type of angle changing mechanism is preferably used, and the structure thereof is not particularly limited.
【００４５】なお、実施例３のその余の構成は実施例１
と同様であるので、図５に図１と同一の符号を付してそ
の詳細な説明は省略する。The remaining structure of the third embodiment is the same as that of the first embodiment.
5 is denoted by the same reference numeral as in FIG. 1 and its detailed description is omitted.
【００４６】このように、実施例３においては、第１照
明手段２の照明角度がパレタイズされている箱Ｂの高さ
に応じて調整されるので、常に最適の角度により照明す
ることができる。そのため、エッジの抽出が精度よくな
し得る。As described above, in the third embodiment, the illumination angle of the first illumination means 2 is adjusted according to the height of the palletized box B, so that the illumination can always be performed at the optimum angle. Therefore, the edge can be accurately extracted.
【００４７】実施例４ 本発明の実施例４にデパレタイズ用画像作成方法に用い
られる画像作成装置の概略図を図６に示し、本実施例に
かかわる画像作成装置Ａ3は実施例１を改変したもので
あって、３個の焦点距離の異なるレンズ、第１レンズ５
３１、第２レンズ５３２および第３レンズ５３３が切り
換え可能とされているステレオテレビカメラ装置５３，
５３を用いるものである。また、第１照明手段２は実施
例２と同様に昇降自在とされている。この第１レンズ５
３１はパレタイズされている箱Ｂの内、上部のものが撮
像できる焦点距離を有するものとされ、第２レンズ５３
２は中部のものが撮像できる焦点距離を有するものとさ
れ、第３レンズ５３３は下部のものが撮像できる焦点距
離を有するものとされている。この第１レンズ５３１、
第２レンズ５３２および第３レンズ５３３の切り換え
は、画像処理装置６から得られる撮像された箱Ｂの高さ
に基づいて制御装置７によりなされる。すなわち、上部
と中部との境界に設けられた閾値Ｌ1に到達すると第１
レンズ５３１から第２レンズ５３２に切り換えられ、そ
して中部と下部との境界に設けられた閾値Ｌ2に到達す
ると第２レンズ５３２から第３レンズ５３３に切り換え
られるようにされている。Example 4 FIG. 6 shows a schematic diagram of an image forming apparatus used in the image forming method for depalletizing in Example 4 of the present invention, and the image forming apparatus A 3 according to this example is a modification of Example 1. The first lens 5 includes three lenses having different focal lengths.
31, a stereo television camera device 53 in which the second lens 532 and the third lens 533 are switchable,
53 is used. Further, the first lighting means 2 can be raised and lowered similarly to the second embodiment. This first lens 5
In the palletized box B, reference numeral 31 has a focal length capable of capturing an image of the upper one.
2 has a focal length capable of capturing an image of the middle portion, and the third lens 533 has a focal length capable of capturing an image of the lower portion. This first lens 531
Switching of the second lens 532 and the third lens 533 is performed by the control device 7 based on the height of the imaged box B obtained from the image processing device 6. That is, when the threshold L 1 provided at the boundary between the upper portion and the middle portion is reached, the first
The lens 531 is switched to the second lens 532, and when the threshold L 2 provided at the boundary between the middle portion and the lower portion is reached, the second lens 532 is switched to the third lens 533.
【００４８】また、第１照明手段２の高さも制御装置７
により調整されている。すなわち、パレタイズされてい
る箱Ｂがデパレタイズされて高さが低くなるにつれて低
くなるように調整されている。The height of the first illuminating means 2 is also controlled by the controller 7.
Has been adjusted by. That is, the palletized box B is depalletized so that the height becomes lower as the height becomes lower.
【００４９】その余の構成については実施例１と同様で
あるので、図６に図１と同一の符号を付してその詳細な
説明は省略する。Since the rest of the configuration is the same as that of the first embodiment, the same reference numerals as those in FIG. 1 are attached to FIG. 6 and their detailed description is omitted.
【００５０】このように実施例４では３本のレンズを用
いるので、パレタイズされている高さがより高いものに
ついても、デパレタイズ用画像を作成できる。As described above, since three lenses are used in the fourth embodiment, it is possible to create a depalletizing image even for a palletized object having a higher height.
【００５１】以上本発明を実施例に基づいてい説明して
きたが、本発明はかかる実施例に限定されるものではな
く、種々改変が可能である。Although the present invention has been described based on the embodiments, the present invention is not limited to the embodiments and various modifications can be made.
【００５２】例えば、実施例４ではレンズは焦点距離の
異なるものが３種類用いられたが、さらに多数の焦点距
離の異なるレンズ（望遠レンズ）を用いて撮像領域を細
分化してもよい。このようにすれば、明瞭な画像が得ら
れ最上部に位置するエッジの抽出がより一層容易になる
とともに、より高くパレタイズされているものについて
もデパレタイズ用画像を作成できる。あるいはズームレ
ンズとして前記と同様に箱の高さに応じて焦点距離を調
節できるようにしてもよい。このズームレンズを用いれ
ば、ステレオ画像撮像手段の構成を簡素化できる。For example, although three types of lenses having different focal lengths are used in the fourth embodiment, a larger number of lenses (telephoto lenses) having different focal lengths may be used to subdivide the image pickup area. In this way, a clear image can be obtained, the edge located at the top can be more easily extracted, and a depalletizing image can be created even for a higher palletized image. Alternatively, as the zoom lens, the focal length may be adjusted according to the height of the box as in the above. By using this zoom lens, the configuration of the stereo image pickup means can be simplified.
【００５３】[0053]
【発明の効果】以上説明してきたように、本発明によれ
ば、パレタイズされている箱の斜め上方から照明して、
最上位あるいは局所的最上位に位置しない箱に積極的に
影ができるようにしているので、エッジ抽出の際におけ
る探索数を著しく減ずることができる。したがって、最
上位に位置する箱の特定が簡易迅速になし得るという優
れた効果が得られる。As described above, according to the present invention, illumination is performed from diagonally above the palletized box,
Since the shadow is positively formed on the box that is not located at the top or the local top, the number of searches at the time of edge extraction can be significantly reduced. Therefore, the excellent effect that the box located at the top can be specified easily and quickly is obtained.
【００５４】また、本発明を産業用ロボットに適用すれ
ば、デパレタイズ作業における作業能率を著しく向上す
ることができるという優れた効果も得られる。Further, if the present invention is applied to an industrial robot, the excellent effect that the work efficiency in the depalletizing work can be remarkably improved can be obtained.
【図１】本発明の実施例１にかかわる画像作成方法に用
いる画像作成装置の概略図である。FIG. 1 is a schematic diagram of an image creating apparatus used in an image creating method according to a first embodiment of the present invention.
【図２】第１照明手段により形成される陰影の説明図で
ある。FIG. 2 is an explanatory diagram of a shadow formed by a first lighting unit.
【図３】ステレオ画像による３次元位置計測の説明図で
ある。FIG. 3 is an explanatory diagram of three-dimensional position measurement using a stereo image.
【図４】本発明の実施例２にかかわる画像作成方法に用
いる画像作成装置の概略図である。FIG. 4 is a schematic diagram of an image creating apparatus used in an image creating method according to a second embodiment of the present invention.
【図５】本発明の実施例３にかかわる画像作成方法に用
いる画像作成装置の概略図である。FIG. 5 is a schematic diagram of an image creating apparatus used in an image creating method according to a third embodiment of the present invention.
【図６】本発明の実施例４にかかわる画像作成方法に用
いる画像作成装置の概略図である。FIG. 6 is a schematic diagram of an image creating apparatus used in an image creating method according to a fourth embodiment of the present invention.
１ 垂直部材 ２ 第１照明手段 ２１、２２ 照明装置 ３ 水平部材 ４ 第２照明手段 ４１ 照明装置 ５ ステレオ画像撮像手段 ５１ 広角ステレオテレビカメラ装置 ５２ 望遠ステレオテレビカメラ装置 ５３ レンズ切り換え式望遠ステレオテレビカメ
ラ装置 ５３１ 第１望遠レンズ ５３２ 第２望遠レンズ ５３３ 第３望遠レンズ ６ 画像処理装置（画像処理手段） ７ 制御装置（制御手段） Ａ 画像作成装置 Ｂ 箱 Ｐ パレットDESCRIPTION OF SYMBOLS 1 Vertical member 2 1st illuminating means 21, 22 Illuminating device 3 Horizontal member 4 2nd illuminating means 41 Illuminating device 5 Stereo image capturing means 51 Wide-angle stereo TV camera device 52 Telescopic stereo TV camera device 53 Lens switching type telescopic stereo TV camera device 531 First telephoto lens 532 Second telephoto lens 533 Third telephoto lens 6 Image processing device (image processing means) 7 Control device (control means) A Image creating device B Box P Pallet
─────────────────────────────────────────────────────
─────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成６年５月６日[Submission date] May 6, 1994
【手続補正２】[Procedure Amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００５１[Correction target item name] 0051
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００５１】 以上本発明を実施例に基づいて説明して
きたが、本発明はかかる実施例に限定されるものではな
く、種々改変が可能である。Although the present invention has been described based on the embodiments, the present invention is not limited to the embodiments and various modifications can be made.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 13/02 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Office reference number FI technical display location H04N 13/02
Claims (10)
タイズする際に用いるデパレタイズ用画像作成方法であ
って、積み上げられている箱体を斜め上方から照明する
手順と、斜め上方から照明された積み上げられている箱
体を撮像する手順と、撮像された画像の中から箱体の上
面のエッジを陰影に基づいて抽出する手順と、前記抽出
されたエッジの中から、最上部に位置する箱体に属する
ものを選出する手順と、照明を斜め上方から上方に切り
換える手順と、上方から照明されている積み上げられて
いる箱体を撮像する手順と、撮像された箱体の中から、
前記手順によりエッジが抽出された箱体の残りのエッジ
を抽出する手順と、前記エッジにより囲まれる領域のマ
ッチングを行う手順とを含んでいることを特徴とするデ
パレタイズ用画像作成方法。1. A method for creating an image for depalletizing, which is used when depalletizing arbitrarily stacked boxes, the procedure comprising illuminating the stacked boxes from an obliquely upper position, and stacking illuminated from an obliquely upper position. A box located at the top of the extracted edges, and a procedure for extracting the edge of the top of the box from the captured image based on shading. From the procedure of selecting those belonging to, the procedure of switching the lighting from diagonally above to the top, the procedure of imaging the stacked boxes that are illuminated from above, among the imaged boxes,
An image forming method for depalletizing, comprising: a step of extracting the remaining edges of the box body from which the edges have been extracted by the above-mentioned procedure; and a step of matching an area surrounded by the edges.
て、積み上げられている箱体の高さに応じて照明高さが
変更されることを特徴とする請求項１記載のデパレタイ
ズ用画像作成方法。2. The image forming method for depalletizing according to claim 1, wherein the illumination height is changed according to the height of the stacked boxes in the procedure of illuminating from an obliquely upper position.
て、積み上げられている箱体の高さに応じて照明角度が
変更されることを特徴とする請求項１記載のデパレタイ
ズ用画像作成方法。3. The image forming method for depalletizing according to claim 1, wherein in the procedure of illuminating from an obliquely upper position, the illumination angle is changed according to the height of the boxes that are stacked.
像手段を用い、パレタイズされている箱体の高さに応じ
て使用するステレオ画像撮像手段を切り換えることを特
徴とする請求項１、２または３記載のデパレタイズ用画
像作成方法。4. The stereo image capturing means to be used is switched according to the height of a palletized box body by using a plurality of stereo image capturing means having different focal lengths. Image creation method for depalletizing described.
タイズする際に用いるデパレタイズ用画像作成装置であ
って、任意に積み上げられている箱体を斜め上方から照
明する第１照明手段および上方から照明する第２照明手
段と、前記第１および第２照明手段を切り換える照明切
り換え手段と、任意に積み上げられている箱体を上方か
ら撮像する、少なくとも一組のステレオ画像撮像手段
と、前記ステレオ画像撮像手段からの画像を処理する画
像処理手段とを備え、前記画像処理手段により、 前記ステレオ画像撮像手段から入力された、斜め上方
から照明されている任意に積み上げられている箱体のス
テレオ画像から箱体のエッジが陰影に基づいて抽出さ
れ、 前記抽出されたエッジの中から、最上部に位置する箱
体に属するものが選出され、 前記ステレオ画像撮像手段から入力された、上方から
照明されている任意に積み上げられている箱体のステレ
オ画像から、前記エッジが抽出された箱体の残りのエッ
ジが抽出され、 前記抽出されたエッジに囲まれた領域がマッチングさ
れることを特徴とするデパレタイズ用画像作成装置。5. An image creating apparatus for depalletizing used when depalletizing arbitrarily stacked boxes, the first illuminating means for illuminating the arbitrarily stacked boxes from above and illumination from above. Second illumination means, illumination switching means for switching the first and second illumination means, at least one set of stereo image capturing means for capturing an image of arbitrarily stacked boxes from above, and the stereo image capturing An image processing means for processing an image from the means, wherein the image processing means receives a box from stereo images of arbitrarily stacked boxes which are input from the stereo image capturing means and which are illuminated obliquely from above. The edge of the body is extracted based on the shadow, from the extracted edges, those belonging to the box located at the top are selected, The remaining edges of the box from which the edges have been extracted are extracted from the stereo image of the boxes that are arbitrarily stacked and are illuminated from above, which are input from the stereo image capturing means, and the extracted edges An image creating apparatus for depalletizing, characterized in that a region surrounded by is matched.
している複数の照明装置からなることを特徴とする請求
項５記載のデパレタイズ用画像作成装置。6. The image forming apparatus for depalletizing according to claim 5, wherein the first illuminating means comprises a plurality of illuminating devices having different mounting heights.
ることを特徴とする請求項５記載のデパレタイズ用画像
作成装置。7. The image forming apparatus for depalletizing according to claim 5, wherein the first illuminating means is movable up and down.
とされてなることを特徴とする請求項５記載のデパレタ
イズ用画像作成装置。8. The image forming apparatus for depalletizing according to claim 5, wherein the illumination angle of the first illumination means is adjustable.
の異なる複数のレンズを備えてなることを特徴とする請
求項５記載のデパレタイズ用画像作成装置。9. The image forming apparatus for depalletizing according to claim 5, wherein the stereo image capturing means comprises a plurality of lenses having different focal lengths.
ンズを備えてなることを特徴とする請求項５記載のデパ
レタイズ用画像作成装置。10. The image forming apparatus for depalletizing according to claim 5, wherein the stereo image capturing means includes a zoom lens.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11206394A JP3516067B2 (en) | 1994-04-26 | 1994-04-26 | Image creation method and image creation device for depalletizing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11206394A JP3516067B2 (en) | 1994-04-26 | 1994-04-26 | Image creation method and image creation device for depalletizing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07299782A true JPH07299782A (en) | 1995-11-14 |
| JP3516067B2 JP3516067B2 (en) | 2004-04-05 |
Family
ID=14577126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11206394A Expired - Fee Related JP3516067B2 (en) | 1994-04-26 | 1994-04-26 | Image creation method and image creation device for depalletizing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3516067B2 (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175729A (en) * | 1997-12-17 | 1999-07-02 | Mitsubishi Electric Corp | Device for recognizing object |
| WO2000057129A1 (en) * | 1999-03-19 | 2000-09-28 | Matsushita Electric Works, Ltd. | Three-dimensional object recognition method and pin picking system using the method |
| JP2000304509A (en) * | 1999-04-21 | 2000-11-02 | Matsushita Electric Works Ltd | Method and device for specifying object |
| JP2001317911A (en) * | 2000-05-02 | 2001-11-16 | Daifuku Co Ltd | Work position recognizing apparatus |
| JP2006329659A (en) * | 2005-05-23 | 2006-12-07 | Universal Shipbuilding Corp | Method and apparatus for recognizing shape of steel product |
| JP2010006510A (en) * | 2008-06-25 | 2010-01-14 | Ihi Corp | Picking device and method |
| JP2012192473A (en) * | 2011-03-15 | 2012-10-11 | Seibu Electric & Mach Co Ltd | Stereoscopically viewing robot picking device |
| DE102016000995A1 (en) | 2015-02-06 | 2016-08-11 | Fanuc Corporation | Conveyor robot system with three-dimensional sensor |
| JP2018063238A (en) * | 2016-10-11 | 2018-04-19 | 株式会社東芝 | Edge detection system, edge detection method, and article holding device |
| WO2019021393A1 (en) * | 2017-07-26 | 2019-01-31 | 三菱電機株式会社 | Distance measurement device and distance measurement method |
| JP2019181602A (en) * | 2018-04-05 | 2019-10-24 | 花王株式会社 | Pick-and-place device |
| US10518417B2 (en) | 2017-04-28 | 2019-12-31 | Fanuc Corporation | Article retrieval system |
| JP2020064588A (en) * | 2019-03-18 | 2020-04-23 | 株式会社Ｍｕｊｉｎ | Shape information generation device, control device, unloading device, distribution system, program, and control method |
| JP2021050100A (en) * | 2018-10-30 | 2021-04-01 | 株式会社Ｍｕｊｉｎ | Robot system with automatic package registration mechanism and minimum execution possible area detection |
| US10970866B2 (en) | 2018-10-15 | 2021-04-06 | Mujin, Inc. | Shape information generation apparatus, control apparatus, loading/unloading apparatus, logistics system, non-transitory computer-readable medium, and control method |
| JP2021094664A (en) * | 2019-12-18 | 2021-06-24 | 村田機械株式会社 | Transfer device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57149180A (en) * | 1981-03-13 | 1982-09-14 | Hitachi Ltd | Method of detecting position |
| JPS6317735A (en) * | 1986-07-07 | 1988-01-25 | Okura Yusoki Co Ltd | Takeout device |
| JPH02269587A (en) * | 1989-04-07 | 1990-11-02 | Daifuku Co Ltd | Automatic transfer device using camera |
| JPH03202290A (en) * | 1989-12-27 | 1991-09-04 | Toyota Motor Corp | Take-up device for articles loaded in bulk |
| JPH03234491A (en) * | 1990-02-09 | 1991-10-18 | Daifuku Co Ltd | Automatic loading device using robot |
| JPH05127722A (en) * | 1991-10-30 | 1993-05-25 | Nippondenso Co Ltd | High-speed picking device for stacked component |
-
1994
- 1994-04-26 JP JP11206394A patent/JP3516067B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57149180A (en) * | 1981-03-13 | 1982-09-14 | Hitachi Ltd | Method of detecting position |
| JPS6317735A (en) * | 1986-07-07 | 1988-01-25 | Okura Yusoki Co Ltd | Takeout device |
| JPH02269587A (en) * | 1989-04-07 | 1990-11-02 | Daifuku Co Ltd | Automatic transfer device using camera |
| JPH03202290A (en) * | 1989-12-27 | 1991-09-04 | Toyota Motor Corp | Take-up device for articles loaded in bulk |
| JPH03234491A (en) * | 1990-02-09 | 1991-10-18 | Daifuku Co Ltd | Automatic loading device using robot |
| JPH05127722A (en) * | 1991-10-30 | 1993-05-25 | Nippondenso Co Ltd | High-speed picking device for stacked component |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175729A (en) * | 1997-12-17 | 1999-07-02 | Mitsubishi Electric Corp | Device for recognizing object |
| WO2000057129A1 (en) * | 1999-03-19 | 2000-09-28 | Matsushita Electric Works, Ltd. | Three-dimensional object recognition method and pin picking system using the method |
| US6721444B1 (en) | 1999-03-19 | 2004-04-13 | Matsushita Electric Works, Ltd. | 3-dimensional object recognition method and bin-picking system using the method |
| JP2000304509A (en) * | 1999-04-21 | 2000-11-02 | Matsushita Electric Works Ltd | Method and device for specifying object |
| JP2001317911A (en) * | 2000-05-02 | 2001-11-16 | Daifuku Co Ltd | Work position recognizing apparatus |
| JP2006329659A (en) * | 2005-05-23 | 2006-12-07 | Universal Shipbuilding Corp | Method and apparatus for recognizing shape of steel product |
| JP4711401B2 (en) * | 2005-05-23 | 2011-06-29 | ユニバーサル造船株式会社 | Steel shape recognition method and apparatus |
| JP2010006510A (en) * | 2008-06-25 | 2010-01-14 | Ihi Corp | Picking device and method |
| JP2012192473A (en) * | 2011-03-15 | 2012-10-11 | Seibu Electric & Mach Co Ltd | Stereoscopically viewing robot picking device |
| US9844882B2 (en) | 2015-02-06 | 2017-12-19 | Fanuc Corporation | Conveyor robot system provided with three-dimensional sensor |
| DE102016000995A1 (en) | 2015-02-06 | 2016-08-11 | Fanuc Corporation | Conveyor robot system with three-dimensional sensor |
| DE102016000995B4 (en) | 2015-02-06 | 2019-01-31 | Fanuc Corporation | Conveyor robot system with three-dimensional sensor |
| JP2018063238A (en) * | 2016-10-11 | 2018-04-19 | 株式会社東芝 | Edge detection system, edge detection method, and article holding device |
| US10518417B2 (en) | 2017-04-28 | 2019-12-31 | Fanuc Corporation | Article retrieval system |
| WO2019021393A1 (en) * | 2017-07-26 | 2019-01-31 | 三菱電機株式会社 | Distance measurement device and distance measurement method |
| JPWO2019021393A1 (en) * | 2017-07-26 | 2019-11-07 | 三菱電機株式会社 | Distance measuring device and distance measuring method |
| JP2019181602A (en) * | 2018-04-05 | 2019-10-24 | 花王株式会社 | Pick-and-place device |
| US10970866B2 (en) | 2018-10-15 | 2021-04-06 | Mujin, Inc. | Shape information generation apparatus, control apparatus, loading/unloading apparatus, logistics system, non-transitory computer-readable medium, and control method |
| US11836939B2 (en) | 2018-10-15 | 2023-12-05 | Mujin, Inc. | Shape information generation apparatus, control apparatus, loading/unloading apparatus, logistics system, non-transitory computer-readable medium, and control method |
| JP2021050100A (en) * | 2018-10-30 | 2021-04-01 | 株式会社Ｍｕｊｉｎ | Robot system with automatic package registration mechanism and minimum execution possible area detection |
| JP2020064588A (en) * | 2019-03-18 | 2020-04-23 | 株式会社Ｍｕｊｉｎ | Shape information generation device, control device, unloading device, distribution system, program, and control method |
| JP2021094664A (en) * | 2019-12-18 | 2021-06-24 | 村田機械株式会社 | Transfer device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3516067B2 (en) | 2004-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3516067B2 (en) | Image creation method and image creation device for depalletizing | |
| US9227323B1 (en) | Methods and systems for recognizing machine-readable information on three-dimensional objects | |
| CN110322457A (en) | A kind of de-stacking method of 2D in conjunction with 3D vision | |
| JP4911341B2 (en) | Article transfer device | |
| CN108827154B (en) | Robot non-teaching grabbing method and device and computer readable storage medium | |
| CN113103215B (en) | Motion control method for robot vision flyswatter | |
| CN1733579A (en) | Transfer robot system comprising a manipulator and a temporary container depository moving synchronously with the manipulator | |
| US12002240B2 (en) | Vision system for a robotic machine | |
| CN114758236B (en) | Non-specific shape object identification, positioning and manipulator grabbing system and method | |
| CN106269548A (en) | A kind of object automatic sorting method and device thereof | |
| CN109454004B (en) | Robot scanning and sorting system and method | |
| JP2008246631A (en) | Object fetching equipment | |
| CN101122457A (en) | Image border scanning system and method | |
| CN114289332A (en) | Visual identification and positioning method and device for workpiece sorting and sorting system | |
| JPH07291450A (en) | Intelligent palletizing system | |
| CN114341930A (en) | Image processing device, imaging device, robot, and robot system | |
| CN111390910A (en) | Manipulator target grabbing and positioning method, computer readable storage medium and manipulator | |
| CN114193440A (en) | Robot automatic grabbing system and method based on 3D vision | |
| US20230129785A1 (en) | Three-dimensional measurement device which generates position information for surface of object from image captured by multiple cameras | |
| JP3596434B2 (en) | Article position recognition device | |
| CN110533717A (en) | A kind of target grasping means and device based on binocular vision | |
| JP4172728B2 (en) | Image processing method | |
| CN107068589A (en) | A kind of crystal grain selection system and method based on image recognition | |
| JPH0797059A (en) | Object takeout device | |
| JPH1196378A (en) | Load position/attitude recognizing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031226 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090130 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100130 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110130 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140130 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |