WO2018042501A1 - ３次元物体認識装置 - Google Patents

３次元物体認識装置 Download PDF

Info

Publication number
WO2018042501A1
WO2018042501A1 PCT/JP2016/075238 JP2016075238W WO2018042501A1 WO 2018042501 A1 WO2018042501 A1 WO 2018042501A1 JP 2016075238 W JP2016075238 W JP 2016075238W WO 2018042501 A1 WO2018042501 A1 WO 2018042501A1
Authority
WO
WIPO (PCT)
Prior art keywords
box
robot
dimensional object
object recognition
acquisition means
Prior art date
Application number
PCT/JP2016/075238
Other languages
English (en)
French (fr)
Inventor
涼太郎 高見
徐　剛
朋弘 仲道
晋輔 樫原
猛人 小笠原
エドモンド ワイ イエン ソ
Original Assignee
株式会社三次元メディア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社三次元メディア filed Critical 株式会社三次元メディア
Priority to PCT/JP2016/075238 priority Critical patent/WO2018042501A1/ja
Publication of WO2018042501A1 publication Critical patent/WO2018042501A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to a three-dimensional object recognition apparatus for recognizing a three-dimensional object to be recognized, and in particular, a three-dimensional object for recognizing a three-dimensional object when a three-dimensional object is picked up from a pallet or box by a robot.
  • the present invention relates to an object recognition device.
  • Recognition devices have been developed in recent years.
  • This three-dimensional object recognition apparatus recognizes the position and orientation of a recognition target object using a point group indicating the three-dimensional coordinates of points on the surface of the recognition target object.
  • Some three-dimensional object recognition apparatuses recognize the position and orientation of a recognition object using a captured image of the recognition object.
  • the three-dimensional object recognition apparatus can obtain the position and orientation of the recognition target object using the point cloud and image of the recognition target object.
  • the obtained position / orientation data of the recognition object is used to control a robot that performs work on the recognition object. That is, the robot is controlled based on the result of the obtained position and orientation of the recognition object. For example, the robot grips the recognition target object and moves it to a target position.
  • a conventional three-dimensional object recognition apparatus includes an acquisition unit for acquiring a point cloud and an image of a recognition target object.
  • the acquisition means is disposed above the recognition target object with its optical axis directed directly below.
  • the acquisition means is spaced apart from the box.
  • the acquisition unit is arranged to be spaced directly above the plate-like member.
  • the acquisition means is disposed above the highest point of the robot's extraction work movable range so as not to contact the robot when the recognition object is extracted by the robot.
  • the acquisition means is arranged far above where people can reach with their hands raised.
  • it is necessary to use means for moving upward, such as a ladder, and there is a problem that it involves danger.
  • a ladder or the like must be prepared every time the acquisition means is installed or maintained, which is troublesome and troublesome.
  • the present invention has been made in view of such problems, and a main object thereof is to provide a three-dimensional object recognition apparatus that can be installed and maintained safely and easily.
  • a three-dimensional object recognition apparatus recognizes the position and orientation of an object when the object is picked up by a robot from a bottomed cylindrical box opened upward. It is a recognition device, and comprises image acquisition means for taking an image of the object and acquiring an image, and the image acquisition means is arranged directly above a part of the circumferential side wall of the box. And the optical axis is disposed in the box, and is disposed at a position lower than the highest point of the robot's take-out work movable range.
  • the box is formed in a square cylinder shape, and the box and the search space visible from the image acquisition unit correspond to each other.
  • the direction between the side walls facing each other is made to coincide with the search direction of the search space.
  • the three-dimensional object recognition apparatus is a three-dimensional object recognition apparatus that recognizes the position and orientation of the object when the object placed on the plate-like placement plate is taken out by a robot.
  • Image acquisition means for acquiring an image by photographing an object is provided, and the image acquisition means is disposed separately above a part of the outer peripheral edge of the mounting plate in the circumferential direction and has an optical axis. It arrange
  • the three-dimensional object recognition apparatus is characterized in that the image acquisition means is provided on a support so as to be swingable up and down around an axis.
  • the image acquisition means for acquiring the image of the target object is disposed directly above a part of the peripheral side wall of the box in which the target object is stored, and the robot It is arranged at a position lower than the highest point of the take-out work movable range.
  • the image acquisition means can be arranged at a lower position, which makes installation and maintenance of the image acquisition means safer. Can be done easily.
  • the range of the same distance in the box is searched in parallel by searching in parallel between the opposing side walls of the box formed in a square cylinder shape. Can do.
  • the image acquisition means for acquiring the image of the object is arranged directly above a part of the outer peripheral edge of the mounting plate on which the object is mounted.
  • the robot is disposed at a position lower than the highest point of the robot's take-out work movable range.
  • the image acquisition means can be arranged at a lower position, and thus the image acquisition means Installation and maintenance can be performed safely and easily.
  • the image acquisition means is provided so as to be able to swing up and down, so that the line-of-sight direction of the image acquisition means can be moved up and down. Therefore, it is possible to easily adjust the line-of-sight direction of the image acquisition means arranged directly above a part of the peripheral side wall of the box in a direction in which the object in the box can be more reliably photographed.
  • the three-dimensional object recognition apparatus it is possible to search in parallel the range of the same distance in the box by searching in parallel between the opposing side walls of the box.
  • Example 1 of the three-dimensional object recognition apparatus of this invention It is a schematic block diagram which shows the use condition of Example 1 of the three-dimensional object recognition apparatus of this invention. It is a schematic front view which shows the positional relationship of the principal part of the three-dimensional object recognition apparatus of FIG. It is a schematic perspective view which shows the support structure of the image acquisition means of the three-dimensional object recognition apparatus of FIG. It is explanatory drawing which shows the method of the search by the three-dimensional object recognition apparatus of FIG. It is explanatory drawing which shows the method of the search by the conventional three-dimensional object recognition apparatus. It is a schematic front view which shows the positional relationship of the principal part of Example 2 of the three-dimensional object recognition apparatus of this invention.
  • FIG. 1 is a schematic configuration diagram illustrating a usage state of the first embodiment of the three-dimensional object recognition apparatus of the present invention.
  • the three-dimensional object recognition device 1 recognizes the position and orientation of a target object W having a three-dimensional shape, and acquires an image by acquiring the image by capturing the target object W, and image acquisition.
  • a computer 4 having an object recognition means 3 for obtaining a three-dimensional position and orientation of the object W based on the image acquired by the means 2.
  • the image acquisition unit 2 is a unit that captures an image of the object W and acquires an image.
  • the image acquisition unit 2 is a vision head including a camera and a projector. As shown in FIG. 1, the vision head 2 is arranged to be supported by a support 5 described later.
  • the image acquisition means 2 is an object such as one that measures a three-dimensional point group indicating three-dimensional coordinates of points on the surface of the object W using reflection by the object W of a projector using a semiconductor as a light source.
  • the computer 4 includes an image memory 6, a hard disk 7, a RAM (Random Access Memory) 8, a CPU (Central Processing Unit) 9, a display unit 10, and an operation unit 11.
  • image memory 6 a hard disk 7
  • RAM Random Access Memory
  • CPU Central Processing Unit
  • the image memory 6 stores image data taken by the vision head 2 and the like.
  • the hard disk 7 is a means for storing a processing program for recognizing the object W and the like.
  • the RAM 8 is means for temporarily storing a processing program read from the hard disk 7.
  • the CPU 9 performs three-dimensional recognition processing according to the processing program.
  • the display unit 10 includes a display and the like, and is a unit that displays image data stored in the image memory 6 and a recognition result obtained by the object recognition unit 3. Furthermore, the operation means 11 is comprised with a mouse
  • the object recognition unit 3 is a part of the CPU 9.
  • the object recognition means 3 is a means for obtaining the three-dimensional position and orientation of the object W according to the processing program stored in the hard disk 7.
  • the image data of the object W acquired by the vision head 2 is an image. Based on this image data stored in the memory 6, the three-dimensional position and orientation of the object W can be obtained.
  • a method for obtaining the position and orientation of the object W by the object recognition means 3 a conventionally known method can be used. For example, using the image data acquired by the vision head 2 or a three-dimensional point group, for example, The method for obtaining the position and orientation disclosed in Japanese Unexamined Patent Application Publication No. 2010-205095, Japanese Unexamined Patent Application Publication No. 2011-129082, and Japanese Unexamined Patent Application Publication No. 2012-026974 can be used.
  • the three-dimensional object recognition device 1 Based on the position and orientation of the object W obtained in this way, the operation of the robot 12 that performs work on the object W can be controlled. Therefore, the three-dimensional object recognition device 1 is connected to the robot 12. Then, the three-dimensional object recognition device 1 generates a control signal for controlling the robot 12 based on the obtained position and orientation of the target object W, and outputs this control signal to the robot 12.
  • the robot 12 includes a plate-like base 13, an arm 14 provided on the base 13, and a hand 15 provided at the tip of the arm 14.
  • the arm 14 includes a plurality of link members 16 and a joint 17 that rotatably connects the adjacent link members 16 and 16 to each other, and a base end portion is connected to the base 13 and extends outward. I'm out.
  • the robot 12 can move the hand 15 by driving a motor provided at each joint 17 of the arm 14. At this time, the position of the hand 15 can be obtained from the detection result of the rotational position of the motor by the encoder.
  • the robot 12 grips the object W in the box 18 with the hand 15, takes out the object W from the box 18, and carries the object W to the target location. . Therefore, the robot 12 can perform a series of operations of automatically taking out the object W from the box 18 and carrying it to the target location based on the control signal described above.
  • the robot 12 of the present embodiment is configured to hold the object W with the hand 15, it is not limited to this. For example, it is good also as a structure which adsorb
  • FIG. 2 is a schematic front view showing the positional relationship of the main parts of the three-dimensional object recognition apparatus of FIG.
  • FIG. 3 is a schematic perspective view showing a support that supports the vision head.
  • the robot 12 and the vision head 2 are arranged so as to sandwich the box 18.
  • the box 18 in which the object W is accommodated is formed in a bottomed rectangular tube shape that opens upward.
  • the robot 12 described above is arranged on the left side of the box 18. Therefore, the robot 12 can take out the object W in the box 18 through the opening 19 upward of the box 18.
  • the above-described vision head 2 is arranged supported by the support 5.
  • the support 5 includes a pedestal 20, a pair of rail members 21 and 21 provided on the pedestal 20, a base member 22 provided on the rail member 21, and a support arm provided on the base member 22.
  • the material 23 is provided.
  • a rail member 21 is erected on the upper surface of the plate-like pedestal 20 so as to be separated in the front-rear direction.
  • the plate-like base material 22 is arranged so that the plate surface is along the front-rear direction, the front end portion is provided on the front rail material 21, and the rear end portion is provided on the rear rail material 21. Yes.
  • the base member 22 is slidable in the vertical direction along the rail member 21.
  • the support arm member 23 protrudes leftward from the left surface of the base member 22 via a plate member 24 provided at the base end portion thereof.
  • the support arm member 23 includes a first arm piece 25 fixed to the base member 22 and a second arm piece 26 provided at the tip of the first arm piece 25.
  • the second arm piece 26 is connected to the first arm piece 25 so as to be rotatable about an axis along the front-rear direction.
  • the vision head 2 is provided on the support 5. Specifically, the vision head 2 is fixed to the second arm piece 26 of the support 5. Thereby, the vision head 2 can be slid in the vertical direction along the rail material 21 of the support 5.
  • the vision head 2 is rotatable around an axis extending in the front-rear direction with respect to the first arm piece 25 of the support 5.
  • the vision head 2 is rotated by turning the knob 27.
  • the second arm piece 26 is prevented from rotating unexpectedly downward by the weight of the vision head 2 due to the rotation restraining member such as a spring and a damper.
  • the support 5 is provided with a suspension so as to cope with vibration.
  • the vision head 2 is disposed in a state of being provided on the support body 5 and directly above a part of the circumferential side wall of the box 18 in the circumferential direction.
  • the vision head 2 is disposed on the right side of the box 18, and thus is disposed apart from the right side wall 28 of the box 18.
  • the vision head 2 is arranged with its optical axis directed into the box 18 so that the box 18 and the object W in the box 18 can be photographed.
  • the vision head 2 is disposed at a position lower than the highest point in the movable range during the take-out operation of the robot 12.
  • the robot 12 moves the arm 14 up and down and left and right while bending and extending, and takes out the object W from the box 18.
  • the vision head 2 is arranged at a position lower than the highest point of the movable range. Specifically, it is arranged at a position lower than the highest position of the robot 12 in the region of the robot 18 in the highest posture state in the region directly above the opening 19 of the box 18.
  • the vision head 2 can adjust the vertical position by moving the base material 22 in the vertical direction with respect to the rail material 21. Further, the vision head 2 can be adjusted so that the optical axis is directed into the box 18 by rotating the second arm piece 26 with respect to the first arm piece 25. Since the vision head 2 is arranged to be inclined toward the inside of the box 18 directly above the peripheral side wall of the box 18, the vision head 2 has a wider angle than the case of being arranged directly above the box 18. A deep lens is used.
  • FIGS. 4 and 5 are explanatory views showing a method of search by the three-dimensional object recognition device
  • FIG. 4 shows the case of the three-dimensional object recognition device of FIG. 1
  • FIG. 5 shows conventional three-dimensional object recognition. The case of a device is shown.
  • FIG. 4 when the three-dimensional object recognition apparatus 1 performs three-dimensional recognition of the object W, a search is performed.
  • FIG. 5 in the conventional case where the vision head 2 is disposed directly above the box 18, the optical axis of the vision head 2 is directed vertically downward and is perpendicular to the box 18. .
  • a rectangular box-like search space 29 visible from the vision head 2 is arranged so as to correspond to the box 18, and the search direction of the search space 29 coincides with the direction between the opposite side walls of the box 18. .
  • the search direction of the search space 29 matches the left-right direction of the box 18. Therefore, as shown by the arrows in FIG.
  • the vision head 2 is disposed to be inclined right above the right side wall 28 of the box 18, so that the optical axis of the vision head 2 is directed to the box 18. It is not perpendicular to it.
  • the search space 29 is inclined with respect to the box 18, and the search direction of the search space 29 and the left-right direction of the box 18 intersect with each other without matching. Therefore, since the three-dimensional object recognition apparatus 1 cannot search the range of the same distance of the box 18 in parallel, a sufficient processing speed cannot be obtained.
  • the three-dimensional object recognition apparatus 1 of the present embodiment is a square that can be viewed from the vision head 2 even if the optical axis of the vision head 2 is not perpendicular to the box 18.
  • the box-shaped search space 29 and the box 18 are made to correspond to each other so that the search direction of the search space 29 matches the direction between the side walls of the box 18 facing each other.
  • the search space 29 is searched in parallel along the left-right direction, The range of the same distance of the box 18 can be searched in parallel. Therefore, the object W can be evaluated without waste without depending on the direction of the optical axis of the vision head 2, and the processing speed can be increased.
  • the vision head 2 is disposed so as to be spaced directly above the right side wall 28 of the box 18 and at a position lower than the highest point of the robot 12 removal work movable range. Placed in. Therefore, according to the three-dimensional object recognition apparatus 1 of the present embodiment, the vision head 2 can be arranged at a lower position as compared with the conventional case in which the vision head 2 is arranged directly above the center of the box 18. Therefore, the installation and maintenance of the vision head 2 can be performed safely and easily.
  • the vision head 2 is fixed to the second arm piece 26 that is rotatably connected to the first arm piece 25, so It can swing up and down. Therefore, according to the three-dimensional object recognition apparatus 1 of the present embodiment, the vision head 2 is attached to the support 5 so that the posture can be changed, and the optical axis of the vision head 2 can be moved up and down. Thereby, the attitude
  • the vision head 2 is slidable up and down with respect to the rail member 21, so that the vertical position thereof is directly above the right side wall 28 of the box 18. Can be adjusted. Therefore, the box 18 and the object W in the box 18 can be easily adjusted to the vertical position where the image can be taken more reliably.
  • FIG. 6 is a schematic front view showing the positional relationship of the main parts of the second embodiment of the three-dimensional object recognition apparatus of the present invention.
  • the three-dimensional object recognition apparatus 1 of the second embodiment is basically the same configuration as that of the first embodiment. Therefore, in the following description, differences between the two will be mainly described, and corresponding portions will be described with the same reference numerals.
  • the object W is taken out from the box 18 by the robot 12, but in the second embodiment, the object W placed on the plate-like mounting plate 30 is taken out by the robot 12.
  • the vision head 2 is arranged on the support 5 so as to be spaced directly above a part of the outer peripheral edge of the mounting plate 30 in the circumferential direction.
  • the mounting plate 30 is formed in a rectangular plate shape in plan view, and is a pallet, for example.
  • the robot 12 is disposed on the left side of the mounting plate 30, and the vision head 2 is disposed on the right side of the mounting plate 30 supported by the support 5. Since the vision head 2 is disposed on the right side of the mounting plate 30, the vision head 2 is disposed directly above the right side of the outer peripheral edge of the mounting plate 30. At this time, the vision head 2 is arranged with its optical axis facing the mounting plate 30 so that the mounting plate 30 and the object W on the mounting plate 30 can be photographed. In addition to this, the vision head 2 is disposed at a position lower than the highest point of the movable range of the removal operation of the robot 12 when the object W is removed from the placement plate 30 by the robot 12.
  • the vision head 2 is arranged at a position directly above the right side of the mounting plate 30 and is lower than the highest point of the robot 12 movement range. Placed in. Therefore, according to the three-dimensional object recognition apparatus 1 of the present embodiment, the vision head 2 is disposed at a lower position than in the conventional case where the vision head 2 is disposed directly above the center portion of the mounting plate 30. Therefore, as in the first embodiment, the installation and maintenance of the vision head 2 can be performed safely and easily.
  • the three-dimensional object recognition apparatus of the present invention is not limited to the configuration of the above embodiment, and can be changed as appropriate.
  • the robot 12 and the vision head 2 are arranged so as to sandwich the box 18, but the present invention is not limited to this.
  • the robot 12 may be arranged, and the vision head 2 may be arranged corresponding to the other peripheral side wall.
  • the robot 12 and the vision head 2 are arranged so as to sandwich the mounting plate 30, but the robot 12 is arranged corresponding to one of the adjacent sides of the mounting plate 30.
  • the vision head 2 may be arranged corresponding to the other side.
  • the three-dimensional object recognition apparatus can be effectively used as a technology for recognizing a part when a part contained in a box or a part placed on a pallet is taken out by a robot.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

【課題】安全で容易に設置やメンテナンスを行うことができる３次元物体認識装置の提供。【解決手段】３次元物体認識装置(１)は、上方へ開口した有底四角筒状の箱(１８)内から対象物(Ｗ)をロボット(１２)で取り出す際に対象物(Ｗ)の位置姿勢を認識するものであって、対象物(Ｗ)を撮影して画像を取得するカメラ(２)を備える。ロボット(１２)は、箱(１８)の左側に配置され、カメラ(２)は、箱(１８)の右側に支持体(５)に支持されて配置される。この際、カメラ(２)は、箱(１８)の右側壁(２８)の真上に離隔して配置されると共に光軸を箱(１８)内へ向けて配置され、且つ、ロボット(１２)の取出作業中の可動範囲の内、最高地点よりも低い位置に配置される。

Description

３次元物体認識装置
　本発明は、認識対象となる３次元物体を認識するための３次元物体認識装置に関するものであり、特に、パレットや箱からの３次元物体のロボットによる取出作業時に３次元物体を認識する３次元物体認識装置に関するものである。
　生産ラインにおいて、ロボットのハンド等により部品等に対して正確な操作を可能とするために、山積みにされた部品等を個々に認識し、各部品の位置及び姿勢を認識するための３次元物体認識装置が近年開発されている。
　従来、このような３次元物体認識装置としては、たとえば、下記特許文献１に開示されるものが知られている。この３次元物体認識装置は、認識対象物の表面の点の３次元座標を示す点群を用いて、認識対象物の位置姿勢を認識するものである。また、３次元物体認識装置としては、撮影された認識対象物の画像を用いて、認識対象物の位置姿勢を認識するものもある。
　このように、３次元物体認識装置は、認識対象物の点群や画像を用いて、認識対象物の位置姿勢を求めることができる。求められた認識対象物の位置姿勢のデータは、認識対象物に対して作業を行うロボットの制御に用いられる。すなわち、求められた認識対象物の位置姿勢の結果に基づいてロボットが制御される。ロボットは、たとえば、認識対象物を把持して目的の位置に移動させるものである。
特開２０１２－２６９７４号公報
　従来の３次元物体認識装置は、認識対象物の点群や画像を取得するための取得手段を備えている。通常、取得手段は、その光軸を真下に向けた状態で認識対象物の上方に配置される。認識対象物が上方へ開口した箱内に収容されている場合、取得手段は、箱の真上に離隔して配置される。また、認識対象物がパレットなどの板状の部材に載置されている場合、取得手段は、板状の部材の真上に離隔して配置される。但し、どちらの場合においても、取得手段は、認識対象物をロボットで取り出す際に、ロボットと接触しないように、ロボットの取出作業可動範囲の最高地点よりも上方に配置される。
　従って、取得手段は、人が手を挙げて届く所よりもはるか上方に配置されている。この場合、取得手段の設置やメンテナンスを行う際には、ハシゴなどの上方へ移動するための手段を用いなければならず、危険を伴うという問題があった。また、取得手段の設置やメンテナンスの度にハシゴなどを用意しなければならず、手間がかかり面倒であった。
　本発明は、このような問題に鑑みてなされたものであり、その主たる目的は、安全で容易に設置やメンテナンスを行うことができる３次元物体認識装置を提供することにある。
　上記目的を達成するための本発明に係る３次元物体認識装置は、上方へ開口した有底筒状の箱内から対象物をロボットで取り出す際、前記対象物の位置姿勢を認識する３次元物体認識装置であって、前記対象物を撮影して画像を取得する画像取得手段を備えており、前記画像取得手段は、前記箱の周側壁の周方向一部の真上に離隔して配置されると共に光軸を前記箱内へ向けて配置され、且つ、前記ロボットの取出作業可動範囲の最高地点よりも低い位置に配置されることを特徴とする。
　また、本発明に係る３次元物体認識装置は、前記箱は、四角筒状に形成されており、前記箱と、前記画像取得手段から視認可能な探索空間とが対応した状態で、前記箱の互いに対向する側壁間の方向と、前記探索空間の探索方向とを一致させてなることを特徴とする。
　また、本発明に係る３次元物体認識装置は、板状の載置板に載せ置いた対象物をロボットで取り出す際、前記対象物の位置姿勢を認識する３次元物体認識装置であって、前記対象物を撮影して画像を取得する画像取得手段を備えており、前記画像取得手段は、前記載置板の外周縁の周方向一部の真上に離隔して配置されると共に光軸を前記載置板へ向けて配置され、且つ、前記ロボットの取出作業可動範囲の最高地点よりも低い位置に配置されることを特徴とする。
　さらに、本発明に係る３次元物体認識装置は、前記画像取得手段は、支持体に軸まわりに上下に揺動可能に設けられたことを特徴とする。
　本発明に係る３次元物体認識装置によれば、対象物の画像を取得する画像取得手段が、対象物が収容される箱の周側壁の周方向一部の真上に配置され、且つ、ロボットの取出作業可動範囲の最高地点よりも低い位置に配置される。箱の真上に離隔して画像取得手段を配置する従来の３次元物体認識装置と比較して、画像取得手段を低い位置に配置することができ、これにより画像取得手段の設置やメンテナンスを安全で容易に行うことができる。
　また、本発明に係る３次元物体認識装置によれば、四角筒状に形成された箱の互いに対向する側壁間を並列に探索することで、箱内の同一距離の範囲を並列に探索することができる。
　また、本発明に係る３次元物体認識装置によれば、対象物の画像を取得する画像取得手段が、対象物が載置される載置板の外周縁の周方向一部の真上に配置され、且つ、ロボットの取出作業可動範囲の最高地点よりも低い位置に配置される。パレットなどの載置板の真上に離隔して画像取得手段を配置する従来の３次元物体認識装置と比較して、画像取得手段を低い位置に配置することができ、これにより画像取得手段の設置やメンテナンスを安全で容易に行うことができる。
　さらに、本発明に係る３次元物体認識装置によれば、画像取得手段が上下に揺動可能に設けられるので、画像取得手段の視線方向を上下に移動することができる。従って、箱の周側壁の周方向一部の真上に配置された画像取得手段の視線方向を、箱内の対象物をより確実に撮影することができる方向へ容易に調整することができる。
　さらに、本発明に係る３次元物体認識装置によれば、箱の互いに対向する側壁間を並列に探索することで、箱内の同一距離の範囲を並列に探索することができる。
本発明の３次元物体認識装置の実施例１の使用状態を示す概略構成図である。 図１の３次元物体認識装置の主要部の位置関係を示す概略正面図である。 図１の３次元物体認識装置の画像取得手段の支持構造を示す概略斜視図である。 図１の３次元物体認識装置による探索の仕方を示す説明図である。 従来の３次元物体認識装置による探索の仕方を示す説明図である。 本発明の３次元物体認識装置の実施例２の主要部の位置関係を示す概略正面図である。
　以下、本発明の３次元物体認識装置の具体的実施例を図面に基づいて詳細に説明する。
　図１は、本発明の３次元物体認識装置の実施例１の使用状態を示す概略構成図である。本実施例の３次元物体認識装置１は、３次元形状を有する対象物Ｗの位置姿勢を認識するものであって、対象物Ｗを撮影して画像を取得する画像取得手段２と、画像取得手段２で取得された画像に基づいて対象物Ｗの３次元位置姿勢を求める対象物認識手段３などを有するコンピュータ４とを備える。
　画像取得手段２は、対象物Ｗを撮影して画像を取得する手段であり、本実施例では、カメラとプロジェクタとで構成されるビジョンヘッドとされる。図１に示されるように、ビジョンヘッド２は、後述する支持体５に支持されて配置される。なお、画像取得手段２は、たとえば、半導体を光源として用いたプロジェクタの対象物Ｗによる反射を用いて対象物Ｗの表面の点の３次元座標を示す３次元点群を計測するものなど、対象物Ｗの位置姿勢を求めるために、対象物Ｗの各種画像や対象物Ｗの表面の３次元座標を示す３次元点群を取得できるものであればよく、従来公知のものを用いることができる。
　コンピュータ４は、画像メモリ６と、ハードディスク７と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）８と、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９と、表示手段１０と、操作手段１１とを備える。
　画像メモリ６は、ビジョンヘッド２で撮影された画像データなどを記憶するものである。ハードディスク７は、対象物Ｗの認識を行うための処理プログラムなどを格納する手段である。ＲＡＭ８は、ハードディスク７から読み出された処理プログラムの一時記憶などを行う手段である。ＣＰＵ９は、処理プログラムに従って３次元認識処理を行うものである。表示手段１０は、ディスプレイなどからなり、画像メモリ６に記憶された画像データや対象物認識手段３によって求められた認識結果などを表示する手段である。さらに、操作手段１１は、マウスやキーボードなどで構成されるものである。なお、本実施例では、対象物認識手段３は、ＣＰＵ９の一部とされる。
　対象物認識手段３は、ハードディスク７に格納された処理プログラムに従って対象物Ｗの３次元位置姿勢を求める手段であり、本実施例では、ビジョンヘッド２によって取得された対象物Ｗの画像データが画像メモリ６に記憶され、この画像データに基づいて、対象物Ｗの３次元位置姿勢を求めることができる。この対象物認識手段３によって対象物Ｗの位置姿勢を求めるための方法として、従来公知の方法を用いることができ、ビジョンヘッド２によって取得した画像データや３次元点群を用いて、たとえば、特開２０１０－２０５０９５号公報、特開２０１１－１２９０８２号公報、特開２０１２－０２６９７４号公報に開示されている位置姿勢を求める方法などを用いることができる。
　このようにして求められた対象物Ｗの位置姿勢に基づき、対象物Ｗに対して作業を行うロボット１２の動作を制御することができる。そのため、３次元物体認識装置１は、ロボット１２に接続されている。そして、３次元物体認識装置１は、求められた対象物Ｗの位置姿勢に基づいて、ロボット１２を制御するための制御信号を生成し、この制御信号をロボット１２に対して出力する。
　図１に示されるように、ロボット１２は、板状の基台１３と、基台１３に設けられるアーム１４と、アーム１４の先端部に設けられるハンド１５とを備える。アーム１４は、複数のリンク部材１６と、隣接するリンク部材１６，１６同士を互いに回転自在に接続する関節１７とを有しており、基端部が基台１３に接続されて外方へ延出している。このロボット１２は、アーム１４の各関節１７に設けられるモータを駆動させることで、ハンド１５を移動させることができる。この際、エンコーダによるモータの回転位置の検出結果から、ハンド１５の位置を求めることができる。
　本実施例のロボット１２は、そのハンド１５によって箱１８内の対象物Ｗを把持し、箱１８内から対象物Ｗを取り出して、目的の場所へと対象物Ｗを運ぶ作業を行うものである。従って、ロボット１２は、前述した制御信号に基づき、自動的に対象物Ｗを箱１８内から取り出して目的の場所まで運ぶという一連の作業を行うことができる。なお、本実施例のロボット１２は、ハンド１５により対象物Ｗを把持する構成とされたが、これに限定されるものではない。たとえば、真空ポンプなどの吸引装置を用いて対象物Ｗを吸着して保持する構成としてもよい。
　次に、対象物Ｗが収容される箱１８、ロボット１２およびビジョンヘッド２の位置関係について説明する。図２は、図１の３次元物体認識装置の主要部の位置関係を示す概略正面図である。また、図３は、ビジョンヘッドを支持する支持体を示す概略斜視図である。本実施例では、箱１８を挟むようにして、ロボット１２とビジョンヘッド２とが配置される。
　対象物Ｗが収容される箱１８は、上方へ開口した有底四角筒状に形成されている。この箱１８の左側には、前述したロボット１２が配置される。従って、ロボット１２は、箱１８の上方への開口部１９を介して、箱１８内の対象物Ｗを取り出すことができる。また、箱１８の右側には、前述したビジョンヘッド２が支持体５に支持されて配置される。図３に示されるように、支持体５は、台座２０と、台座２０に設けられる一対のレール材２１，２１と、レール材２１に設けられるベース材２２と、ベース材２２に設けられる支持アーム材２３とを備える。
　板状の台座２０上面には、前後に離隔してレール材２１が立設されている。板状のベース材２２は、板面が前後方向に沿うようにして配置されており、前端部が前側のレール材２１に設けられると共に、後端部が後側のレール材２１に設けられている。この際、ベース材２２は、レール材２１に沿って上下方向へスライド可能とされている。支持アーム材２３は、その基端部に設けられる板材２４を介して、ベース材２２の左面から左方へ突出して設けられている。支持アーム材２３は、ベース材２２に固定される第一アーム片２５と、第一アーム片２５の先端部に設けられる第二アーム片２６とを有している。この第二アーム片２６は、前後方向に沿う軸まわりに回転可能に第一アーム片２５に接続されている。
　この支持体５には、ビジョンヘッド２が設けられる。具体的には、ビジョンヘッド２は、支持体５の第二アーム片２６に固定される。これにより、ビジョンヘッド２は、支持体５のレール材２１に沿って上下方向へスライド可能とされる。また、ビジョンヘッド２は、支持体５の第一アーム片２５に対して前後方向へ沿う軸まわりに回転可能とされる。このビジョンヘッド２の回転は、ツマミ２７を回すことでなされる。ツマミ２７を回してビジョンヘッド２を回転させる際、スプリングとダンパーなどの回転抑制部材により、ビジョンヘッド２の自重で第二アーム片２６が下方へ不意に回転しないようになっている。また、支持体５には、振動に対応できるように、サスペンションが設けられている。
　ビジョンヘッド２は、支持体５に設けられた状態で、箱１８の周側壁の周方向一部の真上に離隔して配置される。本実施例では、ビジョンヘッド２は、箱１８の右側に配置されるので、箱１８の右側壁２８の真上に離隔して配置される。この際、ビジョンヘッド２は、箱１８および箱１８内の対象物Ｗを撮影することができるように、その光軸が箱１８内へ向けて配置される。これに加えて、ビジョンヘッド２は、ロボット１２の取出作業中の可動範囲の内、最高地点よりも低い位置に配置される。ロボット１２は、そのアーム１４を曲げ伸ばししつつ上下左右へ移動させて、箱１８内から対象物Ｗを取り出す。このようにしてロボット１２は、箱１８内から対象物Ｗを取り出す際に可動する。この可動範囲の最も高い地点よりも低い位置に、ビジョンヘッド２は配置される。具体的には、箱１８の開口部１９の真上の領域での、ロボット１２の最も高い姿勢の状態の際のロボット１２の最も高い箇所よりも低い位置に配置される。
　ここで、ビジョンヘッド２は、ベース材２２をレール材２１に対して上下方向へ移動することで、上下位置を調整することができる。また、ビジョンヘッド２は、第二アーム片２６が第一アーム片２５に対して回転することで、光軸が箱１８内へ向くように調整することができる。なお、ビジョンヘッド２は、箱１８の周側壁の真上に箱１８内へ向けて傾斜して配置されるので、箱１８の真上に配置される場合と比較して、広角で被写界深度の深いレンズが用いられる。
　図４および図５は、３次元物体認識装置による探索の仕方を示す説明図であり、図４は図１の３次元物体認識装置の場合を示しており、図５は従来の３次元物体認識装置の場合を示している。
　図４に示されるように、３次元物体認識装置１により対象物Ｗの３次元認識を行う際には、探索が行われる。図５に示されるように、ビジョンヘッド２が箱１８の真上に配置される従来の場合、ビジョンヘッド２の光軸は、下方へ垂直に向いており、箱１８に対して垂直とされる。この場合、ビジョンヘッド２から視認可能な四角箱状の探索空間２９が箱１８に対応するように配置され、その探索空間２９の探索方向と箱１８の互いに対向する側壁間の方向とが一致する。ここでは、探索空間２９の探索方向と箱１８の左右方向とが一致している。従って、図５の矢印で示すように、探索空間２９をその左右方向へ沿って並列に探索することで、箱１８をその左右方向に沿って並列に探索することができる。これにより、箱１８の同一距離の範囲を並列に探索することができるので、３次元物体認識装置１の処理速度を高速化することができる。
　これをそのまま本実施例の３次元物体認識装置１に適用した場合、ビジョンヘッド２が箱１８の右側壁２８の真上に傾斜して配置されるので、ビジョンヘッド２の光軸が箱１８に対して垂直とならない。この場合、探索空間２９が箱１８に対して傾斜して配置され、探索空間２９の探索方向と箱１８の左右方向とが一致せずに交差する。従って、３次元物体認識装置１は、箱１８の同一距離の範囲を並列に探索することができないので、十分な処理速度を得ることができない。
　そこで、本実施例の３次元物体認識装置１は、図４に示されるように、ビジョンヘッド２の光軸が箱１８に対して垂直となっていなくても、ビジョンヘッド２から視認可能な四角箱状の探索空間２９と箱１８とを対応させて、探索空間２９の探索方向と箱１８の互いに対向する側壁間の方向とを一致させる構成とされている。これにより、ビジョンヘッド２がその光軸を箱１８内へ向けて傾斜している場合において、図４の矢印で示すように、探索空間２９をその左右方向へ沿って並列に探索することで、箱１８の同一距離の範囲を並列に探索することができる。従って、ビジョンヘッド２の光軸の向きに依存せず、対象物Ｗの評価を無駄なく行うことができ、処理の高速化を実現することができる。
　本実施例の３次元物体認識装置１の場合、ビジョンヘッド２は、箱１８の右側壁２８の真上に離隔して配置されると共に、ロボット１２の取出作業可動範囲の最高地点よりも低い位置に配置される。従って、本実施例の３次元物体認識装置１によれば、箱１８の中央部の真上にビジョンヘッド２を配置する従来の場合と比較して、ビジョンヘッド２を低い位置に配置することができるので、ビジョンヘッド２の設置やメンテナンスを安全で容易に行うことができる。
　また、本実施例の３次元物体認識装置１の場合、ビジョンヘッド２は、第一アーム片２５に回転可能に接続された第二アーム片２６に固定されるので、支持体５に軸まわりに上下に揺動可能とされている。従って、本実施例の３次元物体認識装置１によれば、ビジョンヘッド２が支持体５に姿勢を変更可能に取り付けられており、ビジョンヘッド２の光軸を上下に移動することができる。これにより、箱１８および箱１８内の対象物Ｗをより確実に撮影することができるように、ビジョンヘッド２の姿勢を容易に調整することができる。
　さらに、本実施例の３次元物体認識装置１の場合、ビジョンヘッド２は、レール材２１に対して上下にスライド可能とされているので、箱１８の右側壁２８の真上において、その上下位置を調整することができる。従って、箱１８および箱１８内の対象物Ｗをより確実に撮影することができる上下位置に容易に調整することができる。
　図６は、本発明の３次元物体認識装置の実施例２の主要部の位置関係を示す概略正面図である。本実施例２の３次元物体認識装置１も、基本的には前記実施例１と同様の構成である。そこで、以下においては、両者の異なる点を中心に説明し、対応する箇所には同一の符号を付して説明する。
　前記実施例１では、箱１８内から対象物Ｗをロボット１２で取り出したが、本実施例２では、板状の載置板３０に載せ置かれた対象物Ｗをロボット１２で取り出す。この場合、ビジョンヘッド２は、支持体５に設けられた状態で、載置板３０の外周縁の周方向一部の真上に離隔して配置される。
　本実施例では、載置板３０は、平面視四角形の板状に形成されており、たとえばパレットとされる。図６に示されるように、載置板３０の左側には、ロボット１２が配置され、載置板３０の右側には、ビジョンヘッド２が支持体５に支持されて配置される。ビジョンヘッド２は、載置板３０の右側に配置されるので、載置板３０の外周縁の右辺の真上に離隔して配置される。この際、ビジョンヘッド２は、載置板３０および載置板３０上の対象物Ｗを撮影することができるように、その光軸が載置板３０へ向けて配置される。これに加えて、ビジョンヘッド２は、載置板３０から対象物Ｗをロボット１２で取り出す際のロボット１２の取出作業可動範囲の最高地点よりも低い位置に配置される。
　本実施例の３次元物体認識装置１の場合、ビジョンヘッド２は、載置板３０の右辺の真上に離隔して配置されると共に、ロボット１２の取出作業可動範囲の最高地点よりも低い位置に配置される。従って、本実施例の３次元物体認識装置１によれば、載置板３０の中央部の真上にビジョンヘッド２を配置する従来の場合と比較して、ビジョンヘッド２を低い位置に配置することができるので、前記実施例１と同様にビジョンヘッド２の設置やメンテナンスを安全で容易に行うことができる。
　本発明の３次元物体認識装置は、前記実施例の構成に限らず、適宜変更可能である。たとえば、前記実施例１では、ロボット１２とビジョンヘッド２とが箱１８を挟むようにして配置されたが、これに限定されるものではなく、箱１８の隣り合う周側壁の内、一方の周側壁に対応してロボット１２が配置されると共に、他方の周側壁に対応してビジョンヘッド２が配置されてもよい。さらに、前記実施例２では、ロボット１２とビジョンヘッド２とが載置板３０を挟むようにして配置されたが、載置板３０の隣り合う辺の内、一方の辺に対応してロボット１２が配置されると共に、他方の辺に対応してビジョンヘッド２が配置されてもよい。
　本発明に係る３次元物体認識装置は、箱内に収容された部品やパレットに載せ置かれた部品などをロボットにより取り出す際に部品の認識を行う技術として有効に利用することができる。
　　１　３次元物体認識装置
　　２　ビジョンヘッド（画像取得手段）
　　５　支持体
　１２　ロボット
　１８　箱
　１９　開口部
　３０　載置板
　　Ｗ　対象物

Claims (4)

  1. 　上方へ開口した有底筒状の箱内から対象物をロボットで取り出す際、前記対象物の位置姿勢を認識する３次元物体認識装置であって、
    　前記対象物を撮影して画像を取得する画像取得手段を備えており、
    　前記画像取得手段は、前記箱の周側壁の周方向一部の真上に離隔して配置されると共に光軸を前記箱内へ向けて配置され、且つ、前記ロボットの取出作業可動範囲の最高地点よりも低い位置に配置される
    　ことを特徴とする３次元物体認識装置。
  2. 　前記箱は、四角筒状に形成されており、
    　前記箱と、前記画像取得手段から視認可能な探索空間とが対応した状態で、前記箱の互いに対向する側壁間の方向と、前記探索空間の探索方向とを一致させてなる
    　ことを特徴とする請求項１に記載の３次元物体認識装置。
  3. 　板状の載置板に載せ置いた対象物をロボットで取り出す際、前記対象物の位置姿勢を認識する３次元物体認識装置であって、
    　前記対象物を撮影して画像を取得する画像取得手段を備えており、
    　前記画像取得手段は、前記載置板の外周縁の周方向一部の真上に離隔して配置されると共に光軸を前記載置板へ向けて配置され、且つ、前記ロボットの取出作業可動範囲の最高地点よりも低い位置に配置される
    　ことを特徴とする３次元物体認識装置。
  4. 　前記画像取得手段は、支持体に軸まわりに上下に揺動可能に設けられた
    　ことを特徴とする請求項１～３のいずれか１項に記載の３次元物体認識装置。
PCT/JP2016/075238 2016-08-29 2016-08-29 ３次元物体認識装置 WO2018042501A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/075238 WO2018042501A1 (ja) 2016-08-29 2016-08-29 ３次元物体認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/075238 WO2018042501A1 (ja) 2016-08-29 2016-08-29 ３次元物体認識装置

Publications (1)

Publication Number Publication Date
WO2018042501A1 true WO2018042501A1 (ja) 2018-03-08

Family

ID=61300238

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/075238 WO2018042501A1 (ja) 2016-08-29 2016-08-29 ３次元物体認識装置

Country Status (1)

Country Link
WO (1) WO2018042501A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108313748A (zh) * 2018-04-18 2018-07-24 上海发那科机器人有限公司 一种3d视觉纸箱拆垛系统
CN111652069A (zh) * 2020-05-06 2020-09-11 天津博诺智创机器人技术有限公司 移动机器人的目标识别与定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03202290A (ja) * 1989-12-27 1991-09-04 Toyota Motor Corp ばら積み物体の取出装置
JPH0577175A (ja) * 1991-09-20 1993-03-30 Nippon Steel Corp 遠隔操作作業装置
JP2002037441A (ja) * 2000-07-19 2002-02-06 Kawasaki Heavy Ind Ltd ランダムワークの整列方法および整列装置
JP2009279706A (ja) * 2008-05-22 2009-12-03 Shibuya Kogyo Co Ltd ロボット制御装置
JP2014151377A (ja) * 2013-02-06 2014-08-25 Seiko Epson Corp ロボット制御方法、ロボット制御装置、ロボットシステム、ロボット及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03202290A (ja) * 1989-12-27 1991-09-04 Toyota Motor Corp ばら積み物体の取出装置
JPH0577175A (ja) * 1991-09-20 1993-03-30 Nippon Steel Corp 遠隔操作作業装置
JP2002037441A (ja) * 2000-07-19 2002-02-06 Kawasaki Heavy Ind Ltd ランダムワークの整列方法および整列装置
JP2009279706A (ja) * 2008-05-22 2009-12-03 Shibuya Kogyo Co Ltd ロボット制御装置
JP2014151377A (ja) * 2013-02-06 2014-08-25 Seiko Epson Corp ロボット制御方法、ロボット制御装置、ロボットシステム、ロボット及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108313748A (zh) * 2018-04-18 2018-07-24 上海发那科机器人有限公司 一种3d视觉纸箱拆垛系统
CN111652069A (zh) * 2020-05-06 2020-09-11 天津博诺智创机器人技术有限公司 移动机器人的目标识别与定位方法
CN111652069B (zh) * 2020-05-06 2024-02-09 天津博诺智创机器人技术有限公司 移动机器人的目标识别与定位方法

Similar Documents

Publication Publication Date Title
JP5282717B2 (ja) ロボットシステム
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2018176334A (ja) 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
EP3918274B1 (en) Object dimensioning system and method
JP5544320B2 (ja) 立体視ロボットピッキング装置
JP2008087074A (ja) ワーク取り出し装置
CN113508012A (zh) 用于机器人机械的视觉系统
US20150174763A1 (en) Detection system and detection method
JP6662836B2 (ja) 収容領域又は治具にワークを配置するワーク配置システム
JP2000094374A (ja) ピッキング装置
WO2018042501A1 (ja) ３次元物体認識装置
JP5803119B2 (ja) ロボット装置、位置検出装置、位置検出プログラム、および位置検出方法
JP6831472B2 (ja) 部品実装装置
US20180231474A1 (en) Apparatus and method for generating operation program of inspection system
JP2003136465A (ja) 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ
JP7055883B2 (ja) ロボット
JPH09246794A (ja) 電子部品実装装置および電子部品実装装置におけるノズルの位置検出方法
JP6912993B2 (ja) 部品実装装置
JP6708142B2 (ja) ロボットの制御装置
KR101798883B1 (ko) 촬영부가 마련된 위치 인식 장치
CN110132182A (zh) 手持设备摄像头偏心自动检测装置
JP7081425B2 (ja) 取付位置認識装置
WO2024023934A1 (ja) ワーク取出し装置、ワーク取出し方法及び制御装置
JP2000068696A (ja) 部品認識装着装置及び部品認識方法
US11850748B2 (en) Picking robot, picking method, and computer program product

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16915062

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16915062

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP