WO2023171611A1 - 自動走行ロボット - Google Patents

自動走行ロボット Download PDF

Info

Publication number
WO2023171611A1
WO2023171611A1 PCT/JP2023/008312 JP2023008312W WO2023171611A1 WO 2023171611 A1 WO2023171611 A1 WO 2023171611A1 JP 2023008312 W JP2023008312 W JP 2023008312W WO 2023171611 A1 WO2023171611 A1 WO 2023171611A1
Authority
WO
WIPO (PCT)
Prior art keywords
main body
horizontal
image
device main
imaging camera
Prior art date
Application number
PCT/JP2023/008312
Other languages
English (en)
French (fr)
Inventor
伸一郎 桑原
利勝 ▲高▼野
Original Assignee
興和株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 興和株式会社 filed Critical 興和株式会社
Publication of WO2023171611A1 publication Critical patent/WO2023171611A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages

Definitions

  • the present invention relates to an automatic traveling robot that can move to any work location and perform work with a robot arm.
  • Robot arms that can automatically perform desired tasks are widely used in various industrial fields.
  • the base that supports the robot arm is fixed to the horizontal plane that serves as the control reference for the robot arm, making it possible to stably perform high-precision control. It is also easy to continue.
  • Patent Document 1 discloses a conventional technology of this type of automatic traveling robot.
  • the automatic guided vehicle (self-driving robot) disclosed in Document 1 includes an automatic pick-and-place device (robot arm) mounted on a vehicle body (10), and a jack device (11).
  • Document 1 discloses a positioning correction method for an automatic guided vehicle as follows. First, after the automatic guided vehicle (1) travels along the rails (2) to the scheduled work station, a fulcrum is formed by lifting the automatic guided vehicle (1), and this fulcrum is constructed with two wheels. The inclination angle of the plane is read by a transit (111) which is an angle sensor.
  • the offset value between the scheduled stop position coordinates and the actual stop position coordinates of the automated guided vehicle (1) and the angle information of the actual stop position parallel to the rail (2) are read by a visual recognition device (12) comprised of a CCD. Thereafter, corrected coordinate values are calculated based on the inclination angle, offset value, and angle information.
  • Patent Document 1 discloses a configuration in which a transit (111) is used to detect the inclination angle of a plane made up of a fulcrum and two wheels, but the transit is an expensive precision instrument. If this was used as an angle sensor, it would increase the manufacturing cost of automated guided vehicles (self-driving robots). Furthermore, Patent Document 1 does not disclose any details regarding the detection of the inclination angle using the transit (111).
  • the visual recognition device (12) made up of a CCD has disclosed a configuration that uses the rail (2) as a landmark to read angle information of the actual stopping position parallel to the rail (2).
  • Automatically traveling robots that automatically travel to any work location do not have rails, and therefore cannot read angle information about the actual stopping position based on the rails.
  • the present invention was devised in view of the problems of the prior art described above, and is an automatic system capable of stably performing work with a robot arm and easily and highly accurately detecting the inclination of a device body on which the robot arm is mounted.
  • the purpose is to provide a running robot.
  • the automatic traveling robot is an automatic traveling robot equipped with a robot arm mounted on a device main body and an automatic traveling unit for moving the device main body, which fixes the main body to fix the device main body at a destination. Detects the inclination of the device body with respect to the horizontal plane based on the unit, an imaging camera that images the surroundings of the device body by changing its direction at an arbitrary angle, and multiple images taken in different directions around the device body by the imaging camera. A tilt detection unit is provided.
  • the tilt detection unit includes a horizontal reference setting section that sets a reference (image horizontal reference) that indicates a horizontal line in each of multiple images in different directions around the device main body captured by the imaging camera, and a A configuration including a horizontal recognition target extraction unit that extracts a target object (horizontal recognition target) from each image, and a tilt detection unit that detects a tilt of a horizontal line recognized from the horizontal recognition target for each image with respect to an image horizontal reference. can do.
  • the imaging camera can be configured to include first and second imaging cameras installed in the main body of the apparatus with the imaging direction changed to an arbitrary angle.
  • the imaging camera may be installed on a robot arm, and may be configured to change its direction to an arbitrary angle according to the movement of the robot arm and take images of the surroundings of the apparatus body.
  • FIG. 1 is a perspective view showing an outline of an automatic traveling robot according to an embodiment of the present invention.
  • FIG. 2 is a perspective view showing an outline of an automatic traveling robot according to an embodiment of the present invention.
  • FIG. 3 is a perspective view for explaining the installation state of the first and second imaging cameras and their functions.
  • FIG. 4 is a perspective view showing a specific example of a horizontal recognition target existing around a work point.
  • FIG. 5 is a block diagram showing the configuration of the tilt detection unit.
  • FIGS. 6A and 6B are front views each showing an example of an image of a work point captured by the first imaging camera.
  • FIGS. 7A and 7B are front views showing examples of images of the work point captured by the second imaging camera, respectively.
  • FIG. 8 is a perspective view showing another configuration example regarding installation of an imaging camera.
  • FIGS. 9A and 9B are front views showing other examples of images captured by the imaging camera, respectively.
  • 10 Apparatus main body
  • 20 Robot arm
  • 21 Robot arm control unit
  • 30 Automatic traveling unit
  • 31 Wheels
  • 40 Jack device
  • 41 Jack main body
  • 42 Support column
  • 51 First imaging camera
  • 52 second imaging camera
  • 53 imaging camera
  • 60 tilt detection unit
  • 61 horizontal reference setting section
  • 62 horizontal recognition target extraction section
  • 63 tilt detection section
  • H image horizontal reference
  • FIGS. 1 and 2 are perspective views showing an outline of an automatic traveling robot according to an embodiment of the present invention.
  • the self-driving robot according to the present embodiment has a robot arm 20 mounted on the top surface of the device body 10, and can run on the floor using wheels 31 provided at the bottom of the device body 10. can.
  • an automatic traveling unit 30 Built into the device body 10 is an automatic traveling unit 30 that applies rotational driving force to wheels 31 to move the device body 10 toward a preset work point.
  • a control unit (robot arm control unit) 21 for the robot arm 20 is also incorporated inside the apparatus main body 10.
  • the apparatus main body 10 includes a main body fixing unit (not shown) for fixing the apparatus main body 10 at a destination.
  • the main body fixing unit includes a plurality of jack devices 40 provided on the outer surface of the device main body 10 and a control circuit (not shown) for driving these jack devices 40.
  • the jack device 40 includes a support 42 that can be raised and lowered from the jack main body 41, and has the function of lowering the support support 42 to press it against the floor surface, and then lifting the jack main body 41 using the support support 42. have.
  • the device main body 10 of the automatic traveling robot is lifted up together with the jack main body 41. At this time, the wheels 31 also rise slightly from the floor surface. In this state, the device main body 10 of the automatic traveling robot is supported by a plurality of pillars 42 and fixed to the floor surface.
  • the device main body 10 can be stably fixed, and even when the robot arm 20 operates, the device There is no fear that the main body 10 will move on the floor or shake unstably. This makes it possible to ensure rapid and highly accurate work by the robot arm 20.
  • the wheels 31 do not necessarily need to be raised from the floor.
  • wheels 31 are provided near the four corners of the bottom of the device main body 10, and jack devices 40 are provided at four locations near the four wheels 31 to support the device main body 10.
  • the number of wheels 31, the installation location and number of jack devices 40 can be arbitrarily set as necessary.
  • First and second imaging cameras 51 and 52 are installed in the device main body 10 of the automatic traveling robot.
  • a tilt detection unit 60 is incorporated inside the device body 10 to detect the tilt of the device body 10 with respect to a horizontal plane based on images captured by the first and second imaging cameras 51 and 52. .
  • the first and second imaging cameras 51 and 52 are relatively inexpensive two-dimensional cameras.
  • the optical axes Ox and Oy of the first and second imaging cameras 51 and 52 are positioned in directions 90 degrees different from each other, and the light enters the lens from each direction.
  • the configuration is such that first and second imaging cameras 51 and 52 take images of the surrounding surroundings.
  • each imaging camera 51, 52 is arranged so that the optical axes Ox, Oy of the first and second imaging cameras 51, 52 are aligned with the X-axis and Y-axis used for drive control of the robot arm 20. is installed in the main body 10 of the device.
  • the robot arm 20 is driven and controlled based on a state in which the plane coordinate formed by the X and Y axes is a horizontal plane at the origin where the Z-axis coordinate is zero. Therefore, the device main body 10 on which the robot arm 20 is mounted places the robot arm 20 on a horizontal plane so as to correspond to this control reference plane (in other words, the vertical drive axis of the robot arm 20 is arranged orthogonally to the horizontal plane). ) is preferable.
  • the tilt detection unit 60 built into the device main body 10 detects the inclination of the device main body 10 based on images taken in different directions around the device main body 10 by the first and second imaging cameras 51 and 52. 10 with respect to the horizontal plane (see FIG. 3).
  • the horizontal line can be recognized from the edge 1a of the storage shelf 1 horizontally arranged on the floor, the horizontal frame 2a of the window 2, the upper edge 3a of the workbench 3, etc.
  • an object that can recognize the horizon may be placed around the work point as an afterthought.
  • a partition 4 having a rectangular board surface or a box-shaped moving wagon 5 may be arranged, and the horizontal line may be recognized by their upper edges 4a and 5a.
  • a rectangular calendar 6 or poster 7 can be pasted on a wall so that the upper edges 6a, 7a are horizontal, and the horizontal line can be recognized by the upper edges 6a, 7a.
  • objects that are placed horizontally around the work point and whose horizon can be recognized are identified in advance.
  • a method is adopted in which the horizontal recognition target is imaged by first and second imaging cameras 51 and 52, and the inclination of the apparatus main body 10 with respect to the horizontal plane is detected from the obtained images.
  • FIG. 5 is a block diagram showing the configuration of the tilt detection unit.
  • this tilt detection unit 60 is constructed from a computer and a dedicated program for tilt detection.
  • the tilt detection unit 60 includes the following components: a horizontal reference setting section 61 , a horizontal recognition target extraction section 62 , and a tilt detection section 63 .
  • the horizontal reference setting unit 61 has a function of setting a reference (image horizontal reference H) indicating a horizontal line in images taken in different directions around the device body 10 by the first and second imaging cameras 51 and 52, respectively. (See FIGS. 6A to 7B).
  • a reference image horizontal reference H
  • FIGS. 6A to 7B See FIGS. 6A to 7B.
  • the work table 3 placed horizontally on the floor is specified as the target for horizontal recognition, and the main body 10 of the apparatus is placed in a non-tilted state (that is, placed horizontally) at the work point.
  • the work table 3 is fixed, and the first imaging camera 51 images the area around the work point to obtain an image 100 including the work table 3 .
  • an image horizontal reference H indicating the horizontal line is set along the upper edge 3a.
  • This image horizontal reference H is fixed in the initially set direction without being affected by the tilt, even if the first imaging camera 51 is captured in a tilted state.
  • the storage shelf 1 placed horizontally on the floor is specified as the horizontal recognition target, and the device main body 10 is placed in an untilted state (i.e., placed horizontally) at the work point.
  • the second imaging camera 52 captures an image of the surroundings of the work point to obtain an image 200 including the storage shelf 1. Since a horizontal line can be recognized from, for example, the edge 1a of the storage shelf 1 depicted in this image 200, an image horizontal reference H indicating the horizontal line is set along the edge. This image horizontal reference H is also fixed in the initially set direction without being affected by the tilt, even if the second imaging camera 52 is tilted.
  • the horizontal recognition target extraction unit 62 has a function of extracting horizontal recognition targets specified in advance at the work point from the images captured by the first and second imaging cameras 51 and 52, respectively.
  • the image of the work table 3 specified as the horizontal recognition target is extracted from the image 101 captured by the first imaging camera 51.
  • the image of the storage shelf 1 specified as the horizontal recognition target is extracted from the image 201 captured by the second imaging camera 52.
  • the photographing point and photographing direction by the first and second imaging cameras 51 and 52 match the photographing point and photographing direction when the image setting standard was previously set.
  • the tilt detection unit 63 detects the tilts ⁇ x and ⁇ y of the horizontal recognition target with respect to the image horizontal reference H for each image 101, 201 captured by the first and second imaging cameras 51, 52. Specifically, as shown in FIG. 6B, for the image 101 captured by the first imaging camera 51, the inclination ⁇ x with respect to the image horizontal reference H is calculated for the upper edge 3a of the work table 3 that is set as a horizontal recognition target. To detect. Similarly, as shown in FIG. 7B, for the image 201 captured by the second imaging camera 52, the inclination ⁇ y with respect to the image horizontal reference H is detected for the edge 1a of the storage shelf 1 that is set as a horizontal recognition target. do.
  • the inclinations ⁇ x and ⁇ y detected in this way are the inclinations in the rotational direction around the optical axes Ox and Oy with respect to the horizontal plane (in other words, around the (inclination in the direction of rotation). Therefore, the robot arm control unit 21 corrects the drive amount of the robot arm 20 based on the inclination of the apparatus main body 10 with respect to the horizontal plane obtained by the inclination detection unit 60, thereby eliminating the influence of the inclination of the apparatus main body 10. , the robot arm 20 can be driven and controlled with high precision.
  • the imaging cameras 51 and 52 are installed in the main body 10 of the apparatus as shown in FIG. You may. Further, the number of installed imaging cameras is not limited to two, and three or more imaging cameras can also be installed.
  • one imaging camera 53 is installed on the robot arm 20, and the direction can be changed to an arbitrary angle by rotating the robot arm 20 around the vertical axis. It is also possible to adopt a configuration in which the surrounding area is imaged. With this configuration, the number of installed imaging cameras can be reduced and product costs can be reduced.
  • FIGS. 6A and 7A in order to obtain images 100, 200 of the horizontal recognition target without distortion, it is necessary to image the horizontal recognition target from the front.
  • a horizontal recognition target is imaged from an oblique direction, for example, as shown in FIG. 9A, it is inevitable that a distorted image 300 with a sense of perspective will be obtained.
  • the tilt detection unit 63 detects the tilt ⁇ y of the horizontal recognition target with respect to the image horizontal reference H set in this way.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

装置本体１０に設置した第１，第２の撮像カメラ５１，５２によって撮像された装置本体１０の周囲の異なる方向の画像に、それぞれ水平線を示す基準（画像水平基準Ｈ）をあらかじめ設定しておく。水平線を認識できる周囲の対象物（水平認識対象）を、第１，第２の撮像カメラ５１，５２によって撮像された各画像からそれぞれ抽出する。そして、各画像について水平認識対象から認識した水平線の、画像水平基準Ｈに対する傾きを検出することで、装置本体１０の水平面に対する傾きを検出する構成を備える。

Description

自動走行ロボット
　この発明は、任意の作業地点まで移動して、ロボットアームによる作業を実行することができる自動走行ロボットに関する。
　目的の作業を自動的に行うことができるロボットアームは、各種の産業分野において広く利用されている。
　工場内の作業地点に固定してロボットアームを稼働する場合は、ロボットアームの制御基準となる水平面に対し、ロボットアームを支持する土台が固定されるため、高精度な制御を安定して実行し続けることも容易である。
　一方、近年は、ＡＧＶ（Automatic Guided Vehicle）やＡＭＲ（Autonomous Mobile Robot）と称される自動走行ロボットにロボットアームを搭載し、任意の作業地点まで移動して、ロボットアームが目的の作業を実行する方式の自動走行ロボットが開発され、そのニーズは日増しに高まっている。
　特許文献１は、この種の自動走行ロボットの従来技術を開示している。同文献１に開示された無人搬送車（自動走行ロボット）は、車両本体（１０）に自動ピックアンドプレース装置（ロボットアーム）を搭載し、かつジャッキ装置（１１）を備えている。
　さらに、同文献１には、次のような内容の無人搬送車の位置決め補正方法が開示されている。
　まず、無人搬送車（１）がレール（２）に沿って予定作業ステーションへ走行した後、無人搬送車（１）を持ち上げる方法で支点を形成し、且つこの支点と二つの車輪とで構成した平面の傾斜角度を、角度センサーであるトランシット（１１１）で読み取る。さらに無人搬送車（１）の予定停車位置座標と実際停車位置座標のオフセット値およびレール（２）に平行な実際停車位置の角度情報を、ＣＣＤで構成された視覚認識装置（１２）で読み取る。その後、傾斜角度、オフセット値および角度情報に基づき補正座標値を演算する。
　上述したとおり、特許文献１には、トランシット（１１１）を用いて、支点と二車輪で構成した平面の傾斜角度を検出する構成が開示されているが、トランシットは高価格な精密機器であり、これを角度センサーに用いた場合、無人搬送車（自動走行ロボット）の製造コストを押し上げてしまう欠点があった。しかも、特許文献１には、トランシット（１１１）を用いた傾斜角度の検出に関して、その詳細が何も開示されていない。
　また、ＣＣＤで構成された視覚認識装置（１２）は、レール（２）を目印として、レール（２）に平行な実際停車位置の角度情報を読み取る構成を開示しているが、レールを施設せず任意の作業地点へ自動走行する方式の自動走行ロボットでは、レールが存在せず、よってレールを基準に実際停車位置の角度情報を読み取ることができない。
特開２０２１－２８０９４号公報
　本発明は、上述した従来技術の課題に鑑みなされたもので、ロボットアームによる作業を安定して実行でき、かつロボットアームを搭載する装置本体の傾きを簡便かつ高精度に検出することのできる自動走行ロボットの提供を目的とする。
　本発明に係る自動走行ロボットは、装置本体に搭載したロボットアームと、装置本体を移動させる自動走行ユニットと、を備えた自動走行ロボットであって、装置本体を移動先で固定するための本体固定ユニットと、任意の角度に向きを変えて装置本体の周囲を撮像する撮像カメラと、撮像カメラによって撮像された装置本体の周囲の異なる方向の複数画像に基づき、装置本体の水平面に対する傾きを検出する傾き検出ユニットと、を備えたことを特徴とする。
　上述した構成の本発明によれば、本体固定ユニットにより装置本体を移動先で固定することで、ロボットアームによる作業を安定して実行することができる。加えて、撮像カメラを利用して、簡便に装置本体の水平面に対する傾きを検出することができる。
　ここで、傾き検出ユニットは、撮像カメラによって撮像された装置本体の周囲の異なる方向の複数画像にそれぞれ水平線を示す基準（画像水平基準）を設定する水平基準設定部と、水平線を認識できる周囲の対象物（水平認識対象）を各画像からそれぞれ抽出する水平認識対象抽出部と、各画像について水平認識対象から認識した水平線の、画像水平基準に対する傾きを検出する傾き検出部と、を含む構成とすることができる。
　また、撮像カメラは、撮像方向を任意の角度に変えて装置本体に設置した、第１，第２の撮像カメラを含む構成とすることができる。
　一方、撮像カメラは、ロボットアームに設置され、当該ロボットアームの動作により任意の角度に向きを変えて、装置本体の周囲を撮像する構成としてもよい。
　以上説明したとおり、本発明によれば、ロボットアームによる作業を安定して実行でき、かつロボットアームを搭載する装置本体の傾きを簡便かつ高精度に検出することが可能となる。
図１は、本発明の実施形態に係る自動走行ロボットの概要を示す斜視図である。 図２は、本発明の実施形態に係る自動走行ロボットの概要を示す斜視図である。 図３は、第１，第２の撮像カメラの設置状態とその機能を説明するための斜視図である。 図４は、作業地点の周囲に存在する水平認識対象の具体例を示す斜視図である。 図５は、傾き検出ユニットの構成を示すブロック図である。 図６Ａ及び図６Ｂは、それぞれ第１の撮像カメラによって撮像された作業地点の画像例を示す正面図である。 図７Ａ及び図７Ｂは、それぞれ第２の撮像カメラによって撮像された作業地点の画像例を示す正面図である。 図８は、撮像カメラの設置に関する他の構成例を示す斜視図である。 図９Ａ及び図９Ｂは、それぞれ撮像カメラにより撮像して得られる他の画像例を示す正面図である。
　１０：装置本体、２０：ロボットアーム、２１：ロボットアーム制御ユニット、３０：自動走行ユニット、３１：車輪、４０：ジャッキ装置、４１：ジャッキ本体、４２：支柱、５１：第１の撮像カメラ、５２：第２の撮像カメラ、５３：撮像カメラ、６０：傾き検出ユニット、６１：水平基準設定部、６２：水平認識対象抽出部、６３：傾き検出部、Ｈ：画像水平基準
　以下、この発明の実施の形態について図面を参照して詳細に説明する。
　図１、図２は本発明の実施形態に係る自動走行ロボットの概要を示す斜視図である。
　これらの図に示すように、本実施形態に係る自動走行ロボットは、装置本体１０の上面にロボットアーム２０を搭載するとともに、装置本体１０の底部に設けた車輪３１によって床面を走行することができる。装置本体１０の内部には、車輪３１に回転駆動力を与えて、あらかじめ設定された作業地点に向かって装置本体１０を移動させる自動走行ユニット３０が組み込まれている。また、装置本体１０の内部には、ロボットアーム２０の制御ユニット（ロボットアーム制御ユニット）２１も組み込まれている。
　さらに、装置本体１０には、装置本体１０を移動先で固定するための本体固定ユニット（図示せず）が組み込まれている。本体固定ユニットは、装置本体１０の外側面に設けた複数のジャッキ装置４０と、これらのジャッキ装置４０を駆動する制御回路（図示せず）を含んでいる。図２に示すように、ジャッキ装置４０は、ジャッキ本体４１から昇降自在な支柱４２を備え、この支柱４２を下降させて床面に押し当て、さらに支柱４２を支えにしてジャッキ本体４１を持ち上げる機能を有している。自動走行ロボットの装置本体１０は、ジャッキ本体４１と一体となって持ち上げられる。このとき車輪３１も床面から僅かながら浮き上がる。この状態において、自動走行ロボットの装置本体１０は、複数本の支柱４２に支持されて、床面に固定される。
　このように、ジャッキ装置４０により車輪３１を床面から浮き上がらせて複数本の支柱４２で支持することにより、安定して装置本体１０を固定することができ、ロボットアーム２０が稼働する際も装置本体１０が床面を移動したり、不安定に揺れたりするおそれがなくなる。これにより、ロボットアーム２０による迅速かつ高精度な作業を保障することが可能となる。
　なお、装置本体１０が支柱４２によって床面に安定して固定されるのであれば、車輪３１は必ずしも床面から浮き上がらせる必要はない。
　また、本実施形態では、装置本体１０の底部の４隅近傍に車輪３１を設けるとともに、それら４個の車輪３１の近傍４箇所にジャッキ装置４０を設けて装置本体１０を支持する構成としたが、車輪３１の個数や、ジャッキ装置４０の設置個所および設置個数は、必要に応じて任意に設定することができる。
　自動走行ロボットの装置本体１０には、第１，第２の撮像カメラ５１，５２が設置してある。そして、装置本体１０の内部には、第１，第２の撮像カメラ５１，５２によって撮像された画像に基づき、水平面に対する装置本体１０の傾きを検出するための傾き検出ユニット６０が組み込まれている。なお、第１，第２の撮像カメラ５１，５２は、比較的安価な二次元カメラを使用している。
　図３に示すように、本実施形態では、第１，第２の撮像カメラ５１，５２の光軸Ｏｘ，Ｏｙを９０度異なる方向に向けて位置決めしてあり、それぞれの方向からレンズに入射してくる周囲の映像を、第１，第２の撮像カメラ５１，５２でそれぞれ撮像する構成としてある。
　さて、一般に、ロボットアーム２０の駆動制御は、互いに直交するＸ軸，Ｙ軸，Ｚ軸で特定される三次元座標に基づいて実行される。本実施形態では、このロボットアーム２０の駆動制御に用いられるＸ軸およびＹ軸に、第１，第２の撮像カメラ５１，５２の光軸Ｏｘ，Ｏｙを合わせるように、各撮像カメラ５１，５２を装置本体１０に設置してある。
　通常、Ｚ軸座標が零の原点において、Ｘ軸，Ｙ軸により形成される平面座標が水平面となる状態を基準にして、ロボットアーム２０は駆動制御される。したがって、ロボットアーム２０を搭載する装置本体１０は、この制御基準面に対応するように、ロボットアーム２０を水平面上に配置する（換言すれば、ロボットアーム２０の鉛直駆動軸を水平面と直交するように配置する）ことが好ましい。
　しかし、ロボットアーム２０が作業を実行する作業地点の床面が常に水平面に保たれている保障はなく、既述したジャッキ装置４０により装置本体１０を固定した状態において、装置本体１０に傾きが生じてしまうこともある。その場合、ロボットアーム２０の駆動制御に、装置本体１０の傾きに伴う誤差が生じてしまう。
　そこで、本実施形態では、第１，第２の撮像カメラ５１，５２によって撮像された装置本体１０の周囲の異なる方向の各画像に基づき、装置本体１０に組み込んだ傾き検出ユニット６０が、装置本体１０の水平面に対する傾きθｘ，θｙを検出する構成としてある（図３参照）。
　図４に示すように、自動走行ロボットが移動して作業を実行する作業地点Ａにおいて、水平線に沿って配置された物体を見つけることは容易である。例えば、床面に水平配置された収納棚１の縁部１ａ、窓２の水平枠２ａ、作業台３の上端縁３ａなどから水平線を認識することができる。また、既存の設備に水平線を認識できる対象が無いときは、後付けで水平線を認識できる対象物を作業地点の周囲に配置してもよい。例えば、四角形状の盤面を有するパーテーション４や箱型形状の移動ワゴン５を配置して、それらの上端縁４ａ，５ａで水平線を認識してもよい。また、壁面に四角形状のカレンダー６やポスター７を、上端縁６ａ，７ａが水平となるように貼り付け、それらの上端縁６ａ，７ａで水平線を認識することもできる。
　本実施形態では、自動走行ロボットが移動して作業を実行する各作業地点において、その周囲に水平に配置されていて、水平線を認識できる対象物（水平認識対象）をあらかじめ特定しておき、その水平認識対象を第１，第２の撮像カメラ５１，５２で撮像して、得られた画像により、水平面に対する装置本体１０の傾きを検出する方式を採用している。
　図５は傾き検出ユニットの構成を示すブロック図である。実際には、この傾き検出ユニット６０は、コンピュータと傾き検出のための専用プログラムとで構築される。
　傾き検出ユニット６０は、水平基準設定部６１、水平認識対象抽出部６２、傾き検出部６３の各構成要素を含んでいる。
　水平基準設定部６１は、第１，第２の撮像カメラ５１，５２によって撮像された装置本体１０の周囲の異なる方向の画像に、それぞれ水平線を示す基準（画像水平基準Ｈ）を設定する機能を有している（図６Ａ～図７Ｂ参照）。
　例えば、図６Ａに示すように、床面に水平に配置された作業テーブル３を水平認識対象と特定して、作業地点において装置本体１０を傾きのない状態（すなわち、水平に配置した状態）に固定して、第１の撮像カメラ５１により作業地点の周囲を撮像して、この作業テーブル３を含む画像１００を得る。この画像１００に描写された作業テーブル３の例えば上端縁３ａから水平線を認識できるので、当該上端縁３ａに沿って水平線を示す画像水平基準Ｈを設定する。この画像水平基準Ｈは、第１の撮像カメラ５１が傾いた状態で撮像された画像にも、当該傾きに影響されることなく当初設定した方向に固定されている。
　同様にして、例えば、図７Ａに示すように、床面に水平に配置された収納棚１を水平認識対象と特定して、作業地点において装置本体１０を傾きのない状態（すなわち、水平に配置した状態）に固定して、第２の撮像カメラ５２により作業地点の周囲を撮像して、この収納棚１を含む画像２００を得る。この画像２００に描写された収納棚１の例えば縁部１ａから水平線を認識できるので、当該縁部に沿って水平線を示す画像水平基準Ｈを設定する。この画像水平基準Ｈも、第２の撮像カメラ５２が傾いた状態で撮像された画像にも、当該傾きに影響されることなく当初設定した方向に固定されている。
　水平認識対象抽出部６２は、作業地点においてあらかじめ特定されている水平認識対象を、第１，第２の撮像カメラ５１，５２によって撮像された画像からそれぞれ抽出する機能を有している。
　例えば、図６Ｂに示すように、水平認識対象に特定されている作業テーブル３の画像を、第１の撮像カメラ５１で撮像して得た画像１０１から抽出する。同様に、図７Ｂに示すように、水平認識対象に特定されている収納棚１の画像を、第２の撮像カメラ５２で撮像して得た画像２０１から抽出する。
　ここで、第１，第２の撮像カメラ５１，５２による撮影地点と撮影方向は、先に画像設定基準を設定した際の撮影地点および撮影方向に合致されることが好ましい。
　傾き検出部６３は、第１，第２の撮像カメラ５１，５２によって撮像した各画像１０１,２０１について、画像水平基準Ｈに対する水平認識対象の傾きθｘおよびθｙを検出する。
　具体的には、図６Ｂに示すように、第１の撮像カメラ５１によって撮像した画像１０１について、水平認識対象に設定されている作業テーブル３の上端縁３ａについて、画像水平基準Ｈに対する傾きθｘを検出する。同様にして、図７Ｂに示すように、第２の撮像カメラ５２によって撮像した画像２０１について、水平認識対象に設定されている収納棚１の縁部１ａについて、画像水平基準Ｈに対する傾きθｙを検出する。
　このようにして検出した傾きθｘ，θｙは、すなわち水平面に対する光軸Ｏｘ，Ｏｙ周りの回転方向の傾き（換言すれば、ロボットアーム２０を駆動制御する基準となる座標系におけるＸ軸，Ｙ軸周りの回転方向の傾き）となる。
　そこで、ロボットアーム制御ユニット２１は、傾き検出ユニット６０により得られた装置本体１０の水平面に対する傾きに基づき、ロボットアーム２０の駆動量を補正することで、装置本体１０の傾きに影響されることなく、ロボットアーム２０を高精度に駆動制御することができる。
　なお、本発明は上述した実施形態に限定されるものではなく、必要に応じて種々の変形実施や応用実施が可能であることは勿論である。
　例えば、上述した実施形態では、図３に示したとおり、ロボットアーム２０の駆動制御に用いられるＸ軸およびＹ軸に、第１，第２の撮像カメラ５１，５２の光軸Ｏｘ，Ｏｙを合わせるように、各撮像カメラ５１，５２を装置本体１０に設置したが、各撮像カメラ５１，５２の光軸Ｏｘ，ＯｙをＸ軸およびＹ軸に合わせることなく、任意の角度に向きを変えて設置してもよい。また、撮像カメラの設置台数は、２台に限定されるものではなく、３台以上の撮像カメラを設置することもできる。
　一方、図８に示すように、１台の撮像カメラ５３をロボットアーム２０に設置して、ロボットアーム２０の鉛直軸を中心とする回動動作により任意の角度に向きを変えて、装置本体１０の周囲を撮像する構成とすることもできる。
　このように構成すれば、撮像カメラの設置台数を減らして、製品コストの低価格化を実現することができる。
　また、図６Ａおよび図７Ａに示すように、歪みのない水平認識対象の画像１００,２００を得るには、水平認識対象を正面から撮像する必要がある。水平認識対象を斜め方向から撮像したときは、例えば、図９Ａに示すように、遠近感を有する歪んだ画像３００となることは避けられない。しかし、このような歪みのある画像３００であっても、水平認識対象の水平線を認識できる部位（例えば、収納棚１の縁部１ａ）に着目し、当該部位に沿って画像水平基準Ｈを設定すればよい。そして、傾き検出部６３は、図９Ｂに示すように、そのように設定した画像水平基準Ｈに対して、水平認識対象の傾きθｙを検出する。

Claims (4)

  1. 装置本体に搭載したロボットアームと、前記装置本体を移動させる自動走行ユニットと、を備えた自動走行ロボットであって、
    　前記装置本体を移動先で固定するための本体固定ユニットと、
    　任意の角度に向きを変えて前記装置本体の周囲を撮像する撮像カメラと、
    　前記撮像カメラによって撮像された前記装置本体の周囲の異なる方向の複数画像に基づき、前記装置本体の水平面に対する傾きを検出する傾き検出ユニットと、
    　を備えたことを特徴とする自動走行ロボット。
  2. 前記傾き検出ユニットは、前記撮像カメラによって撮像された前記装置本体の周囲の異なる方向の複数画像にそれぞれ水平線を示す基準（画像水平基準）を設定する水平基準設定部と、水平線を認識できる周囲の対象物（水平認識対象）を前記各画像からそれぞれ抽出する水平認識対象抽出部と、前記各画像について前記水平認識対象から認識した水平線の、前記画像水平基準に対する傾きを検出する傾き検出部と、を含むことを特徴とする請求項１に記載の自動走行ロボット。
  3. 前記撮像カメラは、撮像方向を任意の角度に変えて前記装置本体に設置した、第１，第２の撮像カメラを含むことを特徴とする請求項１又は２に記載の自動走行ロボット。
  4. 前記撮像カメラは、前記ロボットアームに設置され、当該ロボットアームの動作により任意の角度に向きを変えて、前記装置本体の周囲を撮像する構成であることを特徴とする請求項１又は２に記載の自動走行ロボット。
PCT/JP2023/008312 2022-03-07 2023-03-06 自動走行ロボット WO2023171611A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022034788 2022-03-07
JP2022-034788 2022-03-07

Publications (1)

Publication Number Publication Date
WO2023171611A1 true WO2023171611A1 (ja) 2023-09-14

Family

ID=87935058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008312 WO2023171611A1 (ja) 2022-03-07 2023-03-06 自動走行ロボット

Country Status (1)

Country Link
WO (1) WO2023171611A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085940A (ja) * 2012-10-25 2014-05-12 Sharp Corp 平面検出装置およびそれを備えた自律移動装置
JP2021074791A (ja) * 2019-11-05 2021-05-20 オムロン株式会社 自走式搬送装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085940A (ja) * 2012-10-25 2014-05-12 Sharp Corp 平面検出装置およびそれを備えた自律移動装置
JP2021074791A (ja) * 2019-11-05 2021-05-20 オムロン株式会社 自走式搬送装置

Similar Documents

Publication Publication Date Title
KR102129103B1 (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
US10380764B2 (en) System and method for performing vision system planar hand-eye calibration from straight line features
EP3407088A1 (en) Systems and methods for tracking location of movable target object
US20150179491A1 (en) Robotic system and detection method
KR101644270B1 (ko) 자동 측위 및 경로보정을 이용한 무인 화물이송 시스템
JP6111065B2 (ja) 自動教示システム及び教示方法
US10704891B2 (en) Method and apparatus for determining the 3D coordinates of an object
CN112428248B (zh) 机器人系统及控制方法
JP2017074631A (ja) 製造システム
CN112697112B (zh) 一种相机水平面倾斜角的测量方法及装置
KR100724261B1 (ko) 위치 측정 방법 및 위치 측정 장치 및 위치 측정 시스템
KR20150104054A (ko) 교시 지그, 교시 시스템 및 교시 방법
WO2023171611A1 (ja) 自動走行ロボット
US11922616B2 (en) Alignment device
JP5507378B2 (ja) 電子部品実装装置
KR101363083B1 (ko) 플레이트 정렬 장치
JP2012014262A (ja) 車両移動システム及びランドマーク
TWM627047U (zh) 用於相對結合兩物件的校對裝置
JP4901451B2 (ja) 部品実装装置
JPH07116972A (ja) 建築内装用自走式ロボット
TWI656421B (zh) 自走設備的控制方法
JPH03281182A (ja) 移動ロボットの座標補正方法
CN114494669B (zh) 透明平面物体叠合方法、控制器、叠合装置及存储介质
JPS63260781A (ja) 工業用ロボツト
JP7366107B2 (ja) 自律型搬送装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766787

Country of ref document: EP

Kind code of ref document: A1