WO2022107350A1 - モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム - Google Patents

モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム Download PDF

Info

Publication number
WO2022107350A1
WO2022107350A1 PCT/JP2021/008883 JP2021008883W WO2022107350A1 WO 2022107350 A1 WO2022107350 A1 WO 2022107350A1 JP 2021008883 W JP2021008883 W JP 2021008883W WO 2022107350 A1 WO2022107350 A1 WO 2022107350A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile manipulator
landmark
camera
control unit
work
Prior art date
Application number
PCT/JP2021/008883
Other languages
English (en)
French (fr)
Inventor
知大 岡田
毅 前廣
孝浩 井上
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2022107350A1 publication Critical patent/WO2022107350A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages

Definitions

  • the present invention relates to a mobile manipulator and a control method for the mobile manipulator.
  • Patent Document 1 discloses a manipulator that palletizes a transported object into a pallet, which operates in cooperation with a person. Collaborative robots that work in collaboration with humans are required to take sufficient safety measures, and various safety measures have been taken in the past.
  • the human may perform unexpected movements of the collaborative robot. For example, there is a case where a person arranges the conveyed object in advance at a position where the collaborative robot should arrange the conveyed object, and when the collaborative robot arranges the conveyed object, the conveyed object collides.
  • an automatic guided vehicle for transporting and arranging transported objects is required for automation of factories.
  • the automatic guided vehicle arranges the conveyed object after performing an operation of detecting the position error when arranging the conveyed object. That is, extra operation is required in arranging the conveyed items.
  • One aspect of the present invention is to reduce tact when arranging a transported object in a mobile manipulator.
  • the mobile manipulator includes a camera, a reading control unit that causes the camera to read a landmark indicating a predetermined arrangement position, and an object detection unit that detects an object at the arrangement position.
  • the process of causing the reading control unit to read the landmark and the process of causing the target detection unit to detect the presence or absence of the object are performed in parallel.
  • a control method for a mobile manipulator includes a reading control step for causing a camera to read a landmark representing a predetermined placement position, and a target detection step for detecting an object at the placement position.
  • the process of causing the reading control step to read the landmark and the process of causing the target detection step to detect the presence or absence of the object are performed in parallel.
  • work placement in a mobile manipulator, work placement can be performed efficiently and tact can be reduced.
  • FIG. It is a block diagram which shows the functional structure of the mobile manipulator which concerns on Embodiment 1.
  • FIG. It is a perspective view which shows the structure of the mobile manipulator which concerns on Embodiment 1.
  • FIG. It is a top view which shows the structure of the mobile manipulator which concerns on Embodiment 1.
  • FIG. It is a side view which shows the structure of the mobile manipulator which concerns on Embodiment 1.
  • FIG. It is an enlarged perspective view which showed the camera and the photoelectric sensor when the camera took a picture of a landmark.
  • It is a side view which showed the camera and the photoelectric sensor enlarged when the camera took a picture of a landmark.
  • FIG. 2 is a perspective view showing the configuration of the mobile manipulator 1 according to the first embodiment.
  • the mobile manipulator 1 according to the present embodiment takes a picture of the landmark 31 with a camera in a state where the work 32 (transported object) is picked up in advance, and in parallel, another work 34 is already in the arrangement position 33 where the work 32 is arranged. Check if (object) is placed. During this time, the mobile manipulator 1 holds the work 32. After that, when the work 34 is not arranged at the arrangement position 33, the work 32 is arranged at the arrangement position 33 corrected according to the landmark 31. Therefore, the tact applied to the place can be shortened as compared with the conventional technique in which the work 32 is picked up and placed after the landmark 31 is photographed.
  • FIG. 1 is a block diagram showing a functional configuration of the mobile manipulator 1 according to the first embodiment.
  • FIG. 3 is a top view showing the configuration of the mobile manipulator 1 according to the first embodiment.
  • FIG. 4 is a side view showing the configuration of the mobile manipulator 1 according to the first embodiment.
  • the mobile manipulator 1 includes a mobile robot 21, a camera 22, a photoelectric sensor 23 (detector), an arm 24, and a control unit 10.
  • the control unit 10 controls each unit of the mobile manipulator 1 in an integrated manner.
  • the mobile robot 21 has a function of moving on the floor based on the command of the control unit 10. There may be a mounting portion on the mobile robot 21, and the work 32 may be temporarily placed.
  • the mobile robot 21 may be an automatic guided vehicle.
  • the camera 22 is attached to the tip of the arm 24, and captures the landmark 31 to acquire an image.
  • the photoelectric sensor 23 is attached to the tip of the arm 24 and is a sensor that identifies whether or not the work 34 is arranged at the arrangement position 33 of the production apparatus 30.
  • the photoelectric sensor 23 is not limited to the photoelectric sensor, and may be any device (for example, a laser range finder) or means capable of detecting whether or not the work 34 is arranged at the arrangement position 33 of the production apparatus 30.
  • FIG. 5 is an enlarged perspective view of the camera 22 and the photoelectric sensor 23 when the camera 22 takes a picture of the landmark 31.
  • FIG. 6 is an enlarged side view of the camera 22 and the photoelectric sensor 23 when the camera 22 takes a picture of the landmark 31.
  • the optical axis 23a (detection direction) of the photoelectric sensor 23 has a predetermined angle ⁇ with respect to the optical axis 22a.
  • the optical axis 23a of the photoelectric sensor 23 is a detection direction in which the photoelectric sensor can detect the work 34.
  • the detection range of the photoelectric sensor 23 has a solid angle centered on the detection direction.
  • the photoelectric sensor 23 is fixed to a bracket that is neither vertical nor horizontal, so that the optical axis 23a has a predetermined angle ⁇ (first angle) with respect to the optical axis 22a.
  • the arm 24 is controlled to an arbitrary position and posture based on the command of the control unit 10.
  • the arm 24 is fixed to the mobile robot 21 and is a robot arm or an articulated manipulator having a plurality of rotation axes.
  • the arm 24 grips the work 32 and can arrange the work 32 at an arbitrary position.
  • the production device 30 is a production device to which the mobile manipulator 1 arranges the work 32.
  • the production apparatus 30 includes a landmark 31 and a predetermined arrangement position 33.
  • the landmark 31 may be one or more alignment marks, barcodes, or two-dimensional codes.
  • the arrangement position 33 is a loading / unloading port for the work of the production device 30, and the position / direction differs depending on the production device.
  • the control unit 10 includes a movement control unit 11, a read control unit 12, a target detection unit 13, and an arrangement control unit 14.
  • the movement control unit 11 receives an input of a destination position from an auxiliary device such as a host server or a production device 30, and outputs a command to the mobile robot 21 to move to a designated position.
  • an auxiliary device such as a host server or a production device 30
  • the reading control unit 12 controls the arm 24 to a predetermined position and posture, photographs the landmark 31 with the camera 22, and reads it.
  • the reading control unit 12 receives an image taken from the camera 22.
  • the landmark 31 contains information indicating the position of the arrangement position 33.
  • the reading control unit 12 calculates the position and posture (direction) of the mobile manipulator 1 with respect to the arrangement position 33 based on the landmark 31 included in the captured image.
  • the reading control unit 12 outputs the deviation amount with respect to the arrangement position 33 at this time or the error of the actual stop position / direction with respect to the predetermined stop position / direction to the arrangement control unit 14 and uses it for correction.
  • the target detection unit 13 is arranged at the arrangement position 33 of the production device 30 by the photoelectric sensor 23 when the camera 22 controls the arm 24 to a position / posture in which the landmark 31 can be photographed by the reading control unit 12.
  • the existing work 34 is detected.
  • the target detection unit 13 outputs the detection result to the arrangement control unit 14.
  • the arrangement control unit 14 works at a predetermined arrangement position 33 according to the landmark 31 read by the reading control unit 12.
  • the position and posture of the arm 24 are controlled so as to arrange the 32. After that, the arm 24 releases the grip of the work 32 and arranges the work 32.
  • FIG. 7 is an operation flowchart of the mobile manipulator 1 according to the first embodiment.
  • the movement control unit 11 issues a command to the mobile robot 21 and moves to the designated position.
  • the arrangement control unit 14 grips the work 32 temporarily placed on the mounting unit of the mobile robot 21 with the arm 24.
  • the reading control unit 12 moves the arm 24 to the shooting position.
  • the shooting position is a position and a posture facing perpendicular to the landmark 31.
  • the control unit 10 performs the processes of S14 and S15 in parallel. During this time, the arm 24 continues to grip the work 32.
  • the reading control unit 12 photographs the landmark 31 with the camera 22.
  • the reading control unit 12 operates the arm 24 so as to search for the landmark 31.
  • the reading control unit 12 moves the camera 22 in the horizontal direction.
  • the reading control unit 12 calculates an error in the stop position and direction of the mobile robot 21 using the captured image.
  • the read control unit 12 outputs the calculated error to the arrangement control unit 14.
  • the target detection unit 13 detects the work 34 arranged at the arrangement position 33 by the photoelectric sensor 23. That is, the mobile manipulator 1 detects the work 34 arranged at the arrangement position 33 while the landmark 31 is being photographed by the camera 22 (S14).
  • the process proceeds to S17.
  • the arrangement control unit 14 arranges the gripped work 32 at the arrangement position 33.
  • the position and posture of the arm 24 are corrected so that the work 32 can be accurately arranged at the arrangement position 33 by using the error calculated in S14.
  • the process proceeds to S18.
  • the arrangement control unit 14 does not arrange the gripped work 32 at the arrangement position 33, notifies the manager, and stands by on the spot.
  • the arrangement control unit 14 notifies the administrator, for example, by notifying the upper server or the production apparatus 30 of a warning.
  • the mobile manipulator 1 takes an image of the landmark 31 with the camera 22 in a state where the work 32 is picked up in advance, and at the same time, the work at the arrangement position 33 with the photoelectric sensor 23. Check for the presence of 34. After that, the mobile manipulator 1 arranges the work 32 that has already been picked up at the arrangement position 33 when there is no work 34 at the arrangement position 33.
  • the tact can be reduced as compared with the case where the presence or absence of the work 34 at the arrangement position 33 is confirmed after the landmark 31 is photographed. That is, it is not necessary to move the arm 24 (and the camera 22) just to confirm the presence or absence of the work 34 at the arrangement position 33.
  • the presence / absence of the work 34 is detected in S15, but in the prior art, the arm must be positioned separately in order to point the camera at the arrangement position in front of S15. Therefore, in this embodiment, the number of steps is reduced by one step, and the tact can be reduced.
  • the camera 22 may be used to collectively detect the landmark 31 and the work 34 at the arrangement position 33 in one shooting. That is, the target detection unit 13 may detect the presence or absence of the work 34 at the arrangement position 33 based on the image of the camera 22 instead of the photoelectric sensor 23.
  • the optical axis 22a of the camera 22 may be tilted at a predetermined angle with respect to the landmark 31 without making the optical axis 22a of the camera 22 perpendicular to the landmark 31.
  • the photoelectric sensor 23 can be abolished and the cost can be reduced. Further, when the positional relationship between the landmark 31 and the arrangement position 33 is different for each production device, it is necessary to mount a plurality of sensors in the case of the first embodiment, but in this modification, the camera 22 is photographed. There is an advantage that it can be dealt with by changing the position and posture.
  • control block of the control unit 10 (particularly, the movement control unit 11, the read control unit 12, the target detection unit 13, and the arrangement control unit 14) is a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. ) Or by software.
  • the control unit 10 includes a computer that executes instructions of a program that is software that realizes each function.
  • the computer includes, for example, one or more processors and a computer-readable recording medium that stores the program. Then, in the computer, the processor reads the program from the recording medium and executes the program, thereby achieving the object of the present invention.
  • a CPU Central Processing Unit
  • the recording medium in addition to a “non-temporary tangible medium” such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • a RAM RandomAccessMemory
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program. It should be noted that one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the above program is embodied by electronic transmission.
  • the mobile manipulator includes a camera, a reading control unit that causes the camera to read a landmark indicating a predetermined arrangement position, and an object detection unit that detects an object at the arrangement position.
  • the process of causing the reading control unit to read the landmark and the process of causing the target detection unit to detect the presence or absence of the object are performed in parallel.
  • the presence or absence of an object can be detected in addition to the operation of reading the landmark by the camera. Therefore, it is not necessary to separately position the mobile manipulator in order to detect the object, the operation step can be reduced, and the tact can be reduced.
  • the mobile manipulator may further include an arrangement control unit for arranging the conveyed object at the arrangement position corresponding to the read landmark.
  • the position of the arm can be corrected according to the position and contents of the landmark, and the conveyed object of the mobile manipulator can be arranged.
  • the arrangement control unit may arrange the conveyed object at the arrangement position when the object detection unit does not detect the object.
  • the transported object when the object is not detected, the transported object can be arranged. Therefore, when arranging the transported object, it is possible to avoid colliding with an existing object.
  • the mobile manipulator may further include a detector for detecting the object, and the target detector may detect the presence or absence of the object based on the detection result of the detector.
  • the camera can be equipped with a dedicated detector to detect the object, and the object is detected in parallel with the camera taking a landmark without the need for positioning of the mobile manipulator. can do.
  • the detection direction of the detector has a first angle other than 0 ° with respect to the optical axis of the camera, and the first angle is a state in which the optical axis of the camera faces perpendicular to the landmark.
  • the angle may be such that the detector can detect the presence or absence of the object.
  • the detector may not be directly attached to the camera, and the detector may be attached to the camera with a certain inclination via a bracket or the like. ..
  • the detector may be a photoelectric sensor.
  • the object detection unit may detect the object based on the image of the camera.
  • the landmark and the object may be photographed at the same time only with the camera, and the landmark may be read and the presence / absence of the object may be detected at the same time.
  • a control method for a mobile manipulator includes a reading control step for causing a camera to read a landmark representing a predetermined placement position, and a target detection step for detecting an object at the placement position.
  • the process of causing the reading control step to read the landmark and the process of causing the target detection step to detect the presence or absence of the object are performed in parallel.
  • the mobile manipulator according to each aspect of the present invention may be realized by a computer.
  • the mobile manipulator is realized by the computer by operating the computer as each part (software element) included in the mobile manipulator.
  • a control program for a mobile manipulator and a computer-readable recording medium on which it is recorded also fall within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

モバイルマニピュレータにおいて、ワークのプレースを効率よく行い、タクトを低減する。モバイルマニピュレータ（１）は、カメラ（２２）と、カメラ（２２）にランドマーク（３１）を読み取らせる読取制御部（１２）と、ワーク（３４）を検出する対象検出部（１３）と、を備え、読取制御部（１２）にランドマーク（３１）を読み取らせる動作と、対象検出部（１３）にワーク（３４）の有無を検出させる動作と、を並行して実施する。

Description

モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム
　本発明はモバイルマニピュレータおよびモバイルマニピュレータの制御方法に関する。
　特許文献１には、人と協働して動作する、搬送物をパレットにパレタイズするマニピュレータが開示されている。人と協働して作業する協働ロボットは、十分な安全対策を取ることが求められ、従来様々な安全対策が講じられてきている。
日本国特開２０２０－０８２２２７号公報 日本国特開２００１－３０６１４８号公報
　協働ロボットが人と協働する場合において、人が協働ロボットの想定外の動作をする場合がある。例えば、協働ロボットが搬送物を配置するはずの位置に人が前もって搬送物を配置してしまい、協働ロボットが配置する時に、搬送物が衝突する場合などが挙げられる。
　また、特許文献２に示すように、工場の自動化にあたり、搬送物を搬送し、配置する無人搬送車が求められている。無人搬送車が動くために生じる位置誤差を補正するために、無人搬送車は、搬送物の配置に際し、位置誤差を検出する動作を行った後で、搬送物を配置する。すなわち、搬送物を配置することにあたり、余計な動作が必要になっている。
　本発明の一態様は、モバイルマニピュレータにおいて、搬送物の配置に際し、タクトを低減することを目的とする。
　本発明の一態様に係るモバイルマニピュレータは、カメラと、前記カメラに所定の配置位置を表すランドマークを読み取らせる読取制御部と、前記配置位置における対象物を検出する対象検出部と、を備え、前記読取制御部に前記ランドマークを読み取らせる処理と、前記対象検出部に前記対象物の有無を検出させる処理と、を並行して行う。
　本発明の一態様に係るモバイルマニピュレータの制御方法は、カメラに所定の配置位置を表すランドマークを読み取らせる読取制御ステップと、前記配置位置における対象物を検出する対象検出ステップと、を含み、前記読取制御ステップに前記ランドマークを読み取らせる処理と、前記対象検出ステップに前記対象物の有無を検出させる処理と、を並行して行う。
　本発明の一態様によれば、モバイルマニピュレータにおいて、ワークのプレースを効率よく行え、タクトを低減できる。
実施形態１に係るモバイルマニピュレータの機能構成を示すブロック図である。 実施形態１に係るモバイルマニピュレータの構成を示す斜視図である。 実施形態１に係るモバイルマニピュレータの構成を示す上面図である。 実施形態１に係るモバイルマニピュレータの構成を示す側面図である。 カメラがランドマークの撮影時における、カメラと光電センサとを拡大して示した斜視図である。 カメラがランドマークの撮影時における、カメラと光電センサとを拡大して示した側面図である。 実施形態１に係るモバイルマニピュレータの動作フローチャートである。
　〔実施形態１〕
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
　§１　適用例
　図２は、実施形態１に係るモバイルマニピュレータ１の構成を示す斜視図である。本実施形態に係るモバイルマニピュレータ１は、前もってワーク３２（搬送物）をピックアップした状態で、カメラでランドマーク３１を撮影し、並行して、ワーク３２を配置する配置位置３３に既に別のワーク３４（対象物）が配置されていないかを確認する。この間、モバイルマニピュレータ１はワーク３２を保持している。その後、配置位置３３にワーク３４が配置されていない場合、ランドマーク３１に従い補正した配置位置３３に、ワーク３２を配置する。そのため、ランドマーク３１の撮影を行ってからワーク３２をピックアップしてプレースする従来技術よりも、プレースに掛かるタクトを短縮することができる。
　§２　構成例
　（モバイルマニピュレータのハードウェア構成）
　図１は、実施形態１に係るモバイルマニピュレータ１の機能構成を示すブロック図である。図３は、実施形態１に係るモバイルマニピュレータ１の構成を示す上面図である。図４は、実施形態１に係るモバイルマニピュレータ１の構成を示す側面図である。
　モバイルマニピュレータ１は、モバイルロボット２１と、カメラ２２と、光電センサ２３（検出器）と、アーム２４と、制御部１０とを備える。制御部１０は、モバイルマニピュレータ１の各部を統括して制御する。
　モバイルロボット２１は、制御部１０の指令に基づき、フロアを移動する機能を有する。モバイルロボット２１上には、載置部があり、ワーク３２を仮置きできてもよい。モバイルロボット２１は、無人搬送車としてもよい。
　カメラ２２は、アーム２４の先端に取り付けられており、ランドマーク３１を撮影し画像を取得する。
　光電センサ２３は、アーム２４の先端に取り付けられており、生産装置３０の配置位置３３に、ワーク３４が配置されていないかを識別するセンサである。光電センサ２３は、光電センサに限定されず、生産装置３０の配置位置３３に、ワーク３４が配置されていないかを検出できる何等かの装置（例えばレーザー距離計等）または手段であればよい。
　図５は、カメラ２２がランドマーク３１の撮影時における、カメラ２２と光電センサ２３とを拡大して示した斜視図である。図６は、カメラ２２がランドマーク３１の撮影時における、カメラ２２と光電センサ２３とを拡大して示した側面図である。
　カメラ２２がランドマーク３１の撮影時には、カメラ２２の光軸２２ａがランドマーク３１に対して垂直に向いた状態で撮影を行うことが好ましい。また、この時において、光電センサ２３の光軸２３ａ（検出方向）が、光軸２２ａに対し所定の角度θをもっている。光電センサ２３の光軸２３ａは光電センサがワーク３４を検出できる検出方向である。光電センサ２３の検出範囲は検出方向を中心とした立体角をもっている。図５～図６に示すように、光電センサ２３は、垂直でも水平でもないブラケットに固定されることで、光軸２３ａが光軸２２ａに対して所定の角度θ（第１の角度）を有している（θは０°ではない）。すなわち、所定の角度θを持つように光電センサ２３がカメラ２２に対し取り付けられていることによって、カメラ２２の光軸２２ａがランドマーク３１に対し垂直に向いた状態で、光電センサ２３がワーク３４を検出できる角度になる。
　アーム２４は、制御部１０の指令に基づき、任意の位置・姿勢に制御される。アーム２４は、モバイルロボット２１に固定されており、複数の回転軸を有するロボットアームまたは多関節のマニピュレータである。アーム２４は、ワーク３２を把持し、任意の位置にワーク３２を配置できる。
　生産装置３０は、モバイルマニピュレータ１がワーク３２を配置する対象の生産装置である。生産装置３０は、ランドマーク３１および所定の配置位置３３を備える。ランドマーク３１は、１つまたは複数の、アライメントマーク、バーコード、または２次元コードであってもよい。配置位置３３は、生産装置３０のワークの投入・取出口であり、生産装置により位置・方向が異なる。
　（制御部１０）
　制御部１０は、移動制御部１１と、読取制御部１２と、対象検出部１３と、配置制御部１４と、を備える。
　移動制御部１１は、上位サーバまたは生産装置３０などの付帯装置から移動先の位置の入力を受け、指定した位置に移動するようにモバイルロボット２１に指令を出力する。
　読取制御部１２は、アーム２４を所定の位置・姿勢に制御し、カメラ２２でランドマーク３１を撮影し、読み取る。読取制御部１２は、カメラ２２から撮影された画像を受け取る。ランドマーク３１は、配置位置３３の位置を示す情報を含む。読取制御部１２は、撮影された画像に含まれるランドマーク３１を元に、配置位置３３に対するモバイルマニピュレータ１の位置と姿勢（方向）とを演算する。読取制御部１２は、この時の配置位置３３に対するずれ量、または、所定の停止位置・方向に対する実際の停止位置・方向の誤差を配置制御部１４に出力し、補正に利用する。
　対象検出部１３は、読取制御部１２によって、カメラ２２がランドマーク３１を撮影できる位置・姿勢にアーム２４を制御した時において、光電センサ２３にて、生産装置３０の配置位置３３に配置されているワーク３４を検出する。対象検出部１３は、検出結果を配置制御部１４に出力する。
　配置制御部１４は、対象検出部１３によって配置位置３３に障害物となるワーク３４を検出しなかった場合に、読取制御部１２で読み取られたランドマーク３１に応じた所定の配置位置３３にワーク３２を配置するようにアーム２４の位置および姿勢を制御する。その後、アーム２４はワーク３２の把持を解除し、ワーク３２を配置する。
　§３　動作例
　図７は、実施形態１に係るモバイルマニピュレータ１の動作フローチャートである。
　Ｓ１１において、移動制御部１１は、モバイルロボット２１に指令を出して、指定した位置に移動する。
　Ｓ１２において、配置制御部１４は、アーム２４で、モバイルロボット２１の載置部に仮置きしているワーク３２を把持する。
　Ｓ１３において、読取制御部１２は、アーム２４を、撮影位置に移動させる。撮影位置は、ランドマーク３１に対し垂直に向いた位置および姿勢である。
　制御部１０は、Ｓ１４およびＳ１５の処理を並行して行う。この間、アーム２４はワーク３２を把持し続ける。
　Ｓ１４において、読取制御部１２は、カメラ２２によってランドマーク３１を撮影する。ランドマーク３１の撮影に際し、読取制御部１２は、ランドマーク３１を探すようにアーム２４を動作させる。例えば、読取制御部１２は、カメラ２２を水平方向に移動させる。読取制御部１２は、撮影した画像を用いて、モバイルロボット２１の停止位置および方向の誤差を算出する。読取制御部１２は、算出した誤差を配置制御部１４に出力する。
　Ｓ１５において、対象検出部１３は、光電センサ２３によって、配置位置３３に配置されているワーク３４を検出する。すなわち、モバイルマニピュレータ１は、カメラ２２によってランドマーク３１を撮影している（Ｓ１４）間に、配置位置３３に配置されているワーク３４を検出する。
　Ｓ１４およびＳ１５の処理が完了すると、すなわち、読取制御部１２にランドマーク３１を読み取らせる処理と、対象検出部１３にワーク３４の有無を検出させる処理と、を並行して行った後、Ｓ１６に進む。Ｓ１６において、対象検出部１３は、配置位置３３に既にワーク３４が配置されているか否かを判定する。
　配置位置３３にワーク３４が配置されていない場合（Ｓ１６においてＮｏ）、Ｓ１７に処理を進める。Ｓ１７において、配置制御部１４は、把持しているワーク３２を配置位置３３に配置する。この時、Ｓ１４において算出した誤差を用いて、配置位置３３にワーク３２を正確に配置できるように、アーム２４の位置・姿勢を補正する。
　配置位置３３にワーク３４が配置されている場合（Ｓ１６においてＹｅｓ）、Ｓ１８に処理を進める。Ｓ１８において、配置制御部１４は、衝突を避けるため、把持しているワーク３２を配置位置３３に配置せず、管理者に通知を出し、その場で待機する。配置制御部１４は、例えば、上位サーバまたは生産装置３０に警告を通知することで、管理者に通知する。
　§４　作用・効果
　以上のとおり、実施形態１に係るモバイルマニピュレータ１は、前もってワーク３２をピックアップした状態で、カメラ２２でランドマーク３１を撮像し、併せて、光電センサ２３で配置位置３３のワーク３４の有無を確認する。その後、モバイルマニピュレータ１は、配置位置３３にワーク３４がない場合、既にピックアップしているワーク３２を配置位置３３に配置する。
　そのため、ランドマーク３１の撮影をした後に配置位置３３のワーク３４の有無を確認する場合よりも、タクトを低減することができる。すなわち、配置位置３３のワーク３４の有無を確認するためだけに、アーム２４（およびカメラ２２）を移動させる必要がなくなる。本実施形態ではＳ１５においてワーク３４の有無を検出したが、従来技術ではＳ１５の前にカメラを配置位置に向けるためにアームの位置決めが別途必要になる。そのため、本実施形態ではステップが１ステップ減り、タクトが低減できる。
　また、既に配置位置３３にワーク３４がある場合に、ピックアップしているワーク３２を配置しようとしないため、ワーク３２およびワーク３４の衝突を未然に防ぐことができる。
　（変形例）
　光電センサ２３を用いて、配置位置３３のワーク３４を検出せずに、カメラ２２を用いて、一度の撮影で、ランドマーク３１および配置位置３３のワーク３４をまとめて検出してもよい。すなわち、対象検出部１３は、光電センサ２３に代わり、カメラ２２の画像に基づき、配置位置３３のワーク３４の有無を検出してもよい。
　この場合、必ずしもランドマーク３１とワーク３４に同時に焦点が合う位置にて撮影できるとは限らない。そのため、ランドマーク３１に焦点を合わせ、ワーク３４は背景の一部に写るようにし、背景のパターン認識により、ワーク３４の有無を判別することが好ましい。
　この場合、カメラ２２の視野にランドマーク３１および配置位置３３のワーク３４を収める必要があるため、実施形態１の場合よりもより上方から撮影する必要がある。また、ランドマーク３１に対しカメラ２２の光軸２２ａを垂直にせず、ランドマーク３１に対しカメラ２２の光軸２２ａを所定の角度で傾斜させてもよい。
　この場合、光電センサ２３を廃止することができ、コストを低減することができる。また、生産装置ごとにランドマーク３１と配置位置３３との位置関係が異なっている場合、実施形態１の場合では複数のセンサを搭載する必要があったが、本変形例では、カメラ２２の撮影位置および姿勢を変更することで対応することができる利点がある。
　〔ソフトウェアによる実現例〕
　制御部１０の制御ブロック（特に移動制御部１１と、読取制御部１２と、対象検出部１３と、配置制御部１４と）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、制御部１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の一態様に係るモバイルマニピュレータは、カメラと、前記カメラに所定の配置位置を表すランドマークを読み取らせる読取制御部と、前記配置位置における対象物を検出する対象検出部と、を備え、前記読取制御部に前記ランドマークを読み取らせる処理と、前記対象検出部に前記対象物の有無を検出させる処理と、を並行して行う。
　上記の構成によれば、カメラによってランドマークを読み取らせる動作に併せて、対象物の有無を検出することができる。そのため、対象物を検出するために、別途モバイルマニピュレータの位置決めを行う必要がなく、動作ステップを減らすことができタクトを低減することができる。
　前記モバイルマニピュレータは、読み取られた前記ランドマークに応じた前記配置位置に搬送物を配置する配置制御部をさらに備えてもよい。
　上記の構成によれば、ランドマークの位置および内容に従って、アームの位置を補正して、モバイルマニピュレータの搬送物を配置することができる。
　前記配置制御部は、前記対象検出部が前記対象物を検出しなかった場合に、前記配置位置に前記搬送物を配置してもよい。
　上記の構成によれば、対象物を検出しなかった場合に、搬送物を配置することができる。したがって、搬送物を配置する際に、既にある対象物と衝突することを回避できる。
　前記モバイルマニピュレータは、前記対象物を検出する検出器を、さらに備え、前記対象検出部は、前記検出器の検出結果に基づき、前記対象物の有無を検出してもよい。
　上記の構成によれば、カメラに対象物を検出する専用の検出器を取り付けることができ、モバイルマニピュレータの位置決めが不要なまま、カメラがランドマークを撮影することに並行して、対象物を検出することができる。
　前記検出器の検出方向は、前記カメラの光軸に対し０°ではない第１の角度を有し、前記第１の角度は、前記カメラの光軸が前記ランドマークに対し垂直に向いた状態で、前記検出器が前記対象物の有無を検出できる角度であってもよい。
　上記の構成によれば、ランドマークと対象物の配置が離れており、カメラに検出器が直接取り付けられておらず、ブラケット等を介して一定の傾斜をもって検出器がカメラに取り付けられてもよい。
　前記検出器は、光電センサでもよい。
　前記対象検出部は、前記カメラの画像に基づき、前記対象物を検出してもよい。
　上記の構成によれば、カメラのみでランドマークと対象物を同時に撮影して、ランドマークの読み取りと、対象物の有無の検知を同時に行ってもよい。
　本発明の一態様に係るモバイルマニピュレータの制御方法は、カメラに所定の配置位置を表すランドマークを読み取らせる読取制御ステップと、前記配置位置における対象物を検出する対象検出ステップと、を含み、前記読取制御ステップに前記ランドマークを読み取らせる処理と、前記対象検出ステップに前記対象物の有無を検出させる処理と、を並行して行う。
　本発明の各態様に係るモバイルマニピュレータは、コンピュータによって実現してもよく、この場合には、コンピュータを前記モバイルマニピュレータが備える各部（ソフトウェア要素）として動作させることにより前記モバイルマニピュレータをコンピュータにて実現させるモバイルマニピュレータの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　〔付記事項〕
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　１　モバイルマニピュレータ
　２１　モバイルロボット
　２２　カメラ
　２３　光電センサ（検出器）
　２４　アーム
　１０　制御部
　１１　移動制御部
　１２　読取制御部
　１３　対象検出部
　１４　配置制御部
　３０　生産装置
　３１　ランドマーク
　３２　ワーク（搬送物）
　３３　配置位置
　３４　ワーク（対象物）
　θ　所定の角度（第１の角度）

Claims (9)

  1. 　カメラと、
    　前記カメラに所定の配置位置を表すランドマークを読み取らせる読取制御部と、
    　前記配置位置における対象物を検出する対象検出部と、を備え、
    　前記読取制御部に前記ランドマークを読み取らせる処理と、前記対象検出部に前記対象物の有無を検出させる処理と、を並行して行うモバイルマニピュレータ。
  2. 　前記モバイルマニピュレータは、読み取られた前記ランドマークに応じた前記配置位置に搬送物を配置する配置制御部をさらに備える請求項１に記載のモバイルマニピュレータ。
  3. 　前記配置制御部は、前記対象検出部が前記対象物を検出しなかった場合に、前記配置位置に前記搬送物を配置する請求項２に記載のモバイルマニピュレータ。
  4. 　前記モバイルマニピュレータは、
    　前記対象物を検出する検出器を、さらに備え、
    　前記対象検出部は、前記検出器の検出結果に基づき、前記対象物の有無を検出する請求項１から３のいずれか１項に記載のモバイルマニピュレータ。
  5. 　前記検出器の検出方向は、前記カメラの光軸に対し０°ではない第１の角度を有し、
    　前記第１の角度は、前記カメラの光軸が前記ランドマークに対し垂直に向いた状態で、前記検出器が前記対象物の有無を検出できる角度である請求項４に記載のモバイルマニピュレータ。
  6. 　前記検出器は、光電センサである請求項４または５に記載のモバイルマニピュレータ。
  7. 　前記対象検出部は、前記カメラの画像に基づき、前記対象物を検出する請求項１から３のいずれか１項に記載のモバイルマニピュレータ。
  8. 　カメラに所定の配置位置を表すランドマークを読み取らせる読取制御ステップと、
    　前記配置位置における対象物を検出する対象検出ステップと、を含み、
    　前記読取制御ステップにて前記ランドマークを読み取らせる処理と、前記対象検出ステップにて前記対象物を検出させる処理と、を並行して行うモバイルマニピュレータの制御方法。
  9. 　請求項１に記載のモバイルマニピュレータの制御装置としてコンピュータを機能させるための制御プログラムであって、前記読取制御部、および前記対象検出部としてコンピュータを機能させるための制御プログラム。
PCT/JP2021/008883 2020-11-20 2021-03-08 モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム WO2022107350A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-193745 2020-11-20
JP2020193745A JP7563131B2 (ja) 2020-11-20 2020-11-20 モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム

Publications (1)

Publication Number Publication Date
WO2022107350A1 true WO2022107350A1 (ja) 2022-05-27

Family

ID=81708714

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008883 WO2022107350A1 (ja) 2020-11-20 2021-03-08 モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム

Country Status (2)

Country Link
JP (1) JP7563131B2 (ja)
WO (1) WO2022107350A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341957A (ja) * 2005-06-09 2006-12-21 National Institute Of Advanced Industrial & Technology 物品分類収納システム及びマニピュレーションシステム
US20150032252A1 (en) * 2013-07-25 2015-01-29 IAM Robotics, LLC System and method for piece-picking or put-away with a mobile manipulation robot
US20170261993A1 (en) * 2016-03-10 2017-09-14 Xerox Corporation Systems and methods for robot motion control and improved positional accuracy
JP2019513274A (ja) * 2016-03-29 2019-05-23 ボサ ノバ ロボティクス アイピー, インク.Bossa Nova Robotics Ip, Inc. 品物の設置、特定および計数のためのシステムおよび方法
JP2020086588A (ja) * 2018-11-16 2020-06-04 株式会社豊田中央研究所 移動経路生成装置、移動経路生成方法、および、コンピュータプログラム
JP2020163518A (ja) * 2019-03-29 2020-10-08 ファナック株式会社 搬送装置及び受渡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341957A (ja) * 2005-06-09 2006-12-21 National Institute Of Advanced Industrial & Technology 物品分類収納システム及びマニピュレーションシステム
US20150032252A1 (en) * 2013-07-25 2015-01-29 IAM Robotics, LLC System and method for piece-picking or put-away with a mobile manipulation robot
US20170261993A1 (en) * 2016-03-10 2017-09-14 Xerox Corporation Systems and methods for robot motion control and improved positional accuracy
JP2019513274A (ja) * 2016-03-29 2019-05-23 ボサ ノバ ロボティクス アイピー, インク.Bossa Nova Robotics Ip, Inc. 品物の設置、特定および計数のためのシステムおよび方法
JP2020086588A (ja) * 2018-11-16 2020-06-04 株式会社豊田中央研究所 移動経路生成装置、移動経路生成方法、および、コンピュータプログラム
JP2020163518A (ja) * 2019-03-29 2020-10-08 ファナック株式会社 搬送装置及び受渡システム

Also Published As

Publication number Publication date
JP2022082274A (ja) 2022-06-01
JP7563131B2 (ja) 2024-10-08

Similar Documents

Publication Publication Date Title
JP6822719B2 (ja) 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法
JP4904237B2 (ja) 基板処理装置、表面実装機、印刷機、検査機、及び塗布機
JP4174342B2 (ja) ワーク搬送装置
JP5201411B2 (ja) バラ積みピッキング装置とその制御方法
JP7022097B2 (ja) 搬送装置及び受渡システム
JP2019111640A (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
JP2008270696A (ja) 部品搭載位置補正方法及び部品実装装置
JP2001230595A (ja) 部品実装装置及び部品実装方法
JP2016055389A (ja) 物品搬送システム
JP5198155B2 (ja) ハンドリング装置、ワークハンドリング方法および信号処理装置
CN112428248B (zh) 机器人系统及控制方法
JP2003069288A (ja) 部品実装方法及び部品実装装置
JP4787694B2 (ja) 実装機
WO2023024561A1 (zh) 货架位移偏差纠正方法和装置、自动导引车和存储介质
WO2022107350A1 (ja) モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム
JP7467984B2 (ja) モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム
JPWO2020100522A1 (ja) マーク検出システム、信号処理回路、コンピュータプログラムおよび方法
JP5975668B2 (ja) ワーク搬送装置、ワーク搬送方法および組付部品の製造方法
JP6958517B2 (ja) マニピュレータおよび移動ロボット
JP2001300875A (ja) ロボットシステム
JP2020189379A (ja) 作業ロボットおよびその制御方法
JP7436170B2 (ja) ロボットシステム
CN111051014B (zh) 机器人系统以及对输送的工件进行作业的方法
CN115803584A (zh) 取得工件表面的三维信息及工件的二维图像的拍摄装置
JP3755215B2 (ja) 多層積層板位置決め装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894227

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21894227

Country of ref document: EP

Kind code of ref document: A1