WO2020049765A1 - 移動式マニピュレータ、移動ロボット、サーバ、および移動式マニピュレータシステム - Google Patents

移動式マニピュレータ、移動ロボット、サーバ、および移動式マニピュレータシステム Download PDF

Info

Publication number
WO2020049765A1
WO2020049765A1 PCT/JP2019/009017 JP2019009017W WO2020049765A1 WO 2020049765 A1 WO2020049765 A1 WO 2020049765A1 JP 2019009017 W JP2019009017 W JP 2019009017W WO 2020049765 A1 WO2020049765 A1 WO 2020049765A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
result information
imaging result
robot arm
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/009017
Other languages
English (en)
French (fr)
Inventor
達也 古賀
聡庸 金井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of WO2020049765A1 publication Critical patent/WO2020049765A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages

Definitions

  • the present disclosure relates to a mobile manipulator, a mobile robot, a server, and a mobile manipulator system for transporting a work.
  • manipulators for taking out and transporting a workpiece by a robot arm have been known. Further, in order to expand the working range of the manipulator, there is an increasing demand for a mobile manipulator that can load a manipulator on an automatic transport vehicle or the like and transport the workpiece while moving.
  • Patent Literature 1 includes a three-dimensional measurement unit that detects an arrangement state of a work arranged on a stocker, and the three-dimensional measurement unit performs a work removal operation for taking out the work by a robot arm.
  • a manipulator for detecting an arrangement state of a work arranged on another stocker is disclosed.
  • the manipulator detects the arrangement state of the workpieces in parallel with the workpiece extracting operation, thereby shortening the time required for a series of workpiece extracting steps for sequentially extracting the workpieces from the plurality of stockers.
  • the above-described prior art cannot detect the arrangement state of the work arranged on the stocker located at a position distant from the manipulator. Therefore, when the manipulator moves, it is necessary to newly detect the arrangement state of the work. During that time, the work removal operation by the manipulator must be stopped. Therefore, as the number of movements of the manipulator increases, the time for detecting the arrangement state of the work increases.
  • An object of one embodiment of the present disclosure is to realize a mobile manipulator that can reduce a work transfer time by performing a work removal operation and a detection of a work arrangement state in parallel.
  • a mobile manipulator is a mobile manipulator mounted on an automatic guided vehicle, and a robot arm that performs a gripping operation on an object, and the robot arm
  • the imaging unit provided in the, imaging result information based on the imaging result by the imaging unit, and transmitting to an external device by communication, from the external device, receiving the imaging result information stored in the external device,
  • a robot arm control unit that controls the operation of the robot arm based on the imaging result information.
  • a mobile manipulator that can reduce the work transfer time can be realized by performing the work removal operation and the detection of the arrangement state of the work in parallel.
  • FIG. 1 is a diagram schematically illustrating a mobile robot and a mobile manipulator system according to a first embodiment.
  • FIG. 2 is a block diagram illustrating a main configuration of the mobile robot according to the first embodiment.
  • FIG. 4 is a diagram schematically illustrating an example of an operation of the mobile robot according to the first embodiment. It is a figure which shows typically an example of operation
  • 5 is a flowchart illustrating an example of a flow of a process of a control unit according to the first embodiment.
  • FIG. 9 is a block diagram illustrating a main configuration of a mobile robot according to a second embodiment. 13 is a flowchart illustrating an example of a flow of a process of a control unit according to the second embodiment.
  • FIG. 1 schematically illustrates an example of a mobile robot 1 and a mobile manipulator system according to the present embodiment.
  • FIG. 2 is a block diagram illustrating a main configuration of the mobile robot according to the present embodiment.
  • 3 and 4 are diagrams schematically showing an example of the operation of the mobile robots 1 and 1a according to the present embodiment or the mobile robots 101 and 101a according to the reference example of the present embodiment.
  • the mobile robot 1 is a device for transporting a work (object) 2 and is configured to be movable.
  • the mobile robot 1 includes a manipulator (mobile manipulator) 10 and an automatic guided vehicle 50.
  • the manipulator 10 includes a robot arm 11 and a housing 15.
  • the robot arm 11 is a member that performs a gripping operation on the work 2.
  • One end of the robot arm 11 includes a work holding unit 13 for holding the work 2 and a camera (imaging unit) 14.
  • the housing unit 15 includes a control device 20 and a first communication unit 30 described below.
  • the mobile robot 1a also includes a manipulator 10a and an automatic guided vehicle, like the mobile robot 1.
  • the manipulator 10a includes a workpiece gripper at one end of a robot arm and a camera 14a.
  • the control device 20 includes a control unit 21 and a first storage unit 40.
  • the control unit 21 includes an image analysis unit 22, a robot arm control unit 23, an automatic guided vehicle control unit 24, and a camera control unit 25.
  • the image analysis unit 22 performs image analysis on the captured image data (image capture result) captured by the camera 14.
  • the robot arm control unit 23 controls the operation of the robot arm 11 based on the received imaging result information.
  • the first communication unit 30 transmits the captured image data captured by the camera 14 or the result of analyzing the captured image data by the image analysis unit 22 to the server (external device) 60 as captured result information. In addition, the first communication unit 30 receives the imaging result information stored in the server 60.
  • the mobile robot 1 mutually communicates with the other mobile robots 1 a and the like and the server 60 by the first communication unit 30. Thereby, a mobile manipulator system including the plurality of mobile robots 1 and the server 60 is formed.
  • FIG. 3 As shown in FIG. 3, at a timing (period) t1, the mobile robot 1 moves to a position in front of a stocker 3 on which a plurality of works (objects) 2 to be transported are placed.
  • the mobile robot 1 captures an image of the workpiece 2 with the camera 14, and generates workpiece position information (position information of the target object) by the image analysis unit 22 from the obtained captured image data (see FIG. 3). "Image analysis").
  • the captured image data or the work position information is shared with another mobile robot 1a as imaging result information.
  • the mobile robots 101 and 101a according to the reference example shown in FIG. 4 differ from the mobile robots 1.1 and 1a according to the present embodiment in that the imaging result information cannot be shared with another mobile robot.
  • the mobile robot 1 recognizes the arrangement state of the work 2 based on the work position information and grips the work 2. Thereafter, the mobile robot 1 captures an image of the stocker 3. The mobile robot 1 generates new workpiece position information from captured image data while transporting the workpiece 2. The captured image data or the work position information is shared with another mobile robot 1a as imaging result information.
  • the mobile robot 1 similarly carries the work 2 and analyzes the image.
  • the work position information generated by the mobile robot 1 is shared with the mobile robot 1a as needed.
  • the mobile robot 1a moves to the position before the stocker 3 where the mobile robot 1 is carrying. From timing t7, the mobile robot 1a transfers the work 2 instead of the mobile robot 1.
  • the mobile robot 1a receives the imaging result information generated by the mobile robot 1 at timing t6 before performing the gripping operation of the work 2. Thereby, the mobile robot 1a can recognize the arrangement state of the work 2 in the stocker 3. Therefore, the mobile robot 1a can immediately start transporting the work 2 without needing to image the stocker 3 and generate work position information.
  • the mobile robot 1a conveys the work 2 a predetermined number of times, captures an image of the stocker 3, analyzes the image, and shares the imaging result information.
  • the work 2 is transported from the timing t11 to the time t16 in the same manner as the mobile robots 1 and 1a.
  • the mobile robot 101 does not have a function of sharing the generated imaging result information with another mobile robot 101a. Therefore, the mobile robot 101a itself takes an image of the stocker 3 at timing t17 and performs image analysis. At timing t17, the mobile robot 101a cannot transfer the work 2 and must stop its operation.
  • the processing at the timing t16 and the processing at the timing t17 in FIG. 4 can be performed at the timing t6 in FIG.
  • the robot arm 11 includes a joint 12 formed to be rotatable and bendable in an arbitrary direction.
  • the robot arm 11 may include one or more joints 12.
  • One end of the robot arm 11 is formed so as to be rotatable and bendable in the housing 15.
  • the work holding portion 13 includes a vacuum pad capable of vacuum-sucking the work 2.
  • the work gripper 13 is not limited to this, and may include, for example, a pair of claws for sandwiching and gripping.
  • the camera 14 includes a solid-state imaging device and a lens that can three-dimensionally recognize an imaging target.
  • a solid-state imaging device for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor may be used. According to such a configuration, the spatial position of the workpiece 2 to be conveyed can be accurately grasped.
  • the camera 14 is not limited to such an example, and may include, for example, a solid-state imaging device and a lens that can only capture a two-dimensional image.
  • the camera 14 may be attached to any position of the mobile robot 1 instead of one end of the robot arm 11.
  • the camera 14 may be attached to the housing 15 or the automatic guided vehicle 50. According to such a configuration, while the robot arm 11 is moving, the camera 14 can capture an image of the workpiece 2 or the like with high accuracy in a stationary state.
  • the control device 20 includes a control unit 21 and a first storage unit 40.
  • the control unit 21 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and controls each component.
  • the first storage unit 40 is, for example, an auxiliary storage device such as a hard disk drive or a solid state drive, and stores various programs executed by the control unit 21, image data shared with other manipulators, imaging result information, and the like. .
  • the image analysis unit 22 acquires captured image data captured by the camera 14 and analyzes the captured image data. The image analysis unit 22 first determines whether or not the workpiece 2 to be transported exists in the captured image data. If it is determined that the work 2 exists, the image analysis unit 22 generates work position information. According to such a configuration, the mobile robot 1 can generate work position information from captured image data captured by itself.
  • the imaging result information generated by the image analysis unit 22 may be output to the first communication unit 30 and the first storage unit 40.
  • the imaging result information may be acquired by the robot arm control unit 23 and the automatic guided vehicle control unit 24.
  • the robot arm control unit 23 controls the operation of the robot arm 11. For example, based on the imaging result information or the like, the operation of the robot arm 11 is controlled to grip and transport the work 2, and the position and direction of the camera 14 provided in the robot arm 11 are adjusted.
  • the automatic guided vehicle control unit 24 controls the operation of the automatic guided vehicle 50 and moves the mobile robot 1 to a predetermined point. Further, the automatic guided vehicle control unit 24 may control the operation of the automatic guided vehicle 50 based on the imaging result information or the like, and finely adjust the position of the mobile robot 1. Further, the mobile robot 1 is moved to a position in front of the stocker 3 on which the work 2 to be transported is placed, based on the position information of the stocker 3 transmitted from the information management control unit 62 provided in the server 60 described later.
  • the camera control unit 25 controls the imaging operation of the camera 14.
  • the first communication unit 30 performs communication with the server 60 and the like.
  • the first communication unit 30 may perform wired communication using a cable or the like, or may perform wireless communication. Further, the first communication unit 30 may communicate with the first communication unit of another mobile robot 1a.
  • the automatic guided vehicle 50 includes a wheel 51.
  • the operation of the wheel 51 is controlled by the automatic guided vehicle control unit 24, so that the automatic guided vehicle 50 can move to an arbitrary point. Therefore, the manipulator 10 placed on the automatic guided vehicle 50 can transport the work 2 to a distant position that is not reachable by the robot arm 11. Further, the point where the manipulator 10 works can be changed as appropriate.
  • the manipulator 10 is not limited to the automatic guided vehicle 50 because the manipulator 10 is configured to be movable as the mobile robot 1.
  • it may be an unmanned aerial vehicle (drone) that can fly, or a bogie that is manually moved.
  • the server 60 includes a second communication unit 61, an information management control unit 62, and a second storage unit 63.
  • the information management control unit 62 controls writing to the second storage unit 63 according to a change in the state of the mobile robot 1 (such as updating a database according to movement of the mobile robot 1), and via the second communication unit 61.
  • Communication control (such as information transmission according to the movement of the mobile robot 1).
  • the server 60 receives, for example, the imaging result information generated by the mobile robot 1 by the second communication unit 61 and stores the imaging result information in the second storage unit 63.
  • the imaging result information is transmitted to another mobile robot 1a or the like as needed. Thereby, the imaging result information can be shared among the plurality of mobile robots 1.
  • the operation of the mobile robot 1 can be smoothly controlled.
  • FIG. 5 is a flowchart illustrating an example of a processing flow of the control unit 21 according to the present embodiment. An example of a processing flow of the control unit 21 will be described with reference to FIG.
  • the automatic guided vehicle controller 24 moves the mobile robot 1 to a position (designated point) in front of the stocker 3 on which the work 2 to be transferred is placed (S1).
  • the first communication unit 30 specifies the position and the like of the stocker 3 including the work 2 to be transported, and obtains imaging result information (second imaging result information) on the stocker 3 generated by another manipulator 10a from the server 60. I do.
  • the first communication unit 30 or the robot arm control unit 23 determines whether the current imaging result information of the stocker 3 can be received from the server 60 (S2).
  • the imaging result information transmitted and received between the first communication unit 30 and the server 60 is work position information generated from the captured image data by the image analysis unit 22.
  • the robot arm control unit 23 images the robot arm 11 with the stocker 3 including the work 2. (S3).
  • the received work position information is information that cannot be used
  • a case where the target work 2 does not exist at the position indicated by the received work position information can be considered.
  • the arrangement of the work 2 on the stocker 3 may be changed after the work position information of the stocker 3 generated most recently.
  • the robot arm control unit 23 determines that the received work position information is information that cannot be used.
  • the camera control unit 25 causes the camera 14 to image the stocker 3 (S4).
  • the image analysis unit 22 performs an image analysis process on the captured image data (S5), and generates work position information in the stocker 3 (S6).
  • the manipulator 10 can generate the work position information by itself even when appropriate work position information for detecting the position of the work 2 cannot be received.
  • the robot arm control unit 23 operates the robot arm 11 To perform the gripping operation of the work 2 (S7).
  • the robot arm control unit 23 moves the robot arm 11 to a position for imaging the stocker 3 including the work 2 (S8). Then, the camera control unit 25 causes the camera 14 to image the stocker 3 (S9).
  • the arrangement state of another work 2 after the work 2 is gripped by the robot arm 11 can be imaged. Therefore, it is possible to generate optimum work position information for the next gripping operation.
  • the robot arm control unit 23 starts the transfer of the work 2.
  • the image analysis unit 22 starts an image analysis process of the captured image data (S10), and generates work position information (first imaging result information) in the stocker 3 (S11).
  • the work position information is output to the first communication unit 30 and transmitted from the first communication unit 30 to the server 60 (S12).
  • the work position information may also be output to the first storage unit 40 and stored in the first storage unit 40.
  • the transfer of the work 2 is completed (S13).
  • the transfer of the work 2 may be completed substantially simultaneously with the completion of the transmission or before the completion of the transmission of the work position information.
  • the control unit 21 determines whether or not the mobile robot 1 moves to another point based on the transfer plan information of the work 2 transmitted from the information management control unit 62 provided in the server 60 (S14). If the mobile robot 1 does not move and continues the transfer operation at the same position (NO in S14), the process returns to step S2, and a series of processing is performed again.
  • the work position information received in step S2 may be obtained from the first storage unit 40 by the work position information generated by itself in step S11, or the work position information transmitted by itself in step S12 may be renewed by the server 60. May be received.
  • the plurality of mobile robots 1 transport the work 2 on the same stocker 3
  • the latest work position information in the stocker 3 may be received from the server 60.
  • the automatic guided vehicle control unit 24 moves the mobile robot 1 to a position before the stocker 3 on which the workpiece 2 to be transported next is placed. (Point), and a series of processing is performed again.
  • the mobile robot 1 moves to the work point and there is another mobile robot 1a working at the work point after the movement, the mobile robot 1 moves to the work position generated by the mobile robot 1a. Receive and use information. Therefore, after moving, the mobile robot 1 can recognize the position of the work 2 at the work point after the movement based on the received work position information. Therefore, immediately after moving to the new work point, the transfer of the work 2 can be started immediately without performing the imaging of the work 2 and generating the work position information by itself.
  • the transport work time can be reduced by the time required for imaging the work 2 and generating the work position information.
  • the effect of shortening the transfer operation time increases as the movement of the mobile robot 1 increases.
  • FIG. 6 is a block diagram illustrating a main configuration of the mobile robot 1 according to the present embodiment. A configuration example of the mobile robot 1 according to the present embodiment will be described with reference to FIG.
  • the mobile robot 1 according to the present embodiment is different from the mobile robot 1 according to the first embodiment in that the control unit 21 does not include the image analysis unit 22 but includes an imaging result information processing unit 22a instead.
  • the imaging result information processing unit 22a outputs the image data captured by the camera 14 to the first communication unit 30, and transmits the work position information transmitted from the server 60 to the robot arm control unit 23 and the automatic guided vehicle control unit 24. Output.
  • the analysis of the captured image data is not performed. Therefore, the captured image data captured by the camera 14 is not subjected to image analysis, and the captured image data itself is transmitted to the server 60.
  • the image analysis unit 64 included in the server 60 analyzes the received captured image data and generates work position information including the position information of the work 2.
  • the work position information generated by the server 60 is transmitted to the mobile robot 1 from the second communication unit 61 provided in the server 60. Note that the captured image data received by the server 60 and the work position information generated by the server 60 are stored in the second storage unit 63.
  • the imaging result information transmitted from the mobile robot 1 to the server 60 is the captured image data itself, and the imaging result information transmitted from the server 60 to the mobile robot 1 is generated from the captured image data. Work position information.
  • the mobile robot 1 can analyze the captured image data by itself and generate the imaging result information including the position information of the work 2.
  • the load on the control unit 21 can be reduced.
  • FIG. 7 is a flowchart illustrating an example of the flow of processing of the control unit 21 according to the present embodiment. An example of a processing flow of the control unit 21 will be described with reference to FIG.
  • the automatic guided vehicle control unit 24 moves the mobile robot 1 to a position (designated point) in front of the stocker 3 on which the work 2 to be transferred is placed (S21).
  • the first communication unit 30 of the manipulator 10 specifies the position of the stocker 3 including the work 2 to be transported, and requests the server 60 for work position information (S22).
  • the information management control unit 62 of the server 60 is generated based on work position information (first imaging result information) on the stocker 3 generated based on the captured image data of the manipulator 10 or captured image data of another manipulator 10a.
  • Work position information (second imaging result information) on the stocker 3 obtained is acquired from the second storage unit 63 and output to the second communication unit 61.
  • the second communication unit 61 transmits the work position information to the first communication unit 30 of the manipulator 10 (S41).
  • the first communication unit 30 of the manipulator 10 receives the work position information (S23). Next, the first communication unit 30 or the robot arm control unit 23 determines whether the current work position information of the stocker 3 has been received from the server 60 (S24).
  • the robot arm control unit 23 images the robot arm 11 with the stocker 3 including the work 2. (S25).
  • the camera control unit 25 causes the camera 14 to image the stocker 3 (S26).
  • the captured image data is transmitted to the server 60 by the first communication unit 30 (S27).
  • the server 60 receives the captured image data (S42), and performs image analysis processing by the image analysis unit 64 (S43). Thereby, the work position information based on the captured image data received by the server 60 is generated (S44).
  • control unit 21 does not need to include the image analysis unit 22, and the load on the control unit 21 can be reduced.
  • the manipulator 10 when the manipulator 10 cannot receive appropriate work position information to detect the position of the work 2, the manipulator 10 takes an image of the stocker 3 on which the work 2 is placed, and transmits the image to the server 60, thereby obtaining the work position. Information can be obtained.
  • the robot arm controller 23 controls the operation of the robot arm 11 based on the received work position information, and the work 2 is gripped. (S28).
  • the robot arm control unit 23 moves the robot arm 11 to a position for imaging the stocker 3 including the work 2 (S29). Then, the camera control unit 25 causes the stocker 3 to take an image of the camera 14 (S30).
  • the robot arm control unit 23 starts the transfer of the work 2. Further, during the transport, the first communication unit 30 transmits the captured image data to the server 60 (S31). At this time, the captured image data may also be output to the first storage unit 40 and stored in the first storage unit 40.
  • the transport of the work 2 is completed (S32).
  • the control unit 21 determines whether or not the mobile robot 1 moves to another point based on the transfer plan information of the work 2 transmitted by the information management control unit 62 provided in the server 60 (S33). When the mobile robot 1 does not move and continues the transport operation at the same point (NO in S33), the process returns to step S22, and a series of processes is performed again.
  • the automatic guided vehicle control unit 24 moves the mobile robot 1 in front of the stocker 3 on which the workpiece 2 to be transported next is placed (another location). (S21), and a series of processing is performed again.
  • control block of the control unit 21 may be realized by a logic circuit (hardware) formed on an integrated circuit (IC chip) or the like, or may be realized by software.
  • the control unit 21 includes a computer that executes instructions of a program that is software for realizing each function.
  • the computer includes, for example, one or more processors and a computer-readable recording medium storing the program. Then, in the computer, the object of the present disclosure is achieved by the processor reading the program from the recording medium and executing the program.
  • the processor for example, a CPU (Central Processing Unit) can be used.
  • the recording medium include "temporary tangible media" such as ROM (Read Only Memory), tapes, disks, cards, semiconductor memories, and programmable logic circuits. Further, a RAM (Random Access Memory) for expanding the above program may be further provided.
  • the program may be supplied to the computer via an arbitrary transmission medium (a communication network, a broadcast wave, or the like) capable of transmitting the program.
  • a transmission medium a communication network, a broadcast wave, or the like
  • one embodiment of the present disclosure can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • a mobile manipulator is a mobile manipulator mounted on an automatic guided vehicle, a robot arm that performs a gripping operation on an object, an imaging unit provided on the robot arm, The imaging result information based on the imaging result by the imaging unit is transmitted to an external device by communication, the imaging result information stored in the external device is received from the external device, and the robot is configured based on the imaging result information.
  • a robot arm control unit for controlling the operation of the arm.
  • the imaging result information can be shared among a plurality of mobile manipulators. Therefore, when the mobile manipulator moves to the work point and there is another mobile manipulator working at the work point after the movement, the imaging result information generated by the another mobile manipulator is received and used. it can. Therefore, the mobile manipulator does not need to image the target object and generate the imaging result information by itself in order to detect the position of the target object.
  • the imaging result information may be position information of a target which is an analysis result of the imaging image data (imaging result) imaged by the imaging unit, or the imaging image data itself.
  • the external device may be a server described below or another mobile manipulator.
  • a specific mobile manipulator may have a server function, and the imaging result information may be mutually transmitted and received between a plurality of mobile manipulators.
  • the control unit may include an image analysis unit that analyzes image data captured by the imaging unit and calculates position information of the object as the imaging result information. According to the above configuration, the mobile manipulator can calculate the position information of the target object from the captured image data and control the gripping operation by the robot arm based on the position information.
  • the control unit may transmit image data obtained by the imaging unit to the external device as the imaging result information. According to the above configuration, it is possible to cause a server or the like to perform a process of calculating position information of a target object from captured image data. Therefore, the control unit does not need to include the image analysis unit, and the load on the control unit can be reduced.
  • the imaging unit may perform imaging after the gripping operation by the robot arm is completed. According to the configuration, it is possible to image the arrangement state of another target object after the target object is gripped by the robot arm. Therefore, optimal imaging result information for the next gripping operation can be generated and shared with another mobile manipulator.
  • the mobile manipulator that has received the imaging result information does not need to perform a process of excluding information on the previously transported object from the imaging result information. Therefore, processing for controlling the operation of the robot arm from the imaging result information can be simplified.
  • the control unit acquires the imaging result information corresponding to a point at which the gripping operation is performed from the external device before the robot arm performs the gripping operation, and acquires the imaging result information of the target object based on the imaging result information.
  • the gripping operation by the robot arm may be controlled by recognizing a position.
  • the position of the target at the point after the movement can be recognized from the received imaging result information. Therefore, it is possible to skip the step of capturing the target object and generating the imaging result information by itself, and immediately start transporting the target object. Therefore, it is possible to reduce the transport work time by the time required for imaging the target object and generating the imaging result information.
  • the control unit before performing the gripping operation of the robot arm, if the imaging result information could not be obtained from the external device, and causes the imaging unit to perform imaging, and the captured image data by the imaging unit And acquiring the position information of the object based on the position information and controlling the gripping operation by the robot arm based on the position information.
  • the control unit causes the imaging unit to perform imaging when the imaging result information acquired from the external device before the robot arm performs a gripping operation is information that cannot be used, and performs imaging by the imaging unit.
  • Position information of the object based on an image may be acquired, and the gripping operation by the robot arm may be controlled based on the position information.
  • the mobile manipulator acquires the position information of the target by itself and controls the gripping operation by the robot arm. it can.
  • the mobile manipulator may perform image analysis by itself, or transmit the captured image data to a server or the like, and analyze the analysis result from the server or the like. You may receive it.
  • a mobile robot includes any of the above-described mobile manipulators and the automatic guided vehicle. According to the above configuration, the mobile manipulator can be moved by the automatic guided vehicle.
  • the server transmits and receives the imaging result information to and from any of the mobile manipulators described above.
  • a mobile manipulator system includes any one of the mobile manipulators described above and the server. According to the above configuration, sharing of imaging result information among a plurality of mobile manipulators can be performed via the server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

ワーク搬送時間を短縮できる移動式マニピュレータを実現する。無人搬送車（５０）に載置される移動式マニピュレータであって、ロボットアーム（１１）と、撮像部（１４）と、撮像部（１４）による撮像結果に基づく撮像結果情報を外部装置（６０）との間で送受信し、前記撮像結果情報に基づいてロボットアーム（１１）の動作を制御する制御部（２１）と、を備える。

Description

移動式マニピュレータ、移動ロボット、サーバ、および移動式マニピュレータシステム
　本開示は、ワークを搬送するための移動式マニピュレータ、移動ロボット、サーバ、および移動式マニピュレータシステムに関する。
　従来、ワークをロボットアームにより取り出し、搬送するためのマニピュレータが知られている。また、マニピュレータの作業範囲を拡大させるため、自動搬送車等にマニピュレータを積載し、移動しながらワークを搬送できる移動式マニピュレータの需要が高まってきている。
　特許文献１には、ストッカに配置されたワークの配置状態を検出する３次元計測ユニットを備え、上記３次元計測ユニットは、上記ワークを取り出すワーク取出動作がロボットアームにより行われている間に、他のストッカに配置されたワークの配置状態を検出するマニピュレータが開示されている。
　このように、上記マニピュレータは、上記ワーク取出動作と並行して、ワークの配置状態の検出を行うことで、複数のストッカからワークを順次取り出す一連のワーク取出工程に要する時間を短縮する。
日本国公開特許公報「特開２０１３－８６１８４号公報」
　しかしながら、上述のような従来技術は、上記マニピュレータから離れた位置にあるストッカに配置されたワークの配置状態を検出することはできない。そのため、上記マニピュレータが移動した場合、新たにワークの配置状態を検出しなければならない。また、その間は上記マニピュレータによるワーク取出動作を停止しなければならない。そのため、上記マニピュレータの移動回数が多くなるほど、ワークの配置状態を検出するための時間が増大する。
　本開示の一態様は、ワーク取出動作およびワークの配置状態の検出を並行して行うことで、ワーク搬送時間を短縮できる移動式マニピュレータを実現することを目的とする。
　上記の課題を解決するために、本開示の一態様に係る移動式マニピュレータは、無人搬送車に載置される移動式マニピュレータであって、対象物に対する把持動作を行うロボットアームと、前記ロボットアームに設けられた撮像部と、前記撮像部による撮像結果に基づく撮像結果情報を、通信によって外部装置に送信するとともに、前記外部装置から、該外部装置に記憶されている撮像結果情報を受信し、前記撮像結果情報に基づいて前記ロボットアームの動作を制御するロボットアーム制御部と、を備える。
　本開示の一態様によれば、ワーク取出動作およびワークの配置状態の検出を並行して行うことで、ワーク搬送時間を短縮できる移動式マニピュレータを実現することができる。
実施形態１に係る移動ロボットおよび移動式マニピュレータシステムを模式的に示す図である。 実施形態１に係る移動ロボットの要部構成を示すブロック図である。 実施形態１に係る移動ロボットの動作の一例を模式的に示す図である。 参考例に係る移動ロボットの動作の一例を模式的に示す図である。 実施形態１に係る制御部の処理の流れの一例を示すフローチャートである。 実施形態２に係る移動ロボットの要部構成を示すブロック図である。 実施形態２に係る制御部の処理の流れの一例を示すフローチャートである。
　〔実施形態１〕
　以下、本発明の一側面に係る実施形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。
　§１　適用例
　図１は、本実施形態に係る移動ロボット１および移動式マニピュレータシステムの一例を模式的に例示する。図２は、本実施形態に係る移動ロボットの要部構成を例示するブロック図である。図３および図４はそれぞれ、本実施形態に係る移動ロボット１・１ａまたは本実施形態の参考例に係る移動ロボット１０１・１０１ａの動作の一例を模式的に示す図である。はじめに、図１～図４を用いて、移動ロボット１の適用例の概要を説明する。
　図１および図２に示すように、移動ロボット１は、ワーク（対象物）２を搬送するための装置であり、移動可能に構成される。移動ロボット１は、マニピュレータ（移動式マニピュレータ）１０および無人搬送車５０を備える。マニピュレータ１０は、ロボットアーム１１および筐体部１５を備える。
　ロボットアーム１１は、ワーク２に対する把持動作を行う部材である。ロボットアーム１１の一端は、ワーク２を把持するためのワーク把持部１３と、カメラ（撮像部）１４とを備える。筐体部１５は、後述する制御装置２０および第１通信部３０を備える。
　移動ロボット１ａも、移動ロボット１と同様に、マニピュレータ１０ａおよび無人搬送車を備える。マニピュレータ１０ａは、ロボットアームの一端にワーク把持部と、カメラ１４ａを備える。
　制御装置２０は、制御部２１および第１記憶部４０を備える。制御部２１は、画像解析部２２、ロボットアーム制御部２３、無人搬送車制御部２４、およびカメラ制御部２５を備える。画像解析部２２は、カメラ１４により撮像された撮像画像データ（撮像結果）を画像解析する。ロボットアーム制御部２３は、受信した撮像結果情報に基づいてロボットアーム１１の動作を制御する。
　第１通信部３０は、カメラ１４により撮像された撮像画像データ、または、当該撮像画像データを画像解析部２２によって解析した結果を、撮像結果情報としてサーバ（外部装置）６０に送信する。また、第１通信部３０は、サーバ６０に記憶されている撮像結果情報を受信する。
　このように、移動ロボット１は、第１通信部３０により他の移動ロボット１ａ等およびサーバ６０と相互に通信を行う。これにより、複数の移動ロボット１およびサーバ６０を含む移動式マニピュレータシステムが形成される。
　図３および図４を用いて、移動ロボット１の動作の概要を説明する。図３に示すように、タイミング（期間）ｔ１において、移動ロボット１は搬送対象の複数のワーク（対象物）２が載置されているストッカ３の前まで移動する。
　次に、タイミングｔ２において、移動ロボット１はカメラ１４によってワーク２を撮像し、得られた撮像画像データから、画像解析部２２によりワーク位置情報（対象物の位置情報）を生成する（図３における「画像解析」）。上記撮像画像データまたは上記ワーク位置情報は、撮像結果情報として別の移動ロボット１ａと共有される。
　なお、図４に示す参考例に係る移動ロボット１０１・１０１ａは、上記撮像結果情報を別の移動ロボットと共有することができない点において、本実施形態に係る移動ロボット１・１ａと異なる。
　次に、タイミングｔ３において、移動ロボット１は上記ワーク位置情報に基づいてワーク２の配置状態を認識し、ワーク２を把持する。その後、移動ロボット１はストッカ３を撮像する。移動ロボット１は、ワーク２を搬送しながら、撮像した撮像画像データから新たなワーク位置情報を生成する。上記撮像画像データまたは上記ワーク位置情報は、撮像結果情報として別の移動ロボット１ａと共有される。
　タイミングｔ４からｔ６まで、移動ロボット１は同様にワーク２の搬送および画像解析を行う。また、移動ロボット１により生成されたワーク位置情報は、随時移動ロボット１ａと共有される。
　ここで、タイミングｔ７の始めまでに、移動ロボット１ａは移動ロボット１が搬送作業していたストッカ３の前まで移動する。タイミングｔ７からは、移動ロボット１に代わって移動ロボット１ａがワーク２の搬送を行う。
　タイミングｔ７において、移動ロボット１ａは、ワーク２の把持動作を行う前に、タイミングｔ６で移動ロボット１により生成された撮像結果情報を受信する。これにより、移動ロボット１ａは、ストッカ３におけるワーク２の配置状態を認識することができる。したがって、移動ロボット１ａは、ストッカ３を撮像してワーク位置情報を生成する必要なく、すぐにワーク２の搬送を開始することができる。
　タイミングｔ８以降、移動ロボット１ａは、所定の回数ワーク２を搬送すると共にストッカ３を撮像して画像解析を行い、撮像結果情報の共有を行う。
　一方、参考例に係る移動ロボット１０１・１０１ａによれば、タイミングｔ１１からｔ１６までは、移動ロボット１・１ａと同様にワーク２の搬送を行う。
　しかし、移動ロボット１０１は、生成した撮像結果情報を別の移動ロボット１０１ａと共有する機能を有さない。そのため、移動ロボット１０１ａは、タイミングｔ１７において、自らストッカ３を撮像し、画像解析を行う。タイミングｔ１７では、移動ロボット１０１ａはワーク２の搬送を行うことができず、動作を停止しなければならない。
　これに対して、本実施形態に係る移動ロボット１・１ａでは、図４のタイミングｔ１６での処理とタイミングｔ１７での処理とを、図３のタイミングｔ６で行うことができる。このように、本実施形態に係る移動ロボット１・１ａによれば、作業地点の移動に伴う、ストッカ３の撮像および画像解析に要する時間分（ｔ１７の期間分）、搬送作業時間を短縮できる。
　§２　構成例
　（ロボットアーム１１）
　ロボットアーム１１は、任意の方向に回転および屈曲可能に形成される関節部１２を備える。ロボットアーム１１が備える関節部１２は、１つでもよく、複数でもよい。また、ロボットアーム１１の一端は、筐体部１５に、回転および屈曲可能な状態により取り付けられるように形成されている。
　ワーク把持部１３は、ワーク２を真空吸着可能なバキュームパッドを備える。なお、ワーク把持部１３はこれに限られず、例えば、挟んで把持するための１対の爪部を備えていてもよい。
　カメラ１４は、撮像対象を３次元的に認識可能な固体撮像素子およびレンズを備える。上記固体撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられてもよい。このような構成によれば、搬送するワーク２の空間的位置を正確に把握することができる。なお、カメラ１４はこのような例に限られず、例えば、２次元画像の撮像のみ可能な固体撮像素子およびレンズを備えていてもよい。
　また、カメラ１４はロボットアーム１１の一端ではなく、移動ロボット１におけるいかなる位置に取り付けられていてもよい。例えば、筐体部１５または無人搬送車５０にカメラ１４が取り付けられていてもよい。このような構成によれば、ロボットアーム１１を動かしながら、カメラ１４は静止した状態により、高精度にワーク２等を撮像することができる。
　（制御装置２０）
　制御装置２０は、制御部２１および第１記憶部４０を備える。制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、各構成要素を制御する。第１記憶部４０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部２１で実行される各種プログラム並びに、他のマニピュレータと共有する画像データおよび撮像結果情報等を記憶する。
　画像解析部２２は、カメラ１４が撮像した撮像画像データを取得し、当該撮像画像データを解析する。画像解析部２２は、まず、上記撮像画像データに搬送対象であるワーク２が存在するか否かの判定を行う。ワーク２が存在すると判定した場合、画像解析部２２はワーク位置情報を生成する。このような構成によれば、移動ロボット１は、自ら撮像した撮像画像データから、ワーク位置情報を生成することができる。
　画像解析部２２が生成した撮像結果情報は、第１通信部３０および第１記憶部４０に出力されてもよい。また、上記撮像結果情報は、ロボットアーム制御部２３および無人搬送車制御部２４に取得されてもよい。
　ロボットアーム制御部２３は、ロボットアーム１１の動作を制御する。例えば、上記撮像結果情報等に基づいて、ロボットアーム１１の動作を制御しワーク２を把持および搬送したり、ロボットアーム１１が備えるカメラ１４の位置および方向を調整したりする。
　無人搬送車制御部２４は、無人搬送車５０の動作を制御し、移動ロボット１を所定の地点に移動させる。また、無人搬送車制御部２４は、上記撮像結果情報等に基づいて無人搬送車５０の動作を制御し、移動ロボット１の位置を微調整してもよい。また、後述するサーバ６０が備える情報管理制御部６２から送信されるストッカ３の位置情報等によって、移動ロボット１を搬送対象のワーク２が載置されているストッカ３の前まで移動させる。
　カメラ制御部２５は、カメラ１４の撮像動作を制御する。
　（第１通信部３０）
　第１通信部３０は、サーバ６０等との通信を行う。第１通信部３０は、ケーブルなどを利用した有線通信を行ってもよいし、無線通信を行ってもよい。また、第１通信部３０は、別の移動ロボット１ａが備える第１通信部と相互に通信を行ってもよい。
　（無人搬送車５０）
　無人搬送車５０は、ホイール５１を備える。ホイール５１の動作が無人搬送車制御部２４により制御されることで、無人搬送車５０は、任意の地点に移動することができる。そのため、無人搬送車５０に載置されるマニピュレータ１０は、ロボットアーム１１が届かない距離にある、離れた位置にワーク２を搬送することができる。また、マニピュレータ１０が作業する地点を適宜変更することができる。
　なお、マニピュレータ１０が移動ロボット１として移動可能に構成されるために載置されるのは、無人搬送車５０に限られない。例えば、飛行可能な無人航空機（ドローン）であってもよいし、手動により移動される台車等であってもよい。
　（サーバ６０）
　サーバ６０は、第２通信部６１、情報管理制御部６２および第２記憶部６３を備える。情報管理制御部６２は、移動ロボット１の状態変化に応じた第２記憶部６３への書き込み制御（移動ロボット１の移動に応じてデータベースを更新する等）、および、第２通信部６１を介した通信制御（移動ロボット１の移動に応じた情報送信等）を行う。
　サーバ６０は、例えば、第２通信部６１により移動ロボット１が生成した撮像結果情報を受信し、当該撮像結果情報を第２記憶部６３に記憶する。当該撮像結果情報は、別の移動ロボット１ａ等に随時送信される。これにより、上記撮像結果情報を複数の移動ロボット１間で共有させることができる。
　このように、複数の移動ロボット１と、サーバ６０とを含む移動式マニピュレータシステムが形成されることで、移動ロボット１の動作が円滑に制御されることができる。
　§３　動作例
　図５は、本実施形態に係る制御部２１の処理の流れの一例を示すフローチャートである。図５を用いて、制御部２１の処理の流れの一例について説明する。
　まず、無人搬送車制御部２４は、移動ロボット１を搬送対象となるワーク２が載置されているストッカ３の前（指定地点）まで移動させる（Ｓ１）。
　第１通信部３０は、搬送対象のワーク２を含むストッカ３の位置等を指定して、別のマニピュレータ１０ａによって生成されたストッカ３に関する撮像結果情報（第２撮像結果情報）をサーバ６０から取得する。次に、第１通信部３０またはロボットアーム制御部２３は、現在のストッカ３の撮像結果情報をサーバ６０から受信できるか否かを判定する（Ｓ２）。本動作例において、第１通信部３０とサーバ６０との間で送受信される撮像結果情報は、画像解析部２２によって撮像画像データから生成されるワーク位置情報である。
　ワーク位置情報が受信できなかった場合、または受信したワーク位置情報が利用できない情報である場合（Ｓ２でＮＯ）、ロボットアーム制御部２３は、ロボットアーム１１を、ワーク２を含むストッカ３を撮像するための位置へ移動させる（Ｓ３）。
　ワーク位置情報が受信できない場合としては、搬送対象のワーク２を含む撮像結果情報が存在しない場合が考えられる。
　受信したワーク位置情報が利用できない情報である場合としては、例えば、対象のワーク２が、受信したワーク位置情報が示す位置に存在しない場合が考えられる。例えば、直近に生成されたストッカ３のワーク位置情報よりも後に、ストッカ３上のワーク２の配置が変更される場合がある。ロボットアーム制御部２３は、ロボットアーム１１によってワーク位置情報が示すワーク２を掴むことができなかった場合、受信したワーク位置情報が利用できない情報であると判定する。
　そして、カメラ制御部２５は、カメラ１４にストッカ３を撮像させる（Ｓ４）。画像解析部２２は、撮像された撮像画像データの画像解析処理を行い（Ｓ５）、ストッカ３におけるワーク位置情報を生成する（Ｓ６）。
　このように、マニピュレータ１０は、ワーク２の位置を検出するために適切なワーク位置情報が受信できない場合でも、自らワーク位置情報を生成することができる。
　次に、サーバ６０から受信したワーク位置情報に基づいて（Ｓ２でＹＥＳ）、またはステップＳ６において画像解析部２２により生成されたワーク位置情報に基づいて、ロボットアーム制御部２３がロボットアーム１１の動作を制御し、ワーク２の把持動作を行う（Ｓ７）。
　ここで、ワーク２が把持された後に、ロボットアーム制御部２３は、ロボットアーム１１を、ワーク２を含むストッカ３を撮像するための位置へ移動させる（Ｓ８）。そして、カメラ制御部２５は、カメラ１４にストッカ３を撮像させる（Ｓ９）。
　このような構成によれば、ロボットアーム１１によってワーク２が把持された後における、他のワーク２の配置状態を撮像することができる。そのため、次の把持動作のために最適なワーク位置情報を生成することができる。
　次に、ロボットアーム制御部２３は、ワーク２の搬送を開始する。また、当該搬送開始と略同時に、画像解析部２２は、撮像された画像データの画像解析処理を開始し（Ｓ１０）、ストッカ３におけるワーク位置情報（第１撮像結果情報）を生成する（Ｓ１１）。当該ワーク位置情報は、第１通信部３０に出力され、第１通信部３０からサーバ６０に送信される（Ｓ１２）。このとき、上記ワーク位置情報は、第１記憶部４０にも出力され、第１記憶部４０に記憶されてもよい。
　上記ワーク位置情報の送信完了後、ワーク２の搬送が完了する（Ｓ１３）。なお、上記送信完了と略同時、または上記ワーク位置情報の送信完了より前に、ワーク２の搬送が完了してもよい。次に、制御部２１は、サーバ６０が備える情報管理制御部６２から送信されるワーク２の搬送計画情報等により、移動ロボット１が別地点に移動するか否かを判定する（Ｓ１４）。移動ロボット１が移動せず、同じ位置で搬送作業を継続する場合（Ｓ１４でＮＯ）、ステップＳ２に戻り、改めて一連の処理が行われる。
　このとき、ステップＳ２におけるワーク位置情報の受信は、ステップＳ１１で自ら生成したワーク位置情報を第１記憶部４０から取得してもよいし、ステップＳ１２で自ら送信したワーク位置情報を、改めてサーバ６０から受信してもよい。また、複数の移動ロボット１により同じストッカ３上のワーク２を搬送する場合、ストッカ３における最新のワーク位置情報を、サーバ６０から受信してもよい。
　一方、移動ロボット１が別地点に移動する場合（Ｓ１４でＹＥＳ）、無人搬送車制御部２４は、移動ロボット１を次の搬送対象となるワーク２が載置されているストッカ３の前（別地点）まで移動させ、改めて一連の処理が行われる。
　以上のように、移動ロボット１が作業地点を移動したときに、当該移動後の作業地点で作業していた別の移動ロボット１ａがいた場合、移動ロボット１は、移動ロボット１ａが生成したワーク位置情報を受信し利用できる。したがって、移動ロボット１は、移動した後に、移動後の作業地点におけるワーク２の位置について、受信したワーク位置情報により認識することができる。そのため、新しい作業地点に移動した直後でも、自らワーク２の撮像およびワーク位置情報の生成を行うことなく、すぐにワーク２の搬送を開始できる。
　したがって、ワーク２の撮像およびワーク位置情報の生成に要する時間分、搬送作業時間を短縮できる。このような搬送作業時間の短縮効果は、移動ロボット１の移動が頻繁になるほど大きくなる。
　〔実施形態２〕
　本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　§１　構成例
　図６は、本実施形態に係る移動ロボット１の要部構成を例示するブロック図である。図６を用いて、本実施形態に係る移動ロボット１の構成例について説明する。
　本実施形態に係る移動ロボット１は、制御部２１が画像解析部２２を備えず、代わりに撮像結果情報処理部２２ａを備える点において、実施形態１に係る移動ロボット１と異なる。
　撮像結果情報処理部２２ａは、カメラ１４により撮像された撮像画像データを第１通信部３０に出力し、サーバ６０から送信されたワーク位置情報をロボットアーム制御部２３および無人搬送車制御部２４に出力する。しかし、画像解析部２２のように、撮像画像データの解析は行わない。したがって、カメラ１４が撮像した撮像画像データは、画像解析が行われず、当該撮像画像データ自体がサーバ６０に送信される。
　この場合、サーバ６０が備える画像解析部６４は、受信した撮像画像データの解析を行い、ワーク２の位置情報を含むワーク位置情報を生成する。サーバ６０により生成されたワーク位置情報は、サーバ６０が備える第２通信部６１から移動ロボット１に送信される。なお、サーバ６０が受信した撮像画像データおよびサーバ６０が生成したワーク位置情報は、第２記憶部６３に記憶される。
　すなわち、本実施形態において、移動ロボット１からサーバ６０に送信される撮像結果情報は撮像画像データ自体であり、サーバ６０から移動ロボット１に送信される撮像結果情報は、当該撮像画像データから生成されるワーク位置情報である。
　制御部２１が画像解析部２２を備える構成によれば、移動ロボット１が自ら撮像画像データを解析し、ワーク２の位置情報を含む撮像結果情報を生成できる。一方、制御部２１が画像解析部２２を備えない構成によれば、制御部２１にかかる負荷を低減することができる。
　§２　動作例
　図７は、本実施形態に係る制御部２１の処理の流れの一例を示すフローチャートである。図７を用いて、制御部２１の処理の流れの一例について説明する。
　無人搬送車制御部２４は、移動ロボット１を搬送対象となるワーク２が載置されているストッカ３の前（指定地点）まで移動させる（Ｓ２１）。マニピュレータ１０の第１通信部３０は、搬送対象のワーク２を含むストッカ３の位置等を指定して、サーバ６０にワーク位置情報を要求する（Ｓ２２）。
　サーバ６０の情報管理制御部６２は、当該マニピュレータ１０の撮像画像データに基づいて生成されたストッカ３に関するワーク位置情報（第１撮像結果情報）または別のマニピュレータ１０ａの撮像画像データに基づいて生成されたストッカ３に関するワーク位置情報（第２撮像結果情報）を、第２記憶部６３から取得し、第２通信部６１に出力する。第２通信部６１は、マニピュレータ１０の第１通信部３０に、ワーク位置情報を送信する（Ｓ４１）。
　マニピュレータ１０の第１通信部３０は、ワーク位置情報を受信する（Ｓ２３）。次に、第１通信部３０またはロボットアーム制御部２３は、サーバ６０から、現在のストッカ３のワーク位置情報を受信できたか否かを判定する（Ｓ２４）。
　ワーク位置情報が受信できなかった場合、または受信したワーク位置情報が利用できない情報である場合（Ｓ２４でＮＯ）、ロボットアーム制御部２３は、ロボットアーム１１を、ワーク２を含むストッカ３を撮像するための位置へ移動させる（Ｓ２５）。
　次に、カメラ制御部２５は、カメラ１４にストッカ３を撮像させる（Ｓ２６）。撮像された撮像画像データは、第１通信部３０によりサーバ６０に送信される（Ｓ２７）。
　次に、サーバ６０は、撮像画像データを受信し（Ｓ４２）、画像解析部６４によって画像解析処理を行う（Ｓ４３）。これにより、サーバ６０が受信した撮像画像データに基づくワーク位置情報が生成される（Ｓ４４）。
　このような構成によれば、撮像画像データからワーク位置情報を算出する処理を、サーバ６０に行わせることができる。そのため、制御部２１が画像解析部２２を備える必要がなく、制御部２１にかかる負荷を低減することができる。
　このように、マニピュレータ１０は、ワーク２の位置を検出するために適切なワーク位置情報が受信できない場合、ワーク２が載置されたストッカ３を撮像し、サーバ６０に送信することで、ワーク位置情報を取得することができる。
　次に、サーバ６０からワーク位置情報を受信したら（Ｓ２４でＹＥＳ）、受信したワーク位置情報に基づいて、ロボットアーム制御部２３がロボットアーム１１の動作を制御し、ワーク２の把持動作が行われる（Ｓ２８）。
　ここで、ワーク２が把持された後に、ロボットアーム制御部２３は、ロボットアーム１１を、ワーク２を含むストッカ３を撮像するための位置へ移動させる（Ｓ２９）。そして、カメラ制御部２５は、カメラ１４にストッカ３が撮像させる（Ｓ３０）。
　次に、ロボットアーム制御部２３は、ワーク２の搬送を開始する。また、当該搬送の間に、第１通信部３０は、撮像された撮像画像データをサーバ６０に送信する（Ｓ３１）。このとき、上記撮像画像データは、第１記憶部４０にも出力され、第１記憶部４０に記憶されてもよい。
　上記撮像画像データの送信完了後または上記送信完了と略同時に、ワーク２の搬送が完了する（Ｓ３２）。次に、制御部２１は、サーバ６０が備える情報管理制御部６２により送信されるワーク２の搬送計画情報等により、移動ロボット１が別地点に移動するか否かを判定する（Ｓ３３）。移動ロボット１が移動せず、同じ地点で搬送作業を継続する場合（Ｓ３３でＮＯ）、ステップＳ２２に戻り、改めて一連の処理が行われる。
　一方、移動ロボット１が別地点に移動する場合（Ｓ３３でＹＥＳ）、無人搬送車制御部２４は、移動ロボット１を次の搬送対象となるワーク２が載置されているストッカ３の前（別地点）まで移動させ（Ｓ２１）、改めて一連の処理が行われる。
　〔ソフトウェアによる実現例〕
　制御部２１の制御ブロック（特に画像解析部２２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、制御部２１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本開示の一態様に係る移動式マニピュレータは、無人搬送車に載置される移動式マニピュレータであって、対象物に対する把持動作を行うロボットアームと、前記ロボットアームに設けられた撮像部と、前記撮像部による撮像結果に基づく撮像結果情報を、通信によって外部装置に送信するとともに、前記外部装置から、該外部装置に記憶されている撮像結果情報を受信し、前記撮像結果情報に基づいて前記ロボットアームの動作を制御するロボットアーム制御部と、を備える。
　上記の構成によれば、複数の移動式マニピュレータの間で撮像結果情報を共有することができる。そのため、移動式マニピュレータが作業地点を移動したときに、当該移動後の作業地点で作業していた別の移動式マニピュレータがいた場合、当該別の移動式マニピュレータが生成した撮像結果情報を受信し利用できる。そのため、移動式マニピュレータは、対象物の位置を検出するために、自ら対象物の撮像および撮像結果情報の生成を行う必要がない。
　なお、上記撮像結果情報は、撮像部により撮像された撮像画像データ（撮像結果）の解析結果である対象物の位置情報でもよいし、上記撮像画像データそのものでもよい。また、上記外部装置は、後述するサーバでもよいし、他の移動式マニピュレータでもよい。特定の移動式マニピュレータがサーバ機能を有していてもよいし、複数の移動式マニピュレータの間で上記撮像結果情報を相互に送受信してもよい。
　前記制御部は、前記撮像部による撮像画像データを解析し、前記対象物の位置情報を前記撮像結果情報として算出する画像解析部を備えていてもよい。上記の構成によれば、移動式マニピュレータは、自ら撮像画像データから対象物の位置情報を算出し、当該位置情報に基づいてロボットアームによる把持動作を制御することができる。
　前記制御部は、前記撮像部による撮像画像データを前記撮像結果情報として前記外部装置に送信してもよい。上記の構成によれば、撮像画像データから対象物の位置情報を算出する処理を、サーバ等に行わせることができる。そのため、制御部が画像解析部を備える必要がなく、制御部にかかる負荷を低減することができる。
　前記撮像部は、前記ロボットアームによる前記把持動作が完了した後に撮像を行ってもよい。上記の構成によれば、ロボットアームによって対象物が把持された後における、他の対象物の配置状態を撮像することができる。そのため、次の把持動作のために最適な撮像結果情報を生成し、他の移動式マニピュレータと共有することができる。
　換言すれば、撮像結果情報を受信した移動式マニピュレータは、撮像結果情報から、前回搬送された対象物の情報を除外する処理を行う必要がない。そのため、撮像結果情報からロボットアーム動作を制御するための処理を簡略化できる。
　前記制御部は、前記ロボットアームが前記把持動作を行う前に、前記外部装置から、前記把持動作を行う地点に対応する前記撮像結果情報を取得し、該撮像結果情報に基づいて前記対象物の位置を認識して前記ロボットアームによる前記把持動作を制御してもよい。
　上記の構成によれば、移動式マニピュレータが移動した後に、移動後の地点における対象物の位置を、受信した撮像結果情報から認識することができる。そのため、自ら対象物の撮像および撮像結果情報の生成を行う工程をスキップして、すぐに対象物の搬送を開始できる。したがって、対象物の撮像および撮像結果情報の生成に要する時間分、搬送作業時間を短縮できる。
　前記制御部は、前記ロボットアームが把持動作を行う前に、前記外部装置から前記撮像結果情報を取得できなかった場合に、前記撮像部に撮像を行わせるとともに、前記撮像部による撮像画像データに基づく前記対象物の位置情報を取得し、前記位置情報に基づいて前記ロボットアームによる前記把持動作を制御してもよい。
　前記制御部は、前記ロボットアームが把持動作を行う前に前記外部装置から取得した前記撮像結果情報が利用できない情報であった場合に、前記撮像部に撮像を行わせるとともに、前記撮像部による撮像画像に基づく前記対象物の位置情報を取得し、前記位置情報に基づいて前記ロボットアームによる前記把持動作を制御してもよい。
　上記の構成によれば、対象物の位置を検出するために適切な撮像結果情報が存在しない場合には、移動式マニピュレータが自ら対象物の位置情報を取得して、ロボットアームによる把持動作を制御できる。なお、撮像画像データに基づく対象物の位置情報を取得するために、移動式マニピュレータが自ら画像解析を行ってもよいし、サーバ等に撮像画像データを送信して、当該サーバ等から解析結果を受信してもよい。
　また、本開示の一態様に係る移動ロボットは、上述の何れかの移動式マニピュレータと前記無人搬送車とを備える。上記の構成によれば、移動式マニピュレータを無人搬送車により移動させることができる。
　また、本開示の一態様に係るサーバは、上述の何れかの移動式マニピュレータとの間で前記撮像結果情報の送受信を行う。
　また、本開示の一態様に係る移動式マニピュレータシステムは、上述の何れかの移動式マニピュレータと、前記サーバとを備える。上記の構成によれば、複数の移動式マニピュレータ間での撮像結果情報の共有を、サーバを介して行うことができる。
　本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
　１、１ａ、１０１、１０１ａ　移動ロボット
　２　ワーク
　１０　マニピュレータ（移動式マニピュレータ）
　１１　ロボットアーム
　１３　ワーク把持部
　１４　カメラ（撮像部）
　２２、６４　画像解析部
　２３　ロボットアーム制御部
　２４　無人搬送車制御部
　３０、３０ａ　第１通信部
　４０　第１記憶部
　５０　無人搬送車
　６０　サーバ（外部装置）
　６１　第２通信部
　６３　第２記憶部

Claims (10)

  1. 　無人搬送車に載置される移動式マニピュレータであって、
    　対象物に対する把持動作を行うロボットアームと、
    　前記ロボットアームに設けられた撮像部と、
    　前記撮像部による撮像結果に基づく第１撮像結果情報を、通信によって外部装置に送信するとともに、前記外部装置から、別の移動式マニピュレータによる撮像結果に基づく第２撮像結果情報を受信する通信部と、
    　前記第１撮像結果情報または第２撮像結果情報に基づいて前記ロボットアームの動作を制御する制御部と、
    を備える移動式マニピュレータ。
  2. 　前記撮像部による撮像画像データを解析し、前記対象物の位置情報を前記第１撮像結果情報として得る画像解析部を備える請求項１に記載の移動式マニピュレータ。
  3. 　前記通信部は、前記撮像部による撮像画像データを前記第１撮像結果情報として前記外部装置に送信する請求項１に記載の移動式マニピュレータ。
  4. 　前記撮像部は、前記ロボットアームによる前記把持動作が完了した後に撮像を行う請求項１～３のいずれか１項に記載の移動式マニピュレータ。
  5. 　前記通信部は、前記ロボットアームが前記把持動作を行う前に、前記外部装置から、前記把持動作を行う地点に対応する前記第２撮像結果情報を取得し、
    　前記制御部は、該第２撮像結果情報に基づいて前記対象物の位置を認識して、前記ロボットアームによる前記把持動作を制御する請求項１～４のいずれか１項に記載の移動式マニピュレータ。
  6. 　前記制御部は、前記ロボットアームが把持動作を行う前に、前記外部装置から前記第２撮像結果情報を取得できなかった場合に、前記撮像部に撮像を行わせるとともに、前記撮像部による撮像画像データに基づいて前記ロボットアームによる前記把持動作を制御する請求項１～４のいずれか１項に記載の移動式マニピュレータ。
  7. 　前記制御部は、前記ロボットアームが把持動作を行う前に前記外部装置から取得した前記第２撮像結果情報が利用できない情報であった場合に、前記撮像部に撮像を行わせるとともに、前記撮像部による撮像画像データに基づいて前記ロボットアームによる前記把持動作を制御する請求項１～４のいずれか１項に記載の移動式マニピュレータ。
  8. 　請求項１～７の何れか１項に記載の移動式マニピュレータと前記無人搬送車とを備える移動ロボット。
  9. 　請求項１～７の何れか１項に記載の移動式マニピュレータとの間で前記第１撮像結果情報および前記第２撮像結果情報の送受信を行うサーバ。
  10. 　請求項１～７の何れか１項に記載の移動式マニピュレータと、
    　前記移動式マニピュレータとの間で前記第１撮像結果情報および前記第２撮像結果情報の送受信を行うサーバとを備える移動式マニピュレータシステム。
PCT/JP2019/009017 2018-09-07 2019-03-07 移動式マニピュレータ、移動ロボット、サーバ、および移動式マニピュレータシステム Ceased WO2020049765A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-168034 2018-09-07
JP2018168034A JP7059872B2 (ja) 2018-09-07 2018-09-07 移動式マニピュレータ、移動ロボット、サーバ、および移動式マニピュレータシステム

Publications (1)

Publication Number Publication Date
WO2020049765A1 true WO2020049765A1 (ja) 2020-03-12

Family

ID=69723023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009017 Ceased WO2020049765A1 (ja) 2018-09-07 2019-03-07 移動式マニピュレータ、移動ロボット、サーバ、および移動式マニピュレータシステム

Country Status (2)

Country Link
JP (1) JP7059872B2 (ja)
WO (1) WO2020049765A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228866A (ja) * 1991-05-14 1993-09-07 Canon Inc 視覚を用いた自動把持装置の制御装置
WO2013150598A1 (ja) * 2012-04-02 2013-10-10 株式会社安川電機 ロボットシステム及びロボット制御装置
JP2016147330A (ja) * 2015-02-10 2016-08-18 株式会社三次元メディア 物体認識に基づく制御装置
US20180043547A1 (en) * 2016-07-28 2018-02-15 X Development Llc Collaborative Inventory Monitoring
JP2018504333A (ja) * 2014-12-16 2018-02-15 アマゾン テクノロジーズ インコーポレイテッド 在庫システムにおけるロボットによるアイテム把持
JP2019025566A (ja) * 2017-07-27 2019-02-21 株式会社日立物流 ピッキングロボットおよびピッキングシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228866A (ja) * 1991-05-14 1993-09-07 Canon Inc 視覚を用いた自動把持装置の制御装置
WO2013150598A1 (ja) * 2012-04-02 2013-10-10 株式会社安川電機 ロボットシステム及びロボット制御装置
JP2018504333A (ja) * 2014-12-16 2018-02-15 アマゾン テクノロジーズ インコーポレイテッド 在庫システムにおけるロボットによるアイテム把持
JP2016147330A (ja) * 2015-02-10 2016-08-18 株式会社三次元メディア 物体認識に基づく制御装置
US20180043547A1 (en) * 2016-07-28 2018-02-15 X Development Llc Collaborative Inventory Monitoring
JP2019025566A (ja) * 2017-07-27 2019-02-21 株式会社日立物流 ピッキングロボットおよびピッキングシステム

Also Published As

Publication number Publication date
JP7059872B2 (ja) 2022-04-26
JP2020040147A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
CN103313921B (zh) 图像处理装置及图像处理系统
KR102249176B1 (ko) 엔드 디바이스, 엔드 디바이스를 제어하기 위한 에지 서버 및 클라우드 서버를 포함하는 3자간 통신 시스템, 및 그의 동작 방법
JP6958517B2 (ja) マニピュレータおよび移動ロボット
JP4226623B2 (ja) ワーク取り出し装置
JP4265088B2 (ja) ロボット装置及びその制御方法
CN108778637B (zh) 致动器控制系统、致动器控制方法及记录介质
CN112238441A (zh) 用于更换夹持器设备上的工具的系统
JP2013132742A (ja) 物体把持装置、物体把持装置の制御方法、およびプログラム
JP2017042859A (ja) ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
JP2019025566A (ja) ピッキングロボットおよびピッキングシステム
US20150343637A1 (en) Robot, robot system, and control method
JP2013086184A (ja) ワーク取出システム、ロボット装置および被加工物の製造方法
US20210197391A1 (en) Robot control device, robot control method, and robot control non-transitory computer readable medium
CN116408790A (zh) 机器人控制方法、装置、系统及存储介质
JP2016147330A (ja) 物体認識に基づく制御装置
CN115599092B (zh) 一种工件搬运控制方法、装置、设备及存储介质
JP2006224291A (ja) ロボットシステム
WO2020179507A1 (ja) 制御装置および位置合わせ装置
JP7059872B2 (ja) 移動式マニピュレータ、移動ロボット、サーバ、および移動式マニピュレータシステム
JP6838672B2 (ja) アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体
JP2022516913A (ja) エンドデバイス、エンドデバイスを制御するためのエッジサーバ、およびクラウドサーバを含む三者間通信システムとこの動作方法
CN111093007B (zh) 双足机器人的行走控制方法及装置、存储介质、终端
CN108326825B (zh) 检查系统、控制器、检查方法以及记录介质
JP6238629B2 (ja) 画像処理方法及び画像処理装置
KR20210057710A (ko) 엔드 디바이스, 엔드 디바이스를 제어하기 위한 에지 서버 및 클라우드 서버를 포함하는 3자간 통신 시스템, 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857794

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19857794

Country of ref document: EP

Kind code of ref document: A1