WO2019102789A1 - ロボットシステム及びそれを用いて物を作る方法 - Google Patents

ロボットシステム及びそれを用いて物を作る方法 Download PDF

Info

Publication number
WO2019102789A1
WO2019102789A1 PCT/JP2018/039944 JP2018039944W WO2019102789A1 WO 2019102789 A1 WO2019102789 A1 WO 2019102789A1 JP 2018039944 W JP2018039944 W JP 2018039944W WO 2019102789 A1 WO2019102789 A1 WO 2019102789A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
controller
operator
imaging data
work
Prior art date
Application number
PCT/JP2018/039944
Other languages
English (en)
French (fr)
Inventor
聡 日比野
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Priority to EP18880642.6A priority Critical patent/EP3715066A4/en
Priority to CN201880075405.8A priority patent/CN111432991B/zh
Priority to KR1020207012924A priority patent/KR102375802B1/ko
Priority to US16/766,362 priority patent/US11613022B2/en
Publication of WO2019102789A1 publication Critical patent/WO2019102789A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0075—Manipulators for painting or coating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/041—Cylindrical coordinate type
    • B25J9/042—Cylindrical coordinate type comprising an articulated arm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/046—Revolute coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Definitions

  • the present invention relates to a robot system and a method of making an object using the same.
  • robot application objects that are often the work targets that are blind spots in surveillance cameras.
  • Such robot application objects include, for example, ships, aircraft, bridges, large buildings, and the like.
  • since such robot application objects have a large number of work objects, it is necessary to move the robot to the vicinity of each work object. In such a case, at least position information of the work target is required.
  • the above prior art does not refer at all to the position information of the work object.
  • the present invention has been made to solve the above-mentioned problems, and it is an object of the robot application object which needs to move the robot application object having many work objects which become blind spots of the monitoring camera and the robot to the vicinity of each operation object.
  • An object of the present invention is to provide a robot system capable of supporting at least one and a method of producing an object using the robot system.
  • a robot system includes a robot having a robot body and a robot controller for controlling the operation of the robot body, an autonomous flight capable of autonomous flight, and ,
  • the unmanned aerial vehicle is configured to obtain at least one of imaging data of a work of the robot body and position information of a work target of the robot body and to transmit the same to the robot controller.
  • the robot controller is configured to receive at least one of the imaging data and the position information of the work target, and control an operation of the robot body using at least one of the imaging data and the position information of the work target. It is done.
  • the unmanned aerial vehicle acquires at least one of the imaging data of the operation of the robot main body and the position information of the operation target of the robot main body and transmits it to the robot controller, and the robot controller uses the imaging data
  • the robot controller displays an image of the work of the robot body on the display based on the imaging data, and the operator operates the robot controller via the robot controller.
  • the robot system is configured to control the motion of the robot body, the robot is displayed on the display by the operator by moving the unmanned air vehicle to a position suitable for imaging the work target of the robot application target The robot body can be operated while watching the video of the operation of the body.
  • the robot controller controls the operation of the robot body using this position information
  • the robot body By movably configuring, the robot controller can move the robot main body to the working position of the robot main body using the position information of the work target of the robot main body.
  • the robot system further includes a robot controller for an operator to operate the robot body, and a display for presenting an image of work of the robot body to the operator, and the unmanned air vehicle is And acquiring imaging data of the work of the robot body and transmitting the imaging data to the robot controller, the robot controller receives the imaging data, and the robot displays the robot based on the imaging data. It may be configured to display an image of work of the main body and to control an operation of the robot main body according to an operation of the robot operation device by the operator.
  • the operator can view the work of the robot body displayed on the display.
  • the robot body can be operated. Therefore, it can respond suitably to a robot application subject with many work objects used as a blind spot of surveillance cameras.
  • the unmanned aerial vehicle comprises an imaging device for imaging the work of the robot body, and an aircraft communication device for transmitting imaging data from the imaging device to the robot controller;
  • the robot communication device may be provided to receive the imaging data to be transmitted.
  • the robot further includes a moving device to which the robot body is attached, and a moving device controller for the operator to operate the moving device, and the moving device can move the robot body in the vertical direction and the horizontal direction. May be configured.
  • the robot body can be moved in the vertical direction and in the horizontal direction by the operator operating the moving device manipulator.
  • the work of the robot body can be suitably performed.
  • the robot body is configured to be able to travel, and the robot controller is configured to control the operation and travel of the robot body, and the robot controller is configured to operate the robot body of the robot controller by the operator. It may be configured to control the traveling of the robot body according to the operation related to traveling.
  • the robot main body can be made to travel to the work target position while the operator is looking at the position information of the work target of the robot main body displayed on the display.
  • the robot controller may be configured to control an operation of the robot body in accordance with a predetermined control program.
  • the robot body can be operated automatically.
  • the robot controller may be configured to specify a work target of the robot body using the unmanned air vehicle.
  • the robot body is configured to be capable of traveling, and the unmanned aerial vehicle is configured to acquire position information of a work target of the robot body and to transmit the position information to the robot controller, and the robot controller is configured to perform the work target
  • the robot main body may be made to travel to the work target position based on the position of the robot main body and the position information of the work target.
  • the robot body can automatically travel to the work target position.
  • the unmanned aerial vehicle is configured to obtain position information of the robot body and to transmit it to the robot controller, and the robot controller is configured to receive the position of the robot body and the position information of the operation target.
  • the robot body may be configured to travel to the work target position based on the movement.
  • position information of the robot body can be automatically acquired, and the robot body can automatically travel to the work target position.
  • the unmanned aerial vehicle is further configured to obtain positional information of an obstacle present on a route from the robot body to the work target and to transmit the positional information to the robot controller, and the robot controller receives the position information from the robot controller.
  • the robot body may be configured to travel to the work target position while avoiding the obstacle based on position information of the obstacle.
  • the robot body may be an articulated industrial robot arm.
  • the application object and the work object have versatility. Therefore, there is provided a robot arm robot system capable of suitably coping with at least one of a robot application object having many work objects that become blind spots of the monitoring camera and a robot application object that needs to move the robot to the vicinity of each work object. can do.
  • a method of producing an object using a robot system is a method of producing an object using a robot system, wherein the robot system comprises an operation of a robot main body and the robot main body.
  • a robot controller for controlling the robot, and an unmanned air vehicle capable of autonomous flight the method acquiring imaging data of the operation of the robot body with respect to the object by the Transmitting to the robot controller; and receiving, by the robot controller, the imaging data; and controlling the operation of the robot body using the imaging data.
  • the robot controller displays the image of the work of the robot body on the display based on the imaging data, and the operator controls the operation of the robot body via the robot controller using the robot operator.
  • the unmanned air vehicle is moved to a position suitable for imaging the work target of the robot application target object, and the robot main body while watching the image displaying the operation of the robot main body Can operate.
  • the robot system includes a robot operation unit for an operator to operate the robot body, a display for presenting an image of work of the robot body to the operator, and the operator to operate the unmanned air vehicle And a flying body operation device for operating the operation of the flight body operation device by the operator to obtain imaging data of the operation of the robot main body with respect to the object and to transmit it to the robot controller.
  • the robot controller receives the imaging data and controls the operation of the robot body using the imaging data, the robot controller causes the display to be displayed based on the imaging data.
  • the image of the work of the robot body on the object is displayed, and the robot is operated according to the operation of the robot controller by the operator.
  • Tsu bet may be to control the operation of the body.
  • the robot main body can be made to travel to the work target position while the operator is looking at the position information of the work target of the robot main body displayed on the display.
  • the robot body may be an articulated industrial robot arm, and the object may be any of a ship, a vehicle, an aircraft, a bridge, and a building.
  • the robot body is a multijoint industrial robot arm
  • the application object and the work object have versatility.
  • ships, vehicles, aircraft, bridges, and buildings are robot application objects for which there are many work objects to be blind spots of monitoring cameras or robot application objects that require the robot to be moved to the vicinity of each work object. . Therefore, the robot system has a particularly remarkable effect on these robot application objects.
  • a robot system capable of coping with at least one of a robot application target having many work targets which become blind spots of a monitoring camera and a robot application target which needs to move the robot to the vicinity of each work target Can provide a way to make things.
  • FIG. 1 is a schematic view showing an example of a hardware configuration of a robot system according to a first embodiment of the present invention.
  • FIG. 2 is a schematic view showing an application state of the robot system of FIG.
  • FIG. 3 is a block diagram showing a configuration example of a control system of the robot system of FIG.
  • FIG. 4 is a flow chart showing a method of using the robot system of FIG.
  • FIG. 5 is a schematic view showing an application state of a robot system according to a modification of Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing a configuration example of a control system of the robot system shown in FIG.
  • FIG. 7 is a schematic view showing an example of a hardware configuration of a robot system according to a second embodiment of the present invention.
  • FIG. 1 is a schematic view showing an example of a hardware configuration of a robot system according to a first embodiment of the present invention.
  • FIG. 3 is a block diagram showing a configuration example of a control system of
  • FIG. 8 is a block diagram showing a configuration example of a control system of the robot system of FIG.
  • FIG. 9 is a schematic view showing an application state of the robot system of FIG.
  • FIG. 10 is a front view schematically showing the configuration of the unit shelf of FIG.
  • FIG. 11 is a flowchart showing the operation (method of use) of the robot system of FIG.
  • FIG. 1 is a schematic view showing a configuration example of a robot system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic view showing an application state of the robot system of FIG.
  • a robot system 100 includes a robot 10 having a robot body 1 and a robot controller 3 for controlling the operation of the robot body 1, and an unmanned air vehicle 4 capable of autonomous flight.
  • the unmanned air vehicle 4 is configured to obtain imaging data of the work of the robot body 1 and to transmit it to the robot controller 3.
  • the robot controller 3 is configured to receive imaging data and control the operation of the robot main body 1 using the imaging data.
  • the robot operator 2 for the operator 9 (not shown in FIG. 1; refer to FIG. 5) to operate the robot body 1, and the operator 9 an image of the work of the robot body 1 And a monitor (display unit) 5 for presentation.
  • the unmanned aerial vehicle 4 is configured to acquire imaging data of the work of the robot main body 1 and to transmit it to the robot controller 3, and the robot controller 3 receives the imaging data and displays the display 5 based on the imaging data.
  • the image of the work of the robot body 1 is displayed on the screen, and the operation of the robot body 1 is controlled in accordance with the operation of the robot operation device 2 by the operator 9.
  • the robot system 100 includes a robot 10, a moving device 32 for moving the robot 10, an unmanned air vehicle 4, a robot operation device 2, a monitor (display device) 5, a flight object operation device 6, and a movement device operation device And an operation communication device 8.
  • the robot 10 includes a robot body 1 and a robot controller 3.
  • the robot body 1 is constituted by an articulated industrial robot arm.
  • the robot body 1 includes a base 15, an arm 13 supported by the base 15, a wrist 14 supported by the tip of the arm 13, and a hand 41 as an end effector mounted on the wrist 14. And.
  • the hand 41 here is configured by a paint gun.
  • the robot main body 1 is an articulated robot arm having a plurality of joints JT1 to JT6 as shown in FIG. 1, and is configured by sequentially connecting a plurality of links 11a to 11f. More specifically, in the first joint JT1, the base 15 and the base end of the first link 11a are rotatably connected around an axis extending in the vertical direction. In the second joint JT2, the distal end of the first link 11a and the proximal end of the second link 11b are rotatably connected around an axis extending in the horizontal direction. In the third joint JT3, the distal end of the second link 11b and the proximal end of the third link 11c are rotatably connected around an axis extending in the horizontal direction.
  • the distal end of the third link 11c and the proximal end of the fourth link 11d are rotatably connected around an axis extending in the longitudinal direction of the fourth link 11c.
  • the distal end portion of the fourth link 11d and the proximal end portion of the fifth link 11e are rotatably coupled around an axis orthogonal to the longitudinal direction of the link 11d.
  • the distal end portion of the fifth link 11e and the proximal end portion of the sixth link 11f are coupled so as to be torsionally rotatable.
  • a mechanical interface is provided at the tip of the sixth link 11f.
  • a hand 41 as an end effector corresponding to the work content of the robot arm 11 is detachably mounted on this mechanical interface.
  • the arm 13 of the robot arm 11 is formed by a link-joint combination comprising the first joint JT1, the first link 11a, the second joint JT2, the second link 11b, the third joint JT3, and the third link 11c. It is formed.
  • the joint of the link and the joint consisting of the fourth joint JT4, the fourth link 11d, the fifth joint JT5, the fifth link 11e, the sixth joint JT6, and the fourth link 11f described above makes the wrist portion of the robot arm 11 14 is formed.
  • the joints JT1 to JT6 are provided with a drive motor (not shown) as an example of an actuator that relatively rotates two members to which it is coupled.
  • the drive motor is, for example, a servomotor servo-controlled via a servo amplifier by a control signal transmitted from the robot controller 3.
  • the joints JT1 to JT6 are provided with a rotation angle sensor (not shown) for detecting the rotation angle of the drive motor and a current sensor (not shown) for detecting the current of the drive motor. There is.
  • the controller 3 includes, for example, a processor and a memory.
  • the controller 3 controls the operation of the robot main body 1 by the processor reading and executing a predetermined operation program stored in the memory.
  • the controller 3 includes, for example, a microcontroller, an MPU, a field programmable gate array (FPGA), a programmable logic controller (PLC), a logic circuit, and the like.
  • the controller 3 generates control signals for the arm 13 and the wrist 14 of the robot body 1 using the detection signal of the rotation angle sensor and the detection signal of the current sensor as a feedback signal, and the arm 13 and the wrist 14 Feedback control of the operation of Furthermore, the robot controller 3 controls the operation of the hand 41 of the robot body 1 according to the above-described predetermined operation program.
  • the robot 10 is attached to the moving device 32.
  • the moving device 32 is configured to be able to move the robot body 1 in the vertical direction and in the horizontal direction.
  • the moving device 32 has, for example, a base 51 installed on the installation surface.
  • a support 52 is erected on the base 51.
  • a movable body 53 is provided on the support column 52 so as to be movable in the vertical direction and in the horizontal direction by a moving mechanism 54 (not shown in FIG. 2, see FIG. 3).
  • the moving mechanism 54 is configured by, for example, a known two-axis moving mechanism.
  • the movable body 53 is formed of, for example, a horizontal bar-like frame.
  • the robot body 1 is installed at one end of the movable body 53.
  • the unmanned air vehicle 4 is made of, for example, a drone.
  • the unmanned air vehicle 4 includes, for example, a main body 21 and four rotary wings 20 provided on the main body 21.
  • the main body 21 is provided with a camera 22.
  • the unmanned air vehicle 4 has an operation mode and a self-sustaining flight mode, and autonomously flies without receiving an operation command from the aircraft controller 6, and receives an aircraft operation command from the aircraft controller 6, the operation Switch to the mode and fly according to the flight operation command.
  • the camera 22 is configured to be capable of changing its posture in two orthogonal planes, and has an autofocus function. The camera 22 is used to image the work of the robot 10.
  • an operation desk 29 is disposed.
  • the operation desk 29 is disposed at a place away from the application target of the robot 10.
  • a robot controller 2, a monitor (display unit) 5, a flying body controller 6, and a moving device controller 7 are disposed on the operation desk 29.
  • the operation desk 29 is provided with an operation communication device 8.
  • the robot controller 2 includes a joystick, a master robot, and the like, and outputs a robot operation command according to the operation.
  • the flying body controller 6 is provided with a flying body operation unit and a camera operation unit.
  • the flying body operation unit is constituted by a joystick, a control stick, etc., and outputs a flying body operation command according to the operation.
  • the camera operation unit is configured by an appropriate operation mechanism such as a push button, a dial, etc., and outputs a camera operation instruction according to the operation.
  • the moving device controller 7 is configured of a joystick or the like, and outputs a movement command according to the operation.
  • the robot 10 is applied to, for example, a boat 31.
  • the application target of the robot 10 is the ship 31
  • the work of the robot 10 (robot main body 1) is the distraction
  • the work target of the robot 10 (robot main 1) is the ship 31. It is a part to be worn.
  • the robot body 1 paints the side surface 31 a of the hull of the ship 31 with a paint gun as a hand 41 provided at the tip end.
  • the unmanned aerial vehicle 4 images the work of the robot main body 1 by the camera 22.
  • FIG. 3 is a block diagram showing a configuration example of a control system of the robot system of FIG.
  • the operation desk 29 includes a robot operator 2, a monitor 5, a flying body operator 6, a moving device operator 7, and an operation communication device 8.
  • the operation communication device 8 transmits the commands transmitted from the robot operator 2, the flying body controller 6, and the moving device operator 7 to the robot communication device 42 or the aircraft communication device 24. Further, the operation communication device 8 transmits a display control signal received from the robot communication device 42 to the monitor 5.
  • the monitor 5 displays an image according to the received display control signal.
  • the robot 10 includes a robot controller 3, a robot body 1, and a robot communication device 42.
  • the robot communication unit 42 transmits the display control signal transmitted from the robot controller 3 to the operation communication unit 8, and the robot operation command and the imaging data received from the operation communication unit 8 and the flying object communication unit 24. Transmit to robot controller 3.
  • the robot controller 3 includes a robot control unit 18 and a monitor control unit 19.
  • the robot control unit 18 controls the operation of the robot main body 1 in accordance with a robot operation command from the robot operation unit 2 received via the robot communication unit 42.
  • the monitor control unit 19 transmits a display control signal to the monitor 5 via the robot communication device 42, and causes the monitor 5 to display an image according to the display control signal.
  • the monitor control unit 19 receives imaging data from the camera control unit 26 via the robot communication unit 42, and causes the monitor 5 to display an image according to the imaging data.
  • the unmanned air vehicle 4 comprises a vehicle controller 23, a flight mechanism 27, a camera 22, and a vehicle communication device 24.
  • the flight mechanism 27 is a mechanism that causes the unmanned air vehicle 4 to fly in a desired direction, and includes a drive source of the rotary wing 20 and an angle adjustment mechanism of the rotary wing.
  • the airframe communication device 24 transmits the imaging data transmitted from the airframe controller 23 to the robot communication device 42, and transmits the operation command received from the airframe controller 6 to the airframe controller 23.
  • the flying body controller 23 includes a flight control unit 25 and a camera control unit 26.
  • the flight control unit 25 controls the flight mechanism 27 so that the unmanned air vehicle 4 performs a predetermined flight according to a predetermined program in the autonomous mode.
  • the unmanned flight vehicle 4 responds to the flight operation command according to the flight operation command. Control the flight mechanism 27 so as to make a flight.
  • the camera control unit 26 receives a camera operation instruction from the aircraft operator 6 via the aircraft communication device 24, the camera control unit 26 controls the operation (ON-OFF and attitude) of the camera 22 according to the camera operation instruction. In addition, the camera control unit 26 transmits imaging data captured by the camera 22 to the aircraft communication device 24.
  • the mobile device 32 includes a mobile controller 55, a mobile mechanism 54, and a mobile device communicator 56.
  • the mobile device communication unit 56 transmits the movement command received from the operation communication unit 8 to the movement controller 55.
  • the movement controller 55 controls the movement mechanism 54 to move the movable body 53 in response to the movement command.
  • Communication between the operation communication device 8 and the robot communication device 42, the airframe communication device 24, and the mobile device communication device 56, and the communication between the robot communication device 42 and the airframe communication device 24 are performed here. Although it is wireless, it may be wired.
  • the operation (method of use) of the robot system 100 is, in other words, a method of making an object using the robot system 100.
  • FIG. 2 the case where the robot body 1 coats the hull of the ship 31 will be described as an example.
  • FIG. 4 is a flow chart showing a method of using the robot system 100 of FIG.
  • Step S1 the operator 9 operates the aircraft control portion of the aircraft operator 6 so that the unmanned aircraft 4 flies to a desired position while viewing the unmanned aircraft 4.
  • the flight control unit 25 of the aircraft controller 23 controls the flight mechanism 27 to fly the unmanned aircraft 4 in accordance with the operation of the aircraft operation unit.
  • the unmanned air vehicle 4 is located at a desired position, the operator 9 releases the hand from the aircraft operation unit. Then, the unmanned air vehicle 4 shifts to the autonomous mode, and flies so as to stay at that position. Meanwhile, during this time, imaging data captured by the camera of the unmanned aerial vehicle 4 is transmitted from the camera control unit 26 of the flying object controller 23 to the monitor control unit 19 of the robot controller 3 and the monitor control unit 19 converts the imaging data into that imaging data. The corresponding image is displayed on the monitor 5.
  • the operator 9 looks at the monitor 5 and the camera of the flying object manipulator 6 so that the work target of the robot body 1 (here, the desired painted part of the side 31a of the hull of the ship 31) is displayed on the monitor 5. Operate the operation unit. Then, the camera control unit 26 of the flying object controller 23 changes the posture of the camera 22 in accordance with the operation, whereby the work target (painted portion) of the robot main body 1 is displayed on the monitor 5.
  • the operator 9 operates the moving device operator 7 so that the robot body 1 approaches the work target of the robot body 1 while looking at the monitor 5. Then, the movement controller 55 of the movement device 32 controls the movement mechanism 54 to bring the robot body 1 closer to the work target of the robot body 1. Next, the operator 9 operates the robot operation device 2 to start painting on a desired painting site on the side surface 31 a of the hull of the ship 31 by the painting gun of the robot body 1. On the other hand, the camera 22 of the unmanned air vehicle 4 captures an image of the painting operation and transmits the captured data to the camera control unit 26. The camera control unit 26 transmits the imaging data to the monitor control unit 19 of the robot controller 3 (step S2).
  • the monitor control unit 19 displays an image of the imaged painting work, which is an image corresponding to the imaging data, on the monitor 5 (step S3).
  • the operator 9 operates the robot operation device 2 to perform painting while viewing the image of the painting operation displayed on the monitor 5.
  • the operator 9 operates the moving device manipulator 7 so that the robot body 1 moves to the next work target (the painting area next to the side surface 31a of the hull of the ship 31).
  • the movement controller 55 of the movement device 32 controls the movement mechanism 54 to bring the robot body 1 closer to the next work target of the robot body 1.
  • the operator 9 operates the robot operation device 2 while looking at the image on the monitor 5, and the next work target (the next painted part of the side 31a of the hull of the ship 31) by the paint gun of the robot main body 1 Painting (step S4).
  • steps S2 to S4 are repeated, and when the scheduled painting work is finished, the painting of the hull of the ship 31 is finished.
  • the unmanned aerial vehicle 4 acquires imaging data of the work of the robot main body 1 and transmits it to the robot controller 3, and the robot controller 3 is based on the imaging data.
  • the image of the robot body 1 work is shown on the display (monitor 5), and the operator 9 controls the operation of the robot body 1 via the robot controller 3 with the robot operator 2.
  • the robot 9 is displayed on the display unit (monitor 5) by moving the work target (the ship 31) to a position suitable for imaging the work target (painted portion of the side 31a of the hull) of the robot main body 1
  • the robot body 1 can be operated while watching a video of the work. Therefore, it can respond suitably to the robot application target (watercraft) with many work objects (painting part of side 31a of a hull) used as a blind spot of a fixed surveillance camera.
  • the robot system 100 further includes a moving device 32 to which the robot main body 1 is attached, and a moving device operator 7 for the operator 9 to operate the moving device 32.
  • the moving device 32 is a robot main body 1 Can be moved in the vertical direction and in the horizontal direction, so that the robot body 1 can be moved in the vertical direction and in the horizontal direction by the operator 9 operating the moving device controller 7. As a result, the work of the robot body 1 can be suitably performed.
  • FIG. 5 is a schematic view showing an application state of a robot system according to a modification of Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing a configuration example of a control system of the robot system shown in FIG.
  • a robot system 200 according to a modification of the first embodiment is different from the robot system 100 according to the first embodiment (basic configuration) in that the moving device 33 is configured to be able to travel. Is the same as the robot system 100 of the first embodiment. Hereinafter, this difference will be described.
  • the moving device 33 is configured by, for example, a known crane.
  • the moving device 33 includes a vehicle 34 and a bending jib (boom) 35 provided on a platform of the vehicle 34.
  • a robot body 1 consisting of a multijointed industrial robot arm is installed at the tip of the jib 35.
  • the ship 31 is larger than the ship 31 of the first embodiment. Therefore, when painting the side surface 31 a of the hull of the ship 31 by the robot body 1, it is necessary to move the robot body 1 in a wide range.
  • the reference numeral 36 indicates a spray-like paint
  • the reference numeral 37 indicates a boundary line of coating of the side surface 31 a of the hull of the ship 31.
  • the moving device operator 7 causes the operator 9 to move the moving device 33 at a desired speed in a desired direction, and rotates the refractive jib 35 in a desired direction, and It is configured to be able to be bent and stretched to a desired degree.
  • the robot body 1 can be moved to a desired position by the operator 9 appropriately operating the moving device 33.
  • the operator 9 operates the flying object manipulator 6, the unmanned flying vehicle is displayed so that the ship 31 to which the robot body 1 is applied and the moving device 33 are simultaneously displayed on the monitor 5 4 and remotely control the camera 22.
  • the operator 9 operates the moving device operating device 7 while looking at the ship 31 and the moving device 33 displayed on the monitor 5, and the robot body 1 is a desired painted part of the side 31 a of the hull of the ship 31 To move the vehicle 34 of the moving device 33 and bend the jib 35.
  • the operator 9 can move the robot body 1 in a wide range. As a result, even if the ship 31 is large, the side surface 31 a of the hull of the ship 31 can be suitably coated.
  • the robot system 300 according to the second embodiment of the present invention is mainly different from the robot system 100 according to the first embodiment in that the robot main body 1 and the unmanned air vehicle 4 operate according to predetermined programs.
  • differences from the robot system 100 of the first embodiment will be described.
  • FIG. 7 is a schematic view showing an example of a hardware configuration of a robot system according to a second embodiment of the present invention.
  • the robot system 300 includes a carriage 70.
  • the carriage 70 here is formed of a box having a wheel 70a at its base.
  • the truck 70 is movable by the wheels 70a and can stop at a desired location.
  • the wheels 70a are driven by a drive mechanism (not shown).
  • the drive mechanism includes, for example, a servomotor as a drive source.
  • the wheel 70a and the drive mechanism constitute a moving mechanism 54 (see FIG. 8).
  • a robot arm as the robot main body 1 is installed on the upper surface of the carriage 70.
  • the robot arm performs a predetermined operation described later. Therefore, the robot arm may have an arm and be capable of performing a predetermined operation.
  • a horizontal articulated robot, a vertical articulated robot, a parallel link robot, an orthogonal robot, etc. are exemplified.
  • the robot arm is a two-arm horizontal articulated robot.
  • the robot arm is installed on the upper surface of the carriage 70, and includes a vertically extending cylindrical base 71, and a right arm and a left arm supported by the base 71.
  • the right arm includes a right first link 72A whose proximal end is rotatably supported by the base 71 about a first pivot axis which is a central axis of the base 71, and a proximal end of which is the first pivot axis
  • the right second link 73A supported at the tip of the right first link 72A rotatably around the parallel second pivot axis, and the tip of the right second link 73A perpendicular to the second pivot axis It includes a right wrist portion 74A rotatably supported around the third rotation axis and supported so as to be movable up and down, and a right hand 76A attached to the lower end of the right wrist portion 74A.
  • the right first link 72A, the right second link 73A, and the right list unit 74A constitute a
  • the left arm has a left first link 72B whose base end is supported by the base 71 so as to be pivotable about a first rotation axis which is a central axis of the base 71, and whose base end is the first rotation axis
  • the left second link 73B supported at the end of the left first link 72B rotatably around the parallel fourth rotation axis, and the end of the left second link 73B perpendicular to the fourth rotation axis
  • the left wrist portion 74B is rotatably and movably supported around the fifth rotation axis, and the left hand 76B is attached to the lower end of the left wrist portion 74B.
  • the left first link 72B, the left second link 73B, and the left list portion 74B constitute a left arm portion 75B.
  • the right hand 76A includes a base 77A fixed to the lower end of the right wrist portion 74A, and an elongated plate-like claw member 78A extending parallel to the third pivot axis of the right wrist portion 74A from the base 77A.
  • the left hand 76B includes a base 77B fixed to the lower end of the left wrist portion 74B, and an elongated plate-like claw member 78B extending parallel to the fifth rotation axis of the left wrist portion 74B from the base 77B.
  • the left and right arms can operate independently or cooperate with each other.
  • the robot 10 aligns the pair of claw members 78A and 78B in a fork shape, and transports a cultivation bed 83 (see FIG. 10) described later.
  • the robot controller 3 and the robot communication device 42 are accommodated in the carriage 70.
  • the robot controller 3 causes the processor to read out and execute a predetermined control program stored in the memory, thereby fully automatically controlling the operations of the robot body 1, the carriage 70, and the unmanned air vehicle 4.
  • the robot body 1 (robot arm) and the robot controller 3 constitute a robot 10.
  • the robot controller 3 controls the operation of the moving mechanism 54 of the carriage 70 and the robot body 1 according to a predetermined control program.
  • the robot controller 3 transmits a flight control signal to the flight control unit 25 of the flying object controller 23 of the unmanned air vehicle 4 according to a predetermined control program.
  • the unmanned air vehicle 4 has an autonomous mode and an external control mode corresponding to the operation mode of the first embodiment.
  • the flight control unit 25 controls the flight mechanism 27 so that the unmanned air vehicle 4 performs a predetermined flight according to a predetermined program in the autonomous mode.
  • the flight control unit 25 receives a flight control signal from the robot controller 3 via the aircraft communication unit 24, the flight control unit 25 switches to the external control mode, and the unmanned air vehicle 4 responds to the flight control signal according to the flight control signal.
  • the flight mechanism 27 is controlled to perform the flight according to.
  • the unmanned air vehicle 4 comprises a first camera 22 and a second camera 28.
  • the first camera 22 is the same as the camera 22 of the first embodiment.
  • the second camera 28 can change its attitude in two orthogonal planes, and can change its direction (optical axis direction) within a range of 360 degrees in the horizontal plane of the unmanned air vehicle 4 ing.
  • the second camera 28 has an autofocus function.
  • the robot controller 3 transmits a camera control signal to the camera control unit 26 of the flying object controller 23 of the unmanned air vehicle 4 according to a predetermined control program.
  • the camera control unit 26 controls the attitude of the first camera 22 and the attitude and direction of the second camera 28 in accordance with the camera control signal.
  • the operation of the first camera 22 and the operation of the camera control unit 26 regarding the first camera 22 are the same as in the first embodiment. However, here, the camera control unit 26 transmits the imaging data of the first camera to the robot controller 3.
  • the second camera 28 is, for example, a three-dimensional camera, and transmits the imaging data to the camera control unit 26.
  • the camera control unit 26 detects the distance between the second camera 28 and the subject by performing image processing on the imaging data.
  • the subject has a predetermined shape or a predetermined identification mark is attached to the subject, and the camera control unit 26 stores the predetermined shape or the predetermined identification mark.
  • a subject is detected (extracted) from the imaging data by determining whether or not there is an area matching the predetermined shape or the predetermined identification mark in the imaging data.
  • the unmanned air vehicle 4 includes, for example, a GPS, and the camera control unit 26 detects the spatial position of the unmanned air vehicle 4 (more precisely, the reference position of the unmanned air vehicle 4) from the GPS position information. Then, based on the spatial position of the unmanned air vehicle 4, the position of the second camera 28 in the unmanned air vehicle 4, the attitude and orientation of the second camera 28, and the distance between the second camera 28 and the subject, Detect the spatial position of the subject. Then, the detected spatial position of the subject is transmitted to the robot controller 3.
  • the robot controller 3 at least a robot main body 1, a cultivation bed 83 as a work target (see FIG. 9), and a collective shelf 82 as an obstacle when the robot main body 1 moves are set as subjects.
  • FIG. 9 is a schematic view showing an application state of the robot system 300 of FIG.
  • FIG. 10 is a front view schematically showing the configuration of the unit shelf of FIG.
  • an application target of the robot main body 1 of the robot system 300 in the second embodiment is an unmanned vegetable growing plant 80.
  • the vegetable growing plant 80 is, for example, completely closed.
  • the vegetable growing plant 80 includes a plant 81 having a high ceiling and a relatively wide internal space. Inside the factory 81, a plurality of racks 82 are disposed at intervals at which the robot 10 can perform predetermined operations and travel. In each set shelf 82, a predetermined number of unit shelves 82a are disposed side by side with each other.
  • the unit shelf 82a is divided into, for example, three tiers, and the upper and middle tiers are used for raw growth of vegetables.
  • a mobile cultivation bed 83 is used for the live growth of vegetables.
  • the cultivation bed 83 is configured by providing a pair of legs 83b on a main body 83a such as expanded polystyrene. Vegetables are nurtured on the main body 83a. Further, the pair of claw members 78A, 78B of the robot 10 is inserted into the space 84 between the pair of legs 83b.
  • lighting fixtures 85 for irradiating the vegetables on the cultivation bed 83 with predetermined light are provided on the ceiling respectively, and the nutrient solution is supplied to the vegetables on the cultivation bed 83 and the cultivation bed is provided.
  • a device (not shown) is provided for discharging spent nutrient solution from 83.
  • a plurality of growing shelves are assigned a plurality of growing steps of vegetables, and each of the collecting shelves is maintained in a growing environment corresponding to each growing step.
  • Each cultivation bed 83 is sequentially moved along the plurality of collecting shelves in accordance with the growth degree of the vegetables on the cultivation bed 83.
  • the robot controller 3 has the layout of the factory 81 shown in FIG. 9, that is, the dimensions of the interior space of the factory 81, the arrangement and dimensions of the collective shelf 82, the arrangement and dimensions of the unit shelf 82a in each collective shelf 82, each unit The arrangement, dimensions, and the like of each step in the shelf 82a are stored.
  • the robot controller 3 While the robot controller 3 circulates the unmanned air vehicle 4 in the factory 81, the direction of the second camera 22 (light The axial direction is changed by 360 degrees in the horizontal plane of the unmanned air vehicle 4. In other words, the second camera 22 is rotated in the horizontal plane of the unmanned air vehicle 4. Then, as described above, the camera control unit 26 captures an image of the subject and detects the distance to the subject, so that the space position of the robot main body 1 and each collective shelf which is an obstacle (exactly its reference position) 82 Detects the spatial position of and transmits them to the robot controller 3.
  • FIG. 11 is a flowchart showing the operation (method of use) of the robot system 300 of FIG.
  • the operation of the robot system 300 is performed by the control of the robot controller 3 of the robot 10.
  • the robot controller 3 causes the unmanned air vehicle 4 to orbit in the factory 81 (step S11). During this time, as described above, the second camera is rotated, and the spatial position of the robot main body 1 and the spatial position of each collective shelf (accurately, the reference position) 82 which is an obstacle are acquired from the camera control unit 26.
  • the robot controller 3 determines whether there is an item matching the condition (step S12).
  • Items means an event that the robot 10 needs to do some work.
  • it is to change (move) the collective shelf 82 on which the cultivation bed 83 is placed.
  • dition means a condition under which the robot 10 performs some work.
  • the growth degree of the vegetables on the cultivation bed 83 means the conditions which change the assembly shelf 82 in which the said cultivation bed 83 is mounted.
  • the robot controller 3 controls the first camera 22 via the camera control unit 26 of the unmanned aerial vehicle 4 to make the first camera 22 produce vegetables on the cultivation beds 83 of the respective group shelves 82.
  • the robot controller 3 performs image processing on imaging data to detect the height of vegetables.
  • the robot controller 3 stores a comparison table in which a plurality of growing steps correspond to the upper limit height of vegetables in each step, and the robot controller 3 compares the detected height of vegetables with the comparison table. In comparison, the height of the vegetables on each cultivation bed 83 exceeds the upper limit height of vegetables corresponding to the growing step assigned to the group shelf 82 to which the unit shelf 82a on which each cultivation bed 83 is placed belongs. It is determined whether or not.
  • step S12 If “does not exceed”, it is determined that "an item meeting the condition does not exist” (NO in step S12), and then it is determined whether or not the live training work is ended (step S16), and the live training work is performed. If the process does not end (NO in step S16), the process returns to step S11. When the raw development work is finished (YES in step S16), the operation of the robot system 300 is finished. In this case, the unmanned air vehicle 4 is landed at a predetermined position.
  • step S12 it is determined that “an item matching the condition exists” (YES in step S12), and the process proceeds to step S13.
  • the cultivation bed 83 corresponding to the "item meeting the conditions” will be referred to as a "conforming cultivation bed”.
  • step S13 the robot controller 3 identifies the matching location.
  • This "conforming place” is here a row of unit shelf 82a on which the compatible cultivation bed 83 is placed.
  • the robot controller 3 controls the second camera 22 via the camera control unit 26 of the unmanned air vehicle 4 so that the second camera 28 takes the same attitude and direction as the first camera 22.
  • the camera control unit 26 operates as described above, detects the spatial position of the compatible cultivation bed, and transmits it to the robot controller 3.
  • the camera control unit 26 stores the shape of the cultivation bed 83 and extracts the compatible cultivation bed 83 as a subject (work object) by image processing based on the stored shape of the cultivation bed 83, Detect the distance.
  • the spatial position of the compatible cultivation bed 83 is detected as described above, and this is transmitted to the robot controller 3.
  • the robot controller 3 specifies the level of the unit shelf 82a on which the compatible cultivation bed 83 is placed, based on the spatial position of the compatible cultivation bed 83 and the layout of the factory 81 stored by itself.
  • the spatial position of the compatible cultivation bed 83 is specified.
  • the robot controller 3 identifies the group shelf 82 to which the growth step corresponding to the height of the vegetables on the compatible cultivation bed 83 is assigned, and the stage which is empty in the identified group shelf 82 The unit shelf 82a which it has is specified.
  • the empty stage of the unit shelf 82a will be referred to as the destination stage.
  • the robot controller 3 specifies the current position of the robot 10 (the truck 70) based on the spatial position of the robot body 1 transmitted from the camera control unit 26 of the unmanned air vehicle 4.
  • the robot controller 3 avoids the collective shelf 82 based on the spatial position of each collective shelf (its reference position) 82 transmitted from the camera control unit 26 of the unmanned aerial vehicle 4 and the layout of the factory 81.
  • the movement path of the robot 10 (cart 70) is set in
  • the robot controller 3 moves the robot 10 to the matching location (step S14). Specifically, the robot controller 3 controls the moving mechanism 54 of the carriage 70 to move the robot 10 to the front of the compatible cultivation bed 83 through the moving path.
  • the robot controller 3 causes the robot 10 to perform necessary work (step S15). Specifically, the robot controller 3 causes the robot body 1 to insert the pair of claw members 78A and 76B into the space 84 between the pair of leg portions 83b of the compatible cultivation bed 83, and then the pair of claw members 78A , 76B slightly raise the compatible cultivation bed 83. Next, the robot controller 3 causes the robot body 1 to pull out the compatible cultivation bed 83 from the unit shelf 82a. Then, the robot controller 3 avoids the group shelf 82 based on the spatial position of each group shelf (its reference position) 82 transmitted from the camera control unit 26 of the unmanned air vehicle 4 and the layout of the factory 81. The movement path of the robot 10 (cart 70) is set in
  • the robot controller 3 moves the robot 10 to the front of the movement destination through the movement path.
  • the robot controller 3 causes the robot body 1 to move the compatible cultivation bed 83 to the upper part of the movement destination, and then lowers the pair of claw members 78A and 76B slightly to move the compatible cultivation bed 83 to the movement destination Then, the pair of claw members 78A, 76B are removed from the space 84 between the pair of legs 83b of the compatible cultivation bed 83. Thus, the necessary work of the robot 10 is completed.
  • the robot controller 3 determines whether or not to finish the live training work (step S16), and when the live training work is not finished (NO in step S16), the process returns to step S11.
  • the live training work is finished (YES in step S16)
  • the operation of the robot system 300 is finished.
  • the robot body 1 can be operated automatically. Further, since the robot controller 3 specifies the work target (compatible cultivation bed 83) of the robot main body 1 using the unmanned air vehicle 4, a wide range can be monitored using the unmanned air vehicle 4. Therefore, the work target of the robot body 1 can be easily specified.
  • the robot body 1 is configured to be able to travel
  • the unmanned air vehicle 4 is configured to acquire position information of a work target (compatible cultivation bed 83) of the robot body 1 and to transmit it to the robot controller 3
  • the controller 3 is configured to travel the robot main body 1 to the work target position based on the position of the robot main body 1 and the position information of the work target when the position information of the work target is received. Can be automatically run to the work target position.
  • the unmanned air vehicle 4 is configured to acquire positional information of obstacles (aggregated rack 82) present in a route from the robot main body 1 to the work object and to transmit the positional information to the robot controller 3 3 is configured to cause the robot body 1 to travel to the work target position while avoiding the obstacle based on the received position information of the obstacle, so that the robot body 1 automatically leads from the robot main body 1 to the work target The robot main body 1 can be traveled to the work target position while avoiding an obstacle present in the route.
  • obstacles aggregated rack 82
  • the robot body 1 is not limited to the articulated robot arm.
  • the robot body 1 may be a parallel link robot, an orthogonal robot, or any other type of robot.
  • the operation of the robot body 1 may not be painting but may be, for example, assembly of the hull of the ship 31.
  • cranes suitable for assembling the hull of the ship 31 are used as the moving devices 32, 33.
  • the application target of the robot body 1 may be a vehicle, an aircraft, a bridge, or a building.
  • the robot system according to the present invention and the method for producing an object using the same are a robot application object having many work objects which become blind spots of the monitoring camera and a robot application object which needs to move the robot to the vicinity of each work object. It is useful as a robot system that can cope with at least one, a method of making an object using it, and the like.
  • Robot Body 2 Robot Controller 3
  • Robot Controller 4 Unmanned Aerial Vehicle 5 Monitor (Display Unit)
  • Monitor (Display Unit) DESCRIPTION OF SYMBOLS 6
  • Flying body manipulator 7 Mobile device manipulator 8 Communications for operation 9
  • Operator 10 Robot 11
  • Robot arm 18 Robot control part 19
  • Monitor control part 20 Rotary wing 21
  • Main body 21 Camera (1st camera)
  • flight control unit 24 flight control unit 25
  • flight control unit 26 flight control unit 27
  • robot communicator 54 moving mechanism 55 movement control 56
  • Mobile equipment communicator 70 Bogie 80 Vegetable plant breeding factory 81 Factory 82 Assembly shelf 82a Unit shelf 83 Cultivation bed 100, 200, 300 Robot system

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Manipulator (AREA)

Abstract

本発明のロボットシステムは、ロボット本体(1)とロボット本体(1)の動作を制御するロボット制御器(3)とを有するロボット(10)と、自律飛行可能な無人飛行体(4)と、を備え、無人飛行体(4)は、ロボット本体(1)の作業の撮像データ及びロボット本体(1)の作業対象の位置情報の少なくとも一方を取得するとともにロボット制御器(3)に送信するように構成されており、ロボット制御器(3)は、撮像データ及び作業対象の位置情報の少なくとも一方を受信し、撮像データ及び作業対象の位置情報の少なくとも一方を利用してロボット本体(1)の動作を制御するように構成されている。

Description

ロボットシステム及びそれを用いて物を作る方法
　本発明は、ロボットシステム及びそれを用いて物を作る方法に関する。
　従来、遠隔操作されるロボットにおいて、ロボットの作業の様子をカメラによって監視することが知られている。例えば、特許文献１に記載の技術では、遠隔操作されるロボットの作業の様子が１台の監視カメラで撮像され、監視カメラで取り込まれた画像が遠隔地で表示される。そして、１台の監視カメラが複数箇所に選択的に置き替えられる。これにより、１台の監視カメラによって遠隔操作ロボットを監視することができる。
特開平６－０１５５９４号公報
　ところで、最近、ロボットの用途、即ち、ロボットを適用する対象物（以下、ロボット適用対象物という）が拡大しつつある。それらの中には、監視カメラの死角になる作業対象が多いロボット適用対象物がある。このようなロボット適用対象物として、例えば、船舶、航空機、橋梁、大きな建物等が挙げられる。このようなロボット適用対象物の場合、上記従来技術では、監視カメラの設置箇所を増やすには限度があるので、対応することが困難である。また、このようなロボット適用対象物には、多数の作業対象があるため、ロボットを個々の作業対象の近傍に移動させる必要がある。このような場合、少なくとも作業対象の位置情報が必要である。上記従来技術では、作業対象の位置情報について全く言及していない。
　本発明は上記課題を解決するためになされたものであり、監視カメラの死角になる作業対象が多いロボット適用対象物及びロボットを個々の作業対象の近傍に移動させる必要があるロボット適用対象物の少なくとも一方に対応可能なロボットシステム及びそれを用いて物を作る方法を提供することを目的とする。
　上記課題を解決するために、本発明のある態様(Aspect)に係るロボットシステムは、ロボット本体と前記ロボット本体の動作を制御するロボット制御器とを有するロボットと、　自律飛行可能な無人飛行体と、を備え、前記無人飛行体は、前記ロボット本体の作業の撮像データ及び前記ロボット本体の作業対象の位置情報の少なくとも一方を取得するとともに前記ロボット制御器に送信するように構成されており、前記ロボット制御器は、前記撮像データ及び前記作業対象の位置情報の少なくとも一方を受信し、前記撮像データ及び前記作業対象の位置情報の少なくとも一方を利用して前記ロボット本体の動作を制御するように構成されている。
　この構成によれば、無人飛行体がロボット本体の作業の撮像データ及びロボット本体の作業対象の位置情報の少なくとも一方を取得するとともにロボット制御器に送信し、ロボット制御器が、この撮像データを利用してロボット本体の動作を制御する場合には、例えば、ロボット制御器が撮像データに基づいてロボット本体の作業の映像を表示器に表示し、操作者がロボット操作器によってロボット制御器を介してロボット本体の動作を制御するようにロボットシステムを構成すると、無人飛行体をロボット適用対象物の作業対象を撮像するのに適した位置に移動させることにより、操作者が表示器に表示されるロボット本体の作業の映像を見ながらロボット本体を操作することができる。一方、無人飛行体がロボット本体の作業対象の位置情報を取得するとともにロボット制御器に送信し、ロボット制御器がこの位置情報を利用してロボット本体の動作を制御する場合には、ロボット本体を移動可能に構成することによって、ロボット制御器がロボット本体の作業対象の位置情報を利用してロボット本体を　ロボット本体の作業位置に移動させることができる。その結果、監視カメラの死角になる作業対象が多いロボット適用対象物及びロボットを個々の作業対象の近傍に移動させる必要があるロボット適用対象物の少なくとも一方に対応することができる。
　前記ロボットシステムは、操作者が前記ロボット本体を操作するためのロボット操作器と、前記操作者に前記ロボット本体の作業の映像を提示するための表示器と、をさらに備え、前記無人飛行体は、前記ロボット本体の作業の撮像データを取得するとともに前記ロボット制御器に送信するように構成され、前記ロボット制御器は、前記撮像データを受信し、前記撮像データに基づいて前記表示器に前記ロボット本体の作業の映像を表示し、且つ、前記操作者による前記ロボット操作器の操作に従って前記ロボット本体の動作を制御するように構成されていてもよい。
　この構成によれば、無人飛行体を、ロボット適用対象物の作業対象を撮像するのに適した位置に移動させることにより、操作者が表示器に表示されるロボット本体の作業の映像を見ながらロボット本体を操作することができる。従って、監視カメラの死角になる作業対象が多いロボット適用対象物に好適に対応することができる。
　前記無人飛行体は、前記ロボット本体の作業を撮像する撮像器と、前記撮像器からの撮像データを前記ロボット制御器に送信する飛行体通信器と、を備え、前記ロボットは、前記送信器から送信される前記撮像データを受信するロボット通信器を備えてもよい。
　この構成によれば、操作者が表示器に表示されるロボット本体の作業の映像を見ながらロボット本体を操作することができるロボットシステムを好適に構築することができる。
　前記ロボット本体が取り付けられた移動装置と、前記操作者が前記移動装置を操作するための移動装置操作器と、をさらに備え、前記移動装置は、前記ロボット本体を鉛直方向及び水平方向に移動可能に構成されていてもよい。
　この構成によれば、操作者が移動装置操作器を操作することによって、ロボット本体を鉛直方向及び水平方向に移動させることができる。その結果、ロボット本体の作業を好適に行うことができる。
　前記ロボット本体は走行可能に構成され、前記ロボット操作器は、前記ロボット本体の作業及び走行を操作するように構成され、前記ロボット制御器は、前記操作者による前記ロボット操作器の前記ロボット本体の走行に関する操作に従って前記ロボット本体の走行を制御するように構成されていてもよい。
　この構成によれば、操作者が表示器に表示されるロボット本体の作業対象の位置情報を見ながら、ロボット本体を作業対象位置に走行させることができる。
　前記ロボット制御器は、所定の制御プログラムに従って前記ロボット本体の動作を制御するように構成されていてもよい。
　この構成によれば、ロボット本体を自動的に動作させることができる。
　前記ロボット制御器は、前記無人飛行体を用いて前記ロボット本体の作業対象を特定するように構成されていてもよい。
　この構成によれば、無人飛行体を用いて広い範囲を監視することができるので、容易にロボット本体の作業対象を特定することができる。
　前記ロボット本体は走行可能に構成され、前記無人飛行体は、前記ロボット本体の作業対象の位置情報を取得するとともに前記ロボット制御器に送信するように構成され、前記ロボット制御器は、前記作業対象の位置情報を受信すると、前記ロボット本体の位置と前記作業対象の位置情報とに基づいて前記ロボット本体を前記作業対象位置に走行させるように構成されていてもよい。
　この構成によれば、ロボット本体を自動的に作業対象位置に走行させることができる。
　前記無人飛行体は、前記ロボット本体の位置情報を取得するとともに前記ロボット制御器に送信するように構成され、前記ロボット制御器は、受信した前記ロボット本体の位置と前記作業対象の位置情報とに基づいて前記ロボット本体を前記作業対象位置に走行させるように構成されていてもよい。
　この構成によれば、自動的にロボット本体の位置情報を取得し、且つロボット本体を自動的に作業対象位置に走行させることができる。
　前記無人飛行体は、さらに前記ロボット本体から前記作業対象に至る経路に存在する障害物の位置情報を取得するとともに前記ロボット制御器に送信するように構成され、前記ロボット制御器は、受信した前記障害物の位置情報に基づいて、前記障害物を回避して前記ロボット本体を前記作業対象位置に走行させるように構成されていてもよい。
　この構成によれば、自動的に、ロボット本体から作業対象に至る経路に存在する障害物を回避してロボット本体を前記作業対象位置に走行させることができる。
　前記ロボット本体が多関節の産業用ロボットアームであってもよい。
　この構成によれば、ロボット本体が多関節の産業用ロボットアームであるので、その適用対象物及び作業対象に汎用性がある。従って、監視カメラの死角になる作業対象が多いロボット適用対象物及びロボットを個々の作業対象の近傍に移動させる必要があるロボット適用対象物の少なくとも一方に好適に対応可能なロボットアームロボットシステムを提供することができる。
　また、本発明の他の態様(Aspect)に係るロボットシステムを用いて物を作る方法は、ロボットシステムを用いて物を作る方法であって、前記ロボットシステムは、ロボット本体と前記ロボット本体の動作を制御するロボット制御器とを有するロボットと、自律飛行可能な無人飛行体と、を備え、前記方法は、前記無人飛行体によって、前記物に対する前記ロボット本体の作業の撮像データを取得するとともに前記ロボット制御器に送信することと、前記ロボット制御器によって、前記撮像データを受信し且つ前記撮像データを利用して前記ロボット本体の動作を制御することと、を含む。
　この構成によれば、例えば、ロボット制御器が撮像データに基づいてロボット本体の作業の映像を表示器に表示し、操作者がロボット操作器によってロボット制御器を介してロボット本体の動作を制御するようにロボットシステムを構成することによって、無人飛行体をロボット適用対象物の作業対象を撮像するのに適した位置に移動させ、操作者がロボット本体の作業を表示される映像を見ながらロボット本体を操作することができる。
　前記ロボットシステムは、操作者が前記ロボット本体を操作するためのロボット操作器と、前記操作者に前記ロボット本体の作業の映像を提示するための表示器と、前記操作者が前記無人飛行体を操作するための飛行体操作器と、をさらに備え、前記物に対する前記ロボット本体の作業の撮像データを取得するとともに前記ロボット制御器に送信することを、前記操作者による前記飛行体操作器の操作に従って行い、前記ロボット制御器によって、前記撮像データを受信し且つ前記撮像データを利用して前記ロボット本体の動作を制御することが、前記ロボット制御器によって、前記撮像データに基づいて前記表示器に前記物に対する前記ロボット本体の作業の映像を表示し且つ前記操作者による前記ロボット操作器の操作に従って前記ロボット本体の動作を制御することであってもよい。
　この構成によれば、操作者が表示器に表示されるロボット本体の作業対象の位置情報を見ながら、ロボット本体を作業対象位置に走行させることができる。
　前記ロボット本体が多関節の産業用ロボットアームであり、前記物が船舶、車両、航空機、橋梁、及び建物のいずれかであってもよい。
　この構成によれば、ロボット本体が多関節の産業用ロボットアームであるので、その適用対象物及び作業対象に汎用性がある。一方、船舶、車両、航空機、橋梁、及び建物は、監視カメラの死角になる作業対象が多いロボット適用対象物、又はロボットを個々の作業対象の近傍に移動させる必要があるロボット適用対象物である。従って、これらのロボット適用対象物に対してロボットシステムが特に顕著な効果を奏する。
　本発明によれば、監視カメラの死角になる作業対象が多いロボット適用対象物及びロボットを個々の作業対象の近傍に移動させる必要があるロボット適用対象物の少なくとも一方に対応可能なロボットシステム及びそれを用いて物を作る方法を提供することができる。
図１は、本発明の実施形態１に係るロボットシステムのハードウエアの構成例を示す模式図である。 図２は、図１のロボットシステムの適用状態を示す模式図である。 図３は、図１のロボットシステムの制御系統の構成例を示すブロック図である。 図４は、図１のロボットシステムの使用方法を示すフローチャートである。 図５は、本発明の実施形態１の変形例に係るロボットシステムの適用状態を示す模式図である。 図６は、図５に示されたロボットシステムの制御系統の構成例を示すブロック図である。 図７は、本発明の実施形態２に係るロボットシステムのハードウエアの構成例を示す模式図である。 図８は、図７のロボットシステムの制御系統の構成例を示すブロック図である。 図９は、図７のロボットシステムの適用状態を示す模式図である。 図１０は、図９の単位棚の構成を模式的に示す正面図である。 図１１は、図７のロボットシステムの動作（使用方法）を示すフローチャートである。
　以下、本発明の実施形態について、添付図面を参照しつつ説明する。なお、以下では、全ての図を通じて、同一又は相当する要素には同一の参照符号を付してその重複する説明を省略する。また、添付図面は、本発明を説明するための図である。それ故、本発明に無関係な要素が省略される場合、誇張のため寸法が正確でない場合、簡略化される場合、複数の図面において同一の要素の形状が互いに一致しない場合等がある。
　（実施形態１）
　［ハードウエアの構成］
　図１は、本発明の実施形態１に係るロボットシステムの構成例を示す模式図である。図２は、図１のロボットシステムの適用状態を示す模式図である。
　図１を参照すると、ロボットシステム１００は、ロボット本体１とロボット本体１の動作を制御するロボット制御器３とを有するロボット１０と、自律飛行可能な無人飛行体４と、を備える。無人飛行体４は、ロボット本体１の作業の撮像データを取得するとともにロボット制御器３に送信するように構成されている。ロボット制御器３は、撮像データを受信し、撮像データを利用してロボット本体１の動作を制御するように構成されている。
　ここでは、ロボットシステム１００は、操作者９（図１に示さず。図５参照。）がロボット本体１を操作するためのロボット操作器２と、操作者９にロボット本体１の作業の映像を提示するためのモニタ（表示器）５と、をさらに備える。無人飛行体４は、ロボット本体１の作業の撮像データを取得するとともにロボット制御器３に送信するように構成され、ロボット制御器３は、撮像データを受信し、撮像データに基づいて表示器５にロボット本体１の作業の映像を表示し、且つ、操作者９によるロボット操作器２の操作に従ってロボット本体１の動作を制御するように構成されている。
　以下、具体的にロボットシステム１００の構成を説明する。ロボットシステム１００は、ロボット１０と、ロボット１０を移動させる移動装置３２と、無人飛行体４と、ロボット操作器２と、モニタ（表示器）５と、飛行体操作器６と、移動装置操作器７と、操作用通信器８と、を備える。
　＜ロボット＞
　ロボット１０は、ロボット本体１とロボット制御器３とを備える。ロボット本体１は、ここでは、多関節の産業用ロボットアームで構成されている。
　{ロボット本体}
　ロボット本体１は、基台１５と、基台１５に支持された腕部１３と、腕部１３の先端に支持された手首部１４と、手首部１４に装着されたエンドエフェクタとしてのハンド４１と、を備えている。ハンド４１は、ここでは、塗装ガンで構成される。
　ロボット本体１は、図１に示すように３以上の複数の関節ＪＴ１～ＪＴ６を有する多関節ロボットアームであって、複数のリンク１１ａ～１１ｆが順次連結されて構成されている。より詳しくは、第１関節ＪＴ１では、基台１５と、第１リンク１１ａの基端部とが、鉛直方向に延びる軸回りに回転可能に連結されている。第２関節ＪＴ２では、第１リンク１１ａの先端部と、第２リンク１１ｂの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第３関節ＪＴ３では、第２リンク１１ｂの先端部と、第３リンク１１ｃの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第４関節ＪＴ４では、第３リンク１１ｃの先端部と、第４リンク１１ｄの基端部とが、第４リンク１１ｃの長手方向に延びる軸回りに回転可能に連結されている。第５関節ＪＴ５では、第４リンク１１ｄの先端部と、第５リンク１１ｅの基端部とが、リンク１１ｄの長手方向と直交する軸回りに回転可能に連結されている。第６関節ＪＴ６では、第５リンク１１ｅの先端部と第６リンク１１ｆの基端部とが、捩じり回転可能に連結されている。そして、第６リンク１１ｆの先端部にはメカニカルインターフェースが設けられている。このメカニカルインターフェースには、ロボットアーム１１の作業内容に対応したエンドエフェクタとしてのハンド４１が着脱可能に装着される。
　上記の第１関節ＪＴ１、第１リンク１１ａ、第２関節ＪＴ２、第２リンク１１ｂ、第３関節ＪＴ３、及び第３リンク１１ｃから成るリンクと関節の連結体によって、ロボットアーム１１の腕部１３が形成されている。また、上記の第４関節ＪＴ４、第４リンク１１ｄ、第５関節ＪＴ５、第５リンク１１ｅ、第６関節ＪＴ６、及び第４リンク１１ｆから成るリンクと関節の連結体によって、ロボットアーム１１の手首部１４が形成されている。
　関節ＪＴ１～ＪＴ６には、それが連結する２つの部材を相対的に回転させるアクチュエータの一例としての駆動モータ（図示せず）が設けられている。駆動モータは、例えば、ロボット制御器３から送信される制御信号によってサーボアンプを介してサーボ制御されるサーボモータである。また、関節ＪＴ１～ＪＴ６には、駆動モータの回転角を検出するための回転角センサ（図示せず）と、駆動モータの電流を検出するための電流センサ（図示せず）とが設けられている。
　{制御器}
　制御器３は、例えば、プロセッサとメモリとを備える。制御器３は、メモリに格納された所定の動作プログラムをプロセッサが読み出して実行することにより、ロボット本体１の動作を制御する。制御器３は、具体的には、例えば、マイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、論理回路等で構成される。制御器３は、回転角センサの検出信号と電流センサの検出信号とをフードバック信号として用いてロボット本体１の腕部１３及び手首部１４の制御信号を生成し、腕部１３及び手首部１４の動作をフィードバック制御する。さらに、ロボット制御器３は、上述の所定の動作プログラムに従ってロボット本体１のハンド４１の動作を制御する。
　＜移動装置＞
　ロボット１０は移動装置３２に取り付けられる。移動装置３２は、ロボット本体１を鉛直方向及び水平方向に移動可能に構成される。
　図２を参照すると、移動装置３２は、例えば、設置面に設置される基台５１を有する。基台５１上には支柱５２が立設される。支柱５２に、可動体５３が、移動機構５４（図２に示さず。図３参照）によって、鉛直方向及び水平方向に移動可能に設けられる。移動機構５４は、例えば、周知の２軸移動機構によって構成される。可動体５３は、例えば、水平な棒状の枠体によって構成される。可動体５３の一方の端部にロボット本体１が設置される。
　＜無人飛行体＞
　図１を参照すると、無人飛行体４は、例えばドローンで構成される。無人飛行体４は、例えば、本体２１と、本体２１に設けられた４つの回転翼２０とを含む。本体２１には、カメラ２２が設けられる。無人飛行体４は、操作モードと自立飛行モードとを有し、飛行体操作器６からの操作指令を受け取らない状態では自律飛行し、飛行体操作器６から飛行体操作指令を受け取ると、操作モードに切り替わり、飛行体操作指令に従って飛行する。カメラ２２は、直交する２平面内で姿勢を変更することが可能に構成されており、且つ自動焦点機能を有する。カメラ２２は、ロボット１０の作業を撮像するために用いられる。
　＜操作器群＞
　ロボットシステム１００には、操作机２９が配置される。操作机２９はロボット１０の適用対象から離れた場所に配置される。操作机２９の上には、ロボット操作器２と、モニタ（表示器）５と、飛行体操作器６と、移動装置操作器７とが配置される。また、操作机２９には操作用通信器８が設けられる。ロボット操作器２は、ジョイスティック、マスターロボット等で構成され、その操作に応じたロボット操作指令を出力する。飛行体操作器６には、飛行体操作部とカメラ操作部とが設けられている。飛行体操作部は、ジョイスティック、操縦桿等で構成され、その操作に応じた飛行体操作指令を出力する。カメラ操作部は押しボタン、ダイヤル等の適宜な操作機構で構成され、その操作に応じたカメラ操作指令を出力する。移動装置操作器７は、ジョイスティック等で構成され、その操作に応じた移動指令を出力する。
　［適用環境］
　図２を参照すると、本実施形態１では、ロボット１０が、例えば、船舶３１のぎ装に適用される。換言すると、本実施形態１では、ロボット１０ムの適用対象物が船舶３１であり、ロボット１０（ロボット本体１）の作業がぎ装であり、ロボット１０（ロボット本体１）の作業対象が、船舶３１のぎ装される部位である。
　船舶３１は、大きいため、固定の監視カメラでは死角ができやすい。また、ロボット１０の作業部位が多数存在する。このため、船舶３１は、本実施形態１のロボットシステム１００を適用すると、特に、顕著な効果が得られる。
　図２の例では、ロボット本体１は、先端部に備えるハンド４１としての塗装ガンによって、船舶３１の船体の側面３１ａの塗装を行う。また、無人飛行体４が、カメラ２２によって、ロボット本体１の作業を撮像する。
　［制御系統の構成］
　図３は、図１のロボットシステムの制御系統の構成例を示すブロック図である。図３を参照すると、操作机２９は、ロボット操作器２と、モニタ５と、飛行体操作器６と、移動装置操作器７と、操作用通信器８と、を備える。操作用通信器８は、ロボット操作器２、飛行体操作器６、及び移動装置操作器７から送信される指令をロボット通信器４２又は飛行体通信器２４に送信する。また、操作用通信器８は、ロボット通信器４２から受信する表示制御信号をモニタ５に送信する。モニタ５は、受信した表示制御信号に応じた画像を表示する。
　ロボット１０は、ロボット制御器３と、ロボット本体１と、ロボット通信器４２と、を備える。ロボット通信器４２は、ロボット制御器３から送信される表示制御信号を操作用通信器８に送信し、且つ、操作用通信器８及び飛行体通信器２４から受信するロボット操作指令及び撮像データをロボット制御器３に送信する。ロボット制御器３は、ロボット制御部１８と、モニタ制御部１９と、を含む。ロボット制御部１８は、ロボット通信器４２を介して受け取るロボット操作器２からのロボット操作指令に従って、ロボット本体１の動作を制御する。モニタ制御部１９は、ロボット通信器４２を介して、モニタ５に表示制御信号を送信し、モニタ５に表示制御信号に応じた画像を表示させる。特に、モニタ制御部１９は、ロボット通信器４２を介してカメラ制御部２６からの撮像データを受け取り、当該撮像データに応じた画像をモニタ５に表示させる。
　無人飛行体４は、飛行体制御器２３と、飛行機構２７と、カメラ２２と、飛行体通信器２４とを備える。飛行機構２７は、無人飛行体４を、所望の方向に飛行させる機構であり、回転翼２０の駆動源及び回転翼の角度調整機構を含む。飛行体通信器２４は、飛行体制御器２３から送信される撮像データをロボット通信器４２に送信し、且つ、飛行体操作器６から受信する操作指令を飛行体制御器２３に送信する。飛行体制御器２３は、飛行制御部２５とカメラ制御部２６とを含む。飛行制御部２５は、自律モードにおいて、所定のプログラムに従って、無人飛行体４が所定の飛行を行うよう飛行機構２７を制御する。また、飛行制御部２５は、飛行体通信器２４を介して飛行体操作器６からの飛行体操作指令を受け取ると、当該飛行体操作指令に従って、無人飛行体４が当該飛行体操作指令に応じた飛行を行うよう飛行機構２７を制御する。カメラ制御部２６は、飛行体操作器６から飛行体通信器２４を介してカメラ操作指令を受け取ると、当該カメラ操作指令に従って、カメラ２２の動作（ＯＮ－ＯＦＦ及び姿勢）を制御する。また、カメラ制御部２６は、カメラ２２が撮像した撮像データを、飛行体通信器２４に送信する。
　移動装置３２は、移動制御器５５と、移動機構５４と、移動装置通信器５６と、を備える。移動装置通信器５６は、操作用通信器８から受信する移動指令を移動制御器５５に送信する。図２を参照すると、移動制御器５５は、移動指令に応じて可動体５３が移動するよう移動機構５４を制御する。
　操作用通信器８と、ロボット通信器４２、飛行体通信器２４、及び移動装置通信器５６との間の通信、及びロボット通信器４２と飛行体通信器２４との間の通信は、ここでは無線であるが、有線であってもよい。
　［動作］
　次に、以上のように構成されたロボットシステム１００の動作（使用方法）を説明する。ロボットシステム１００の動作（使用方法）は、換言すると、ロボットシステム１００を用いて物を作る方法である。ここでは、図２に示すように、ロボット本体１が船舶３１の船体の塗装を行う場合を例に取って説明する。
　図４は、図１のロボットシステム１００の使用方法を示すフローチャートである。
　＜準備作業＞
　図１乃至図４を参照すると、まず、操作者９が、無人飛行体４を目視しながら、無人飛行体４が所望の位置に飛行するよう、飛行体操作器６の飛行体操作部を操作する（ステップＳ１）。
　すると、飛行体制御器２３の飛行制御部２５が、飛行機構２７を制御して、無人飛行体４を飛行体操作部の操作に応じて飛行させる。操作者９は、無人飛行体４が、所望の位置に位置すると、飛行体操作部から手を離す。すると、無人飛行体４は、自律モードに移行し、その位置に止まるように飛行する。一方、この間、無人飛行体４のカメラが撮像した撮像データが飛行体制御器２３のカメラ制御部２６からロボット制御器３のモニタ制御部１９に送信され、モニタ制御部１９によって、その撮像データに対応する画像がモニタ５に表示される。操作者９は、モニタ５を見ながら、ロボット本体１の作業対象（ここでは船舶３１の船体の側面３１ａの所望の塗装部位）がモニタ５に表示されるように、飛行体操作器６のカメラ操作部を操作する。すると、飛行体制御器２３のカメラ制御部２６が、その操作に応じてカメラ２２の姿勢を変化させ、それにより、ロボット本体１の作業対象（塗装部位）がモニタ５に表示される。
　＜本番作業＞
　次いで、操作者９は、モニタ５を見ながら、ロボット本体１がロボット本体１の作業対象に近づくように移動装置操作器７を操作する。すると、移動装置３２の移動制御器５５が、移動機構５４を制御して、ロボット本体１を、ロボット本体１の作業対象に近づける。次いで、操作者９は、ロボット操作器２を操作して、ロボット本体１の塗装ガンによって、船舶３１の船体の側面３１ａの所望の塗装部位に塗装を開始する。一方、無人飛行体４のカメラ２２は、この塗装作業を撮像し、その撮像データをカメラ制御部２６に送信する。カメラ制御部２６は、この撮像データをロボット制御器３のモニタ制御部１９に送信する（ステップＳ２）。
　モニタ制御部１９（ロボット制御器３）は、この撮像データに対応する映像である、撮像された塗装作業の映像をモニタ５に表示する（ステップＳ３）
　操作者９は、このモニタ５に表示される塗装作業の映像を見ながら、ロボット操作器２を操作して塗装を行う。そして、当該塗装部位の塗装が完了すると、操作者９は、ロボット本体１が次の作業対象（船舶３１の船体の側面３１ａの次の塗装部位）に移動するよう移動装置操作器７を操作する。すると、移動装置３２の移動制御器５５が、移動機構５４を制御して、ロボット本体１を、ロボット本体１の次の作業対象に近づける。次いで、モニタ５の映像を見ながら、操作者９は、ロボット操作器２を操作して、ロボット本体１の塗装ガンによって、次の作業対象（船舶３１の船体の側面３１ａの次の塗装部位）に塗装を行う（ステップＳ４）。
　これ以降、ステップＳ２乃至ステップＳ４を繰り返し、予定された塗装作業が終了すると、船舶３１の船体の塗装を終了する。
　［作用効果］
　以上に説明したように、本実施形態１によれば、無人飛行体４がロボット本体１の作業の撮像データを取得するとともにロボット制御器３に送信し、ロボット制御器３がこの撮像データに基づいてロボット本体１作業の映像を表示器（モニタ５）に示し、操作者９がロボット操作器２によってロボット制御器３を介してロボット本体１の動作を制御するので、無人飛行体４をロボット適用対象物（船舶３１）の作業対象（船体の側面３１ａの塗装部位）を撮像するのに適した位置に移動させることにより、操作者９が表示器（モニタ５）に表示されるロボット本体１の作業の映像を見ながらロボット本体１を操作することができる。従って、固定の監視カメラの死角になる作業対象（船体の側面３１ａの塗装部位）が多いロボット適用対象物（船舶）に好適に対応することができる。
　また、ロボットシステム１００が、ロボット本体１が取り付けられた移動装置３２と、操作者９が移動装置３２を操作するための移動装置操作器７と、をさらに備え、移動装置３２は、ロボット本体１を鉛直方向及び水平方向に移動可能に構成されているので、操作者９が移動装置操作器７を操作することによって、ロボット本体１を鉛直方向及び水平方向に移動させることができる。その結果、ロボット本体１の作業を好適に行うことができる。
　（実施形態１の変形例）
　図５は、本発明の実施形態１の変形例に係るロボットシステムの適用状態を示す模式図である。図６は、図５に示されたロボットシステムの制御系統の構成例を示すブロック図である。
　図５に示すように、実施形態１の変形例のロボットシステム２００は、移動装置３３が走行可能に構成されている点において、実施形態１（基本構成）のロボットシステム１００と異なり、その他の構成は実施形態１のロボットシステム１００と同じである。以下、この相違点について説明する。
　図５を参照すると、移動装置３３は、例えば、周知のクレーン車で構成されている。この移動装置３３は、車両３４と、車両３４の荷台部分に設けられた屈折式のジブ（ブーム）３５とを備える。そして、ジブ３５の先端部に多関節型の産業用ロボットアームからなるロボット本体１が設置されている。船舶３１は、実施形態１の船舶３１と比べると大きい。このため、ロボット本体１によって船舶３１の船体の側面３１ａを塗装する際にロボット本体１を広範囲に移動させる必要がある。なお、参照符号３６は、噴霧状の塗料を示し、参照符号３７は、船舶３１の船体の側面３１ａの塗り分けの境界線を示す。
　本変形例では、移動装置操作器７は、操作者９が、移動装置３３を所望の速度で所望の方向に走行させ、且つ、屈折式のジブ３５を、所望の方向に回転させ、且つ、所望の程度に屈伸させることが可能なように構成されている。
　本変形例では、操作者９が移動装置３３を適宜操作することによって、ロボット本体１を所望の位置に移動させることができる。具体的には、操作者９が、飛行体操作器６を操作することによって、ロボット本体１の適用対象である船舶３１と移動装置３３とがモニタ５に同時に表示されるように、無人飛行体４及びカメラ２２を遠隔制御する。その一方で、操作者９は、モニタ５に表示される船舶３１と移動装置３３を見ながら移動装置操作器７を操作して、ロボット本体１が船舶３１の船体の側面３１ａの所望の塗装部位に近づくように、移動装置３３の車両３４を走行させるとともにジブ３５を屈伸させる。かくして、本変形例では、操作者９が、ロボット本体１を広範囲に移動させることができる。その結果、船舶３１が大きくても、船舶３１の船体の側面３１ａを好適に塗装することができる。
　（実施形態２）
　本発明の実施形態２のロボットシステム３００は、ロボット本体１及び無人飛行体４がそれぞれ所定のプログラムに従って動作する点が実施形態１のロボットシステム１００と主に相違する。以下、実施形態１のロボットシステム１００との相違点を説明する。
　［構成］
　図７は、本発明の実施形態２に係るロボットシステムのハードウエアの構成例を示す模式図である。
　図７を参照すると、ロボットシステム３００は、台車７０を備える。台車７０は、ここでは、基部に車輪７０ａを備える箱体で構成されている。台車７０は、車輪７０ａによって移動可能であり、所望の場所に停止することができる。車輪７０ａは、図示されない駆動機構によって駆動される。この駆動機構は、駆動源として、例えば、サーボモータを備える。車輪７０ａとこの駆動機構とが移動機構５４（図８参照）を構成する。
　台車７０の上面には、ロボット本体１としてのロボットアームが設置されている。ロボットアームは、後述する所定の作業を行う。従って、ロボットアームは、アームを有し、且つ所定の作業を行うことが可能なものであればよい。例えば、水平多関節ロボット、垂直多関節ロボット、パラレルリンクロボット、直交ロボット等が例示される。ここでは、ロボットアームは、双腕の水平多関節ロボットである。
　ロボットアームは、台車７０の上面に設置され、上下方向に延びる円柱状の基部７１と、基部７１に支持された右アーム及び左アームを備える。右アームは、基端部が基部７１の中心軸である第１回動軸線の周りに回動自在に基部７１に支持された右第１リンク７２Ａと、基端部が第１回動軸線と平行な第２回動軸線の周りに回動自在に右第１リンク７２Ａの先端部に支持された右第２リンク７３Ａと、右第２リンク７３Ａの先端部に第２回動軸線に垂直な第３回動軸線の周りに捻じれ回転可能で且つ昇降可能に支持された右リスト部７４Ａと、右リスト部７４Ａの下端に取り付けられた右ハンド７６Ａとを含む。右第１リンク７２Ａ、右第２リンク７３Ａ、及び右リスト部７４Ａが右アーム部７５Ａを構成する。
　左アームは、基端部が基部７１の中心軸である第１回動軸線の周りに回動自在に基部７１に支持された左第１リンク７２Ｂと、基端部が第１回動軸線と平行な第４回動軸線の周りに回動自在に左第１リンク７２Ｂの先端部に支持された左第２リンク７３Ｂと、左第２リンク７３Ｂの先端部に第４回動軸線に垂直な第５回動軸線の周りに捻じれ回転可能で且つ昇降可能に支持された左リスト部７４Ｂと、左リスト部７４Ｂの下端に取り付けられた左ハンド７６Ｂとを含む。左第１リンク７２Ｂ、左第２リンク７３Ｂ、及び左リスト部７４Ｂが左アーム部７５Ｂを構成する。ここでは、右ハンド７６Ａは、右リスト部７４Ａの下端部に固定された基体７７Ａと、基体７７Ａから右リスト部７４Ａの第３回動軸線に平行に延びる細長い板状の爪部材７８Ａとを含む。左ハンド７６Ｂは、左リスト部７４Ｂの下端部に固定された基体７７Ｂと、基体７７Ｂから左リスト部７４Ｂの第５回動軸線に平行に延びる細長い板状の爪部材７８Ｂとを含む。左右のアームは、独立して動作したり、互いに協働して動作したりすることができる。ここでは、ロボット１０は、一対の爪部材７８Ａ、７８Ｂをフォーク状に揃えて、後述する栽培ベッド８３（図１０参照）を搬送する。
　台車７０の内部にはロボット制御器３及びロボット通信器４２が収容されている。ロボット制御器３は、メモリに格納された所定の制御プログラムをプロセッサが読み出して実行することにより、ロボット本体１、台車７０、及び無人飛行体４の動作を完全に自動制御する。ロボット本体１（ロボットアーム）とロボット制御器３とがロボット１０を構成する。
　図８を参照すると、ロボット制御器３は、所定の制御プログラムに従って、台車７０の移動機構５４及びロボット本体１の動作を制御する。
　また、ロボット制御器３は、所定の制御プログラムに従って、飛行制御信号を無人飛行体４の飛行体制御器２３の飛行制御部２５に送信する。無人飛行体４は、自律モードと、実施形態１の操作モードに相当する外部制御モードとを有する。飛行制御部２５は、自律モードにおいて、所定のプログラムに従って、無人飛行体４が所定の飛行を行うよう飛行機構２７を制御する。また、飛行制御部２５は、飛行体通信器２４を介してロボット制御器３からの飛行制御信号を受け取ると、外部制御モードに切り替わり、当該飛行制御信号に従って、無人飛行体４が当該飛行制御信号に応じた飛行を行うよう飛行機構２７を制御する。
　無人飛行体４は、第１カメラ２２と第２カメラ２８とを備える。第１カメラ２２は、実施形態１のカメラ２２と同じである。第２カメラ２８は、直交する２平面内で姿勢を変更することが可能で、且つ、無人飛行体４の水平面内において３６０度の範囲で向き（光軸方向）を変えることが可能に構成されている。第２カメラ２８は、自動焦点機能を有する。
　ロボット制御器３は、所定の制御プログラムに従って、カメラ制御信号を無人飛行体４の飛行体制御器２３のカメラ制御部２６に送信する。カメラ制御部２６は、このカメラ制御信号に従って、第１カメラ２２の姿勢並びに第２カメラ２８の姿勢及び向きをそれぞれ制御する。第１カメラ２２の動作及び第１カメラ２２に関するカメラ制御部２６の動作は、実施形態１と同様である。但し、ここでは、カメラ制御部２６は、第１カメラの撮像データをロボット制御器３に送信する。
　第２カメラ２８は、例えば、３次元カメラで構成され、その撮像データをカメラ制御部２６に送信する。カメラ制御部２６は、その撮像データを画像処理することによって、第２カメラ２８と被写体との間の距離を検出する。本実形態２では、例えば、被写体が所定形状を有するか、あるいは被写体に所定の識別マークが付されており、カメラ制御部２６は、当該所定の形状又は当該所定の識別マークを記憶していて、撮像データに当該所定の形状又は当該所定の識別マークに一致する領域が存在するか否か判定することによって、撮像データから被写体を検出（抽出）する。
　無人飛行体４は、例えば、ＧＰＳを備えており、カメラ制御部２６は、ＧＰＳの位置情報から無人飛行体４（正確には無人飛行体４の基準位置）の空間位置を検出する。そして、無人飛行体４の空間位置と、第２カメラ２８の無人飛行体４における位置と、第２カメラ２８の姿勢及び向きと、第２カメラ２８と被写体との間の距離とに基づいて、被写体の空間位置を検出する。そして、この検出した被写体の空間位置をロボット制御器３に送信する。ここでは、被写体として、少なくとも、ロボット本体１、作業対象としての栽培ベッド８３（図９参照）、ロボット本体１が移動する場合の障害物としての集合棚８２が設定されている。
　［適用環境］
　図９は、図７のロボットシステム３００の適用状態を示す模式図である。図１０は、図９の単位棚の構成を模式的に示す正面図である。
　図９を参照すると、本実施形態２におけるロボットシステム３００のロボット本体１の適用対象は、無人の野菜生育成工場８０である。野菜生育成工場８０は、例えば、完全閉鎖型である。野菜生育成工場８０は、天井が高く且つ比較的広い内部空間を有する工場８１を備える。工場８１の内部には、複数の集合棚８２が、ロボット１０が所定の作業を行い且つ走行することが可能な間隔を置いて配置されている。各集合棚８２は、所定数の単位棚８２ａが互いに側面を接して配置されている。
　図１０を参照すると、単位棚８２ａは、例えば、３段に仕切られており、上段及び中段が野菜の生育成に用いられる。野菜の生育成には、移動式の栽培ベッド８３が用いられる。栽培ベッド８３は、発泡スチロール等の本体８３ａに一対の脚部８３ｂが設けられて構成される。本体８３ａ上で野菜が生育成される。また、一対の脚部８３ｂの間の空間８４にロボット１０の一対の爪部材７８Ａ、７８Ｂが挿入される。上段及び中段においては、天井に、それぞれ、栽培ベッド８３上の野菜に所定の光を照射するための照明器具８５が設けられ、且つ、栽培ベッド８３上の野菜に養液を供給し且つ栽培ベッド８３から使用済の養液を排出するための装置（図示せず）が設けられている。
　複数の集合棚には、野菜の複数の生育ステップが割り当てられており、各々の集合棚はそれぞれの生育ステップに応じた生育環境に維持される。各栽培ベッド８３は、当該栽培ベッド８３上の野菜の生育程度に応じて、複数の集合棚を順次移動される。
　ロボット制御器３には、図９に示す工場８１のレイアウト、すなわち、工場８１の内部空間の寸法、集合棚８２の配置及び寸法、各集合棚８２内における単位棚８２ａの配置及び寸法、各単位棚８２ａにおける各段の配置及び寸法等が記憶されている。
　［動作］
　＜基本動作＞
　本実施形態２では、無人飛行体４のみがＧＰＳを備えており、ロボット１０は、ＧＰＳを備えない。その理由は以下の通りである。本実施形態２では、ＧＰＳの位置誤差が、工場８１の大きさに比べて相対的に大きい。もし、無人飛行体４とロボット１０との双方がＧＰＳの位置情報に基づいて、それぞれの位置及び集合棚８２等を特定すると、ＧＰＳの誤差が加算されて、ロボット１０の作業に支障が生じる可能性があるからである。もちろん、ＧＰＳの位置誤差が、工場８１の大きさに比べて相対的に小さい場合には、無人飛行体４とロボット１０との双方がＧＰＳを備えてもよい。
　本実施形態２では、ロボット制御器３が、無人飛行体４を工場８１内において周回させながら、カメラ制御部２６を介して、所定の周期及び適宜な姿勢で、第２カメラ２２の向き（光軸方向）を、無人飛行体４の水平面内において３６０度変化させる。換言すると、第２カメラ２２を無人飛行体４の水平面内において回転させる。そして、カメラ制御部２６が、上述のように、被写体の撮像及び被写体との距離検出を行うことによって、ロボット本体１の空間位置と障害物である各集合棚（正確にはその基準位置）８２の空間位置を検出し、これらをロボット制御器３に送信する。
　＜具体的動作＞
　図１１は、図７のロボットシステム３００の動作（使用方法）を示すフローチャートである。ロボットシステム３００の動作は、ロボット１０のロボット制御器３の制御によって遂行される。
　図１０及び図１１を参照すると、ロボット制御器３は、工場８１において、無人飛行体４を周回させる（ステップＳ１１）。この間、上述のように、第２カメラを回転させて、ロボット本体１の空間位置と障害物である各集合棚（正確にはその基準位置）８２の空間位置をカメラ制御部２６から取得する。
　そして、ロボット制御器３は、条件に適合するアイテムが存在するか否か判定する（ステップＳ１２）。「アイテム」は、ロボット１０が何等かの作業を行う必要がある事象を意味する。ここでは、例えば、栽培ベッド８３上の野菜の生育程度に応じて、当該栽培ベッド８３が載置される集合棚８２を変更（移動）することである。「条件」は、ロボット１０が何等かの作業を行う条件を意味する。ここでは、栽培ベッド８３上の野菜の生育程度が、当該栽培ベッド８３が載置される集合棚８２を変更する条件を意味する。具体的には、ロボット制御器３は、無人飛行体４のカメラ制御部２６を介して第１カメラ２２を制御することにより、第１カメラ２２に各集合棚８２の各栽培ベッド８３上の野菜を撮像させ、その撮像データに基づいて、各栽培ベッド８３上の野菜の生育程度を監視する。具体的には、ロボット制御器３は、例えば、撮像データを画像処理して、野菜の高さを検出する。一方、ロボット制御器３は、複数の生育ステップと各ステップにおける野菜の上限高さとを対応させた対比テーブルを記憶しており、ロボット制御器３は、検出した野菜の高さをこの対比テーブルと比較し、各栽培ベッド８３上の野菜の高さが、各栽培ベッド８３が載置されている単位棚８２ａが属する集合棚８２に割り当てられている生育ステップに対応する野菜の上限高さを超えるか否か判定する。
　「超えない」場合には、「条件に適合するアイテムが存在しない」と判定し（ステップＳ１２でＮＯ）、その後、生育成業務を終了するか否か判定し（ステップＳ１６）、生育成業務を終了しない場合（ステップＳ１６でＮＯ）、ステップＳ１１に戻る。なお、生育成業務を終了する場合（ステップＳ１６でＹＥＳ）、このロボットシステム３００の動作を終了する。この場合、無人飛行体４は、所定位置に着陸される。
　一方、「超える」場合には、「条件に適合するアイテムが存在する」と判定し（ステップＳ１２でＹＥＳ）、ステップＳ１３に進む。以下、この「条件に適合するアイテム」に対応する栽培ベッド８３を「適合栽培ベッド」と呼ぶ。
　ステップＳ１３では、ロボット制御器３は、適合場所を特定する。この「適合場所」は、ここでは、適合栽培ベッド８３が載置されている単位棚８２ａの段である。具体的には、ロボット制御器３は、無人飛行体４のカメラ制御部２６を介して、第２カメラ２８が第１カメラ２２と同じ姿勢及び向きを取るよう第２カメラ２２を制御する。すると、カメラ制御部２６が、上述のように動作して、適合栽培ベッドの空間位置を検出し、これをロボット制御器３に送信する。この場合、カメラ制御部２６は、栽培ベッド８３の形状を記憶しており、この記憶された栽培ベッド８３の形状に基づいて画像処理により、適合栽培ベッド８３を被写体(作業対象)として抽出し、その距離を検出する。そして、この距離を用いて上述のように適合栽培ベッド８３の空間位置を検出し、これをロボット制御器３に送信する。ロボット制御器３は、この適合栽培ベッド８３の空間位置と自身が記憶している工場８１のレイアウトとに基づいて、適合栽培ベッド８３が載置されている単位棚８２ａの段を特定するとともに、当該適合栽培ベッド８３の空間位置を特定する。
　また、ロボット制御器３は、適合栽培ベッド８３上の野菜の高さに対応する生育ステップが割り当てられている集合棚８２を特定し、且つ、特定された集合棚８２において、空いている段を有する単位棚８２ａを特定する。以下、この単位棚８２ａの空いている段を移動先段と呼ぶ。次いで、ロボット制御器３は、無人飛行体４のカメラ制御部２６から送信されるロボット本体１の空間位置に基づいて、ロボット１０（台車７０）の現在位置を特定する。そして、ロボット制御器３は、無人飛行体４のカメラ制御部２６から送信される各集合棚（その基準位置）８２の空間位置と工場８１のレイアウトとに基づいて、集合棚８２を回避するようにロボット１０（台車７０）の移動経路を設定する。
　次いで、ロボット制御器３は、適合場所にロボット１０を移動させる（ステップＳ１４）。具体的には、ロボット制御器３は、台車７０の移動機構５４を制御して、上記移動経路を通って、ロボット１０を適合栽培ベッド８３の正面に移動させる。
　次いで、ロボット制御器３は、ロボット１０に必要な作業を行わせる（ステップＳ１５）。具体的には、ロボット制御器３は、ロボット本体１に、一対の爪部材７８Ａ、７６Ｂを適合栽培ベッド８３の一対の脚部８３ｂの間に空間８４に挿入させ、次いで、一対の爪部材７８Ａ、７６Ｂを少し上昇させて適合栽培ベッド８３を持ち上げさせる。次いで、ロボット制御器３は、ロボット本体１に、適合栽培ベッド８３を、単位棚８２ａから引き出させる。次いで、ロボット制御器３は、無人飛行体４のカメラ制御部２６から送信される各集合棚（その基準位置）８２の空間位置と工場８１のレイアウトとに基づいて、集合棚８２を回避するようにロボット１０（台車７０）の移動経路を設定する。
　次いで、ロボット制御器３は、ロボット１０を、上記移動経路を通って、移動先段の正面に移動させる。
　次いで、ロボット制御器３は、ロボット本体１に、適合栽培ベッド８３を移動先段の上部に移動させ、その後、一対の爪部材７８Ａ、７６Ｂを少し降下させて適合栽培ベッド８３を移動先段の上に載置させ、その後、一対の爪部材７８Ａ、７６Ｂを適合栽培ベッド８３の一対の脚部８３ｂの間の空間８４から抜かせる。これにより、ロボット１０の必要な作業が終了する。
　次いで、ロボット制御器３は、生育成業務を終了するか否か判定し（ステップＳ１６）、生育成業務を終了しない場合（ステップＳ１６でＮＯ）、ステップＳ１１に戻る。生育成業務を終了する場合（ステップＳ１６でＹＥＳ）、このロボットシステム３００の動作を終了する。
　＜作用効果＞
　本実施形態２によれば、ロボット本体１を自動的に動作させることができる。また、ロボット制御器３が、無人飛行体４を用いてロボット本体１の作業対象（適合栽培ベッド８３）を特定するので、無人飛行体４を用いて広い範囲を監視することができる。このため、容易にロボット本体１の作業対象を特定することができる。
　また、ロボット本体１が走行可能に構成され、無人飛行体４が、ロボット本体１の作業対象（適合栽培ベッド８３）の位置情報を取得するとともにロボット制御器３に送信するように構成され、ロボット制御器３が、作業対象の位置情報を受信すると、ロボット本体１の位置と作業対象の位置情報とに基づいてロボット本体１を作業対象位置に走行させるように構成されているので、ロボット本体１を自動的に作業対象位置に走行させることができる。
　また、無人飛行体４が、さらにロボット本体１から作業対象に至る経路に存在する障害物（集合棚８２）の位置情報を取得するとともにロボット制御器３に送信するように構成され、ロボット制御器３は、受信した障害物の位置情報に基づいて、障害物を回避してロボット本体１を作業対象位置に走行させるように構成されているので、自動的に、ロボット本体１から作業対象に至る経路に存在する障害物を回避してロボット本体１を作業対象位置に走行させることができる。
　（その他の実施形態）
　上記実施形態１及びその変形例において、ロボット本体１は、多関節のロボットアームには限定されない。ロボット本体１が、パラレルリンク型ロボット、直交型ロボット、その他のタイプのロボットであってもよい。
　上記実施形態１及びその変形例において、ロボット本体１の作業が塗装ではなく、例えば、船舶３１の船体の組み立てであってもよい。この場合、移動装置３２、３３は、船舶３１の船体の組み立てに適したクレーンが用いられる。
　上記実施形態１及びその変形例において、ロボット本体１の適用対象物が、車両、航空機、橋梁、又は建物であってもよい。
　上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造および／又は機能の詳細を実質的に変更できる。
　本発明のロボットシステム及びそれを用いて物を作る方法は、監視カメラの死角になる作業対象が多いロボット適用対象物及びロボットを個々の作業対象の近傍に移動させる必要があるロボット適用対象物の少なくとも一方に対応可能なロボットシステム及びそれを用いて物を作る方法等として有用である。
１　ロボット本体
２　ロボット操作器
３　ロボット制御器
４　無人飛行体
５　モニタ（表示器）
６　飛行体操作器
７　移動装置操作器
８　操作用通信器
９　操作者
１０　ロボット
１１　ロボットアーム
１８　ロボット制御部
１９　モニタ制御部
２０　回転翼
２１　本体
２２　カメラ（第１カメラ）
２３　飛行体制御器
２４　飛行体通信器
２５　飛行制御部
２６　カメラ制御部
２７　飛行機構
２８　第２カメラ
２９　操作机
３１　船舶
３１ａ　側面
３２　移動装置
３３　移動装置
４１　ハンド
４２　ロボット通信器
５４　移動機構
５５　移動制御器
５６　移動装置通信器
７０　台車
８０　野菜生育成工場
８１　工場
８２　集合棚
８２ａ　単位棚
８３　栽培ベッド
１００、２００、３００　ロボットシステム

Claims (14)

  1. 　ロボット本体と前記ロボット本体の動作を制御するロボット制御器とを有するロボットと、
    　自律飛行可能な無人飛行体と、を備え、
    　前記無人飛行体は、前記ロボット本体の作業の撮像データ及び前記ロボット本体の作業対象の位置情報の少なくとも一方を取得するとともに前記ロボット制御器に送信するように構成されており、
    　前記ロボット制御器は、前記撮像データ及び前記作業対象の位置情報の少なくとも一方を受信し、前記撮像データ及び前記作業対象の位置情報の少なくとも一方を利用して前記ロボット本体の動作を制御するように構成されている、ロボットシステム。
  2. 　前記ロボットシステムは、操作者が前記ロボット本体を操作するためのロボット操作器と、前記操作者に前記ロボット本体の作業の映像を提示するための表示器と、前記操作者が前記無人飛行体を操作するための飛行体操作器と、をさらに備え、
    　前記無人飛行体は、前記操作者による前記飛行体操作器の操作に従って前記ロボット本体の作業の撮像データを取得するとともに前記ロボット制御器に送信するように構成され、
    　前記ロボット制御器は、前記撮像データを受信し、前記撮像データに基づいて前記表示器に前記ロボット本体の作業の映像を表示し、且つ、前記操作者による前記ロボット操作器の操作に従って前記ロボット本体の動作を制御するように構成されている、請求項１に記載のロボットシステム。
  3. 　前記無人飛行体は、前記ロボット本体の作業を撮像する撮像器と、前記撮像器からの撮像データを前記ロボット制御器に送信する飛行体通信器と、前記操作者による前記飛行体操作器の操作に従って前記無人飛行体の飛行及び前記撮像器の動作を制御する飛行体制御器と、を備え、
    　前記ロボットは、前記飛行体通信器から送信される前記撮像データを受信するロボット通信器を備える、請求項２に記載のロボットシステム。
  4. 　前記ロボット本体が取り付けられた移動装置と、前記操作者が前記移動装置を操作するための移動装置操作器と、をさらに備え、
    　前記移動装置は、前記ロボット本体を鉛直方向及び水平方向に移動可能に構成されている、請求項３に記載のロボットシステム。
  5. 　前記移動装置は走行可能に構成され、
    　前記移動装置操作器は、前記移動装置のロボット移動動作及び走行を操作可能なように構成され、
    　前記ロボット制御器は、前記操作者による前記移動装置操作器の前記移動装置の走行に関する操作に従って前記移動装置の走行を制御するように構成されている、請求項４に記載のロボットシステム。
  6. 　前記ロボット制御器は、所定の制御プログラムに従って前記ロボット本体の動作を制御するように構成されている、請求項１に記載のロボットシステム。
  7. 　前記ロボット制御器は、前記無人飛行体を用いて前記ロボット本体の作業対象を特定するように構成されている、請求項６に記載のロボットシステム。
  8. 　前記ロボットは走行可能に構成され、
    　前記無人飛行体は、特定された前記ロボット本体の作業対象の位置情報を取得するとともに前記ロボット制御器に送信するように構成され、
    　前記ロボット制御器は、前記作業対象の位置情報を受信すると、前記ロボット本体の位置と前記作業対象の位置情報とに基づいて前記ロボットを前記作業対象位置に走行させるように構成されている、請求項７に記載のロボットシステム。
  9. 　前記無人飛行体は、前記ロボット本体の位置情報を取得するとともに前記ロボット制御器に送信するように構成され、
    　前記ロボット制御器は、受信した前記ロボット本体の位置と前記作業対象の位置情報とに基づいて前記ロボットを前記作業対象位置に走行させるように構成されている、請求項８に記載のロボットシステム。
  10. 　前記無人飛行体は、さらに前記ロボット本体から前記作業対象に至る経路に存在する障害物の位置情報を取得するとともに前記ロボット制御器に送信するように構成され、
    　前記ロボット制御器は、受信した前記障害物の位置情報に基づいて、前記障害物を回避して前記ロボットを前記作業対象位置に走行させるように構成されている、請求項７乃至９のいずれかに記載のロボットシステム。
  11. 　前記ロボット本体が多関節の産業用ロボットアームである、請求項１乃至１０のいずれかに記載のロボットシステム。
  12. 　ロボットシステムを用いて物を作る方法であって、
    前記ロボットシステムは、ロボット本体と前記ロボット本体の動作を制御するロボット制御器とを有するロボットと、自律飛行可能な無人飛行体と、を備え、
    　前記方法は、
    　前記無人飛行体によって、前記物に対する前記ロボット本体の作業の撮像データを取得するとともに前記ロボット制御器に送信することと、
    　前記ロボット制御器によって、前記撮像データを受信し且つ前記撮像データを利用して前記ロボット本体の動作を制御することと、を含む、ロボットシステムを用いて物を造る方法。
  13. 　前記ロボットシステムは、操作者が前記ロボット本体を操作するためのロボット操作器と、前記操作者に前記ロボット本体の作業の映像を提示するための表示器と、前記操作者が前記無人飛行体を操作するための飛行体操作器と、をさらに備え、
    　前記物に対する前記ロボット本体の作業の撮像データを取得するとともに前記ロボット制御器に送信することを、前記操作者による前記飛行体操作器の操作に従って行い、
    　前記ロボット制御器によって、前記撮像データを受信し且つ前記撮像データを利用して前記ロボット本体の動作を制御することが、前記ロボット制御器によって、前記撮像データに基づいて前記表示器に前記物に対する前記ロボット本体の作業の映像を表示し且つ前記操作者による前記ロボット操作器の操作に従って前記ロボット本体の動作を制御することである、請求項１２に記載のロボットシステムを用いて物を造る方法。
  14. 　前記ロボット本体が多関節の産業用ロボットアームであり、前記物が船舶、車両、航空機、橋梁、及び建物のいずれかである、請求項１２又は１３に記載のロボットシステムを用いて物を造る方法。
PCT/JP2018/039944 2017-11-22 2018-10-26 ロボットシステム及びそれを用いて物を作る方法 WO2019102789A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18880642.6A EP3715066A4 (en) 2017-11-22 2018-10-26 ROBOTIC SYSTEM AND METHOD OF GENERATING ITEMS USING THEREOF
CN201880075405.8A CN111432991B (zh) 2017-11-22 2018-10-26 机器人系统及使用其制作物品的方法
KR1020207012924A KR102375802B1 (ko) 2017-11-22 2018-10-26 로봇 시스템 및 이를 이용하여 물건을 제작하는 방법
US16/766,362 US11613022B2 (en) 2017-11-22 2018-10-26 Robot system and method of manufacturing object by using the robot system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-224267 2017-11-22
JP2017224267A JP6944354B2 (ja) 2017-11-22 2017-11-22 ロボットシステム及びそれを用いて物を作る方法

Publications (1)

Publication Number Publication Date
WO2019102789A1 true WO2019102789A1 (ja) 2019-05-31

Family

ID=66631511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039944 WO2019102789A1 (ja) 2017-11-22 2018-10-26 ロボットシステム及びそれを用いて物を作る方法

Country Status (6)

Country Link
US (1) US11613022B2 (ja)
EP (1) EP3715066A4 (ja)
JP (1) JP6944354B2 (ja)
KR (1) KR102375802B1 (ja)
CN (1) CN111432991B (ja)
WO (1) WO2019102789A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230239439A1 (en) * 2020-06-19 2023-07-27 Kawasaki Jukogyo Kabushiki Kaisha Imaging system and robot system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020090809A1 (ja) * 2018-11-01 2020-05-07 キヤノン株式会社 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体
JP7272825B2 (ja) * 2019-03-06 2023-05-12 ファナック株式会社 ロボットシステム
JP7563212B2 (ja) * 2021-02-05 2024-10-08 トヨタ自動車株式会社 搬送システム及び搬送方法
CN116088499A (zh) * 2022-12-12 2023-05-09 广东电网有限责任公司广州供电局 一种带电作业机器人系统的无人机辅助系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0615594A (ja) 1992-07-02 1994-01-25 Toshiba Corp 遠隔操作ロボットの監視装置
JPH11291991A (ja) * 1998-04-03 1999-10-26 Shinshakai System Kenkyusho:Kk 移動体の遠隔操縦システム
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
US20160271796A1 (en) * 2015-03-19 2016-09-22 Rahul Babu Drone Assisted Adaptive Robot Control
WO2017131194A1 (ja) * 2016-01-29 2017-08-03 住友建機株式会社 ショベル及びショベルの周囲を飛行する自律式飛行体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631431B2 (ja) * 2000-12-05 2005-03-23 独立行政法人科学技術振興機構 探知装置、探知方法
KR101149515B1 (ko) * 2010-02-12 2012-05-25 삼성중공업 주식회사 용접 장치 및 용접 방법
EP2511656A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche
US9214021B2 (en) 2012-10-09 2015-12-15 The Boeing Company Distributed position identification
US10165722B2 (en) 2014-12-05 2019-01-01 Deere & Company Scouting systems
PE20190877A1 (es) * 2015-02-13 2019-06-18 Esco Group Llc Monitoreo de productos de acondicionamiento del terreno para equipos de trabajo de movimiento de tierra
CN204868886U (zh) * 2015-07-10 2015-12-16 桂林电子科技大学 一种灾害现场可飞行的多功能机器人
JP6598154B2 (ja) * 2015-11-05 2019-10-30 株式会社Ｉｈｉエアロスペース 爆発物探知システム
CN205486332U (zh) * 2016-01-20 2016-08-17 珠海市钰海电力有限公司 一种智能无人巡检系统
CN106200667A (zh) * 2016-09-05 2016-12-07 南京理工大学 石化生产现场智能巡检系统
CN106334283A (zh) * 2016-10-10 2017-01-18 南京工程学院 一种灭火救援机器人系统及控制方法
CN106965179A (zh) * 2017-04-10 2017-07-21 浙江谱麦科技有限公司 一种工业机器人的视觉定位系统及方法
DE102017116659A1 (de) * 2017-07-24 2019-01-24 Vorwerk & Co. Interholding Gmbh Im Außenbereich selbsttätig verfahrbares Arbeitsgerät
CN107329487A (zh) * 2017-08-31 2017-11-07 西南交通大学 一种无人机与机器人空中联动作业平台
US10890921B2 (en) * 2018-05-31 2021-01-12 Carla R. Gillett Robot and drone array
US20230008259A1 (en) * 2021-07-09 2023-01-12 Qualcomm Incorporated Techniques for wideband operation of sidelink communications over unlicensed band

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0615594A (ja) 1992-07-02 1994-01-25 Toshiba Corp 遠隔操作ロボットの監視装置
JPH11291991A (ja) * 1998-04-03 1999-10-26 Shinshakai System Kenkyusho:Kk 移動体の遠隔操縦システム
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
US20160271796A1 (en) * 2015-03-19 2016-09-22 Rahul Babu Drone Assisted Adaptive Robot Control
WO2017131194A1 (ja) * 2016-01-29 2017-08-03 住友建機株式会社 ショベル及びショベルの周囲を飛行する自律式飛行体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3715066A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230239439A1 (en) * 2020-06-19 2023-07-27 Kawasaki Jukogyo Kabushiki Kaisha Imaging system and robot system

Also Published As

Publication number Publication date
US11613022B2 (en) 2023-03-28
KR102375802B1 (ko) 2022-03-17
JP2019093471A (ja) 2019-06-20
EP3715066A4 (en) 2021-09-08
EP3715066A1 (en) 2020-09-30
CN111432991A (zh) 2020-07-17
KR20200066673A (ko) 2020-06-10
CN111432991B (zh) 2023-07-07
US20200376677A1 (en) 2020-12-03
JP6944354B2 (ja) 2021-10-06

Similar Documents

Publication Publication Date Title
WO2019102789A1 (ja) ロボットシステム及びそれを用いて物を作る方法
US10792114B2 (en) Remote control robot system and method of operating the same
US10281930B2 (en) Gimbaled universal drone controller
Lee et al. Visual-inertial telepresence for aerial manipulation
Laiacker et al. High accuracy visual servoing for aerial manipulation using a 7 degrees of freedom industrial manipulator
US10472095B1 (en) Mobile fixture apparatuses and methods
Paul et al. A multirotor platform employing a three-axis vertical articulated robotic arm for aerial manipulation tasks
JP2013521137A (ja) 輻輳した環境におけるロボット型機械の操縦を支援する方法及びシステム
CN109949370B (zh) 一种用于imu-相机联合标定的自动化方法
Xiao et al. Visual servoing for teleoperation using a tethered uav
US10782696B2 (en) Mobile fixture apparatuses and methods
CN111015681A (zh) 信通机房巡检机器人系统
Orsag et al. Human-in-the-loop control of multi-agent aerial systems
CN113001142A (zh) 一种用于大型分块光学组件的双机械臂自动装配系统
US11072439B2 (en) Mobile fixture apparatuses and methods
Pryor et al. A Virtual Reality Planning Environment for High-Risk, High-Latency Teleoperation
WO2021256464A1 (ja) 撮像システム及びロボットシステム
Ladig et al. High precision marker based localization and movement on the ceiling employing an aerial robot with top mounted omni wheel drive system
Lytle et al. Development of a robotic structural steel placement system
CN219629777U (zh) 自动就位的手术机器人系统
KR20240030730A (ko) 짐벌 기구를 이용한 로봇 매니퓰레이터 제어 장치 및 방법
Viegas Scalable Modular Multi-Agent Robotic System on Ad-hoc Pathways for Automation in Large Spaces
JPH03239488A (ja) 宇宙ロボット用視覚装置
Walter Intuitive one-hand controls for robotic camera arms

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18880642

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207012924

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018880642

Country of ref document: EP

Effective date: 20200622