WO2022138724A1 - ロボットシステム及びロボット作業方法 - Google Patents

ロボットシステム及びロボット作業方法 Download PDF

Info

Publication number
WO2022138724A1
WO2022138724A1 PCT/JP2021/047585 JP2021047585W WO2022138724A1 WO 2022138724 A1 WO2022138724 A1 WO 2022138724A1 JP 2021047585 W JP2021047585 W JP 2021047585W WO 2022138724 A1 WO2022138724 A1 WO 2022138724A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
self
image
propelled robot
propelled
Prior art date
Application number
PCT/JP2021/047585
Other languages
English (en)
French (fr)
Inventor
雅幸 掃部
朋暉 岡
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Priority to US18/268,494 priority Critical patent/US20240075634A1/en
Priority to CN202180086270.7A priority patent/CN116635190A/zh
Priority to JP2022571554A priority patent/JPWO2022138724A1/ja
Publication of WO2022138724A1 publication Critical patent/WO2022138724A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B25J9/0087—Dual arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39438—Direct programming at the console
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming

Definitions

  • This disclosure relates to a robot system and a robot working method.
  • Some robots capable of autonomous traveling are equipped with a robot arm.
  • the robot arm tends to interfere with surrounding objects.
  • the above-mentioned conventional technique does not mention it at all.
  • the present disclosure has been made to solve the above-mentioned problems, and an object of the present disclosure is to provide a robot system and a robot working method capable of preventing a self-propelled robot equipped with a robot arm from interfering with surrounding objects. There is.
  • the robot system includes a self-propelled robot including a robot arm having one or more joints, and the self-propelled robot that accepts an operation by an operator.
  • the operation unit for operation, a display visually recognized by the operator, a peripheral camera mounted on the self-propelled robot to capture the surrounding situation of the self-propelled robot, and a processing circuit are provided.
  • the processing circuit generates a self-propelled robot simulated image that imitates the posture of the self-propelled robot including the posture of the robot arm from moment to moment, and the surrounding situation image captured by the surrounding camera and the generated self-propelled robot. It is configured to include a simulated image and generate a composite image to be displayed on the display.
  • simulated image generation unit generates a continuous moving image of the self-propelled robot simulated image
  • self-propelled robot simulated image is an instantaneous image of the moving image. It is the wording of, and has no particular meaning other than that.
  • the robot working method is to operate a self-propelled robot provided with a robot arm and to imitate the posture of the self-propelled robot including the posture of the robot arm every moment.
  • Generating a running robot simulated image providing the self-propelled robot with a peripheral camera that captures the surrounding situation of the self-propelled robot, surrounding situation image captured by the peripheral camera, and the self-propelled robot simulation. It includes generating a composite image including an image and displaying the composite image.
  • the present disclosure has the effect of being able to provide a robot system and a robot working method that can prevent a self-propelled robot equipped with a robot arm from interfering with surrounding objects.
  • FIG. 1 is a schematic diagram showing an example of the configuration of the robot system according to the embodiment of the present disclosure.
  • FIG. 2 is a plan view showing an example of the configuration of the operation unit of FIG.
  • FIG. 3 is a diagram schematically showing an imaging range of the peripheral camera of FIG.
  • FIG. 4 is a functional block showing the configuration of the control system of the robot system of FIG.
  • FIG. 5 is a bird's-eye view view showing a composite image of a surrounding situation image and a self-propelled robot simulated image as an image viewed from a bird's-eye view of the self-propelled robot.
  • FIG. 5 is a bird's-eye view view showing a composite image of a surrounding situation image and a self-propelled robot simulated image as an image viewed from a bird's-eye view of the self-propelled robot.
  • FIG. 6 is an upper viewpoint view showing a composite image of a surrounding situation image and a self-propelled robot simulated image as an image of the self-propelled robot viewed from an upper viewpoint.
  • FIG. 7 is a first-person perspective view showing a composite image of a surrounding situation image and a self-propelled robot simulated image as an image viewed from the self-propelled robot.
  • FIG. 8 is a diagram showing a composite image in which the planned movement path of the self-propelled robot is superimposed on the surrounding situation image.
  • FIG. 9 is a diagram showing a composite image in which an arm moving image showing a change in the posture of a robot arm of a self-propelled robot is superimposed on a simulated image of the self-propelled robot and an image of surrounding conditions.
  • FIG. 7 is a first-person perspective view showing a composite image of a surrounding situation image and a self-propelled robot simulated image as an image viewed from the self-propelled robot.
  • FIG. 8 is a diagram showing a
  • FIG. 10A is a diagram showing a frame of an arm moving image showing a change in the posture of a robot arm of a self-propelled robot.
  • FIG. 10B is a diagram showing a frame of an arm moving image showing a change in the posture of the robot arm of the self-propelled robot.
  • FIG. 10C is a diagram showing a frame of an arm moving image showing a change in the posture of the robot arm of the self-propelled robot.
  • FIG. 10D is a diagram showing a frame of an arm moving image showing a change in the posture of the robot arm of the self-propelled robot.
  • FIG. 1 is a schematic diagram showing an example of the configuration of the robot system 100 according to the embodiment of the present disclosure.
  • the robot system 100 includes a self-propelled robot 1 provided with robot arms 121A and 121B, and an operation unit 21 (21A and 21B in FIG. 2) for operating the self-propelled robot 1.
  • a simulated image generation unit 115 (FIG. 4) that generates a self-propelled robot simulated image 160 (see FIGS. 5 to 7) that constantly simulates the posture of the self-propelled robot 1 including the postures of the operation unit 2 and the robot arms 121A and 121B. )
  • a peripheral camera 17 provided on the self-propelled robot 1 to capture the surrounding situation of the self-propelled robot 1, an ambient situation image 50 (see FIGS. 5 to 7) captured by the peripheral camera 17, and a simulated image.
  • the composite image generation unit 116 (see FIG. 4) that generates the composite images 501, 601 and 701 (see FIGS. 5 to 7) including the self-propelled robot simulated image 160 generated by the generation unit 115, and the composite image generation unit 116.
  • a display unit 23 (see FIG. 2) of the operation unit 2 for displaying the generated composite images 501, 601 and 701 is provided. Hereinafter, this configuration will be described in detail.
  • the robot system 100 of the present embodiment includes a self-propelled robot 1 including a traveling unit 11 capable of autonomous traveling and an arm unit 13 provided in the traveling unit 11, and an operation unit (console) 2.
  • the self-propelled robot 1 and the operation unit 2 are connected via, for example, a data communication network 3.
  • the self-propelled robot 1 and the operation unit 2 may be directly connected by wire or wirelessly.
  • ⁇ Use of robot system 100 The application of the robot system 100 is not particularly limited. In the following, a case where the self-propelled robot 1 provides nursing care in an individual's mansion will be illustrated.
  • the data communication network 3 may be any network capable of data communication. Examples of the data communication network 3 include the Internet, LAN (Local Area Network), WAN (Wide Area Network), and the like.
  • the self-propelled robot 1 may basically be configured to include a traveling unit 11 capable of autonomous traveling and an arm unit (robot arm) 13 provided in the traveling unit 11. ..
  • the self-propelled robot 1 includes a traveling unit 11, an elevating unit 12, and an arm unit 13.
  • the traveling unit 11 is composed of, for example, a dolly (hereinafter, referred to as a dolly 11).
  • the bogie 11 includes wheels 11a including front wheels and rear wheels at the base.
  • One of the front and rear wheels is the steering wheel, and at least one of the front and rear wheels is the drive wheel.
  • an elevating portion 12 is provided at the front portion of the trolley, and a storage shelf 11b for placing an article is provided at the rear portion of the trolley 11.
  • the dolly 11 further includes a battery and a motor, and the dolly 11 autonomously travels by driving the wheels 11a using the battery as a power source. Further, the elevating unit 12, the arm unit 13, the robot side display unit 14, the robot side microphone 15, and the robot side sound emitting unit 16 described later operate using this battery as a power source.
  • the elevating portion 12 includes a base portion 122 and an elevating shaft 123 that elevates and descends with respect to the base portion 122.
  • the elevating shaft 123 extends in the vertical direction, for example.
  • the base ends of the first robot arm 121A and the second robot arm 121B are rotatably provided around the central axis of the elevating shaft 123.
  • the second robot arm 121B is provided on the upper side of the first robot arm 121A.
  • the rotation positions of the first robot arm 121A and the second robot arm 121B can be exchanged, and there is no distinction between left and right.
  • the first robot arm 121A and the second robot arm 121B are each composed of an articulated robot arm, and each has a hand 124A and a hand 124B at their tips.
  • the hand 124A and the hand 124B are not particularly limited, but here, they are formed in a shape capable of gripping an object.
  • a peripheral camera 17 is provided in front of the elevating shaft 123.
  • the peripheral camera 17 is provided on the right side portion (shown by reference numeral 17), the rear portion (not shown in FIG. 1), and the left side portion (not shown in FIG. 1) of the dolly 11. These four peripheral cameras are provided at the same height position as each other.
  • the four surrounding cameras 17 are devices for the operator P to check the surrounding conditions (environment) of the self-propelled robot 1. The peripheral camera 17 will be described in detail later.
  • a hand camera 18 is provided at the tip of the second robot arm 121B.
  • the hand camera 18 is a device for the operator P to confirm the object to be grasped by the pair of hands 124A and 124B.
  • a robot-side display unit 14 is attached to the upper end of the elevating shaft 123 via a support member 125.
  • the robot-side display unit 14 is composed of, for example, a liquid crystal display.
  • a robot-side microphone 15, a robot-side sound emitting unit 16, and a main camera 19 are provided at appropriate positions on the robot-side display unit 14.
  • the robot side display unit 14, the robot side microphone 15, the robot side sound emitting unit 16, and the main camera 19 are a group of devices for the self-propelled robot 1 to interact with a person (hereinafter referred to as an interlocutor).
  • the robot side display unit 14 displays information (image information, character information, etc.) to be transmitted to the interlocutor.
  • the robot-side microphone 15 acquires the voice of the interlocutor.
  • the robot-side sound emitting unit 16 is composed of, for example, a speaker, and emits sound information to be transmitted to the interlocutor.
  • the main camera 19 captures the interlocutor.
  • the dolly 11 further includes an arithmetic circuit module Cm1 and a robot-side communication unit 113.
  • the arithmetic circuit module Cm1 includes a processor Pr1 and a memory Me1.
  • the arithmetic circuit module Cm1 constitutes a robot control unit (controller) 112, a simulated image generation unit 115, a composite image generation unit 116, and an interference warning unit 117 (see FIG. 4).
  • a part or all of the simulated image generation unit 115, the composite image generation unit 116, and the interference warning unit 117 may be configured by the arithmetic circuit module Cm2 described later.
  • FIG. 2 is a plan view showing an example of the configuration of the operation unit 2 of FIG.
  • the operation unit 2 is not particularly limited as long as it can operate the self-propelled robot 1.
  • the operation unit 2 may have the left and right operation units 21A and 21B integrated, or may be composed of a plurality of individually formed operation units.
  • the operation unit is not particularly limited as long as it can be operated by the operator. Keys, joysticks, handles, touch panels, and the like are exemplified as operation units (operation tools, controls).
  • the operation unit 2 may be integrated with the operation units 21A and 21B, the operation side display unit 23, the operation side microphone 25, and the operation side sound emission unit 26.
  • the operation units 21A and 21B, the operation side display unit 23, the operation side microphone 25, and the operation side sound emission unit 26 may be formed separately.
  • the operation unit 2 includes a main body 20.
  • the main body 20 is formed in a flat rectangular parallelepiped box.
  • a left-handed operation unit 21A and a right-handed operation unit 21B are provided on the left end portion and the right end portion of the main body 20, respectively. These left-hand operation units 21A and right-hand operation units 21B constitute the operation unit 21.
  • a predetermined group of operation keys 29 are arranged in the left-hand operation unit 21A and the right-hand operation unit 21B, respectively. This predetermined group of operation keys 29 is configured in the same manner as, for example, a well-known operation key group of a game machine. Therefore, the description of this predetermined group of operation keys 29 will be omitted.
  • the operation unit 21 is configured to output a key operation signal for operating the traveling unit, the elevating unit, and the arm unit 13 of the self-propelled robot 1.
  • An operation side display unit 23 visually recognized by the operator P is provided in the center of the upper surface of the main body 20.
  • the operation side display unit 23 is, for example, a touch screen.
  • the operation side display unit 23 may be any one that displays an image, and may not be a touch screen.
  • the operation side display unit 23 may be a liquid crystal display arranged separately from the operation unit 2, or may be a head-mounted display.
  • the operation side display unit 23 displays information (image information, character information, etc.) necessary for the operator P to operate the self-propelled robot 1.
  • the main image captured by the main camera 19 and the hand image captured by the hand camera 18 are appropriately displayed on the operation side display unit 23.
  • the composite image 501, 601, 701 (see FIGS. 5 to 7) described later is displayed on the operation side display unit 23.
  • An operation-side microphone 25 and an operation-side sound emitting unit 26 are provided at appropriate positions on the upper surface of the main body 20.
  • the operating microphone 25 acquires the voice of the interlocutor.
  • the operation side sound emitting unit 26 is composed of, for example, a speaker, and emits the voice of the interlocutor acquired by the robot side microphone 15.
  • the operation side sound emitting unit 26 further includes headphones 26a.
  • An audio output terminal is provided at an appropriate position in the main body 20, and when the connection cord 30 of the headphone 26a is connected to this audio output terminal, the output unit of the sound emitting unit 26 on the operation side switches from the speaker to the headphone 26a, and the headphone 26a
  • the voice of the interlocutor acquired by the microphone 15 on the robot side is emitted from.
  • the arithmetic circuit module Cm2 includes a processor Pr2 and a memory Me2.
  • the arithmetic circuit module Cm2 constitutes an operation control unit 27 (see FIG. 4) as described later.
  • FIG. 3 is a diagram schematically showing an imaging range of the peripheral camera 17 of FIG.
  • peripheral cameras 17 are provided on the front part, the right side part, the rear part, and the rear part of the self-propelled robot 1, respectively. These four peripheral cameras 17 are provided symmetrically in the front-rear direction and the left-right direction with respect to the predetermined central axis C of the self-propelled robot 1 in a plan view (top view). Further, these four peripheral cameras 17 are provided at the same height position as each other in the middle of the height direction of the self-propelled robot 1.
  • Each peripheral camera 17 is composed of a wide-angle camera, here, a camera with an angle of view of 180 degrees. Therefore, the imaging ranges 151A to 151D of the four peripheral cameras 17 overlap each other at both ends in the lateral direction of each peripheral camera 17.
  • the peripheral camera 17 is composed of a 3D camera (three-dimensional camera) here.
  • a 3D camera is a camera that can acquire not only horizontal and vertical (X and Y) two-dimensional information but also depth (Z) information.
  • 3D cameras for example, a stereo camera that uses parallax using multiple cameras, a ToF camera that uses the flight time of light, and a structured lighting camera that uses patterned light are available. Illustrated. Since these cameras are well known, detailed description thereof will be omitted.
  • the surroundings are viewed from a bird's-eye view (hereinafter referred to as a bird's-eye view image; see FIG. 5), and the surroundings are viewed.
  • An image viewed from an upper viewpoint hereinafter referred to as an upper viewpoint image; see FIG. 6
  • an image of the surroundings viewed from the self-propelled robot 1 hereinafter referred to as a first-person viewpoint image; see FIG. 7. Get the image of. Since the captured image of the peripheral camera 17 includes depth information, such image processing can be performed.
  • FIG. 4 is a functional block showing the configuration of the control system of the robot system 100 of FIG.
  • the operation unit 2 includes an operation unit 21, an operation side display unit 23, an operation side microphone 25, an operation side sound emission unit 26, an operation control unit 27, and an operation side communication unit 28.
  • the operation unit 21 outputs a key operation signal corresponding to the operation of the operation keys 29 of the group of the operator P to the operation control unit 27.
  • the operation side display unit 23 displays an image according to an image display signal input from the operation control unit 27. Further, the operation side display unit 23 outputs the composite image designation information, the planned movement route information, and the arm moving image information, which will be described in detail later. Further, the operation side display unit 23 outputs display image switching information.
  • the operation-side microphone 25 acquires the voice of the operator P and outputs it as the operator voice signal to the operation control unit 27.
  • the operation side sound emitting unit (interference warning notification unit) 26 emits the interlocutor voice and the interference warning voice, respectively, according to the interlocutor voice signal and the interference warning voice signal input from the operation control unit 27.
  • the operation side sound emitting unit 26 corresponds to the interference warning alarm.
  • the operation control unit 27 generates an operation signal corresponding to the key operation signal input from the operation unit 21, and outputs this to the operation side communication unit 28.
  • This operation signal is based on, for example, the assignment information of "the operation of the traveling part, the operation of the elevating part, and the operation of the arm part" of the self-propelled robot to the preset "combination of the key operation signals of the group of operation keys 29". Is generated.
  • the operation control unit 27 outputs the operator voice signal input from the operation side microphone 25 to the operation side communication unit 28. Further, the operation control unit 27 outputs the composite image designation information, the scheduled movement route information, and the arm moving image information input from the operation side display unit 23 to the operation side communication unit 28.
  • the operation control unit 27 appropriately generates a composite image, a hand image, and a display signal of the main image based on the composite image signal, the hand image signal, and the main image signal input from the operation side communication unit 28. , These are output to the operation side display unit 23. At this time, the operation control unit 27 switches the display signals of the composite image, the hand image, and the main image according to the display switching information input from the operation side display unit 23.
  • the operation control unit 27 outputs an interference warning image signal to the operation side display unit 23 based on the interference warning signal input from the operation side communication unit 28, and also outputs an interference warning voice based on the interference warning signal. A signal is generated and output to the operating microphone 25.
  • the operation control unit 27 outputs the interlocutor voice signal input from the operation side communication unit 28 to the operation side sound emission unit 26.
  • the operation side communication unit 28 is composed of a communication device capable of data communication.
  • the operation side communication unit 28 converts the operation signal, the operator voice signal, the composite image designation information, the scheduled movement route information, and the arm moving image information input from the operation control unit 27 into communication data (packets), respectively. Then, it is transmitted to the communication unit 113 on the robot side.
  • the operation side communication unit 28 receives communication data of the composite image signal, the hand image signal, the main image signal, the interference warning signal, and the interlocutor voice signal from the robot side communication unit 113, and each of these is a composite image.
  • the signal, the hand image signal, the main image signal, the interference warning signal, and the interlocutor voice signal are returned and output to the operation control unit 27.
  • the operation control unit 27 is composed of an arithmetic circuit module Cm2 having a processor Pr2 and a memory Me2.
  • the operation control unit 27 is a functional block realized by the processor Pr2 executing the control program stored in the memory Me2 in the arithmetic circuit module Cm2.
  • the arithmetic circuit module Cm2 is composed of, for example, a microcontroller, an MPU, an FPGA (Field Programmable Gate Array), a PLC (Programmable Logic Controller), or the like. These may be composed of a single arithmetic circuit module that performs centralized control, or may be configured by a plurality of arithmetic circuit modules that perform distributed control.
  • the self-propelled robot 1 includes a traveling unit 11, an elevating unit 12, an arm unit 13, a robot side display unit 14, a robot side microphone 15, a robot side sound emitting unit 16, a peripheral camera 17, a hand camera 18, a main camera 19, and a robot control.
  • a unit 112, a robot-side communication unit 113, a simulated image generation unit 115, a composite image generation unit 116, and an interference warning unit 117 are provided.
  • the robot side communication unit 113 is composed of a communication device capable of data communication.
  • the robot-side communication unit 113 receives communication data of the operation signal, the operator voice signal, the composite image designation information, the scheduled movement route information, and the arm moving image information from the operation-side communication unit 28, and these are used as an operation signal.
  • the operator voice signal, the composite image designation information, the scheduled movement route information, and the arm moving image information are returned and output to the robot control unit 112.
  • the robot side communication unit 113 converts the composite image signal, the hand image signal, the main image signal, the interference warning signal, and the interlocutor voice signal input from the robot control unit 112 into communication data (packets), and converts these into communication data (packets). It is transmitted to the communication unit 28 on the operation side.
  • the robot control unit 112 outputs an operation signal input from the robot-side communication unit 113 to the traveling unit 11, the elevating unit 12, and the arm unit 13.
  • the robot control unit 112 outputs the composite image designation information, the scheduled movement route information, and the arm moving image information input from the robot side communication unit 113 to the composite image generation unit 116.
  • the robot control unit 112 appropriately generates an image display signal and outputs it to the robot side display unit 14.
  • the robot control unit 112 outputs an operator voice signal input from the robot side communication unit 113 to the robot side sound emission unit 16.
  • the robot control unit 112 causes, for example, the robot side display unit 14 to display a person image (for example, an illustration image) wearing a uniform corresponding to a predetermined work site, and outputs an operator voice signal. It may be converted into a signal of a voice suitable for a person (for example, a soft voice corresponding to the gender of the employee).
  • the robot control unit 112 inputs the composite image signal input from the composite image generation unit 116, the hand image signal input from the hand camera 18, and the main image signal input from the main camera 19 to the robot side communication unit 113. Output to.
  • the traveling unit 11, the elevating unit 12, and the arm unit 13 operate according to the operation signal input from the robot control unit 112.
  • the robot side display unit 14 displays an image according to an image display signal input from the robot control unit 112.
  • the robot-side microphone 15 acquires the voice of the interlocutor (for example, the customer) and outputs the voice signal of the interlocutor to the robot control unit 112.
  • the robot side sound emitting unit 16 emits sound according to the operator voice signal input from the robot control unit 112.
  • the robot-side sound emitting unit 16 is composed of, for example, a speaker.
  • the surrounding camera 17 captures an image of the surrounding situation (environment) of the self-propelled robot 1 and outputs this as a surrounding situation image to the composite image generation unit 116 and the interference warning unit 117.
  • the hand camera 18 captures an image of the hand environment of the second robot arm 121B and outputs this as a hand image to the robot control unit 112.
  • an object or the like to be grasped by the hand 124B is exemplified.
  • the main camera 19 captures a field of view corresponding to the field of view of a standing person and outputs this as a main image to the robot control unit 112.
  • the image of the interlocutor exists in this main image.
  • the robot control unit 112, the simulated image generation unit 115, the composite image generation unit 116, and the interference warning unit 117 are composed of an arithmetic circuit module Cm1 having a processor Pr1 and a memory Me1.
  • the processor Pr1 is an example of a processing circuit.
  • the simulated image generation unit 115, the composite image generation unit 116, and the interference warning unit 117 may also be referred to as a simulated image generation circuit, a composite image generation circuit, and an interference warning circuit, respectively.
  • the robot control unit 112, the simulated image generation unit 115, the composite image generation unit 116, and the interference warning unit 117 are realized by the processor Pr1 executing the control program stored in the memory Me1 in the arithmetic circuit module Cm1. It is a functional block.
  • the arithmetic circuit module Cm1 is composed of, for example, a microcontroller, an MPU, an FPGA (Field Programmable Gate Array), a PLC (Programmable Logic Controller), or the like. These may be composed of a single arithmetic circuit module that performs centralized control, or may be configured by a plurality of arithmetic circuit modules that perform distributed control.
  • the functions of the elements disclosed herein include general-purpose processors configured or programmed to perform the disclosed functions, dedicated processors, integrated circuits, ASICs (Application Specific Integrated Circuits), conventional circuits, and /. Alternatively, it can be performed using a circuit or processing circuit that includes a combination thereof.
  • a processor is considered a processing circuit or circuit because it includes transistors and other circuits.
  • a "unit” or “part” is hardware that performs the listed functions or is programmed to perform the listed functions.
  • the hardware may be the hardware disclosed herein, or it may be other known hardware that is programmed or configured to perform the listed functions.
  • the "unit" or “part” is a combination of hardware and software, and the software is used to configure the hardware and / or the processor.
  • the first and second robot arms 121A and 121B of the self-propelled robot 1 are driven by a motor MA (see FIG. 4) at each joint, and their postures change.
  • Each joint is provided with a rotation angle detection unit EA (see FIG. 4) that detects the rotation angle of the motor MA.
  • the rotation angle detection unit EA is composed of, for example, an encoder. Therefore, the postures of the first and second robot arms 121A and 121B can be acquired in real time by using the rotation angle of the motor MA of each joint.
  • the simulated image generation unit 115 sometimes changes the postures of the first and second robot arms 121A and 121B based on the rotation angles output from the rotation angle detection units EA of the joints of the first and second robot arms 121A and 121B. Generates an arm image that is simulated every moment.
  • the elevating unit 12 of the self-propelled robot 1 is provided with a rotation angle detecting unit EL (see FIG. 4) that detects the rotation angle of the motor ML (see FIG. 4) that elevates and elevates the elevating shaft 123.
  • the rotation angle detection unit EL is composed of, for example, an encoder. Therefore, the posture of the elevating unit 12 can be acquired in real time by using the rotation angle of the motor ML.
  • the simulated image generation unit 115 generates an elevating unit image that constantly simulates the posture of the elevating unit 12 based on the rotation angle output from the rotation angle detecting unit EL.
  • the simulated image generation unit 115 is a self-propelled robot that simulates the posture of the self-propelled robot 1 including the postures of the first and second robot arms 121A and 121B by synthesizing the arm image and the elevating unit image.
  • a robot simulated image 160 (see FIGS. 5 to 7) is generated.
  • the self-propelled robot simulated image 160 is output to the composite image generation unit 116.
  • the CAD data of the self-propelled robot 1 is used to generate the self-propelled robot simulated image 160.
  • the self-propelled robot simulated image 160 may be simplified as long as the clarity of the posture of the self-propelled robot 1 is not significantly impaired.
  • the simulated image generation unit 115 has a self-propelled robot simulated image 160 and a self-propelled robot 1 viewed from a bird's-eye view of the self-propelled robot 1 according to the composite image designation information input from the composite image generation unit 116.
  • a self-propelled robot simulated image 160 viewed from above and an arm simulated portion described later arranged on the peripheral portion (here, the left end portion and the right end portion of the upper end portion) of the surrounding situation image 50 viewed from the self-propelled robot 1.
  • the composite image generation unit 116 combines the captured images input from the four surrounding cameras 17 and performs image processing to produce three types of images: a bird's-eye view image, an upper viewpoint image, and a first-person viewpoint image. To generate. Then, these are combined with the self-propelled robot simulated image input from the simulated image generation unit 115 and combined into a composite image.
  • the self-propelled robot simulated image contains three-dimensional information
  • the self-propelled robot simulated image can be accurately used as an image of these three types of viewpoints in accordance with the bird's-eye view image, the upper viewpoint image, and the first-person viewpoint image. It is possible to convert to.
  • FIG. 5 is a bird's-eye view view showing a composite image 501 of a surrounding situation image 50 and a self-propelled robot simulated image 160 as an image viewed from a bird's-eye view of the self-propelled robot.
  • FIG. 6 is an upper viewpoint view showing a composite image 601 of the surrounding situation image 50 and the self-propelled robot simulated image 160 as an image of the self-propelled robot viewed from an upper viewpoint.
  • FIG. 7 is a first-person perspective view showing a composite image 701 of a surrounding situation image 50 and a self-propelled robot simulated image 160 as an image viewed from a self-propelled robot. 5 to 7 show, for example, a self-propelled robot 1 moving in an individual's mansion for nursing care.
  • this bird's-eye view composite image 501 is a self-propelled robot simulated image viewed from a bird's-eye view of the self-propelled robot 1 in front of the surrounding situation image 50 viewed from a bird's-eye view of the self-propelled robot 1. 160 are arranged.
  • the surrounding situation image 50 is distorted because it is captured by the wide-angle peripheral camera 17.
  • the self-propelled robot simulated image 160 of the self-propelled robot 1 viewed from above is arranged in front of the surrounding situation image 50 of the self-propelled robot 1 viewed from above. ing.
  • the composite image 701 of the first-person viewpoint has the robot of the self-propelled robot 1 on the peripheral portion (here, the left end portion and the right end portion of the upper end portion) of the surrounding situation image 50 viewed from the self-propelled robot 1.
  • An arm simulated portion 160a that simulates a part of the arms 121A and 121B is arranged as a self-propelled robot simulated image 160. Specifically, the tip portions 50a of the robot arms 121A and 121B are shown on the left end portion and the right end portion of the upper end portion of the surrounding situation image 50.
  • the arm simulated portion 160a is shown so that its tip portion is connected to the tip portions 50a of the robot arms 121A and 121B shown in the surrounding situation image 50.
  • the surrounding camera 17 is arranged below and in front of the robot arms 121A and 121B, the portion other than the tip of the robot arms 121A and 121B is not shown in the surrounding situation image. Therefore, as described above, the left end of the upper end portion of the surrounding situation image 50 is connected so that the arm simulated portion 160a of the self-propelled robot simulated image 160 is connected to the tip portions 50a of the robot arms 121A and 121B reflected in the surrounding situation image 50. It is arranged in the part and the right end part.
  • the simulated portion of the robot arm in the self-propelled robot simulated image 160 is boldly modeled (simplified), and for example, the portion corresponding to the base end portion of the robot arm is arranged on the upper side or the lower side of the surrounding image 50. In this way, the self-propelled robot simulated image 160 may be generated.
  • the composite image generation unit 116 generates these three types of composite images 501, 601 and 701 by the above synthesis. Specifically, when the composite image designation information is input from the robot control unit 112, the composite image generation unit 116 outputs the composite image designation information to the simulated image generation unit 115, and also outputs the three types of composite image 501. A designated composite image of 601,701 is generated, and this is output to the robot control unit 112.
  • FIG. 8 is a diagram showing a composite image in which the planned movement path 802 of the self-propelled robot 1 is superimposed on the surrounding situation image 50.
  • the planned movement path 802 of the self-propelled robot 1 is shown superimposed on the surrounding situation image 50.
  • the planned movement path 802 is shown to extend from the self-propelled robot simulated image 160 to the target position.
  • the composite image generation unit 116 When the composite image generation unit 116 receives the scheduled movement route information from the robot control unit 112, the composite image generation unit 116 superimposes the scheduled movement route 802 of the self-propelled robot 1 on the surrounding situation image 50. In this case, the composite image generation unit 116 generates the scheduled movement path 802 based on, for example, the target position of the self-propelled robot 1 and the current position of the self-propelled robot 1 shown in the scheduled movement route information.
  • the current position of the self-propelled robot 1 is acquired from, for example, the rotation angle of the motor that drives the traveling unit of the self-propelled robot 1.
  • the composite image generation unit 116 may generate the scheduled movement path 802 based on the operation signal received by the robot control unit 112.
  • the movement (running) target value (command value) of the self-propelled robot 1 in the operation signal is set as the target position of the self-propelled robot 1.
  • the planned movement route information does not include the movement target position of the self-propelled robot 1. Note that FIG. 8 shows the planned movement path 802 in the composite image of the bird's-eye view, but similarly, the planned movement route 802 can be shown in the composite image of the upper viewpoint or the first person viewpoint.
  • FIG. 9 is a diagram showing a composite image 901 in which an arm moving image 803 showing a change in posture of the robot arms 121A and 121B of the self-propelled robot 1 is superimposed on a self-propelled robot simulated image 160 and a surrounding situation image 50.
  • 10A to 10D are diagrams showing one frame of an arm moving image 803 showing a change in the posture of the robot arm 121 of the self-propelled robot 1, respectively.
  • the robot arms 121A and 121B are shown in a simplified manner. Illustration of the U-shaped cable is also omitted.
  • the robot arm in the arm moving image 803 may be faithfully shown to the actual robot arms 121A and 121B, or may be further simplified.
  • the arm moving image 803 is superimposed on the self-propelled robot simulated image 160 and the surrounding situation image 50.
  • the arm moving image 803 may be superimposed on only the self-propelled robot simulated image 160 or only the surrounding situation image 50.
  • This arm moving image 803 shows how the robot arms 121A and 121B change, as shown in FIGS. 10A to 10D.
  • the composite image generation unit 116 is based on the target positions (postures) of the robot arms 121A and 121B and the current positions (postures) of the robot arms 121A and 121B shown in the arm moving image information. Generate 803.
  • the current position of the self-propelled robot 1 is acquired from the rotation angle output from the rotation angle detection unit EA of each joint of the first and second robot arms 121A and 121B described above.
  • the composite image generation unit 116 may generate the scheduled movement path 802 based on the operation signal received by the robot control unit 112.
  • the position command value of the robot arms 121A and 121B in the operation signal is set as the target position of the robot arms 121A and 121B.
  • the arm moving image information does not include the target positions of the robot arms 121A and 121B.
  • FIG. 9 shows the arm moving image 803 in the composite image of the upper viewpoint, and similarly, the arm moving image 803 can be shown in the composite image of the bird's-eye view or the first-person viewpoint.
  • the interference warning unit 117 generates an interference warning signal based on the surrounding situation image input from the surrounding camera 17 and the posture of the self-propelled robot 1, and outputs the interference warning signal to the robot control unit 112.
  • the surrounding situation image contains 3D information.
  • the interference warning unit 117 extracts a three-dimensional contour (hereinafter, simply referred to as an object) of an object existing in both sides and the traveling direction of the self-propelled robot 1 from the surrounding situation image by image processing.
  • the interference warning unit 117 acquires the distance between the extracted object and the self-propelled robot 1 by using the depth information of the surrounding situation image.
  • the interference warning unit 117 determines whether or not the self-propelled robot 1 interferes with the self-propelled robot 1 from the distance and direction of the extracted object from the self-propelled robot 1.
  • the interference warning unit 117 outputs an interference warning signal to the robot control unit 112.
  • this interference warning signal is sent to the operation control unit 27 via the robot control unit 112, the robot side communication unit 113, and the operation side communication unit 28. Then, the operation control unit 27 causes the operation side display unit 23 to display the interference warning display and causes the operation side sound generation unit 26 to emit the interference warning voice in response to the interference warning signal.
  • the operator P operates the operation unit 21 of the operation unit 2 to drive the self-propelled robot 1 for nursing care in the individual mansion.
  • the self-propelled robot 1 is made to perform the work necessary for nursing care.
  • the operator P causes the self-propelled robot 1 to perform this work, mainly while looking at the main image and the hand image displayed on the operation side display unit 23 of the operation unit 2.
  • the operator P can switch and display the main image, the hand image, and the composite image on the operation side display unit 23 by touching the operation side display unit 23.
  • the operator P may use the operation side microphone 25 and the operation side sound emitting unit 26 of the operation unit 2, the robot side display unit 14, the robot side microphone 15, and the robot side sound emitting unit of the self-propelled robot 1. Use the section 16 to interact with the caregiver or the caregiver's stakeholders.
  • the operator P touches the operation side display unit 23 to display the desired composite image 501, 601, 701 on the operation side display unit 23.
  • the composite images 501, 601, 701 as the self-propelled robot 1 advances, the surrounding situation image 50 changes from moment to moment, and the postures of the arm portion 13 and the elevating portion 12 change for work.
  • the self-propelled robot simulated image 160 changes from moment to moment. In this case, in particular, since the posture of the arm portion changes from moment to moment in the self-propelled robot simulated image 160, the operator P can run the self-propelled robot 1 so as not to interfere with surrounding objects.
  • the operator P touches the operation side display unit 23 and inputs the scheduled movement route information including the movement target position of the self-propelled robot 1, the composite including the planned movement route 802 of the self-propelled robot 1.
  • the image 801 is displayed on the operation side display unit 23.
  • the operator P can accurately drive the self-propelled robot 1 while referring to the planned movement path 802.
  • the composite image 901 including the arm video 803 is displayed on the operation side. It is displayed in the unit 23.
  • the operator P can accurately operate the robot arms 121A and 121B while referring to the arm moving image 803 to suitably perform the work.
  • an interference warning display is displayed on the operation side display unit 23, and an interference warning voice is emitted from the operation side sound emitting unit 26.
  • the operator P detects the possibility of interference by the interference warning display and the interference warning voice, operates the operation unit 2, and causes the self-propelled robot 1 to perform the necessary interference avoidance operation.
  • the simulated image generation unit 115 may be configured to generate a self-propelled robot simulated image 160 in which the posture change of the elevating unit 12 is omitted.
  • the robot arms 121A and 121B include a rotation angle detection unit EA that detects the rotation angle of the motor MA that drives each joint, and the simulated image generation unit 116 corresponds to at least each joint of the robot arms 121A and 121B. It is configured to generate a self-propelled robot simulated image 160 based on the rotation angle detected by the rotation angle detection unit EA.
  • the robot arm 121A in the self-propelled robot simulated image 160 , 121B posture becomes real-time accurate posture. As a result, it is possible to more accurately prevent the self-propelled robot 1 provided with the robot arms 121A and 121B from interfering with surrounding objects.
  • the composite image generation unit 116 when the composite image generation unit 116 generates the composite image 701 of the first-person viewpoint viewed from the self-propelled robot 1, the simulated image generation unit 115 in the self-propelled robot 1 in the self-propelled robot simulated image 160.
  • a self-propelled robot simulated image so that an arm simulated portion 160a that simulates at least a part of a portion of the robot arms 121A and 121B that is not shown in the surrounding situation image 50 is connected to a part 50a of the robot arm that is shown in the surrounding situation image.
  • the composite image generation unit 116 generates the 160 and the arm simulated portion 160a of the generated self-propelled robot simulated image 160 is connected to a part 50a of the robot arm shown in the surrounding situation image 50. It is configured to generate the composite image 50 of the viewpoint.
  • the robot arms 121A and 121B of the self-propelled robot 1 are not captured. It is possible to suitably generate a self-propelled robot simulated image 160 including an arm simulated portion 160a that simulates at least a part of a portion not shown in the surrounding situation image 50.
  • the composite image generation unit 116 is configured to generate a composite image 801 in which the planned movement path 802 of the self-propelled robot 1 is superimposed on the surrounding situation image 50.
  • the operator P can accurately drive the self-propelled robot while looking at the planned movement path 802 of the self-propelled robot 1.
  • the composite image generation unit 116 is a composite in which an arm moving image 803 showing a change in the posture of the robot arms 121A and 121B of the self-propelled robot 1 is superimposed on at least one of the surrounding situation image 50 and the self-propelled robot simulated image 160. It is configured to generate image 601. Therefore, the operator P can accurately operate the robots 121A and 121B while watching the moving image 803 to perform the work.
  • the robot system 100 determines whether or not the robot arms 121A and 121B interfere with objects around the self-propelled robot 1 based on the surrounding situation image captured by the surrounding camera 17 and the posture of the self-propelled robot 1. Further, it is further provided with an interference warning unit 117 that outputs an interference warning signal when it is determined that the vehicle interferes.
  • the display unit 23 is configured to display an image showing an interference warning in response to the interference warning signal output from the interference warning unit 116.
  • the operator P can see the display of the display unit 23 and know the possibility of interference between the robot arms 121A and 121B and the objects around the self-propelled robot 1.
  • the robot system 100 is provided separately from the display 23, and further includes an interference warning notification unit 26 that notifies an interference warning in response to an interference warning signal output from the interference warning unit 116.
  • the operator P can know the possibility of interference between the robot arms 121A and 121B and the objects around the self-propelled robot 1 by the notification of the interference warning notification unit 26.
  • the functions of the elements disclosed herein include general purpose processors, dedicated processors, integrated circuits, ASICs (Application Specific Integrated Circuits), conventional circuits, and / or them that are configured or programmed to perform the disclosed functions. Can be performed using a circuit or processing circuit that includes a combination of.
  • a processor is considered a processing circuit or circuit because it contains transistors and other circuits.
  • a circuit, unit, or means is hardware that performs the listed functions or is programmed to perform the listed functions.
  • the hardware may be the hardware disclosed herein, or it may be other known hardware that is programmed or configured to perform the listed functions. If the hardware is a processor considered to be a type of circuit, the circuit, means, or unit is a combination of hardware and software, and the software is used to configure the hardware and / or processor.
  • the robot system includes a self-propelled robot including a robot arm having one or more joints, an operation unit for operating the self-propelled robot that accepts operations by an operator, and the operator.
  • the display device to be visually recognized, a peripheral camera mounted on the self-propelled robot and capturing an image of the surrounding situation of the self-propelled robot, and a processing circuit are provided, and the processing circuit includes the posture of the robot arm.
  • a self-propelled robot simulated image that simulates the posture of the self-propelled robot from moment to moment is generated, and the surrounding situation image captured by the surrounding camera and the generated self-propelled robot simulated image are included and displayed on the display. It is configured to generate a composite image.
  • a self-propelled robot simulated image that constantly simulates the posture of the self-propelled robot including the posture of the robot arm is displayed on the display together with the surrounding situation image captured by the surrounding camera. The operator can see the display and operate the operation unit so as to prevent the self-propelled robot equipped with the robot arm from interfering with surrounding objects.
  • the robot arm includes one or more motors for driving each of the one or more joints, and one or more rotation angle detection units for detecting the rotation angles of the one or more motors, respectively. It may be configured to generate the self-propelled robot simulated image based on the rotation angle detected by the one or more rotation angle detection units.
  • the processing circuit when the processing circuit generates a composite image of a first-person viewpoint viewed from the self-propelled robot, the self-propelled robot simulated image is reflected in the surrounding situation image of the robot arm in the self-propelled robot.
  • the self-propelled robot simulated image is generated so that the arm simulated portion that simulates at least a part of the non-existing portion is connected to a part of the robot arm reflected in the surrounding situation image, and the generated self-propelled portion is generated.
  • the arm simulated portion of the robot simulated image may be configured to generate a composite image of the first-person viewpoint so as to be connected to a part of the robot arm reflected in the surrounding situation image.
  • the processing circuit may be configured to generate the composite image in which the planned movement path of the self-propelled robot is superimposed on the surrounding situation image.
  • the processing circuit displays the composite image in which an arm moving image showing a change in the posture of the robot arm of the self-propelled robot is superimposed on the surrounding situation image or the self-propelled robot simulated image. It may be configured to generate.
  • the processing circuit determines whether or not the robot arm interferes with an object around the self-propelled robot based on the surrounding situation image captured by the surrounding camera and the posture of the self-propelled robot. If it is determined that there is interference, an interference warning signal may be output.
  • the display device may be configured to display an image representing an interference warning in response to the interference warning signal output.
  • the robot system may be further provided with an interference warning alarm, which is arranged separately from the display and notifies an interference warning according to the output interference warning signal.
  • the robot working method is to operate a self-propelled robot provided with a robot arm and generate a self-propelled robot simulated image that constantly simulates the posture of the self-propelled robot including the posture of the robot arm.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

ロボットシステムは、自走ロボットと、操作部と、表示器と、自走ロボットに配置され、自走ロボットの周囲の状況を撮像する周囲カメラと、処理回路とを備え、処理回路は、自走ロボット模擬画像を生成し、周囲カメラで撮像された周囲状況画像と、生成された自走ロボット模擬画像とを含む複合画像を生成するように構成される。

Description

ロボットシステム及びロボット作業方法
　本開示は、ロボットシステム及びロボット作業方法に関する。
　従来、自律移動可能なロボットの周囲を撮像し、その撮像された画像を操作者が見ながら移動させることが知られている（例えば、特許文献１参照）。
特開２０１３－０３１８９７号公開特許公報
　自律走行可能なロボット（以下、自走ロボットと呼ぶ）の中には、ロボットアームを備えるものがある、そのような自走ロボットを走行させる場合、ロボットアームが周囲の物体と干渉しやすい。上記従来の技術では、そのことに全く言及していない。
　本開示は上記のような課題を解決するためになされたもので、ロボットアームを備える自走ロボットが周囲の物体と干渉することを回避可能なロボットシステム及びロボット作業方法を提供することを目的としている。
　上記目的を達成するために、本開示のある形態（aspect）に係る、ロボットシステムは、１以上の関節を有するロボットアームを含む自走ロボットと、操作者による操作を受け付ける、前記自走ロボットを操作するための操作部と、前記操作者により視認される表示器と、前記自走ロボットに搭載され、当該自走ロボットの周囲の状況を撮像する周囲カメラと、処理回路と、を備え、前記処理回路は、前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成し、前記周囲カメラで撮像された周囲状況画像と、生成された前記自走ロボット模擬画像とを含み、前記表示器に表示される複合画像を生成するように構成される。ここで、「時々刻々模擬する」とは、模擬画像生成部で自走ロボット模擬画像が連続する動画が生成され、当該自走ロボット模擬画像が当該動画の瞬時画像であることを明確にするための文言であり、それ以外に特段の意味はない。
　また、本開示の他の形態（aspect）に係るロボット作業方法は、ロボットアームを備える自走ロボットを操作することと、前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成することと、前記自走ロボットに、当該自走ロボットの周囲の状況を撮像する周囲カメラを設けることと、前記周囲カメラで撮像された周囲状況画像と前記自走ロボット模擬画像とを含む複合画像を生成することと、前記複合画像を表示することと、を含む。
　本開示は、ロボットアームを備える自走ロボットが周囲の物体と干渉することを回避可能なロボットシステム及びロボット作業方法を提供できるという効果を奏する。
図１は、本開示の実施形態に係るロボットシステムの構成の一例を示す模式図である。 図２は、図１の操作ユニットの構成の一例を示す平面図である。 図３は、図１の周囲カメラの撮像範囲を模式的に示す図である。 図４は、図３のロボットシステムの制御系統の構成を示す機能ブロックである。 図５は、周囲状況画像と自走ロボット模擬画像との複合画像を、自走ロボットを俯瞰する視点から眺めた画像として示す俯瞰視点図である。 図６は、周囲状況画像と自走ロボット模擬画像との複合画像を、自走ロボットを上方の視点から眺めた画像として示す上視点図である。 図７は、周囲状況画像と自走ロボット模擬画像との複合画像を、自走ロボットから眺めた画像として示す一人称視点図である。 図８は、自走ロボットの予定移動経路が周囲状況画像に重ねて示された複合画像を示す図である。 図９は、自走ロボットのロボットアームの姿勢の変化を示すアーム動画が自走ロボット模擬画像及び周囲状況画像に重ねて示された複合画像を示す図である。 図１０Ａは、自走ロボットのロボットアームの姿勢の変化を示すアーム動画の一コマを示す図である。 図１０Ｂは、自走ロボットのロボットアームの姿勢の変化を示すアーム動画の一コマを示す図である。 図１０Ｃは、自走ロボットのロボットアームの姿勢の変化を示すアーム動画の一コマを示す図である。 図１０Ｄは、自走ロボットのロボットアームの姿勢の変化を示すアーム動画の一コマを示す図である。
　以下、本開示の実施形態を、図面を参照しながら説明する。なお、以下では全ての図面を通じて同一又は相当する要素には同一の参照符号を付して、その重複する説明を省略する。また、以下の図は、本開示を説明するための図であるので、本開示に無関係な要素が省略される場合、誇張等のために寸法が正確でない場合、簡略化される場合、複数の図において互いに対応する要素の形態が一致しない場合等がある。また、本開示は、以下の実施形態に限定されない。
　（実施形態）
　図１は、本開示の実施形態に係るロボットシステム１００の構成の一例を示す模式図である。
　［ハードウェアの構成］
　図１を参照すると、実施形態に係るロボットシステム１００は、ロボットアーム１２１Ａ，１２１Ｂを備える自走ロボット１と、自走ロボット１を操作するための操作部２１（図２の２１Ａ，２１Ｂ）を含む操作ユニット２と、ロボットアーム１２１Ａ，１２１Ｂの姿勢を含む自走ロボット１の姿勢を時々刻々模擬する自走ロボット模擬画像１６０（図５～図７参照）を生成する模擬画像生成部１１５（図４）と、自走ロボット１に設けられ、当該自走ロボット１の周囲の状況を撮像する周囲カメラ１７と、周囲カメラ１７で撮像された周囲状況画像５０（図５～図７参照）及び模擬画像生成部１１５で生成された自走ロボット模擬画像１６０含む複合画像５０１，６０１，７０１（図５～図７参照）を生成する複合画像生成部１１６（図４参照）と、複合画像生成部１１６で生成された複合画像５０１，６０１，７０１を表示する上記操作ユニット２の表示部２３（図２参照）と、を備える。以下、この構成を詳しく説明する。
　本実施形態のロボットシステム１００は、自律走行作可能な走行部１１と走行部１１に設けられたアーム部１３とを備える自走ロボット１と、操作ユニット（コンソール）２と、を備える。
　自走ロボット１と操作ユニット２とは、例えば、データ通信ネットワーク３を介して接続される。自走ロボット１と操作ユニット２とが、直接、有線又は無線で接続されてもよい。
　以下、ロボットシステム１００におけるこれらの要素を詳しく説明する。
　＜ロボットシステム１００の用途＞
　ロボットシステム１００の用途は特に限定されない。以下では、自走ロボット１が、個人の邸宅内で介護を行う場合を例示する。
　＜データ通信ネットワーク３＞
　データ通信ネットワーク３は、データ通信可能なネットワークであればよい。データ通信ネットワーク３として、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等が例示される。
　＜自走ロボット１＞
　図１を参照すると、自走ロボット１は、基本的に、自律走行可能な走行部１１と当該走行部１１に設けられたアーム部（ロボットアーム）１３とを含むように構成されておればよい。
　自走ロボット１は、ここでは、走行部１１と、昇降部１２と、アーム部１３とを備える。
　走行部１１は、例えば、台車で構成される（以下では、台車１１と表記する）。台車１１は、基部に前輪及び後輪からなる車輪１１ａを備える。前輪及び後輪の一方が操舵輪であり、前輪及び後輪の少なくとも一方が駆動輪である。また、台車の前部に昇降部１２が設けられ、台車１１の後部に、物品を置くための置き棚１１ｂが設けられている。
　台車１１は、さらに、バッテリ及びモータを備えていて、台車１１は、モータがバッテリを電源として車輪１１ａを駆動することによって自律走行する。また、昇降部１２、アーム部１３、並びに、後述するロボット側表示部１４、ロボット側マイクロフォン１５、及びロボット側放音部１６は、このバッテリを電源として動作する。
　昇降部１２は、基部１２２と、基部１２２に対して昇降する昇降軸１２３と、を備える。昇降軸１２３は、例えば上下方向に延在している。
　昇降軸１２３の上部に、第１ロボットアーム１２１Ａ及び第２ロボットアーム１２１Ｂの各基端部が、昇降軸１２３の中心軸の周りに回動自在に設けられている。第２ロボットアーム１２１Ｂは、第１ロボットアーム１２１Ａの上側に設けられている。第１ロボットアーム１２１Ａ及び第２ロボットアーム１２１Ｂはそれぞれの回転位置が入れ替わることができ、左右の区別はない。
　第１ロボットアーム１２１Ａ及び第２ロボットアーム１２１Ｂは、それぞれ、多関節ロボットアームで構成され、それぞれ、先端にハンド１２４Ａ及びハンド１２４Ｂを備える。
　ハンド１２４Ａ及びハンド１２４Ｂは、特に限定されないが、ここでは、対象物を把持することが可能な形状に形成されている。
　昇降軸１２３の前方には、周囲カメラ１７が設けられている。周囲カメラ１７は、この他、台車１１の右側部（参照符号１７で図示）、後部（図１に示さず）、及び左側部（図１に示さず）に設けられている。これらの４つの周囲カメラは、互いに同じ高さ位置に設けられている。４つの周囲カメラ１７は、操作者Ｐが、自走ロボット１の周囲の状況（環境）を確認するためのデバイスである。周囲カメラ１７については、後で詳しく説明する。
　第２ロボットアーム１２１Ｂの先端部には、手先カメラ１８が設けられている。手先カメラ１８は、一対のハンド１２４Ａ，１２４Ｂが把持しようとする対象物を、操作者Ｐが確認するためのデバイスである。
　昇降軸１２３の上端部には、支持部材１２５を介して、ロボット側表示部１４が取り付けられている。ロボット側表示部１４は、例えば、液晶ディスプレイで構成される。
　ロボット側表示部１４の適所には、ロボット側マイクロフォン１５、ロボット側放音部１６、及び主カメラ１９が設けられている。
　ロボット側表示部１４、ロボット側マイクロフォン１５、ロボット側放音部１６、及び主カメラ１９は、自走ロボット１が、人（以下、対話者という）と対話するためのデバイス群である。ロボット側表示部１４は、対話者に伝達しようとする情報（画像情報、文字情報等）を表示する。ロボット側マイクロフォン１５は、対話者の音声を取得する。ロボット側放音部１６は、例えば、スピーカで構成され、対話者に伝達しようとする音声情報を放音する。主カメラ１９は、対話者を撮像する。
　台車１１は、さらに、演算回路モジュールＣｍ１及びロボット側通信部１１３を備える。演算回路モジュールＣｍ１は、プロセッサＰｒ１とメモリＭｅ１とを備える。演算回路モジュールＣｍ１は、後述するように、ロボット制御部（コントローラ）１１２、模擬画像生成部１１５、複合画像生成部１１６、干渉警告部１１７（図４参照）を構成する。模擬画像生成部１１５、複合画像生成部１１６および干渉警告部１１７の一部または全部は、後述の演算回路モジュールＣｍ２により構成されてもよい。
　＜操作ユニット２＞
　図２は、図１の操作ユニット２の構成の一例を示す平面図である。操作ユニット２は、自走ロボット１を操作できるものであれば、特に限定されない。操作ユニット２は、図２に示すように、左右の操作部２１Ａ，２１Ｂが、一体化されていてもよいし、個別に形成された複数の操作部で構成されてもよい。操作部は、操作者が操作できるものであれば、特に限定されない。操作部（操作具、操作子）として、キー、ジョイスティック、ハンドル、タッチパネル等が例示される。
　また、操作ユニット２は、図２に示すように、操作部２１Ａ，２１Ｂと、操作側表示部２３、操作側マイクロフォン２５、及び操作側放音部２６と、が一体化されていてもよいし、操作部２１Ａ，２１Ｂと、操作側表示部２３、操作側マイクロフォン２５、及び操作側放音部２６とが、別個に形成されていてもよい。
　図２を参照すると、操作ユニット２は、本体２０を備える。本体２０は、扁平な直方体状の箱に形成されている。
　本体２０の左端部及び右端部には、それぞれ、左手操作部２１Ａ及び右手操作部２１Ｂが設けられている。これらの左手操作部２１Ａ及び右手操作部２１Ｂが、操作部２１を構成する。左手操作部２１Ａ及び右手操作部２１Ｂには、それぞれ、所定の一群の操作キー２９が配置されている。この所定の一群の操作キー２９は、例えば、ゲーム機の周知の操作キー群と同様に構成される。従って、この所定の一群の操作キー２９の説明を省略する。操作者Ｐが、これらの一群の操作キー２９を両手で、適宜、操作すると、その操作に応じて、自走ロボット１の走行部、昇降部、及びアーム部１３が動作する。つまり、操作部２１は、自走ロボット１の走行部、昇降部、及びアーム部１３を操作するためのキー操作信号を出力するように構成されている。
　本体２０の上面の中央部に、操作者Ｐにより視認される操作側表示部２３が設けられている。操作側表示部２３は、例えば、タッチスクリーンである。ただし、操作側表示部２３は、画像を表示するものであればよく、タッチスクリーンでなくてもよい。例えば、操作側表示部２３は、操作ユニット２とは別個に配置された液晶ディスプレイでもよいし、ヘッドマウントディスプレイであってもよい。操作側表示部２３は、操作者Ｐが自走ロボット１を操作するために必要な情報（画像情報、文字情報等）を表示する。例えば、操作側表示部２３には、主カメラ１９で撮像された主画像、手先カメラ１８で撮像された手先画像が、適宜、表示される。また、操作側表示部２３には、後述する複合画像５０１，６０１，７０１（図５～図７参照）が表示される。
　本体２０の上面の適所には、操作側マイクロフォン２５及び操作側放音部２６が設けられている。操作側マイクロフォン２５は、対話者の音声を取得する。操作側放音部２６は、例えば、スピーカで構成され、ロボット側マイクロフォン１５で取得された対話者の音声を放音する。操作側放音部２６は、さらに、ヘッドフォン２６ａを備える。本体２０の適所には、音声出力端子が設けられており、この音声出力端子にヘッドフォン２６ａの接続コード３０を接続すると、操作側放音部２６の出力部がスピーカからヘッドフォン２６ａに切り替わり、ヘッドフォン２６ａからロボット側マイクロフォン１５で取得された対話者の音声等が放音される。
　本体２０の内部には、演算回路モジュールＣｍ２及び操作側通信部２８が設けられている。演算回路モジュールＣｍ２は、プロセッサＰｒ２とメモリＭｅ２とを備える。演算回路モジュールＣｍ２は、後述するように、操作制御部２７（図４参照）を構成する。
　＜周囲カメラ１７＞
　図３は、図１の周囲カメラ１７の撮像範囲を模式的に示す図である。
　図３を参照すると、４つの周囲カメラ１７が、自走ロボット１の前部、右側部、後部、及び後部に、それぞれ、設けられている。これらの４つの周囲カメラ１７は、平面視（上面視）において、自走ロボット１の所定の中心軸Ｃに対し、前後及び左右に対称に設けられている。また、これらの４つの周囲カメラ１７は、自走ロボット１の高さ方向の中程に互いに同じ高さ位置に設けられている。
　各周囲カメラ１７は、広角カメラ、ここでは、画角が１８０度のカメラで構成される。従って、４つの周囲カメラ１７の撮像範囲１５１Ａ～１５１Ｄは、各周囲カメラ１７の横方向の両端部において、互いに重なる。
　周囲カメラ１７は、ここでは、３Ｄカメラ（３次元カメラ）で構成される。３Ｄカメラは、横及び縦（Ｘ及びＹ）の２次元情報だけではなく、奥行き（Ｚ）の情報をも取得できるカメラである。３Ｄカメラとして、例えば、複数のカメラを用いて視差を利用するステレオ方式のカメラ、光の飛行時間を利用するＴｏＦ方式のカメラ、及び、パターン化された光を利用する構造化照明方式のカメラが例示される。これらのカメラは周知であるので、詳しい説明を省略する。
　ここでは、これらの４つの周囲カメラ１７で撮像した画像を組み合わせて画像処理することによって、周囲を、俯瞰する視点から眺めた画像（以下、俯瞰視点画像と呼ぶ。図５参照。）、周囲を、上方の視点から眺めた画像（以下、上視点画像と呼ぶ。図６参照）、及び周囲を、自走ロボット１から眺めた画像（以下、一人称視点画像と呼ぶ。図７参照）の３種類の画像を取得する。周囲カメラ１７の撮像画像は奥行情報を含むので、このような画像処理を行うことが可能である。
　これらの画像は、後述するように、自走ロボット模擬画像と組み合わせて複合画像に合成される。
　［制御系統の構成］
　図４は、図１のロボットシステム１００の制御系統の構成を示す機能ブロックである。
　以下、ロボットシステム１００の制御系統の構成を「基本的な構成」、「複合画像に関する構成」、及び「干渉警告に関する構成」に分けて説明する。
　＜基本的な構成＞
　｛操作ユニット２側の構成｝
　図４を参照すると、操作ユニット２は、操作部２１、操作側表示部２３、操作側マイクロフォン２５、操作側放音部２６、操作制御部２７、及び操作側通信部２８を備える。
　操作部２１は、操作者Ｐの一群の操作キー２９の操作に応じたキー操作信号を、操作制御部２７に出力する。
　操作側表示部２３は、操作制御部２７から入力される画像表示信号に従って、画像を表示する。また、操作側表示部２３は、後で詳しく説明する複合画像指定情報、予定移動経路情報、及びアーム動画情報を出力する。さらに、操作側表示部２３は、表示画像切替情報を出力する。
　操作側マイクロフォン２５は、操作者Ｐの音声を取得し、これを操作者音声信号として、操作制御部２７に出力する。
　操作側放音部（干渉警告報知部）２６は、操作制御部２７から入力される対話者音声信号及び干渉警告音声信号に従って、それぞれ、対話者音声及び干渉警告音声を放音する。操作側放音部２６は、干渉警告報知器に対応する。
　操作制御部２７は、操作部２１から入力されるキー操作信号に応じた操作信号を生成し、これを操作側通信部２８に出力する。この操作信号は、例えば、予め設定された「一群の操作キー２９のキー操作信号の組み合わせ」に対する「自走ロボットの走行部の動作、昇降部の動作、アーム部の動作」の割り当て情報に基づいて生成される。
　また、操作制御部２７は、操作側マイクロフォン２５から入力される操作者音声信号を、操作側通信部２８に出力する。また、操作制御部２７は、操作側表示部２３から入力される複合画像指定情報、予定移動経路情報、及びアーム動画情報を操作側通信部２８に出力する。
　一方、操作制御部２７は、操作側通信部２８から入力される複合画像信号、手先画像信号、及び主画像信号に基づいて、適宜、複合画像、手先画像、及び主画像の表示信号を生成し、これらを操作側表示部２３に出力する。この際、操作制御部２７は、操作側表示部２３から入力される表示切替情報に応じて、複合画像、手先画像、及び主画像の表示信号を切り替える。
　また、操作制御部２７は、操作側通信部２８から入力される干渉警告信号に基づいて、干渉警告画像信号を操作側表示部２３に出力し、且つ、前記干渉警告信号に基づいて干渉警告音声信号を生成し、これを操作側マイクロフォン２５に出力する。
　また、操作制御部２７は、操作側通信部２８から入力される対話者音声信号を操作側放音部２６に出力する。
　操作側通信部２８は、データ通信可能な通信器で構成される。操作側通信部２８は、操作制御部２７から入力される操作信号、操作者音声信号、及び複合画像指定情報、予定移動経路情報、及びアーム動画情報を、それぞれ、通信データ（パケット）に変換して、ロボット側通信部１１３に送信する。
　また、操作側通信部２８は、ロボット側通信部１１３から複合画像信号、手先画像信号、主画像信号、干渉警告信号、及び対話者音声信号の通信データを受信し、これらを、それぞれ、複合画像信号、手先画像信号、主画像信号、干渉警告信号、及び対話者音声信号に戻して操作制御部２７に出力する。
　これらの通信は、ここでは、データ通信ネットワーク３を介して、行われる。
　ここで、操作制御部２７は、プロセッサＰｒ２とメモリＭｅ２とを有する演算回路モジュールＣｍ２で構成される。操作制御部２７は、この演算回路モジュールＣｍ２において、メモリＭｅ２に格納された制御プログラムをプロセッサＰｒ２が実行することによって実現される機能ブロックである。この演算回路モジュールＣｍ２は、具体的には、例えば、マイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）等で構成される。これらは、集中制御を行う単独の演算回路モジュールで構成されてもよく、分散制御を行う複数の演算回路モジュールで構成されてもよい。
　｛自走ロボット１側の構成｝
　自走ロボット１は、走行部１１、昇降部１２、アーム部１３、ロボット側表示部１４、ロボット側マイクロフォン１５、ロボット側放音部１６、周囲カメラ１７、手先カメラ１８、主カメラ１９、ロボット制御部１１２、ロボット側通信部１１３、模擬画像生成部１１５、複合画像生成部１１６、及び干渉警告部１１７を備える。
　ロボット側通信部１１３は、データ通信可能な通信器で構成される。ロボット側通信部１１３は、操作側通信部２８から、操作信号、操作者音声信号、及び複合画像指定情報、予定移動経路情報、及びアーム動画情報の通信データを受信し、これらを、操作信号、操作者音声信号、及び複合画像指定情報、予定移動経路情報、及びアーム動画情報に戻して、これらをロボット制御部１１２に出力する。
　また、ロボット側通信部１１３は、ロボット制御部１１２から入力される複合画像信号、手先画像信号、主画像信号、干渉警告信号、及び対話者音声信号を通信データ（パケット）に変換し、これらを操作側通信部２８に送信する。
　ロボット制御部１１２は、ロボット側通信部１１３から入力される操作信号を、走行部１１、昇降部１２、及びアーム部１３に出力する。
　また、ロボット制御部１１２は、ロボット側通信部１１３から入力される複合画像指定情報、予定移動経路情報、及びアーム動画情報を複合画像生成部１１６に出力する。
　また、ロボット制御部１１２は、適宜、画像表示信号を生成して、これをロボット側表示部１４に出力する。
　また、ロボット制御部１１２は、ロボット側通信部１１３から入力される操作者音声信号をロボット側放音部１６に出力する。なお、この場合、ロボット制御部１１２は、例えば、ロボット側表示部１４に、所定の作業現場に応じた制服を着用した人物画像（例えば、イラスト画像）を表示させ、操作者音声信号を、当該人物に適合する音声（例えば、当該従業員の性別に対応し、且つ、ソフトな音声）の信号に変換してもよい。
　また、ロボット制御部１１２は、複合画像生成部１１６から入力される複合画像信号、手先カメラ１８から入力される手先画像信号、及び主カメラ１９から入力される主画像信号を、ロボット側通信部１１３に出力する。
　走行部１１、昇降部１２、及びアーム部１３は、ロボット制御部１１２から入力される操作信号に従って動作する。
　ロボット側表示部１４は、ロボット制御部１１２から入力される画像表示信号に従って、画像を表示する。
　ロボット側マイクロフォン１５は、対話者（例えば、顧客）の音声を取得し、これを対話者音声信号として、ロボット制御部１１２に出力する。
　ロボット側放音部１６は、ロボット制御部１１２から入力される操作者音声信号に従って、音声を放音する。ロボット側放音部１６は、例えば、スピーカで構成される。
　周囲カメラ１７は、自走ロボット１の周囲の状況（環境）を撮像して、これを周囲状況画像として、複合画像生成部１１６及び干渉警告部１１７に出力する。
　手先カメラ１８は、第２ロボットアーム１２１Ｂの手先の環境を撮像して、これを手先画像として、ロボット制御部１１２に出力する。第２ロボットアーム１２１Ｂの手先の環境として、ハンド１２４Ｂが把持しようとする対象物等が例示される。
　主カメラ１９は、立っている人の視野に相当する視野を撮像して、これを、主画像としてロボット制御部１１２に出力する。自走ロボット１が対話者と対面している場合には、この主画像に対話者の画像が存在する。
　ここで、ロボット制御部１１２、模擬画像生成部１１５、複合画像生成部１１６、及び干渉警告部１１７は、プロセッサＰｒ１とメモリＭｅ１とを有する演算回路モジュールＣｍ１で構成される。プロセッサＰｒ１は、処理回路の一例である。模擬画像生成部１１５、複合画像生成部１１６、及び干渉警告部１１７は、それぞれ、模擬画像生成回路、複合画像生成回路、及び干渉警告回路とも称し得る。ロボット制御部１１２、模擬画像生成部１１５、複合画像生成部１１６、及び干渉警告部１１７は、この演算回路モジュールＣｍ１において、メモリＭｅ１に格納された制御プログラムをプロセッサＰｒ１が実行することによって実現される機能ブロックである。この演算回路モジュールＣｍ１は、具体的には、例えば、マイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）等で構成される。これらは、集中制御を行う単独の演算回路モジュールで構成されてもよく、分散制御を行う複数の演算回路モジュールで構成されてもよい。
　ここで、本明細書で開示する要素の機能は、開示された機能を実行するよう構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ASIC（Application Specific Integrated Circuits）、従来の回路、及び/又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、「ユニット」又は「部」は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、「ユニット」又は「部」は、ハードウェアとソフトウェアの組み合わせであり、ソフトウェアは、ハードウェア及び/又はプロセッサの構成に使用される。
　＜複合画像に関する構成＞
　複合画像に関する構成を、以下、構成要素毎に順に説明する。
　｛模擬画像生成部１１５｝
　図１及び図４を参照すると、自走ロボット１の第１及び第２ロボットアーム１２１Ａ，１２１Ｂは、各関節をモータＭＡ（図４参照）によって駆動され、姿勢が変化する。各関節には、このモータＭＡの回転角を検知する回転角検知部ＥＡ（図４参照）が設けられている。この回転角検知部ＥＡは、例えば、エンコーダで構成される。従って、各関節のモータＭＡの回転角を利用して、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの姿勢をリアルタイムで取得することができる。
　模擬画像生成部１１５は、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの各関節の回転角検知部ＥＡから出力される回転角に基づいて、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの姿勢を時々刻々模擬するアーム部画像を生成する。
　自走ロボット１の昇降部１２には、昇降軸１２３を昇降させるモータＭＬ（図４参照）の回転角を検知する回転角検知部ＥＬ（図４参照）が設けられている。この回転角検知部ＥＬは、例えば、エンコーダで構成される。従って、このモータＭＬの回転角を利用して、昇降部１２の姿勢をリアルタイムで取得することができる。模擬画像生成部１１５は、この回転角検知部ＥＬから出力される回転角に基づいて、昇降部１２の姿勢を時々刻々模擬する昇降部画像を生成する。
　そして、模擬画像生成部１１５は、上記アーム画像と上記昇降部画像を合成することによって、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの姿勢を含む自走ロボット１の姿勢を時々刻々模擬する自走ロボット模擬画像１６０（図５乃至図７参照）を生成する。そして、この自走ロボット模擬画像１６０を複合画像生成部１１６に出力する。自走ロボット模擬画像１６０の生成には、例えば、自走ロボット１のＣＡＤデータが用いられる。自走ロボット模擬画像１６０は、自走ロボット１の姿勢の明確性を大きく損なわない限度で、簡略化してもよい。
　具体的には、模擬画像生成部１１５は、複合画像生成部１１６から入力される複合画像指定情報に従って、自走ロボット１を俯瞰する視点から眺めた自走ロボット模擬画像１６０と、自走ロボット１を上方から眺めた自走ロボット模擬画像１６０と、自走ロボット１から眺めた周囲状況画像５０の周縁部（ここでは、上端部の左端部及び右端部）に配置される、後述するアーム模擬部分１６０ａからなる自走ロボット模擬画像１６０との３種類の自走ロボット模擬画像のいずれかを生成する。
　｛複合画像生成部１１６｝
　複合画像生成部１１６は、上述のように、４つの周囲カメラ１７から入力される撮像画像を、組み合わせて画像処理することによって、俯瞰視点画像、上視点画像、及び一人称視点画像の３種類の画像を生成する。そして、これらを、模擬画像生成部１１５から入力される自走ロボット模擬画像と組み合わせて複合画像に合成する。
　この場合、自走ロボット模擬画像は３次元の情報を含むので、俯瞰視点画像、上視点画像、及び一人称視点画像に合わせて、自走ロボット模擬画像を、正確にこれらの３種類の視点の画像に変換することが可能である。
　図５は、周囲状況画像５０と自走ロボット模擬画像１６０との複合画像５０１を、自走ロボットを俯瞰する視点から眺めた画像として示す俯瞰視点図である。図６は、周囲状況画像５０と自走ロボット模擬画像１６０との複合画像６０１を、自走ロボットを上方の視点から眺めた画像として示す上視点図である。図７は、周囲状況画像５０と自走ロボット模擬画像１６０との複合画像７０１を、自走ロボットから眺めた画像として示す一人称視点図である。図５～図７は、例えば、自走ロボット１が、個人の邸宅内を介護のために移動する様子を示している。
　図５を参照すると、この俯瞰視点の複合画像５０１は、自走ロボット１を俯瞰する視点から眺めた周囲状況画像５０の手前に、自走ロボット１を俯瞰する視点から眺めた自走ロボット模擬画像１６０が配置されている。周囲状況画像５０は、広角の周囲カメラ１７で撮像されているため、歪んでいる。
　図６を参照すると、この上視点の複合画像６０１は、自走ロボット１を上方から眺めた周囲状況画像５０の手前に、自走ロボット１を上方から眺めた自走ロボット模擬画像１６０が配置されている。
　図７を参照すると、この一人称視点の複合画像７０１は、自走ロボット１から眺めた周囲状況画像５０の周縁部（ここでは、上端部の左端部及び右端部）に、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの一部を模擬するアーム模擬部分１６０ａが自走ロボット模擬画像１６０として配置されている。具体的には、周囲状況画像５０の上端部の左端部及び右端部にロボットアーム１２１Ａ，１２１Ｂの先端部５０ａが写っている。アーム模擬部分１６０ａは、その先端部が周囲状況画像５０に写ったロボットアーム１２１Ａ，１２１Ｂの先端部５０ａに繋がるように示されている。
　なお、ここでは、周囲カメラ１７が、ロボットアーム１２１Ａ，１２１Ｂの下方且つ前方に配置されているため、ロボットアーム１２１Ａ，１２１Ｂの先端部以外の部分は、周囲状況画像には写らない。そこで、上述のように、自走ロボット模擬画像１６０のアーム模擬部分１６０ａが、周囲状況画像５０に写ったロボットアーム１２１Ａ，１２１Ｂの先端部５０ａに繋がるように、周囲状況画像５０の上端部の左端部及び右端部に配置されている。この場合、自走ロボット模擬画像１６０におけるロボットアームの基端部の模擬部分（周囲カメラ１７の背後に存在する）を示そうとすると、それを周囲状況画像５０の中央部に示すことになり、肝心の周囲状況画像５０の中央部が示されないことになる。そのため、自走ロボット模擬画像１６０におけるロボットアームの模擬部分は、ロボットアームの基端部に対応する部分を示さずに、周囲状況画像５０の上端部の左端部及び右端部に分離して示されており、これにより、周囲状況画像５０の中央部を示すことが可能になっている。なお、自走ロボット模擬画像１６０におけるロボットアームの模擬部分を大胆に模式化（簡略化）して、例えば、ロボットアームの基端部に対応する部分を周囲画像５０の上側又は下側に配置するようにして、自走ロボット模擬画像１６０を生成してもよい。
　複合画像生成部１１６は、上記合成によって、これらの３種類の複合画像５０１，６０１，７０１を生成する。具体的には、複合画像生成部１１６は、ロボット制御部１１２から複合画像指定情報が入力されると、この複合画像指定情報を模擬画像生成部１１５に出力するとともに、３種類の複合画像５０１，６０１，７０１のうちの、指定された複合画像を生成し、これをロボット制御部１１２に出力する。
　＜自走ロボット１の予定移動経路８０２に関する構成＞
　図８は、自走ロボット１の予定移動経路８０２が周囲状況画像５０に重ねて示された複合画像を示す図である。
　図８を参照すると、複合画像８０１では、自走ロボット１の予定移動経路８０２が周囲状況画像５０に重ねて示されている。この予定移動経路８０２は、自走ロボット模擬画像１６０から目標位置まで延びるように示される。
　複合画像生成部１１６は、ロボット制御部１１２から予定移動経路情報を受け取ると、自走ロボット１の予定移動経路８０２を周囲状況画像５０に重ねて示す。この場合、複合画像生成部１１６は、例えば、予定移動経路情報に示された自走ロボット１の目標位置と自走ロボット１の現在位置とに基づいて、予定移動経路８０２を生成する。なお、自走ロボット１の現在位置は、例えば、自走ロボット１の走行部を駆動するモータの回転角から取得する。
　また、複合画像生成部１１６は、ロボット制御部１１２が受け取る操作信号に基づいて、予定移動経路８０２を生成してもよい。この場合、操作信号における自走ロボット１の移動（走行）目標値（指令値）が自走ロボット１の目標位置とされる。また、予定移動経路情報は、自走ロボット１の移動目標位置を含まない。なお、図８は、俯瞰視点の複合画像において、予定移動経路８０２を示しているが、これと同様に、上視点又は一人称視点の複合画像において、予定移動経路８０２を示すことができる。
　＜アーム動画に関する構成＞
　図９は、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの姿勢の変化を示すアーム動画８０３が自走ロボット模擬画像１６０及び周囲状況画像５０に重ねて示された複合画像９０１を示す図である。図１０Ａ乃至図１０Ｄは、それぞれ、自走ロボット１のロボットアーム１２１の姿勢の変化を示すアーム動画８０３の一コマを示す図である。図１０Ａ乃至図１０Ｄにおいて、ロボットアーム１２１Ａ，１２１Ｂは、簡略化されて示されている。Ｕ字状のケーブルの図示も省略されている。アーム動画８０３におけるロボットアームは、実際のロボットアーム１２１Ａ，１２１Ｂに忠実に示されてもよく、もっと、簡略化されてもよい。
　図９を参照すると、複合画像生成部１１６は、ロボット制御部１１２からアーム動画情報を受け取ると、アーム動画８０３を自走ロボット模擬画像１６０及び周囲状況画像５０に重ねて示す。なお、アーム動画８０３を自走ロボット模擬画像１６０のみ又は周囲状況画像５０のみに重ねて示してもよい。このアーム動画８０３は、図１０Ａ乃至図１０Ｄに示すように、ロボットアーム１２１Ａ，１２１Ｂが変化する様子を示す。
　この場合、複合画像生成部１１６は、例えば、アーム動画情報に示されたロボットアーム１２１Ａ，１２１Ｂの目標位置（姿勢）とロボットアーム１２１Ａ，１２１Ｂの現在の位置（姿勢）とに基づいて、アーム動画８０３を生成する。なお、自走ロボット１の現在位置は、上述の、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの各関節の回転角検知部ＥＡから出力される回転角から取得する。
　また、複合画像生成部１１６は、ロボット制御部１１２が受け取る操作信号に基づいて、予定移動経路８０２を生成してもよい。この場合、操作信号におけるロボットアーム１２１Ａ，１２１Ｂの位置指令値がロボットアーム１２１Ａ，１２１Ｂの目標位置とされる。また、アーム動画情報は、ロボットアーム１２１Ａ，１２１Ｂの目標位置を含まない。なお、図９は、上視点の複合画像において、アーム動画８０３を示しているが、これと同様に、俯瞰視点又は一人称視点の複合画像において、アーム動画８０３を示すことができる。
　＜干渉警告に関する構成＞
　干渉警告部１１７は、周囲カメラ１７から入力される周囲状況画像と自走ロボット１の姿勢とに基づいて、干渉警告信号を生成し、これをロボット制御部１１２に出力する。
　周囲状況画像は、３次元の情報を含む。干渉警告部１１７は、まず、周囲状況画像から自走ロボット１の両側方向及び進行方向に存在する物体の３次元の輪郭（以下、単に物体という）を、画像処理によって、抽出する。次いで、干渉警告部１１７は、抽出した物体と自走ロボット１との距離を、周囲状況画像の奥行き（深度）情報を利用して取得する。次いで、干渉警告部１１７は、例えば、抽出した物体の自走ロボット１との距離及び方角から、自走ロボット１が、当該物体と干渉するか否かを判定する。干渉警告部１１７は、自走ロボット１が当該物体と干渉すると判定した場合には、干渉警告信号を、ロボット制御部１１２に出力する。
　すると、この干渉警告信号が、ロボット制御部１１２、ロボット側通信部１１３、操作側通信部２８を介して、操作制御部２７に送られる。すると、操作制御部２７が、この干渉警告信号に応じて、操作側表示部２３に、干渉警告表示を表示させるとともに、操作側放音部２６に干渉警告音声を放音させる。
　［動作］
　次に、以上のように構成されたロボットシステム１００の動作（ロボット作業方法）を説明する。
　図１及び図２を参照すると、操作者Ｐは、操作ユニット２の操作部２１を操作して、個人の邸宅内を、介護のために自走ロボット１を走行させる。この走行の際に、自走ロボット１に介護に必要な作業を行わせる。この際、操作者Ｐは、主に、操作ユニット２の操作側表示部２３に表示される主画像及び手先画像を見ながら、自走ロボット１に、この作業を行わせる。この際、操作者Ｐは、操作側表示部２３にタッチすることによって、操作側表示部２３に、主画像、手先画像、及び複合画像を切り替えて表示させることができる。また、必要に応じて、操作者Ｐは、操作ユニット２の操作側マイクロフォン２５及び操作側放音部２６と、自走ロボット１のロボット側表示部１４、ロボット側マイクロフォン１５、及びロボット側放音部１６とを利用して、介護者又は介護者の関係者と対話する。
　また、操作者Ｐは、自走ロボット１を走行させる場合、操作側表示部２３にタッチして、当該操作側表示部２３に所望の複合画像５０１，６０１，７０１を表示させる。複合画像５０１，６０１，７０１は、自走ロボット１が進行すると、それに連れて、周囲状況画像５０が、時々刻々変化し、且つ、作業のためにアーム部１３及び昇降部１２の姿勢が変化すると、自走ロボット模擬画像１６０が、それに伴って、時々刻々変化する。この場合、特に、自走ロボット模擬画像１６０においてアーム部の姿勢が時々刻々変化するので、操作者Ｐは、自走ロボット１を、周囲の物体と干渉しないように走行させことができる。
　また、この場合、操作者Ｐが、操作側表示部２３にタッチして、自走ロボット１の移動目標位置を含む予定移動経路情報を入力すると、自走ロボット１の予定移動経路８０２を含む複合画像８０１が、操作側表示部２３に表示される。操作者Ｐは、この予定移動経路８０２を参照しながら、的確に自走ロボット１を走行させることができる。
　操作者Ｐが、操作側表示部２３にタッチして、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの目標位置を含むアーム動画情報を入力すると、アーム動画８０３を含む複合画像９０１が、操作側表示部２３に表示される。操作者Ｐは、このアーム動画８０３を参照しながら、的確にロボットアーム１２１Ａ，１２１Ｂを操作して、作業を好適に行うことができる。
　また、自走ロボット１が走行の際に周囲の物体と干渉しそうになると、操作側表示部２３に、干渉警告表示が表示されるとともに、操作側放音部２６から干渉警告音声が放音される。操作者Ｐは、この干渉警告表示及び干渉警告音声によって、干渉の可能性を察知し、操作ユニット２を操作して、自走ロボット１に、必要な干渉回避動作を行わせる。
　（その他の実施形態）
　上記実施形態において、模擬画像生成部１１５は、昇降部１２の姿勢変化を省略した自走ロボット模擬画像１６０を生成するように構成されていてもよい。
　以上に説明したように、本開示の実施形態によれば、ロボットアーム１２１Ａ，１２１Ｂを備える自走ロボット１が周囲の物体と干渉することを回避することができる。
　また、ロボットアーム１２１Ａ，１２１Ｂは、各関節を駆動するモータＭＡの回転角を検知する回転角検知部ＥＡを備え、模擬画像生成部１１６は、少なくとも、ロボットアーム１２１Ａ，１２１Ｂの各関節に対応する回転角検知部ＥＡで検知された回転角に基づいて、自走ロボット模擬画像１６０を生成するように構成されている。
　従って、自走ロボット模擬画像１６０が、ロボットアーム１２１Ａ，１２１Ｂの各関節に対応する回転角検知部ＥＡで検知された回転角に基づいて生成されるので、自走ロボット模擬画像１６０におけるロボットアーム１２１Ａ，１２１Ｂの姿勢がリアルタイムの正確な姿勢になる。その結果、ロボットアーム１２１Ａ，１２１Ｂを備える自走ロボット１が周囲の物体と干渉することをより的確に回避できる。
　また、ロボットシステム１００は、複合画像生成部１１６が自走ロボット１から眺めた一人称視点の複合画像７０１を生成する場合、模擬画像生成部１１５が、自走ロボット模擬画像１６０において自走ロボット１におけるロボットアーム１２１Ａ，１２１Ｂの周囲状況画像５０に写っていない部分の少なくとも一部を模擬するアーム模擬部分１６０ａが、周囲状況画像に写った前記ロボットアームの一部５０ａに繋がるように自走ロボット模擬画像１６０を生成し、且つ、複合画像生成部１１６が、前記生成された自走ロボット模擬画像１６０のアーム模擬部分１６０ａが、周囲状況画像５０に写ったロボットアームの一部５０ａに繋がるように、一人称視点の複合画像５０を生成するように構成されている。
　従って、周囲カメラ１７の配置上、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの全体が写らない周囲状況画像５０を用いる一人称視点の複合画像７０１においても、自走ロボット１におけるロボットアーム１２１Ａ，１２１Ｂの周囲状況画像５０に写っていない部分の少なくとも一部を模擬するアーム模擬部分１６０ａを含む自走ロボット模擬画像１６０を好適に生成することができる。
　また、複合画像生成部１１６は、自走ロボット１の予定移動経路８０２が周囲状況画像５０に重ねて示された複合画像８０１を生成するように構成されている。
　従って、操作者Ｐが、自走ロボット１の予定移動経路８０２を見ながら、的確に自走ロボットを走行させることができる。
　また、複合画像生成部１１６は、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの姿勢の変化を示すアーム動画８０３が周囲状況画像５０及び自走ロボット模擬画像１６０の少なくとも一方に重ねて示された複合画像６０１を生成するように構成されている。従って、操作者Ｐが、この動画８０３を見ながら、的確にロボットをアーム１２１Ａ，１２１Ｂを操作して作業を行うことができる。
　また、ロボットシステム１００は、周囲カメラ１７で撮像された周囲状況画像及び自走ロボット１の姿勢に基づいて、ロボットアーム１２１Ａ，１２１Ｂが自走ロボット１の周囲の物体と干渉するか否かを判定し、干渉すると判定した場合に、干渉警告信号を出力する干渉警告部１１７をさらに備えている。
　従って、干渉警告信号を利用して、ロボットアーム１２１Ａ，１２１Ｂと自走ロボット１の周囲の物体との干渉回避を図ることができる。
　また、表示部２３は、干渉警告部１１６から出力される干渉警告信号に応じて、干渉警告を表す画像を表示するように構成されている。
　従って、操作者Ｐが、表示部２３の表示を見て、ロボットアーム１２１Ａ，１２１Ｂと自走ロボット１の周囲の物体との干渉の可能性を知ることができる。
　ロボットシステム１００は、表示器２３とは別個に設けられ、干渉警告部１１６から出力される干渉警告信号に応じて、干渉警告を報知する干渉警告報知部２６をさらに備えている。
　従って、操作者Ｐが、干渉警告報知部２６の報知によって、ロボットアーム１２１Ａ，１２１Ｂと自走ロボット１の周囲の物体との干渉の可能性を知ることができる。
　上記説明から、当業者にとっては、多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきである。
　本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ASIC（Application Specific Integrated Circuits）、従来の回路、および/または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。
　本開示の一態様に係るロボットシステムは、１以上の関節を有するロボットアームを含む自走ロボットと、操作者による操作を受け付ける、前記自走ロボットを操作するための操作部と、前記操作者により視認される表示器と、前記自走ロボットに搭載され、当該自走ロボットの周囲の状況を撮像する周囲カメラと、処理回路と、を備え、前記処理回路は、前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成し、前記周囲カメラで撮像された周囲状況画像と、生成された前記自走ロボット模擬画像とを含み、前記表示器に表示される複合画像を生成するように構成される。
　この構成によれば、表示器に、ロボットアームの姿勢を含む自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像が、周囲カメラで撮像された周囲状況画像と一緒に表示されるので、操作者がその表示を見て、ロボットアームを備える自走ロボットが周囲の物体と干渉することを回避するよう操作部を操作できる。
　前記ロボットアームは、前記１以上の関節をそれぞれ駆動する１以上のモータと、前記１以上のモータの回転角をそれぞれ検知する１以上の回転角検知部とを備え、前記処理回路は、少なくとも、前記１以上の回転角検知部で検知された回転角に基づいて、前記自走ロボット模擬画像を生成するように構成されてもよい。
　上記のロボットシステムにおいて、前記処理回路は、前記自走ロボットから眺めた一人称視点の複合画像を生成する場合、前記自走ロボット模擬画像において前記自走ロボットにおける前記ロボットアームの前記周囲状況画像に写っていない部分の少なくとも一部を模擬するアーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように前記自走ロボット模擬画像を生成し、且つ、前記生成された自走ロボット模擬画像の前記アーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように、前記一人称視点の複合画像を生成するように構成されてもよい。
　上記のロボットシステムにおいて、前記処理回路は、前記自走ロボットの予定移動経路が前記周囲状況画像に重ねて示された前記複合画像を生成するように構成されてもよい。
　上記のロボットシステムにおいて、前記処理回路は、前記自走ロボットの前記ロボットアームの姿勢の変化を示すアーム動画が、前記周囲状況画像または前記自走ロボット模擬画像に重ねて示された前記複合画像を生成するように構成されてもよい。
　上記のロボットシステムにおいて、前記処理回路は、前記周囲カメラで撮像された前記周囲状況画像及び前記自走ロボットの姿勢に基づいて、前記ロボットアームが前記自走ロボットの周囲の物体と干渉するか否かを判定し、干渉すると判定した場合に、干渉警告信号を出力してもよい。
　上記のロボットシステムは、前記表示器は、出力される前記干渉警告信号に応じて、干渉警告を表す画像を表示するように構成されてもよい。
　上記のロボットシステムは、前記表示器とは別個に配置され、出力される前記干渉警告信号に応じて、干渉警告を報知する干渉警告報知器をさらに備えてもよい。
　本開示の一態様に係るロボット作業方法は、ロボットアームを備える自走ロボットを操作することと、前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成することと、前記自走ロボットに、当該自走ロボットの周囲の状況を撮像する周囲カメラを設けることと、前記周囲カメラで撮像された周囲状況画像と前記自走ロボット模擬画像とを含む複合画像を生成することと、前記複合画像を表示することと、を含む。
　この構成によれば、ロボットアームを備える自走ロボットが周囲の物体と干渉することを回避できる。
 

Claims (9)

  1. 　１以上の関節を有するロボットアームを含む自走ロボットと、
    　操作者による操作を受け付ける、前記自走ロボットを操作するための操作部と、
    　前記操作者により視認される表示器と、
    　前記自走ロボットに搭載され、当該自走ロボットの周囲の状況を撮像する周囲カメラと、
    　処理回路と、を備え、
    　前記処理回路は、
    　　前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成し、
    　　前記周囲カメラで撮像された周囲状況画像と、生成された前記自走ロボット模擬画像とを含み、前記表示器に表示される複合画像を生成するように構成される、ロボットシステム。
  2. 　前記ロボットアームは、前記１以上の関節をそれぞれ駆動する１以上のモータと、前記１以上のモータの回転角をそれぞれ検知する１以上の回転角検知部とを備え、
    　前記処理回路は、少なくとも、前記１以上の回転角検知部で検知された回転角に基づいて、前記自走ロボット模擬画像を生成するように構成されている、請求項１に記載のロボットシステム。
  3. 　前記処理回路は、前記自走ロボットから眺めた一人称視点の複合画像を生成する場合、
    　　前記自走ロボット模擬画像において前記自走ロボットにおける前記ロボットアームの前記周囲状況画像に写っていない部分の少なくとも一部を模擬するアーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように前記自走ロボット模擬画像を生成し、且つ、
    　　前記生成された自走ロボット模擬画像の前記アーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように、前記一人称視点の複合画像を生成するように構成されている、請求項１又は２に記載のロボットシステム。
  4. 　前記処理回路は、前記自走ロボットの予定移動経路が前記周囲状況画像に重ねて示された前記複合画像を生成するように構成されている、請求項１乃至３のいずれかに記載のロボットシステム。
  5. 　前記処理回路は、前記自走ロボットの前記ロボットアームの姿勢の変化を示すアーム動画が、前記周囲状況画像または前記自走ロボット模擬画像に重ねて示された前記複合画像を生成するように構成されている、請求項１乃至４のいずれかに記載のロボットシステム。
  6. 　前記処理回路は、前記周囲カメラで撮像された前記周囲状況画像及び前記自走ロボットの姿勢に基づいて、前記ロボットアームが前記自走ロボットの周囲の物体と干渉するか否かを判定し、干渉すると判定した場合に、干渉警告信号を出力する、請求項１乃至５のいずれかに記載のロボットシステム。
  7. 　前記表示器は、出力される前記干渉警告信号に応じて、干渉警告を表す画像を表示するように構成されている、請求項６に記載のロボットシステム。
  8. 　前記表示器とは別個に配置され、出力される前記干渉警告信号に応じて、干渉警告を報知する干渉警告報知器をさらに備える、請求項６に記載のロボットシステム。
  9. 　ロボットアームを備える自走ロボットを操作することと、
    　前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成することと、
    　前記自走ロボットに、当該自走ロボットの周囲の状況を撮像する周囲カメラを設けることと、
    　前記周囲カメラで撮像された周囲状況画像と前記自走ロボット模擬画像とを含む複合画像を生成することと、
    　前記複合画像を表示することと、を含む、ロボット作業方法。
     
PCT/JP2021/047585 2020-12-24 2021-12-22 ロボットシステム及びロボット作業方法 WO2022138724A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/268,494 US20240075634A1 (en) 2020-12-24 2021-12-22 Robot system and robot working method
CN202180086270.7A CN116635190A (zh) 2020-12-24 2021-12-22 机器人系统以及机器人作业方法
JP2022571554A JPWO2022138724A1 (ja) 2020-12-24 2021-12-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-215817 2020-12-24
JP2020215817 2020-12-24

Publications (1)

Publication Number Publication Date
WO2022138724A1 true WO2022138724A1 (ja) 2022-06-30

Family

ID=82157017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047585 WO2022138724A1 (ja) 2020-12-24 2021-12-22 ロボットシステム及びロボット作業方法

Country Status (4)

Country Link
US (1) US20240075634A1 (ja)
JP (1) JPWO2022138724A1 (ja)
CN (1) CN116635190A (ja)
WO (1) WO2022138724A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004243499A (ja) * 2003-02-17 2004-09-02 Matsushita Electric Ind Co Ltd 生活空間用の物品取扱いシステム、物品取扱い方法、及びロボット操作装置
JP2005208857A (ja) * 2004-01-21 2005-08-04 Campus Create Co Ltd 画像生成方法
JP2010094777A (ja) * 2008-10-16 2010-04-30 Fuji Electric Systems Co Ltd 遠隔操作支援装置
JP2010128935A (ja) * 2008-11-28 2010-06-10 Yamaha Motor Co Ltd 遠隔操作システムおよび遠隔操作装置
JP2019030925A (ja) * 2017-08-07 2019-02-28 三菱重工業株式会社 作業システム及び作業システムの作業方法
JP2019188576A (ja) * 2018-04-27 2019-10-31 川崎重工業株式会社 ロボットの教示方法及びロボットの教示システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004243499A (ja) * 2003-02-17 2004-09-02 Matsushita Electric Ind Co Ltd 生活空間用の物品取扱いシステム、物品取扱い方法、及びロボット操作装置
JP2005208857A (ja) * 2004-01-21 2005-08-04 Campus Create Co Ltd 画像生成方法
JP2010094777A (ja) * 2008-10-16 2010-04-30 Fuji Electric Systems Co Ltd 遠隔操作支援装置
JP2010128935A (ja) * 2008-11-28 2010-06-10 Yamaha Motor Co Ltd 遠隔操作システムおよび遠隔操作装置
JP2019030925A (ja) * 2017-08-07 2019-02-28 三菱重工業株式会社 作業システム及び作業システムの作業方法
JP2019188576A (ja) * 2018-04-27 2019-10-31 川崎重工業株式会社 ロボットの教示方法及びロボットの教示システム

Also Published As

Publication number Publication date
JPWO2022138724A1 (ja) 2022-06-30
CN116635190A (zh) 2023-08-22
US20240075634A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
Lipton et al. Baxter's homunculus: Virtual reality spaces for teleoperation in manufacturing
JP6567563B2 (ja) 衝突回避および軌道復帰能力を有する人型ロボット
JP6940879B2 (ja) ロボット制御システム、機械制御システム、ロボット制御方法、機械制御方法、およびコンピュータプログラム
US9744672B2 (en) Systems and methods for communicating robot intentions to human beings
US20230367289A1 (en) Robotic control via a virtual world simulation
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
Buss et al. Development of a multi-modal multi-user telepresence and teleaction system
Naceri et al. Towards a virtual reality interface for remote robotic teleoperation
Tachi et al. Telesarphone: Mutual telexistence master-slave communication system based on retroreflective projection technology
CN111716365B (zh) 基于自然行走的沉浸式远程交互系统及方法
WO2019044766A1 (ja) ロボットシステム及びその運転方法
JP6589604B2 (ja) ティーチング結果表示システム
JP2016218534A (ja) 画像表示システムおよび画像表示方法
CN109128591A (zh) 用于实时长距离远程焊接的系统和方法
GB2598345A (en) Remote operation of robotic systems
Krupke et al. Prototyping of immersive HRI scenarios
JP2011101915A (ja) ロボットシステム
RU124622U1 (ru) Система управления мобильным роботом
Luo et al. Team Northeastern's approach to ANA XPRIZE Avatar final testing: A holistic approach to telepresence and lessons learned
WO2022138724A1 (ja) ロボットシステム及びロボット作業方法
CN105549618A (zh) 一种实景交互式操控系统
JP2001062766A (ja) ２足歩行ロボットの遠隔制御用ユーザインターフェイスシステム
CN109213306A (zh) 一种机器人远程控制平台及其设计方法
US11697209B1 (en) Coordinate mapping for motion control
Fernando et al. Effectiveness of Spatial Coherent Remote Drive Experience with a Telexistence Backhoe for Construction Sites.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21910864

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022571554

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18268494

Country of ref document: US

Ref document number: 202180086270.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21910864

Country of ref document: EP

Kind code of ref document: A1