WO2017203971A1 - 自律作業制御システムおよび自律作業制御方法 - Google Patents

自律作業制御システムおよび自律作業制御方法 Download PDF

Info

Publication number
WO2017203971A1
WO2017203971A1 PCT/JP2017/017544 JP2017017544W WO2017203971A1 WO 2017203971 A1 WO2017203971 A1 WO 2017203971A1 JP 2017017544 W JP2017017544 W JP 2017017544W WO 2017203971 A1 WO2017203971 A1 WO 2017203971A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
target
unit
autonomous
sensor
Prior art date
Application number
PCT/JP2017/017544
Other languages
English (en)
French (fr)
Inventor
亮介 小林
尚幸 河野
孝一 黒澤
克彦 平野
Original Assignee
日立Ｇｅニュークリア・エナジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Ｇｅニュークリア・エナジー株式会社 filed Critical 日立Ｇｅニュークリア・エナジー株式会社
Publication of WO2017203971A1 publication Critical patent/WO2017203971A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present invention relates to an autonomous work control system and an autonomous work control method for performing work autonomously by a plurality of work devices.
  • Patent Document 1 discloses an arbitrary number of robot machine groups, a mission planner capable of setting missions of an arbitrary number of robot machine groups, and an arbitrary number
  • a technology relating to an apparatus provided with a mission control unit capable of executing a mission using a robot machine group of the following is disclosed.
  • Patent Document 1 autonomous work when a planned mission is executed by a plurality of work devices is set as a control target, and no consideration is given to a case where the environment or work situation changes during work. In other words, if the information about the work environment and the work target is not clarified in advance, it is impossible to deal with an unplanned event that occurred during the work, and the work efficiency may be greatly reduced.
  • the present invention has been made in view of the above, and an autonomous work control system and autonomous work control for controlling autonomous work by a plurality of work devices capable of flexibly responding to changes in the work environment and work situation that occur during work. It aims to provide a method.
  • the present invention is an autonomous work control system for controlling autonomous work by a plurality of work devices, wherein an operator inputs a work instruction input unit and a work instruction input unit.
  • An operation instruction unit that converts the received work instruction into a target operation instruction for the work device, a device state estimation unit that estimates the operation state of the work device from information of a sensor mounted on the work device, and a work of the work device from the sensor information
  • a work state estimation unit for estimating a state
  • a device operation generation unit for generating a target motion of each work device from an operation instruction from the operation instruction unit, an estimation result of the device state estimation unit, and a work state estimation unit
  • the device motion changing unit that generates the changed target motion by changing the target motion generated by the control unit and the drive unit of each work device according to the target motion from the device motion generating unit or the device motion changing unit.
  • a control device that outputs a control target value for performing the operation
  • the device operation generation unit is configured to estimate the device state based on the target operation instruction of the work device output from the operation instruction unit and sensor information mounted on the work device, and The operation state is compared with the work state, and it is determined that the performance of the first target motion in the first work device is impossible.
  • the device motion change unit performs the work of the first target motion in the first work device.
  • a third target for interrupting the second target operation being executed by the second work device and supporting the continuation of the execution of the first target operation in the first work device
  • a new target motion instruction for motion is generated and given to the second work device.
  • the present invention is also an autonomous work control method for performing an initial operation by autonomously operating a plurality of work devices equipped with sensors on site, and sensor information indicating operation contents in the plurality of work devices.
  • the second target operation being executed by the device is interrupted, and a new target operation instruction for the third target operation that supports the continuation of the execution of the first target operation in the first work device is issued to the second operation.
  • the functional block diagram which shows the whole structure of an autonomous work system and a working device.
  • the PAD figure which shows the operation control processing content of the multiple working device by an autonomous work system.
  • the PAD figure which shows the processing content in control apparatus CA and CB of work apparatus RA and RB.
  • FIG. 1 is a diagram illustrating a device configuration in a work environment according to an embodiment of the present invention.
  • the work environment 9 includes two work robots RA and RB, which are work devices.
  • the work robot RA carries the object 8 and the work robot RB carries the object 10. carry out.
  • the two working robots RA and RB have a crawler type as a moving mechanism and a manipulator type as a working mechanism, but are not limited thereto.
  • the work robots RA and RB are controlled by the control devices CA and CB, respectively.
  • the control devices CA and CB are connected to the operation management device 3 to control the entire work of the work environment 9 at the site.
  • the operator 1 who manages and monitors the work inputs a work instruction to the display device 2 and monitors the progress of the work and the state of the apparatus during the work.
  • the display device 2, the operation management device 3, and the control devices CA and CB of the work robots RA and RB can be integrated and divided, and are not limited to the configuration of the present embodiment.
  • the display device 2 and the operation management device 3 may be integrated into a single device, or the control devices CA and CB may be divided into a moving mechanism and a working mechanism.
  • each apparatus is connected by a wired cable, but may have a wireless system configuration.
  • FIG. 2 is a functional block diagram showing the overall configuration of the autonomous work system and work equipment.
  • the display device 2 includes a work instruction input unit 11 that takes the input of the operator 1 into the display device 2, an operation instruction unit 12 that disassembles the work instructions (purposes) into operation instructions of the work robots RA and RB, A data transmission / reception unit 14 for managing transmission / reception and a display unit 13 for displaying various data to the operator 1 are included.
  • the operation management device 3 includes a display device 2, a control device CA for the work robot RA, a data transmission / reception unit 22 for managing data exchange with the control device CB for the work robot RB, and sensor signals mounted on the work robots RA and RB.
  • An apparatus state estimation unit 20 that estimates the state of the robot body (whether the movement mechanism or work mechanism is abnormal, etc.), a work state estimation unit 21 that estimates a work state (conveyance status of the object, etc.), an apparatus state and a work state
  • the apparatus operation change unit 19 for determining whether or not to change the initially set operation instruction from the estimation result, the apparatus specification information 15 used for determining the operation instruction change in the apparatus operation change unit 19 and the operation before the change
  • the storage unit 16 for storing the instruction information 17 generates the operations of the work robot RA and the work robot RB by reflecting the determination result of whether or not the operation has been changed (the trajectory plan of the moving mechanism and the work mechanism). ) Contains a device operation generator 18 for.
  • the control device CA of the work robot RA includes a data transmission / reception unit 23A for exchanging data with the motion management device 3, and the robot movement mechanism 30A and the work mechanism 29A from the device motion (trajectory plan) generated by the motion management device 3.
  • Target value calculation unit 24A for calculating the target control amount (crawler rotation speed of the moving mechanism, joint angle of each joint of the working mechanism), and the calculated target value and the angle detector 28A built in each driving unit of the robot.
  • a robot RA control unit 26A that generates a target command voltage for each drive unit using a current angle calculated from the signal, and an environment recognition unit 25A that captures a signal from an environment recognition sensor 27A mounted on the robot RA are included.
  • the environment recognition sensor 27A is a camera that acquires video data of the surrounding environment, a laser sensor that measures the shape of the surrounding environment and the object, and a force / torque that measures the force / torque applied to the hand of the robot. It is assumed that the sensor is mounted, but in the case of different work, it can be changed as necessary.
  • the configuration in the control device CB of the work robot RB and the functional configuration of the work robot RB are the same as those of the work robot RA. And distinguishing points that are functional configurations on the work robot RB side.
  • FIG. 3 is a PAD diagram schematically showing the processing content of the operation control processing of a plurality of work devices by the autonomous work system. It is a PAD diagram showing the processing contents in the operation management device 3 mainly based on the work instruction of the operator 1.
  • the initial state including information such as the initial positions of the respective working robots RA and RB, and the device spec information such as the movement speed and the portable weight prepared in advance are operated. Capture to the management device 3.
  • the input work instruction is displayed on the display device 2 and read into the operation management device 3 in processing step S3.
  • the operation management device 3 disassembles the operation robots RA and RB into operation instructions to the control devices CA and CB.
  • FIG. 4 shows an operation screen 39 of the display device 2 that is operated when the operator 1 inputs a work instruction in the processing step S2 of FIG.
  • the operation screen 39 includes a work condition input unit 48, a work content input unit 50, and an apparatus specification list display unit 51.
  • the work condition input unit 48 inputs work constraint conditions.
  • the work constraint conditions are a time condition, a condition of equipment used, a spatial condition, and the like.
  • the work condition input unit 48 includes a work period input unit 40 for inputting a time condition (for example, minutes, hours, days), It includes a used equipment input unit 41 that defines devices and tools that can be used for work, and a transport location input unit 42 that inputs spatial conditions (for example, building name of the work location, transport location, etc.).
  • the information input by the work condition input unit 48 is stored in the storage unit 16 of the operation management device 3 in FIG. 2, and it is determined whether or not the operation change is necessary in the processing of the device operation change unit 19 to be described later and after the change. Used in the process that generates the action.
  • the work content input unit 50 inputs work instructions.
  • the work instruction includes a work place, a work target, a work item, a work completion state, etc., a work place input unit 43 for inputting a work place, a work target input unit 44 for inputting a work target, and a work item input for inputting a work item.
  • the device spec list display unit 51 displays a spec list of work devices that can be used for work, generated from the information on the used equipment input by the used equipment input unit 41 of the work condition input unit 48.
  • the apparatus spec is set for each of the robots RA and RB, and includes a robot RA spec display unit 47 for the robot RA and a robot RB spec display unit 48 for the robot RB.
  • robot specification display units 47 and 48 for example, specifications relating to the moving mechanism, such as the step height that can be overcome, the maximum moving speed, and the like relating to the working mechanism, such as the number of joints, the degree of freedom, the link length, and the operating range.
  • the loadable weight is displayed.
  • processing step S4 the information (place, work target, work item, completion status) input by the work content input unit 50 in FIG. 4 is converted into information that can generate the operations of the work robots RA and RB.
  • “debris (objects 8, 10) existing in a certain place (work environment 9) is removed (work item) and the work environment 9 is maintained (completed state)”.
  • a description will be given by taking the case of input as an example.
  • the three-dimensional position information of the work place viewed from the origin of the global coordinate system set in the work environment 9 based on the information that associates the name and position of the place registered in advance ( X, Y, Z).
  • the objects 8 and 10 to be contacted or handled by the work robots RA and RB are designated.
  • metallic or non-metallic debris designated by the operator 1 is set as the work objects 8 and 10 based on the image and video information of the work environment 9 acquired in advance.
  • the operator 1 inputs “debris” the characteristics of the objects 8 and 10 are extracted from the image. For example, features such as an irregular shape, existing on the floor, the number of pieces or the number of areas in which they are gathered, and the like are extracted.
  • a target motion of the work robot RA is generated based on the work robot operation instruction disassembled from the work instruction in the processing step S4.
  • the current state (position, initial posture, etc.) of the work robot RA is estimated based on various sensor information mounted on the work robot RA.
  • processing step S7 based on the information of the camera and laser sensor mounted on the work robot RA, the work environment is recognized and it is estimated whether or not the object exists in the vicinity. Calculates its shape.
  • processing step S7 if the target object is not present in the initial state in the initial state, a target action for searching for the target object while moving is generated in processing step S8. If the object is present in the vicinity, an operation for removing the moving operation for searching is generated in the processing step S8.
  • processing step S8 the target trajectory of the moving mechanism is calculated based on the relative positional relationship between the work robot RA and the object, and the arm mechanism is grasped based on the shape information of the object obtained in processing step S7. Calculate the trajectory.
  • processing contents from the processing step S9 to the processing step S12 related to the work robot RB are the same as the processing contents from the processing step S5 to the processing step S8 related to the working robot RA, and detailed description thereof will be omitted.
  • processing step S13 of FIG. 3 based on the information obtained from the control devices CA and CB of the work robots RA and RB, whether the work robot target motion is proceeding as planned is checked against the work completion state. If it matches, the process is terminated, and finally, in process step S14, the state of the work environment and the state of the work robot after the work is completed are stored, transmitted to the display device 2, and the work is finished.
  • FIG. 5 is a PAD diagram showing the processing contents in the control devices CA and CB of the work devices RA and RB.
  • the work robot RA and the work robot RB have the same configuration of the movement mechanism and the work mechanism, and therefore the basic configuration of the processing contents in the control devices CA and CB of the two work robots RA and RB is the same. Shall.
  • control device CA of the work robot RA takes in the robot target motion transmitted from the motion management device 3.
  • the target motion of the work robot transmitted from the motion management device 3 to the control device CA of the work robot RA is the target position / posture of the moving mechanism and the target position / posture of the arm mechanism tip. Calculate the value. Specifically, in processing step S17, these are converted into target rotational speeds of the motors in the driving unit of the moving mechanism, and in processing step S18, they are converted into target rotational angles of the motors in the respective joint driving units of the arm mechanism. . Note that the processing content of the processing step S16 corresponds to the processing of the target value calculation unit 24 in the control device for the working robot of FIG.
  • processing step S19 the surrounding environment information and object information to be worked on are acquired again.
  • processing step S20 information on the camera and laser sensor mounted on the work robot RA is read, and the three-dimensional shape of the surrounding environment is calculated from the sensor signal.
  • processing step S21 the position of the work robot RA in the work environment 9 is estimated by comparing the map information of the work environment prepared in advance with the acquired three-dimensional shape information of the surrounding environment.
  • processing step S22 the relationship between the relative position and orientation of the object and the work robot RA and the object shape information are also calculated using the three-dimensional shape information of the surrounding environment calculated from the camera and laser sensor information.
  • the processing content of the processing step S19 corresponds to the processing of the environment recognition unit 25 in the control device for the work robot of FIG.
  • step S23 a control command value for the work robot RA is calculated.
  • the signals of the angle detectors mounted on the moving mechanism of the work robot and the drive unit of the arm mechanism are read.
  • processing step S25 the rotation angle is calculated from the signal from the angle detector.
  • the angle detector is a type that outputs an analog signal such as a potentiometer
  • the conversion to the rotation angle is multiplied by a preset conversion coefficient, and if it is a type that outputs a pulse signal such as an encoder, a preset 1 count is used. Multiply the winning rotation angle to convert it to a rotation angle.
  • processing step S26 the target value (target rotational speed of the moving mechanism and the target rotational angle of each joint of the arm mechanism) calculated in processing step S16 and the current value (moving mechanism and arm mechanism) calculated in processing step S25.
  • Current rotation angle is input to a feedback controller (for example, a PID controller) that is generally used in the control of the work robot, and a target control amount for each drive unit is calculated.
  • the processing content of the processing step S23 corresponds to the processing of the robot control unit 26 in the control device for the working robot of FIG.
  • the target control amount calculated in the process step S26 is converted into a motor command voltage, a voltage is applied to each drive unit of the work robot, and the process is terminated.
  • the processing described so far with reference to FIGS. 3 and 5 is performed for each target robot (work robot RA, work robot RA, RB) for the target motion transmitted from the motion management device 3 to the control devices CA and CB of the work robots RA and RB.
  • the work robot RB accesses the object by itself and generates a gripping action for removal. In other words, this is a case where the current apparatus and work state are proceeding without contradiction with respect to the planned target action.
  • the work may not always be performed as planned if its weight and hardness are unknown.
  • the work robot RA grips the target, but the weight of the target is the weight of the work robot RA.
  • the control process in the case where the transportable weight is exceeded and the individual work is impossible.
  • FIG. 6 is a diagram illustrating a state where one working device (working robot RA) grips an object.
  • FIG. 7 shows the processing contents from when it is detected that the work robot RA alone cannot grip the object until the work robot RB is selected as the cooperation robot and the cooperation operation is generated. Is. This processing relates to the device operation changing unit 19 in the operation management device 3 in the functional block diagram of FIG.
  • processing from processing step S1 to processing step S8 is the same as the processing from processing step S1 to processing step S8 in FIG.
  • processing step S1 to processing step S8 in FIG. 3 it is assumed that each of the work robots RA and RB can perform an independent operation. However, the process of FIG. This is determined in the processing step S36.
  • processing step S36 it is determined from the estimation result of the apparatus state in processing step S6 and the estimation result of the working state in processing step S7 that the work robot RA cannot hold the object 8 alone.
  • a force / torque sensor for detecting the contact state with the object is mounted on the tip of the arm mechanism of the work robot RA. Based on the signal output from the force / torque sensor, the triaxial force applied to the tip and the torque around the axis are calculated. If the load is less than the load capacity of the work robot RA, the grip is held. Continue the operation, stop the gripping operation if it is more than the load capacity.
  • the work robot RA is equipped with a camera and a laser sensor as environment recognition sensors.
  • the state (shape, position) of the object is measured with these sensor signals, and it is detected that the object is gripped with the force / torque sensor signal, but the position of the object does not move Judge that gripping is impossible.
  • one sensor information or a plurality of sensor information may be used.
  • processing step S37 information indicating that gripping is impossible from the working robot RA is read, and in step S38, the working robot RB is determined as a candidate for the cooperative robot.
  • processing step S39 the operation content of the work robot RB determined as the cooperation robot is determined.
  • processing step S40 the cooperative operation of the cooperative robot determined in the series of processing in processing step S36 (processing step S37 to processing step S39) is read, and the target operation of the working robot is generated.
  • the work robot RB is selected as a cooperation robot will be described.
  • process step S40 the same process as the process content of process step S9 of FIG. 3 is performed.
  • the processing contents of the individual processing steps from processing step S40 to processing step S43 in FIG. 7 correspond to the processing contents of the individual processing steps from processing step S9 to processing step S12 in FIG.
  • the content processed here is about the operation content as a cooperation robot.
  • FIG. 8 is a PAD diagram showing the processing contents of the device operation change processing when an unplanned event occurs during work.
  • the processing content of processing step S36 in FIG. 7 will be described in more detail with reference to FIG.
  • processing step S46 the statuses of the work devices RA and RB received from the control devices CA and CB of the work devices RA and RB are captured.
  • processing step S47 an index for selecting a work robot to cooperate with is defined.
  • the reason why the work robot RA cannot execute the gripping of the object in the processing step S48 is analyzed, and the processing step S49 is performed.
  • the index for selecting the cooperation robot is extracted based on the analysis result.
  • a series of processing from processing step S46 to processing step S49 corresponds to the processing content of processing step S37 in FIG.
  • the load capacity of the work robot RA is 10 kgf, and that 10 kgf or more is detected from the output signal of the force / torque sensor and it is determined that the grip cannot be performed.
  • the index for selecting the cooperative robot is “transportable weight 10 kgf or more”.
  • the selection index of the cooperative robot includes a plurality of items such as the maximum weight of the object that can be grasped by the work robot tip tool calculated from the object shape information, the distance from the work robot RA, the work status of the peripheral work robot, etc. There are indicators (apparatus performance, temporal conditions, spatial conditions).
  • priorities are set for the indexes related to the device performance.
  • the priority order is determined based on the priority order of related parameters set in advance for each target action.
  • “removal” is input as a work instruction
  • “movement to the object”, “gripping the object”, and “transport of the object” are generated as operation instructions.
  • “Movement to the object” and “transportation of the object” are operations related to the movement of the work robot
  • the related parameters related to the apparatus performance are the constraint dimension of the movement path, the weight of the moving mechanism, and the like.
  • the related parameters regarding the apparatus performance are the weight of the arm mechanism, the size of the object that can be grasped by the tip tool, and the like.
  • the device selection index related to the temporal condition and the spatial condition will be described in the processing step S50.
  • the process step S51 first, the information of each apparatus state captured in the process step S46 is read. Then, using the selection index related to the device performance extracted in the processing step S49, it is collated with each piece of device specification information stored in the storage unit 16 in the operation management device 3 in FIG. Is selected.
  • processing step S53 whether or not cooperation is possible is determined for each of the cooperation robot candidates selected in processing step S52 based on the indexes related to the temporal condition and the spatial condition.
  • the work period is related to the work period, and the “progress degree of removal work” performed in each area by the work robot RA and the cooperation candidate work robot, That is, it is the ratio of the object that currently exists to the initial state (number) of objects to be removed that exist in each area.
  • an index related to the spatial condition among the work instructions input by the operator, it relates to the transportation location, and the work robot RA and the cooperation candidate work robot are respectively carrying out the removal work and the “transportation location and The distance.
  • the “progress degree of the removal work” and the “distance from the transportation place” that are higher than those of the work robot RA are selected from the candidate robots that can be linked. Then, in step S54, the cooperative robot is determined, and the process proceeds to a process for changing the apparatus operation.
  • process step S55 a process of generating a new operation command for the cooperative robot determined in process step S54 is performed.
  • a pre-change operation instruction is stored in the storage unit 16 in the operation management device 3 in order to be able to return to the work before the change in processing step S56.
  • processing step S57 a target cooperative operation command is generated from the state of the device before cooperation and the operation instruction to the work robot RA.
  • the details will be described on the assumption that the work robot RB is selected as the cooperation robot.
  • the operation command of the work robot RB is changed from “removal of the object 10” to “removal of the object 8 in cooperation with the work robot RA”. Since there is no change in the “removal” operation and only the target object is changed, a target motion command for moving to the place where the target object 8 is present and gripping it is generated. That is, the target cooperation operation command after the change to the work robot RB is movement to the object 8, recognition, gripping, and transportation of the object 8. Finally, in process step S58, various information is stored and transmitted, and the process is terminated.
  • FIG. 9 is a diagram showing a state where two working devices (working robot RA and working robot RB) carry the object. Unlike the single removal operation, the work robot RB arrives at the work area of the work robot RA and recognizes the object 8 because of the conditional work “in cooperation with the work robot RA” in the operation instruction. After recognizing the target object gripping position, a position that does not interfere with the tip position of the work robot RA is gripped.
  • the work robot RA when the joint transportation of the object 8 is completed as a result of the joint work by the work robot RA and the work robot RB, the work robot RA is provided on condition that no other work to be jointly worked remains. Then, the work robot RB returns to the original individual work mission and returns to the system for executing the single work.
  • the autonomous work system when it is determined that it is impossible to continue work alone while a plurality of work devices are working, the work is performed. It is possible to estimate the work state and the device state based on the sensor information mounted on the working device, and to select the surrounding work robot as the cooperation robot to perform the work. Accordingly, work delays can be avoided and risks can be reduced.
  • various sensors are used. These are sensors that detect the amount of movement and rotation of the drive unit of the work device, detect the interaction with the object, detect the operation of the drive unit, and detect changes in the work environment. Sensor.
  • a sensor for detecting a change in the work environment may be mounted on the work device, but since these functions are measurement of the field environment, they may be fixedly installed in the field.
  • the other sensors can be referred to as sensors for determining the operation of the work device.
  • Laser distance meters, encoders, potentiometers, inclinometers, geomagnetic sensors, and gyro sensors can be used as sensors that detect the amount of movement and rotation of the drive unit of the work device, and detect interactions with objects.
  • Cameras, ultrasonic rangefinders, laser rangefinders, force / torque sensors, thermometers, and pressure-sensitive sensors can be used as sensors, and current sensors can be used as sensors for detecting the operation of the drive unit.
  • a pressure gauge, a water leak detector, a thermometer, and a radiation dose meter can be used as a sensor for detecting a change in the working environment.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

作業中に生じる作業環境や作業状況の変化に柔軟に対応することができる複数の作業装置による自律作業を制御する自律作業制御システムおよび自律作業制御方法を提供する。複数の作業装置による自律作業を制御する自律作業制御システムであって、装置動作生成部は、動作指示部から出力される作業装置の目標動作指示と作業装置に搭載したセンサ情報を基に推定した装置状態及び作業状態とを比較して第１の作業装置における第１の目標動作の作業遂行が不可であることを判断し、装置動作変更部は、第１の作業装置における第１の目標動作の作業遂行が不可であることを検知する時に、第２の作業装置が実行している第２の目標動作を中断し、第１の作業装置における第１の目標動作の実行継続を支援する第３の目標動作のための新たな目標動作指示を生成し、第２の作業装置に与えることを特徴とする。

Description

自律作業制御システムおよび自律作業制御方法
　本発明は、複数の作業装置により自律的に作業を実施するための自律作業制御システムおよび自律作業制御方法に関する。
　複数の作業装置による自律作業に関する技術として、例えば、特許文献１には、任意の数のロボットマシングループと、任意の数のロボットマシングループのミッションを設定することができるミッションプランナーと、任意の数のロボットマシングループを使用してミッションを実行することができるミッション制御部とを備えた装置に関する技術が開示されている。
特表２０１２－５２９１０４号公報
　しかしながら、特許文献１においては、予め計画されたミッションを複数の作業装置で実行する場合の自律作業を制御対象としており、作業中に環境や作業状況が変化する場合については考慮されていない。つまり、作業環境や作業対象に関する情報が事前に明らかになっていない場合、作業中に発生した計画外の事象に対して対応ができないため、作業効率が大きく低下してしまう恐れがあった。
　本発明は上記に鑑みてなされたものであり、作業中に生じる作業環境や作業状況の変化に柔軟に対応することができる複数の作業装置による自律作業を制御する自律作業制御システムおよび自律作業制御方法を提供することを目的とする。
　上記目的を達成するために、本発明は、複数の作業装置による自律作業を制御する自律作業制御システムであって、オペレータが作業指示を入力する作業指示入力部と、作業指示入力部で入力された作業指示を作業装置に対する目標動作指示に変換する動作指示部と、作業装置に搭載したセンサの情報から当該作業装置の動作状態を推定する装置状態推定部と、センサの情報から作業装置の作業状態を推定する作業状態推定部と、動作指示部からの動作指示と装置状態推定部及び作業状態推定部の推定結果から各作業装置の目標動作を生成する装置動作生成部と、装置動作生成部が生成した目標動作を変更して変更目標動作を生成する装置動作変更部と、装置動作生成部または装置動作変更部からの目標動作に従い各作業装置の駆動部を制御するための制御目標値を出力する制御装置とを備え、装置動作生成部は、動作指示部から出力される作業装置の目標動作指示と作業装置に搭載したセンサ情報を基に推定した装置状態及び作業状態とを比較して第１の作業装置における第１の目標動作の作業遂行が不可であることを判断し、装置動作変更部は、第１の作業装置における第１の目標動作の作業遂行が不可であることを検知する時に、第２の作業装置が実行している第２の目標動作を中断し、第１の作業装置における第１の目標動作の実行継続を支援する第３の目標動作のための新たな目標動作指示を生成し、第２の作業装置に与えることを特徴とする。
　また本発明は、現場においてセンサを備えた複数の作業装置が自律的に動作して初期の動作を遂行するための自律作業制御方法であって、複数の作業装置における動作内容を示すセンサの情報を用いて、夫々の作業装置に対する目標動作指示を与える第１の手段と、第１の作業装置における第１の目標動作の作業遂行が不可であることを判断する第２の手段と、第１の作業装置の動作支援が可能な作業装置として第２の作業装置を選択する第３の手段と、第１の作業装置における第１の目標動作の作業遂行が不可である時に、第２の作業装置が実行している第２の目標動作を中断し、第１の作業装置における第１の目標動作の実行継続を支援する第３の目標動作のための新たな目標動作指示を第２の作業装置に与える第４の手段と、第２の作業装置による第３の目標動作による支援により、第１の作業装置における第１の目標動作が完了したことをもって、第２の作業装置を中断していた第２の目標動作に復帰させる第５の手段とを備えることを特徴とする。
　本発明によれば、作業中に生じる作業環境や作業状況の変化に柔軟に対応することができる。
本発明の実施例に係る作業環境における機器構成を示す図。 自律作業システム及び作業装置の全体構成を示す機能ブロック図。 自律作業システムによる複数作業装置の動作制御処理内容を示すＰＡＤ図。 作業時に作業者が操作する表示装置の表示画面の構成を示す図。 作業装置ＲＡ、ＲＢの制御装置ＣＡ、ＣＢ内での処理内容を示すＰＡＤ図。 １台の作業装置が対象物を把持する様子を示す図。 複数作業装置での自律作業中に計画外の事象が発生した場合の動作管理装置内の処理内容を示すＰＡＤ図。 作業中に計画外事象が発生した場合の装置動作変更処理内容を示すＰＡＤ図。 ２台の作業装置が対象物を運搬する様子を示す図。
　以下、本発明の一実施例について図面を参照して説明する。
　本発明の実施例における以下の説明では、複数の作業装置が同一空間内に存在する環境において、ある作業装置が運搬作業を実施する場合を想定例としている。図１は、本発明の実施例に係る作業環境における機器構成を示す図である。
　図１において、作業環境９には、作業装置である２台の作業ロボットＲＡ、ＲＢが存在しており、作業ロボットＲＡは対象物８を、作業ロボットＲＢは対象物１０をそれぞれ運搬する作業を実施する。本実施例では、２台の作業ロボットＲＡ、ＲＢは移動機構としてクローラ型、作業機構としてマニピュレータ型を有する構成としているが、それらに限定されるものではない。
　作業ロボットＲＡ、ＲＢはそれぞれ制御装置ＣＡ、ＣＢにより制御されており、制御装置ＣＡ、ＣＢは、動作管理装置３に接続されて、現場である作業環境９の全体作業を制御している。作業を管理・監視するオペレータ１は、表示装置２へ作業指示を入力し、作業中は作業の進行状況や装置の状態等を監視する。なお、表示装置２、動作管理装置３、各作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢは、統合・分割が可能であり、本実施例の構成のみに限定されない。例えば、表示装置２と動作管理装置３を統合して一つの装置にしても良いし、制御装置ＣＡ、ＣＢを移動機構用と作業機構用に分割しても良い。また、各装置間は有線ケーブルにより接続されているが無線化されたシステム構成であっても良い。
　図２は、自律作業システム及び作業装置の全体構成を示す機能ブロック図である。
　図２において、表示装置２は、オペレータ１の入力を表示装置２へ取り込む作業指示入力部１１、作業指示（目的）を各作業ロボットＲＡ、ＲＢの動作指示に分解する動作指示部１２、データの送受信を管理するデータ送受信部１４、オペレータ１への各種データの表示を行う表示部１３を含んでいる。
　動作管理装置３は、表示装置２、作業ロボットＲＡの制御装置ＣＡ、作業ロボットＲＢの制御装置ＣＢとのデータ授受を管理するデータ送受信部２２、各作業ロボットＲＡ、ＲＢに搭載されたセンサ信号からロボット本体の状態（移動機構や作業機構の異常の有無等）を推定する装置状態推定部２０、作業状態（対象物の運搬状況等）を推定する作業状態推定部２１、装置状態と作業状態の推定結果から初期に設定された動作指示を変更するか否かを判断する装置動作変更部１９、装置動作変更部１９での動作指示変更を判断するために用いる装置スペック情報１５と変更前の動作指示情報１７を格納する記憶部１６、動作変更有無の判定結果を反映して作業ロボットＲＡと作業ロボットＲＢの動作を生成（移動機構と作業機構の軌道計画等）する装置動作生成部１８を含んでいる。
　また、作業ロボットＲＡの制御装置ＣＡは、動作管理装置３とデータの授受を行うデータ送受信部２３Ａ、動作管理装置３で生成された装置動作（軌道計画）からロボットの移動機構３０Ａと作業機構２９Ａの目標制御量（移動機構のクローラ回転速度、作業機構の各関節の関節角度）を算出する目標値算出部２４Ａ、算出された目標値とロボットの各駆動部に内蔵される角度検出器２８Ａの信号から算出される現在角度を用いて各駆動部の目標指令電圧を生成するロボットＲＡ制御部２６Ａ、ロボットＲＡに搭載された環境認識センサ２７Ａの信号を取り込む環境認識部２５Ａを含んでいる。
　ここで、本実施例では環境認識センサ２７Ａは、周辺環境の映像データを取得するカメラ、周辺環境や対象物の形状を測定するレーザセンサ、ロボットの手先に加わる力・トルクを測定する力・トルクセンサを搭載しているものとするが、異なる作業の場合には必要に応じて変更可能である。なお、本実施例では作業ロボットＲＢの制御装置ＣＢ内の構成、作業ロボットＲＢの機能構成は作業ロボットＲＡと同様であるため、説明を省略するが同一記号の構成に対して「Ｂ」を付して表示し、作業ロボットＲＢ側の機能構成である点を区別している。
　次に本実施例に係る自律作業システムによる複数作業装置の制御処理内容について説明する。
　図３は、自律作業システムによる複数作業装置の動作制御処理の処理内容を概略的に示すＰＡＤ図である。主としてオペレータ１の作業指示に基づく動作管理装置３内での処理内容を示すＰＡＤ図である。
　図３の動作制御処理手順では、最初の処理ステップＳ１において、各作業ロボットＲＡ、ＲＢの初期位置等の情報を含む初期状態、予め用意された移動速度や可搬重量等の装置スペック情報を動作管理装置３に取り込む。次に処理ステップＳ２においてオペレータ１によって作業指示が入力されると、処理ステップＳ３においては、入力された作業指示が表示装置２に表示されるとともに、動作管理装置３に読込まれる。処理ステップＳ４では動作管理装置３において、各作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢへの動作指示に分解する。
　図４は、図３の処理ステップＳ２においてオペレータ１が作業指示を入力するときに操作する表示装置２の操作画面３９を示している。操作画面３９は、作業条件入力部４８と作業内容入力部５０と装置スペック一覧表示部５１で構成されている。
　このうち作業条件入力部４８は、作業の制約条件を入力する。作業の制約条件は、時間的条件、使用機材の条件、空間的条件などであり、作業条件入力部４８は、時間的条件（例えば、分、時間、日）を入力する作業期間入力部４０、作業に利用できる装置やツール類を定義する使用機材入力部４１、空間的条件（例えば、作業場所の建屋名、運搬場所等）を入力する運搬場所入力部４２を含んでいる。作業条件入力部４８で入力された情報は、図２の動作管理装置３の記憶部１６へ情報が格納され、後述する装置動作変更部１９の処理において動作変更の必要可否の判断や変更後の動作を生成する処理で利用される。
　作業内容入力部５０は、作業指示を入力する。作業指示は、作業場所、作業対象、作業項目、作業完了状態などであり、作業場所を入力する作業場所入力部４３、作業対象を入力する作業対象入力部４４、作業項目を入力する作業項目入力部４５、作業完了状態を入力する作業完了状態入力部４６を含んでいる。
　装置スペック一覧表示部５１には、作業条件入力部４８の使用機材入力部４１で入力された使用機材の情報から生成した、作業に利用できる作業装置のスペック一覧が表示される。装置スペックは、ロボットＲＡ、ＲＢごとに設定され、ロボットＲＡについてロボットＲＡスペック表示部４７、ロボットＲＢについてロボットＲＢスペック表示部４８を有している。これらのロボットスペック表示部４７、４８では、例えば、移動機構に関わるスペックとして、乗り越え可能段差高さ、最大移動速度等、作業機構に関わるスペックとして、関節数、自由度、リンク長さ、稼動範囲、可搬重量等が表示される。なお、これらの入力はオペレータ１が直接入力しても良いし、予め用意したファイル等を読込むよう構成しても良い。
　図３にもどり、処理ステップＳ４の処理内容について詳しく説明する。処理ステップＳ４では、図４の作業内容入力部５０で入力された情報（場所、作業対象、作業項目、完了状態）を、作業ロボットＲＡ、ＲＢの動作を生成できる情報へと変換する。本実施例の説明では、「ある場所（作業環境９）に存在する、がれき（対象物８、１０）を、撤去（作業項目）して、作業環境９を整備する（完了状態）」、と入力された場合を例にとって説明する。
　このうち「場所」については、予め登録された場所の名前と位置が関連付けられた情報を基に、作業環境９内に設定されたグローバル座標系の原点から見た作業場所の３次元位置情報（Ｘ、Ｙ、Ｚ）へと変換される。
　「作業対象」については、作業ロボットＲＡ、ＲＢが接触またはハンドリングする物体８、１０を指定する。本実施例では、予め取得した作業環境９の画像や映像情報を基に、オペレータ１が指定した金属製や非金属製のがれきを作業対象８、１０とする。オペレータ１が「がれき」と入力した場合、画像中でその対象物８、１０の特徴を抽出する。例えば、不定形な形状である、床面に存在する、個数またはそれらが集合するエリアの数等であるといった特徴を抽出する。
　「作業項目」については、「撤去」と入力された場合、対象物近傍への移動、対象物の認識、把持、運搬等の要素動作へと分解する。
　「完了状態」については、作業項目で定義された作業を遂行して最終的に目標とする作業環境９の状態を入力する。「がれきが無いこと」と入力された場合、作業環境９にあるがれき（対象物８、１０）を全て作業環境９中から除去できれば、作業完了となる。
　次に、図３の処理ステップＳ５に戻り、作業ロボットＲＡの動作生成処理について説明する。処理ステップＳ５では、処理ステップＳ４において作業指示から分解された作業ロボットの動作指示を基に、作業ロボットＲＡの目標動作を生成する。まず、処理ステップＳ６の装置状態の推定では、作業ロボットＲＡの現在の状態（位置、初期姿勢等）を作業ロボットＲＡに搭載した各種センサ情報を基に推定する。そして、処理ステップＳ７において、作業ロボットＲＡに搭載したカメラやレーザセンサの情報を基に、作業環境を認識して周辺に対象物が存在するか否かを推定し、対象物が存在する場合にはその形状を算出する。
　処理ステップＳ７において初期状態で対象物が周辺に存在しない場合、移動しながら対象物を探索するための目標動作を処理ステップＳ８で生成する。対象物が周辺に存在する場合、探索するための移動動作を省略して撤去するための動作を処理ステップＳ８では生成する。なお、処理ステップＳ８では、作業ロボットＲＡと対象物の相対的な位置関係を基に移動機構の目標軌道を算出し、処理ステップＳ７で得られた対象物の形状情報を基にアーム機構の把持軌道を算出する。
　図３において、作業ロボットＲＢに関する処理ステップＳ９から処理ステップＳ１２までの処理内容は、作業ロボットＲＡに関する処理ステップＳ５から処理ステップＳ８までの処理内容と同様のため、詳細な説明は省略する。
　さらに、図３の処理ステップＳ１３では、作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢから得られる情報を基に、作業ロボット目標動作が計画通り進んでいるかを作業完了状態と照合し、作業完了状態と一致したら処理を終了し、最後に処理ステップＳ１４において作業完了後の作業環境の状態と作業ロボットの状態を保存し、表示装置２へ送信して作業を終了する。
　図５は、作業装置ＲＡ、ＲＢの制御装置ＣＡ、ＣＢ内での処理内容を示すＰＡＤ図である。本実施例では、作業ロボットＲＡと作業ロボットＲＢは、移動機構及び作業機構の構成が同一のため、２つの作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢ内の処理内容の基本構成は同じであるものとする。
　図５の処理ステップＳ１５において、作業ロボットＲＡの制御装置ＣＡは、動作管理装置３から送信されるロボット目標動作を取り込む。
　動作管理装置３から作業ロボットＲＡの制御装置ＣＡに送信された作業ロボットの目標動作は、移動機構の目標位置姿勢、アーム機構先端部の目標位置姿勢であるので、処理ステップＳ１６では、これらの目標値を算出する。具体的には、処理ステップＳ１７では、これらを移動機構の駆動部にあるモータの目標回転速度に変換し、処理ステップＳ１８では、アーム機構の各関節駆動部にあるモータの目標回転角度に変換する。なお処理ステップＳ１６の処理内容は、図２の作業ロボットの制御装置における目標値算出部２４の処理に相当している。
　そして、処理ステップＳ１９の作業環境認識処理において、作業する周辺の環境情報や対象物情報を再度取得する。具体的には、まず処理ステップＳ２０において、作業ロボットＲＡに搭載したカメラ、レーザセンサの情報を読込み、センサ信号から周辺環境の３次元形状を算出する。そして処理ステップＳ２１において、予め用意した作業環境の地図情報と取得した周辺環境の３次元形状情報を照合することにより、作業ロボットＲＡの作業環境９内での位置を推定する。また処理ステップＳ２２において、カメラとレーザセンサの情報から算出した周辺環境の３次元形状情報を用いて、対象物と作業ロボットＲＡの相対位置姿勢の関係や対象物形状情報も算出する。なお処理ステップＳ１９の処理内容は、図２の作業ロボットの制御装置における環境認識部２５の処理に相当している。
　次に、処理ステップＳ２３において作業ロボットＲＡの制御指令値を算出する。具体的にはまず、処理ステップＳ２４において作業ロボットの移動機構及びアーム機構の駆動部に搭載した角度検出器の信号を読込む。そして処理ステップＳ２５において、角度検出器の信号から回転角度を算出する。ここで回転角度への変換は、角度検出器がポテンショメータ等のアナログ信号を出力するタイプであれば予め設定した換算係数を乗じ、エンコーダ等のパルス信号を出力するタイプであれば予め設定した１カウント当たりの回転角度を乗じて回転角度へ変換する。
　さらに処理ステップＳ２６では、処理ステップＳ１６で算出された目標値（移動機構の目標回転速度とアーム機構の各関節の目標回転角度）と、処理ステップＳ２５で算出された現在値（移動機構とアーム機構の現在回転角度）を、一般的に作業ロボットの制御で用いられるフィードバック制御器（例えば、ＰＩＤ制御器）へ入力し、各駆動部への目標制御量を算出する。なお処理ステップＳ２３の処理内容は、図２の作業ロボットの制御装置におけるロボット制御部２６の処理に相当している。
　最後に処理ステップＳ２７において、処理ステップＳ２６で算出された目標制御量をモータ指令電圧へ換算して作業ロボットの各駆動部へ電圧を印加し、処理を終了する。
　ここまで図３、図５で説明してきた処理は、動作管理装置３から各作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢへ送信された目標動作に対して、それぞれの作業ロボット（作業ロボットＲＡ、作業ロボットＲＢ）が単独で対象物にアクセスし、撤去のための把持動作を生成するものである。すなわち、計画された目標動作に対して現在の装置や作業状態が矛盾無く進行している場合のものである。
　しかしながら、対象物の形状や存在位置が明らかでも、その重量や硬さが未知な場合は必ずしも計画通りに作業を遂行できない場合がある。以降の説明では、作業ロボットＲＡ単独では目的作業が遂行できず、複数作業ロボットによる共同作業が必要になる事例として、作業ロボットＲＡが対象物を把持したが、対象物の重量が作業ロボットＲＡの可搬重量を超過しており、単独での作業が不可となる場合の制御処理について詳しく説明する。
　図６は、１台の作業装置（作業ロボットＲＡ）が対象物を把持する様子を示す図である。また、図７は、作業ロボットＲＡが単独で対象物を把持不可であることを検知してから、作業ロボットＲＢを連携ロボットとして選択して、その連携動作を生成するまでの処理内容を示したものである。本処理は、図２の機能ブロック図において、動作管理装置３内の装置動作変更部１９に関わるものである。
　図７の一連の処理内容のうち、処理ステップＳ１から処理ステップＳ８までの処理は、図３の処理ステップＳ１から処理ステップＳ８までの処理と同様であるため、説明は省略する。図３の処理では、作業ロボットＲＡ、ＲＢはともにそれぞれ単独での動作遂行が可能である場合を想定しているが、図７の処理では作業ロボットＲＡによる単独作業が不可能であることを次の処理ステップＳ３６で判断した。
　処理ステップＳ３６において、処理ステップＳ６の装置状態の推定結果と処理ステップＳ７の作業状態の推定結果から作業ロボットＲＡが対象物８を単独で把持できないことを判断する。ここで、単独で把持できないことを判断するプロセスについて詳しく説明する。作業ロボットＲＡのアーム機構先端には対象物との接触状態を検出する力・トルクセンサが搭載されている。力・トルクセンサから出力される信号を基に先端部に加わる３軸方向の力とその軸周りのトルクを算出し、作業ロボットＲＡの可搬重量と比較して可搬重量以下であれば把持動作を継続、可搬重量以上であれば把持動作を停止する。また、作業ロボットＲＡには環境認識センサとしてカメラとレーザセンサが搭載されている。これらセンサ信号で対象物の状態（形状、位置）を計測し、力・トルクセンサ信号で対象物を把持していることを検知していても、対象物の位置が移動していない場合には把持不可と判断する。上記のように、力・トルクセンサや環境認識センサの結果を用いる場合、一つのセンサ情報を用いても良いし、複数のセンサ情報を用いても良い。
　連携動作決定処理は具体的には処理ステップＳ３７において、作業ロボットＲＡからの把持不可の情報を読込み、処理ステップＳ３８で連携ロボットの候補として作業ロボットＲＢを決定する。そして、処理ステップＳ３９では、連携ロボットに決定した作業ロボットＲＢの動作内容を決定する。
　処理ステップＳ４０では、処理ステップＳ３６の一連の処理（処理ステップＳ３７から処理ステップＳ３９）で決定された連携ロボットの連携動作を読込み、その作業ロボットの目標動作を生成する。本実施例では、作業ロボットＲＢが連携ロボットとして選定された場合について説明する。処理ステップＳ４０では、図３の処理ステップＳ９の処理内容と同様の処理を実行する。図７の処理ステップＳ４０から処理ステップＳ４３までの個々の処理ステップの処理内容は、図３の処理ステップＳ９から処理ステップＳ１２までの個々の処理ステップの処理内容に対応している。ここで処理される内容は、連携ロボットとしての動作内容についてのものである。
　図８は、作業中に計画外事象が発生した場合の装置動作変更処理の処理内容を示すＰＡＤ図である。図８を用いて図７の処理ステップＳ３６の処理内容について、さらに詳しく述べる。
　まず、処理ステップＳ４６において、各作業装置ＲＡ、ＲＢの制御装置ＣＡ、ＣＢから受信した各作業装置ＲＡ、ＲＢの状態を取り込む。そして、処理ステップＳ４７において、連携する作業ロボットを選択するための指標を定義する。ここでは、装置に搭載されたセンサ（力・トルクセンサ、レーザセンサ、カメラ等）の情報を用いて、処理ステップＳ４８において作業ロボットＲＡが対象物の把持を実行できない原因について分析し、処理ステップＳ４９においてその分析結果に基づき連携ロボットを選択するための指標を抽出する。なお処理ステップＳ４６から処理ステップＳ４９までの一連の処理が、図７の処理ステップＳ３７の処理内容に相当している。
　本実施例においては、作業ロボットＲＡの可搬重量が１０ｋｇｆであり、力・トルクセンサの出力信号で１０ｋｇｆ以上が検出されて把持不可と判断されたとする。この場合、対象物の重量が１０ｋｇｆ以上あるので、連携ロボットを選択するための指標は「可搬重量１０ｋｇｆ以上」となる。
　ここで、作業ロボットＲＢの他に作業環境９中に作業装置が存在する場合について述べる。連携ロボットの選択指標は、可搬重量の他、対象物形状情報から算出した作業ロボット先端ツールで把持できる対象物の最大寸法、作業ロボットＲＡとの距離、周辺作業ロボットの作業状況等、複数の指標（装置性能、時間的条件、空間的条件）がある。
　複数の指標がある場合には、処理ステップＳ４９において、まずは装置性能に関わる指標について優先順位を設定する。優先順位の決定は、予め目標動作毎に設定された関連パラメータの優先順位を基に決定する。本実施例のように、作業指示として「撤去」と入力され、動作指示として「対象物までの移動」、「対象物の把持」、「対象物の運搬」が生成されたとする。「対象物までの移動」や「対象物の運搬」については、作業ロボットの移動に関わる動作であり、装置性能に関する関連パラメータは、移動経路の制約寸法、移動機構の可搬重量等である。また「対象物の把持」については、装置性能に関する関連パラメータは、アーム機構の可搬重量、先端ツールの把持可能対象物寸法等である。
　なお、時間的条件及び空間的条件に関わる装置選択指標については、処理ステップＳ５０の中で説明する。処理ステップＳ５０における具体的処理の中では、処理ステップＳ５１において、まず処理ステップＳ４６で取り込んだ各装置状態の情報を読込む。そして、処理ステップＳ４９で抽出した装置性能に関わる選択指標を用いて、図２の動作管理装置３内の記憶部１６に格納されている各装置スペック情報と照合し、処理ステップＳ５２において連携ロボット候補を選定する。
　次に、処理ステップＳ５３において、時間的条件及び空間的条件に関する指標を基に、処理ステップＳ５２で選定した連携ロボット候補に対して、それぞれ連携可否の判断を行う。時間的条件に関する指標としては、オペレータが入力した作業指示のうち、作業期間に関わるものであり、作業ロボットＲＡと連携候補作業ロボットがそれぞれのエリアで実施している「撤去作業の進捗度合い」、すなわちそれぞれのエリアに存在する撤去対象物の初期状態（個数）に対する現状存在する対象物の割合である。また、空間的条件に関する指標としては、オペレータが入力した作業指示のうち、運搬場所に関わるものであり、作業ロボットＲＡと連携候補作業ロボットがそれぞれ撤去作業を実施している場所と「運搬場所との距離」である。
　本実施例の場合、作業ロボットＲＡよりも「撤去作業の進捗度合い」が高く、「運搬場所との距離」が遠いものが、連携候補ロボットの中から連携可能なものとして選択される。そして、処理ステップＳ５４において連携ロボットを決定して、装置動作変更をするための処理へ移る。
　処理ステップＳ５５では、処理ステップＳ５４で決定した連携ロボットに対して新たな動作指令を生成する処理を行う。まず、連携ロボットとしての役割を完了した後に、処理ステップＳ５６において変更前の作業へ復帰することを可能とするため変更前動作指示を動作管理装置３内の記憶部１６へ保存する。そして処理ステップＳ５７において、連携前の装置状態と作業ロボットＲＡへの動作指示から目標連携動作指令を生成する。ここでは、連携ロボットとして作業ロボットＲＢが選択されたものとして詳細を説明する。
　作業ロボットＲＢは、「対象物１０の撤去」から「作業ロボットＲＡと連携して対象物８を撤去」へと動作指令が変更される。「撤去」作業には変更が無く、対象物のみが変更となるため、対象物８が存在する場所へ移動して、それを把持動作するための目標動作指令が生成される。すなわち、作業ロボットＲＢへの変更後の目標連携動作指令は、対象物８までの移動、対象物８の認識、把持、運搬となる。最後に、処理ステップＳ５８において、各種情報を保存・送信して処理を終了する。
　図９は、２台の作業装置（作業ロボットＲＡと作業ロボットＲＢ）が対象物を運搬する様子を示す図である。単独での撤去動作と異なり、動作指示に「作業ロボットＲＡと連携して」という条件付作業のため、作業ロボットＲＢは作業ロボットＲＡの作業エリアに到着し、対象物８を認識、作業ロボットＲＡの対象物把持位置の認識を実施した後、作業ロボットＲＡの先端位置と干渉しない場所を把持する。
　なお特に図示しないが、作業ロボットＲＡと作業ロボットＲＢによる共同作業の結果として対象物８の共同運搬が完了した場合、他にも共同作業すべき仕事が残っていないことを条件として、作業ロボットＲＡと作業ロボットＲＢは本来の個別作業のミッションに戻って、単独作業を実行する体制に戻ることになる。
　以上のように構成した本実施例の効果を説明する。従来技術においては、予め計画されたミッションを複数の装置で実行する場合の自律作業を制御対象としており、作業中に環境や作業状況が変化する場合については考慮されていなかった。つまり、作業環境や作業対象に関する情報が事前に明らかになっていない場合、作業中に発生した計画外の事象に対して対応ができないため、作業効率が大きく低下してしまう恐れがあった。
　これに対して本実施例に係る自律作業システムでは、複数の作業装置が作業を実施している中で、単独で作業を続行することが不可能と判断された場合、その作業を実施している作業装置に搭載されたセンサ情報を基に、その作業状態及び装置状態を推定して、周辺の作業ロボットを連携ロボットとして選択して、作業を遂行することができる。従って、作業の遅延回避やリスクの低減が可能となる。
　本発明の自律作業制御システムでは、各種のセンサが使用される。これらは作業装置の駆動部の移動量や回転量を検出するセンサであり、対象物との相互作用を検出するセンサであり、駆動部の動作を検出するセンサであり、作業環境の変化を検出するセンサである。このうち作業環境の変化を検出するセンサは作業装置に搭載されていてもよいが、これらの機能は現場環境の計測であることから現場内に固定的に設置されていてもよい。他のセンサは作業装置の動作を決定するためのセンサということができる。
　なお、作業装置の駆動部の移動量や回転量を検出するセンサとしては、レーザ距離計、エンコーダ、ポテンショメータ、傾斜計、地磁気センサ、ジャイロセンサが利用可能であり、対象物との相互作用を検出するセンサとしては、カメラ、超音波距離計、レーザ距離計、力・トルクセンサ、温度計、感圧センサが利用可能であり、駆動部の動作を検出するセンサとしては電流センサが利用可能であり、作業環境の変化を検出するセンサとしては圧力計、漏水検知器、温度計、放射線量計が利用可能である。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
１：オペレータ，２：表示装置，３：動作管理装置，ＣＡ：作業ロボットＲＡの制御装置，ＣＢ：作業ロボットＲＢの制御装置，ＲＡ：作業ロボット，ＲＢ：作業ロボット，８、１０：運搬対象物，９：作業環境，１１：作業指示入力部，１２：動作指示部，１３：表示部，１５：装置スペック情報，１６：記憶部，１７：動作指示情報，１８：装置動作生成部，１９：装置動作変更部，２０：装置状態推定部，２１：作業状態推定部，２４：目標値算出部，２５：環境認識部，２６：ロボットＲＡ制御部，２７：環境認識センサ，２８：関節角度検出器，２９：アーム機構，３０：移動機構，３４：作業状態推定部，３５：装置状態推定部，４９：作業条件入力部，５０：作業内容入力部，５１：装置スペック一覧表示部

Claims (7)

  1. 　複数の作業装置による自律作業を制御する自律作業制御システムであって、
    　オペレータが作業指示を入力する作業指示入力部と、該作業指示入力部で入力された作業指示を前記作業装置に対する目標動作指示に変換する動作指示部と、前記作業装置に搭載したセンサの情報から当該作業装置の動作状態を推定する装置状態推定部と、前記センサの情報から前記作業装置の作業状態を推定する作業状態推定部と、前記動作指示部からの動作指示と前記装置状態推定部及び前記作業状態推定部の推定結果から各作業装置の目標動作を生成する装置動作生成部と、該装置動作生成部が生成した目標動作を変更して変更目標動作を生成する装置動作変更部と、装置動作生成部または装置動作変更部からの目標動作に従い各作業装置の駆動部を制御するための制御目標値を出力する制御装置とを備え、
    　前記装置動作生成部は、前記動作指示部から出力される作業装置の目標動作指示と作業装置に搭載したセンサ情報を基に推定した装置状態及び作業状態とを比較して第１の作業装置における第１の目標動作の作業遂行が不可であることを判断し、
    　前記装置動作変更部は、前記第１の作業装置における第１の目標動作の作業遂行が不可であることを検知する時に、第２の作業装置が実行している第２の目標動作を中断し、前記第１の作業装置における前記第１の目標動作の実行継続を支援する第３の目標動作のための新たな目標動作指示を生成し、第２の作業装置に与えることを特徴とする自律作業制御システム。
  2. 　請求項１に記載の自律作業制御システムであって、
    　第２の作業装置による第３の目標動作による支援により、前記第１の作業装置における前記第１の目標動作が完了したことをもって、第２の作業装置は中断していた第２の目標動作に復帰することを特徴とする自律作業制御システム。
  3. 　請求項１または請求項２に記載の自律作業制御システムであって、
    　前記作業状態推定部は、前記作業装置に搭載された前記センサの情報、または前記作業装置が存在する作業エリアに設置されたセンサからの情報に基づいて前記作業装置の動作状況を推定することを特徴とする自律作業制御システム。
  4. 　請求項１から請求項３のいずれか１項に記載の自律作業制御システムであって、
    　前記装置状態推定部は、前記複数の作業装置の動作状況及び位置データから前記作業装置の作業位置を推定することを特徴とする自律作業統合管理システム。
  5. 　請求項１から請求項４のいずれか１項に記載の自律作業制御システムであって、
    　前記センサは、前記作業装置の駆動部の移動量や回転量を検出するセンサとしてのレーザ距離計、エンコーダ、ポテンショメータ、傾斜計、地磁気センサ、ジャイロセンサ、対象物との相互作用を検出するセンサとしてのとしてカメラ、超音波距離計、レーザ距離計、力・トルクセンサ、温度計、感圧センサ、駆動部の動作を検出するセンサとしての電流センサ、作業環境の変化を検出するセンサとして圧力計、漏水検知器、温度計、放射線量計の少なくともいずれか１つを備えることを特徴とする自律作業制御システム。
  6. 　請求項１から請求項５のいずれか１項に記載の自律作業制御システムであって、
    　前記装置動作変更部は、前記動作指示部から出力される作業装置の目標動作指示と前記作業状態推定部と前記装置状態推定部の結果から、第１の作業装置での作業遂行が不可であると判断された場合に他の作業装置へ連携要請を発信する機能を備え、連携作業装置を選択するための指標として装置性能、時間的制約条件、空間的制約条件を基に連携作業装置の候補を決定して連携動作を新たな目標動作指令として生成することを特徴とする自律作業制御システム。
  7. 　現場においてセンサを備えた複数の作業装置が自律的に動作して初期の動作を遂行するための自律作業制御方法であって、
    　複数の作業装置における動作内容を示す前記センサの情報を用いて、夫々の作業装置に対する目標動作指示を与える第１の手段と、第１の作業装置における第１の目標動作の作業遂行が不可であることを判断する第２の手段と、第１の作業装置の動作支援が可能な作業装置として第２の作業装置を選択する第３の手段と、前記第１の作業装置における第１の目標動作の作業遂行が不可である時に、前記第２の作業装置が実行している第２の目標動作を中断し、前記第１の作業装置における前記第１の目標動作の実行継続を支援する第３の目標動作のための新たな目標動作指示を第２の作業装置に与える第４の手段と、前記第２の作業装置による第３の目標動作による支援により、前記第１の作業装置における前記第１の目標動作が完了したことをもって、第２の作業装置を中断していた第２の目標動作に復帰させる第５の手段とを備えることを特徴とする自律作業制御方法。
PCT/JP2017/017544 2016-05-24 2017-05-09 自律作業制御システムおよび自律作業制御方法 WO2017203971A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-103270 2016-05-24
JP2016103270A JP6758915B2 (ja) 2016-05-24 2016-05-24 自律作業制御システムおよび自律作業制御方法

Publications (1)

Publication Number Publication Date
WO2017203971A1 true WO2017203971A1 (ja) 2017-11-30

Family

ID=60412340

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017544 WO2017203971A1 (ja) 2016-05-24 2017-05-09 自律作業制御システムおよび自律作業制御方法

Country Status (2)

Country Link
JP (1) JP6758915B2 (ja)
WO (1) WO2017203971A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170065B2 (ja) * 2018-12-27 2022-11-11 本田技研工業株式会社 支援装置及び支援方法
WO2021100091A1 (ja) 2019-11-18 2021-05-27 日本電気株式会社 搬送制御装置、搬送制御方法、及び、搬送制御プログラムが記録された記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291083A (ja) * 2002-03-28 2003-10-14 Toshiba Corp ロボット装置、ロボット制御方法及びロボット配送システム
JP2009018409A (ja) * 2007-07-13 2009-01-29 Ind Technol Res Inst 協調ロボットを協調させる方法
JP2010003240A (ja) * 2008-06-23 2010-01-07 Fujitsu Ltd 救援ロボットシステム、救援方法及び救援ロボット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291083A (ja) * 2002-03-28 2003-10-14 Toshiba Corp ロボット装置、ロボット制御方法及びロボット配送システム
JP2009018409A (ja) * 2007-07-13 2009-01-29 Ind Technol Res Inst 協調ロボットを協調させる方法
JP2010003240A (ja) * 2008-06-23 2010-01-07 Fujitsu Ltd 救援ロボットシステム、救援方法及び救援ロボット

Also Published As

Publication number Publication date
JP6758915B2 (ja) 2020-09-23
JP2017211750A (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6534126B2 (ja) ピッキングシステム及びその制御方法
JP2713899B2 (ja) ロボツト装置
WO2012153629A1 (ja) 運動予測制御装置と方法
CN112203812B (zh) 机器人系统及追加学习方法
US20190321977A1 (en) Architecture and methods for robotic mobile manipluation system
JP2015080843A (ja) 複数の締結部材を締結するための締結装置、ロボットシステム、および締結方法
KR20110004788A (ko) 머니퓰레이터를 작동시키기 위한 방법 및 장치
JP5733518B2 (ja) 運動予測制御装置と方法
JP2015507541A (ja) ロボットを制御する制御方法およびかかる方法を使用する制御システム
US20190255712A1 (en) Robot control device and robot system
JP6570540B2 (ja) マニュピュレータ及び入力ツールを用いて対象体をハンドリングする方法
WO2017203971A1 (ja) 自律作業制御システムおよび自律作業制御方法
CN112512754A (zh) 对工业机器人编程的方法
JP2019188514A (ja) ロボットを用いた負荷の重量及び重心位置を推定するための装置、方法及びプログラム
JP7179971B2 (ja) ロボット装置のための制御装置、ロボット装置、方法、コンピュータプログラム及び機械可読記憶媒体
KR20160076449A (ko) 경로 전진 변수들을 갖는 안전한 로봇
JP2016159406A (ja) ロボット制御装置、ロボット制御方法及びロボットシステム
JP2020151812A (ja) ロボットを用いて負荷の重量及び重心位置を推定するための装置、方法及びプログラム
Rousseau et al. Constant distance and orientation following of an unknown surface with a cable-driven parallel robot
Marvel et al. Tools for robotics in sme workcells: challenges and approaches for calibration and registration
US20220241980A1 (en) Object-Based Robot Control
JP2011224745A (ja) ロボット教示装置、該装置のコントローラ、およびプログラム
JP2012196720A (ja) ロボットの制御方法およびロボットの制御装置
Gradetsky et al. Structure of wall climbing robot control system
JP2020097101A (ja) ロボット装置、ロボットシステム、ロボット装置の制御方法、ロボット装置を用いた物品の製造方法、制御プログラム及び記録媒体

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17802566

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17802566

Country of ref document: EP

Kind code of ref document: A1