WO2019234907A1 - 制御装置、制御方法、及び、制御プログラムが記録された記録媒体 - Google Patents

制御装置、制御方法、及び、制御プログラムが記録された記録媒体 Download PDF

Info

Publication number
WO2019234907A1
WO2019234907A1 PCT/JP2018/022004 JP2018022004W WO2019234907A1 WO 2019234907 A1 WO2019234907 A1 WO 2019234907A1 JP 2018022004 W JP2018022004 W JP 2018022004W WO 2019234907 A1 WO2019234907 A1 WO 2019234907A1
Authority
WO
WIPO (PCT)
Prior art keywords
molding
shape
difference
parameter
actual shape
Prior art date
Application number
PCT/JP2018/022004
Other languages
English (en)
French (fr)
Inventor
大山　博之
紅美子 但野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020523951A priority Critical patent/JP7078912B2/ja
Priority to PCT/JP2018/022004 priority patent/WO2019234907A1/ja
Publication of WO2019234907A1 publication Critical patent/WO2019234907A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices

Definitions

  • the present invention relates to a control device for controlling a device for forming an object.
  • Patent Document 1 discloses a control device that controls a machining machine capable of NC (numerical control) control.
  • the control device measures distance data of the surface of the molding material with a measuring instrument, calculates a molding surface of the molding material based on the measurement result, and adjusts the inclination of the processing table on which the molding material is grounded.
  • Patent Document 2 discloses a correction device that corrects thermal displacement of a machine tool.
  • the correction device detects temperature data using a temperature detector of a processing tool of a machine tool, and controls relative movement with a workpiece based on the detected data.
  • Patent Document 3 discloses a control device that controls a lathe that corrects a machining position.
  • the control device captures a bite image using a camera, performs image processing on the acquired image, and refers to the image-processed image while the bite is missing, worn, or thermal displacement of the entire machine. Inspect.
  • the control device corrects the position of the lathe based on the inspection result.
  • the molding target when the molding target is earth, sand, rock, or concrete, the molding target can be molded into a desired shape even if the apparatuses disclosed in Patent Documents 1 to 3 are used. Not exclusively. This is because these devices perform control on the assumption that the object to be molded is composed of a homogeneous material.
  • the homogeneous substance is a substance in which the object to be molded does not change the response to the molding operation, that is, the ease of shape change, according to the region where the molding operation is performed and the progress of the molding (for example, titanium, Aluminum, aluminum alloy, iron, stainless steel and brass). That is, since earth and sand, rocks, or concrete is not necessarily a homogeneous material, these apparatuses cannot always form an object to be molded into a desired shape.
  • one of the objects of the present invention is to provide a control device or the like that can form a molding target into a desired shape even when the molding target is not a homogeneous substance.
  • the control device creates change information that represents a shape change that has occurred in the molding target based on shape information that represents the actual shape of the molding target before and after each operation performed on the molding target.
  • An update unit that updates a model representing a relationship between each operation on the molding target and a shape change generated in the molding target by the operation based on the past operation and the generated change information.
  • a determining unit that determines a next operation so that a difference between the desired shape of the molding target and the actual shape after the operation is reduced based on the updated model.
  • the control method includes a shape generated in the molding target based on shape information representing an actual shape of the molding target before and after each operation performed on the molding target by the information processing apparatus.
  • Change information representing a change is created;
  • a model representing a relationship between each operation on the molding object and a shape change generated in the molding object by the operation is based on a past operation and the created change information.
  • Update Based on the updated model, the next operation is determined so that the difference between the desired shape of the molding object and the actual shape after the operation is reduced.
  • control program includes change information representing a shape change generated in the molding object based on shape information representing the actual shape of the molding object before and after each operation performed on the molding object.
  • a model representing the relationship between each operation on the molding object and a shape change caused in the molding object by the operation based on the past operation and the created change information.
  • this object is also realized by a computer-readable recording medium that records the program.
  • the molding target can be molded into a desired shape even when the molding target is not a homogeneous substance.
  • FIG. 1 is a block diagram showing a control system according to the first embodiment of the present invention.
  • the robot system 100 includes a robot 110, a measurement device 130, an estimation device 140, a decision making device 150, and a control input decision device 160.
  • the combination of the estimation device 140 and the decision making device 150 is also called a control device or a control unit.
  • a combination of the control input determination device 160 and the robot 110 is called an operation unit.
  • An end effector 111 is attached to the tip of the robot 110.
  • the end effector 111 includes a gripper that is a device for forming the object 120 to be formed.
  • the measuring device 130 is a device for acquiring three-dimensional data of the object 120 to be formed.
  • the estimation device 140 is a device that estimates the true output and state from the measured three-dimensional data.
  • the decision-making device 150 is a device that determines a molding operation method.
  • the control input determination device 160 is a device that determines a control input to the robot 110.
  • the estimation device 140 includes an output estimation unit 141 and a state estimation unit 142.
  • the output estimation unit 141 estimates information representing the characteristics of the three-dimensional shape of the molding target object 120 based on the three-dimensional data obtained from the measurement device 130.
  • the information representing the feature of the three-dimensional shape is, for example, a distance image representing the three-dimensional shape with color, a model based on a wire frame, or image information reduced in dimension by a neural network.
  • the estimation is to calculate information representing the characteristic of the three-dimensional shape of the probable object 120 from the observation data including noise obtained from the measurement device 130.
  • the state estimation unit 142 estimates the state amount of the robot 110.
  • examples of the state quantity include the joint angle, angular velocity, angular acceleration, and position / posture of the end effector 111 of each arm of the robot 110.
  • the estimation here is to calculate a probable state quantity of the robot 110 from the observation data including noise obtained from the measurement device 130.
  • the decision making device 150 includes a creation unit 154, an update unit 151, and a decision unit 152.
  • the creation unit 154 creates change information representing a shape change that has occurred in the molding target object 120 based on the three-dimensional shape before and after each molding operation performed on the molding target object 120.
  • the update unit 151 has created a molding response model representing the relationship between each molding operation on the molding target object 120 and a shape change generated in the molding target object 120 by the molding operation in the past molding operation and creation unit 154. Update based on change information.
  • the past molding operation means a molding operation from the past to the present.
  • the determination unit 152 Based on the molding response model updated by the updating unit 151, the determination unit 152 performs the next molding so that the difference between the desired shape of the object to be molded and the three-dimensional shape (actual shape) after the molding operation is reduced. Determine the operation. As will be described later, the decision-making device 150 updates the molding response model online according to the difference between the prediction result of the molding target object 120 and the actual response to the molding operation, and performs the appropriate next molding operation. This is supplied to the control input determining device 160.
  • the “shape” means not only the shape of the outer surface but also a three-dimensional shape including, for example, an inner shape having a cavity inside. Further, the molding operation may be simply referred to as “operation”.
  • the robot 110 is, for example, an excavator type robot based on a hydraulic excavator.
  • the excavator robot can be attached with an attachment such as a bucket or a breaker as the end effector 111, and is controlled by the control input determination device 160.
  • Another example of the robot 110 is a manipulator type robot used for manufacturing in a factory or the like.
  • the manipulator type robot is used as an end effector 111.
  • a gripper for sandwiching an object and an end mill for cutting a sander for polishing, a scraper for removing surface coating, and a sand blaster for blasting
  • attachments such as grinders for cutting and polishing, spray guns for chemical application for peeling and dissolving, concrete drills and impact driver drills for drilling, jigsaws for cutting, control input decision Controlled by device 160.
  • the robot 110 performs a molding operation to apply an action (vibration, pressure, polishing, etc.) to a certain region of the molding target object 120 with a certain force or number of times by the end effector 111 to target the molding target object 120. Mold to the shape of
  • the robot 110 is not limited to a drive type such as hydraulic drive or electric drive
  • the end effector 111 is not limited as long as the object 120 to be formed can be formed, such as a crusher, a cutter, a grapple, and a packle.
  • the output estimation unit 141 represents the three-dimensional shape of the object 120 to be molded, the position and orientation in the absolute coordinate system (world coordinate system), and the three-dimensional data observed using the measuring device 130 whose position and orientation are known. Based on the estimation.
  • a stereo camera that can measure distance information by simultaneously photographing an object from a plurality of different directions, or a laser range finder that can measure the distance to the object by oscillating a laser can be used.
  • the output estimation unit 141 performs image processing of the observation data, thereby removing an area of the molding target object 120 that has been removed (broken, scraped, cracked, peeled, etc.).
  • the position / volume / ratio and shape, the size and amount of the remaining portion, the size and amount of the collapsed portion, the position, length, depth, and shape of the crack on the surface can also be estimated.
  • the output estimation unit 141 uses the internal structure of the molding target object 120 or the tertiary of internal cracks. It is also possible to estimate the original position / shape. Further, the output estimation unit 141 may use observation data and estimation methods of a plurality or types of measurement devices 130 in combination.
  • the state quantity is an independent variable that can uniquely determine information necessary for control of the robot 110 such as a joint angle and an angular velocity. Therefore, in the first embodiment, as a method for automating a device that assumes a manned operation, the state quantity of the robot 110 is also measured using the measuring device 130 using a stereo camera group or a laser range finder. .
  • the state estimation unit 142 estimates the state of the robot 110 through specific object recognition and time-series data analysis.
  • the control input determination device 160 determines the control input of the robot 110 in accordance with the molding operation input input from the decision determination device 150 and drives the robot 110 to perform a desired operation. For example, it is assumed that the position in the absolute coordinate system of the end effector and its posture information to be achieved within a finite time as the shaping operation input are given. In this case, the control input determination device 160 performs control by feeding back the state quantity estimated by the state estimation unit 142 based on the information of the measurement device 130, and achieves the molding operation input by visual feedback control. Control will be performed. Specific control methods using visual feedback include well-known robot arm control methods such as PID (Proportional-Integral-Differential) control, model-based trajectory tracking control, and control by reinforcement learning.
  • PID Proportional-Integral-Differential
  • control input determining device 160 itself does not need to be incorporated in the robot 110, and similarly there are no physical arrangement restrictions or communication method restrictions such as wired / wireless for both the estimation device 140 and the decision making device 150.
  • communication method between apparatuses attention is paid to communication delay and sampling period so that the control does not become unstable, and communication delay is compensated if necessary.
  • the decision making device 150 adaptively learns the relationship between the molding operation and the estimated output estimated by the output estimation unit 141, updates the molding response model, and uses the updated molding response model to perform a desired molding operation. It has a function to determine.
  • the forming response model is a function that represents the output dynamics of the object 120 to be formed by the forming operation.
  • Let s be information representing the three-dimensional shape of the object 120 to be formed estimated by the output estimation unit 141.
  • the initial state 0-th step if the k-th molding operation and represented by the subscript a k-th step, output by the molding operation input u k of the k th step s k is molded response model h k as in Equation It is represented by
  • the shaping response model h k is a function representing the shaping dynamics, but is not limited to the deterministic dynamics, and may be represented as a stochastic dynamics.
  • the output s is selected so that the characteristics of the target shape can be expressed sufficiently well.
  • FIG. 2 is a specific example showing a forming response model of a thin plate-shaped object 120 to be formed.
  • the estimated output s is given as image data in which the removal progress of the object 120 to be molded is mapped to the mesh 200 on the two-dimensional plane, and the removal progress is a binary value of 1 (remaining 201) or 0 (removed 202).
  • the removal progress is a binary value of 1 (remaining 201) or 0 (removed 202).
  • the output s k is s k-1 and uniquely determined from u k, a function h k indicating the relationship is molding response model.
  • the update unit 151 updates the parameters of the molding response model from the difference between the prediction of the response to the molding operation and the actual measurement result.
  • the parameter represents the degree to which the shaping response model is likely to cause a shape change at each location of the shaping target object 120 due to the shaping operation.
  • Various parameters are conceivable. In the following example, a case where the parameter is a distance will be described as an example.
  • FIG. 3 shows a method of updating the thin plate forming response model shown in FIG.
  • the forming response model depends on the object 120 to be formed, in FIG. 3, from the past data, the pattern of the forming response model is a mesh whose part or whole is included within a certain distance a from the forming region p (203). It is said that there is knowledge that the part is definitely removed.
  • the parameter a depends on the thickness and composition of the plate, and thus has a large uncertainty, but is updated online from the difference between the predicted removal range (204) and the actual removal result (205).
  • the prediction output of the molding response model using the parameter a k-1 at the k-1 step Is compared with the actual output s k ⁇ 1, and the parameter a k is updated based on the difference.
  • the parameter can be updated with the following formula. Where ⁇ is a non-negative constant, Indicates the sum of all elements of the matrix, Is an index indicating the remaining degree of the object 120 to be molded.
  • the parameter a when the actual removal range is larger than the predicted removal range, the parameter a is larger, and when the actual removal range is smaller than the predicted removal range, the parameter a is updated smaller.
  • the updated estimated removal range (204 ') approaches the actual removal result (205'). Since the parameter a is updated online, it is possible to deal with even an object having a time-varying property such that the parameter a changes during work. For example, as the molding operation proceeds, unrecognizable internal destruction proceeds and the actual removal range becomes larger, so that the parameter a can be corrected according to the change.
  • the update unit 151 changes the simulated shape change that occurs in the molding target object 120 by the molding operation output by the molding response model each time the molding operation is performed, and the actual shape change of the molding target object 120 after the molding operation.
  • the above parameters are updated so that the difference between is reduced.
  • the molding response model is modified to widen the collapsed area by 10% if it collapses unexpectedly. If the unexpected area breaks, the area around it is considered weak. There is also a correction technique such as making the area that collapses 10% wider. Further, it is apparent that the molding response model can be applied not only to a model that considers a molding range in a two-dimensional space, but also to a molding model that considers cracks and a model in a multidimensional space. In the molding model in consideration of cracks, it is considered that the portion separated from the object to be molded by the cracks is removed.
  • the updating unit 151 determines whether or not a deviation from the prediction in the molding response model is within a certain allowable range as a result of performing a certain number of molding operations. When this deviation becomes a certain value or more, the updating unit 151 may recommend to the user that the current molding response model is inappropriate and should be changed to another molding response model, for example.
  • the updating unit 151 may prepare a plurality of models in advance (for example, a model for each type of substance, a model for each thickness of the substance, a model for each internal structure of the substance), and switch between them. In addition, if there is a model parameter that clearly shows a large deviation, the updating unit 151 may change the value at random. Further, the updating unit 151 may change the values of some model parameters randomly within a certain range.
  • the update unit 151 changes the simulated shape change that occurs in the molding target object 120 by the molding operation output by the molding response model each time the molding operation is performed, and the actual shape change of the molding target object 120 after the molding operation. If the difference between is large, the next molding operation for reducing the difference between the desired shape and the actual shape is interrupted, and the above parameters are updated.
  • the update unit 151 determines whether the difference between the target shape of the object 120 to be formed and the current shape is within a certain allowable range as a result of performing a certain number of shaping operations. When this difference becomes a certain value or more, the updating unit 151 may recommend to the user that the current molding response model is inappropriate and should be changed to another molding response model, for example.
  • the updating unit 151 may prepare a plurality of models in advance (for example, a model for each type of substance, a model for each thickness of the substance, a model for each internal structure of the substance), and switch between them. In addition, if there is a model parameter whose difference is clearly large, the update unit 151 may change the value at random. Further, the updating unit 151 may change the values of some model parameters randomly within a certain range.
  • the update unit 151 reduces the difference between the desired shape and the actual shape if the difference between the desired shape of the molding target object 120 and the actual shape of the molding target object 120 after the molding operation is large.
  • the next molding operation is interrupted and the above parameters are updated.
  • the determination unit 152 calculates an optimal next molding operation for the molding response model updated online as described above.
  • the purpose of shaping is to approximate the target shape, but the determination unit 152, for example, with respect to the target shape S ref , square error J (s, S ref in the feature space between the target shape and the output value s. ) Can be used to evaluate the current shape.
  • the derivation of the forming operation u 1 , ..., u H that approximates the target shape in H steps from the initial state is rewritten as a minimization problem such as be able to.
  • the objective function is given as the sum of the squared error J (S t , S ref ) in the feature space between the target shape and output value of each step within the predicted horizon length H ′. Solve the optimization problem each time the output S t-1 is observed online, using only u k obtained as a forming operation.
  • the determination unit 152 calculates a predetermined number of molding operations as the next molding operation for reducing the difference between the desired shape and the actual shape.
  • the determination unit 152 recalculates the series of molding operations after the first molding operation.
  • FIG. 4 is a flowchart showing an example of the operation of the robot system 100 shown in FIG.
  • the decision making apparatus 150 shown in FIG. 1 determines an optimum molding operation using a molding response model (steps 401 to 405).
  • the decision making device 150 updates the forming response model online by comparing the prediction result of the forming response model with the estimated output after the operation calculated by the measuring device 130 and the estimating device 140 ( Steps 406-408).
  • the measuring device 130 measures the object 120 to be molded, and the estimating device 140 estimates the output value (step 401).
  • the determination unit 152 calculates an evaluation value J from the target value of the three-dimensional shape of the molding target object 120 and the estimated output value (step 402).
  • the determination unit 152 determines whether or not the evaluation value J is smaller than a threshold value (parameter) ⁇ (step S403). If the evaluation value J is smaller than the threshold value (parameter) ⁇ , the process is terminated.
  • the determination unit 152 predicts a molding result to be a plurality of molding operations using the molding response model (step 404), and the optimum value is obtained.
  • a molding operation is determined (step 405).
  • the control input determination device 160 executes the molding operation by controlling the robot 110 according to the determined molding operation (step 406).
  • the measuring device 130 again measures the molding target object 120, and the estimating device 140 estimates the output value (step 407).
  • the update unit 151 updates the molding response model from the difference between the prediction of the response to the molding operation and the actual measurement result (step 408). Thereafter, the process returns to step 402.
  • Initial model h 1 is sediment of molded response model, concrete forming, for each pattern of the shaped object 120 such rocks molding, it is assumed that the pre-learning past molding operations from the forming response data.
  • the operator predicts and selects a molding pattern that is close, and sets the initial molding response parameter in automatic control to the safe side To do.
  • the removal range in one operation is set sufficiently large, that is, the parameter a ⁇ ⁇ ⁇ is set large.
  • the work may be started after a prior learning work is performed before the molding work is started.
  • sampling for learning the shaping response model is performed a predetermined number of times according to a predetermined pattern or algorithm, and the shaping response model is statistically updated from the output data.
  • the pre-learning work is performed in an area where the restriction can be expected to be surely satisfied, such as the center of the work area.
  • a response model can be built.
  • FIG. 5 is a block diagram showing a modification of the robot system 100 shown in FIG. As is clear from a comparison between FIG. 1 and FIG. 5, in the robot system 100 ⁇ / b> A of FIG. 5, a state measuring device 131 is added to measure the state quantity of the robot 110.
  • a rotary encoder that is an angular position sensor that outputs rotational displacement of a joint angle
  • a linear encoder that is a position sensor that outputs position information
  • a gyro sensor that is an angular velocity sensor that detects a change in rotation or orientation
  • the state measurement apparatus 131 When all the state quantities can be observed with the state measurement apparatus 131 added in FIG. 5, it is possible to omit the measurement apparatus 130 such as a stereo camera used for measuring the state quantity of the robot 110 in the configuration of FIG. Become.
  • the posture of the arm may be observed by the state measuring device 131, and the position / posture of the end effector 111 and the base coordinates of the robot 110 may be observed by the measuring device 130.
  • FIG. 6 is a block diagram showing a construction machine robot of the robot system 100 according to one embodiment of the present invention.
  • the robot 110A of the robot system 100 in the present embodiment is an excavator type work machine.
  • the robot 110A in this embodiment is controlled via a control input determination device 160A that performs indirect rotation angle control using hydraulic pressure.
  • the robot system 100 includes an end effector 111A such as a bucket, a crusher, a cutter, a grapple, and a pakra, which is an attachment that is an apparatus for forming the object 120 to be formed, attached to the tip of the robot 110A.
  • the robot system 100 according to the present embodiment includes a measuring device 130 for acquiring three-dimensional data of the molding target object 120 by stereovision using a plurality of cameras installed at positions where the molding target object can be observed.
  • the object 120 to be formed in this embodiment is a piled sand-like object such as construction sand, rock-like object such as quarry stone or debris, concrete bridge pillar, building wall or floor, etc. .
  • the object 120 to be molded in the present embodiment may be an object of a non-homogeneous material such as a structure made of natural wood, natural stone or the like whose thickness and density vary depending on the location.
  • the object 120 to be formed in the present embodiment may be an object made of a plurality of materials such as earth and sand from a plurality of different formations or a concrete wall including a steel frame or a reinforcing bar.
  • the said molding object can be shape
  • the reason is to measure the shape change that occurred in the object to be molded, and update the model that represents the relationship between the operation on the object to be molded and the shape change that occurred in the object to be molded, after each operation, This is because a model corresponding to the non-uniformity is created, and the next operation is determined such that the difference between the desired shape based on the model and the actual shape after the operation is reduced.
  • the estimation device 140 By performing a process of estimating the true output and state with the estimation device 140 on the three-dimensional data measured by the measurement device 130, the estimated output s ⁇ of the shape information of the molding target can be estimated.
  • the updating unit 151 of the decision making device 150 updates the relationship between the molding operation u and the shape information based on the difference between the predicted molding response model before the operation and the molding response model after the operation.
  • the molding response model is updated according to the shape change even if the object to be molded is a non-homogeneous material whose response changes depending on the operation region and the progress of molding by the update operation performed after each operation.
  • the determination unit 152 can determine the optimum next operation while predicting the future molding response using the molding response model. Based on the next operation, the control input deciding device 160A calculates the control input to the robot 110, whereby the control of molding the object to be molded into a desired shape can be executed. Therefore, according to the control apparatus etc. which concern on a present Example, there exist the above effects.
  • FIG. 7 is a block diagram showing a control system according to the second embodiment of the present invention.
  • the robot system 100B in FIG. 6 includes a shaping response model determination unit 153 in the decision making device 150A.
  • the molding response model determination unit 153 After at least one molding operation, when the predicted output value of the molding response model exceeds the threshold value of the actual output value, the molding response model determination unit 153 corresponds to the pattern of the molding target prepared in advance. A plurality of molding response models are compared with actual molding response data, and the pattern itself of the molding response model is automatically changed, or the operator is notified of the necessity of pattern change through a display device (not shown).
  • the forming response model is set with the object to be formed as unreinforced concrete, but the forming response pattern is switched, such as a case where a reinforced portion becomes the object to be formed as the forming operation proceeds, Used when the molding response pattern is unknown.
  • the object to be molded is not a homogeneous material, but also the object to be molded is formed into a desired shape even if the object is an unknown object to be molded. be able to.
  • a molding response model determination unit 153 that automatically or manually changes a molding response pattern in the system of FIG. 1 that can mold a molding target into a desired shape when the molding target is not a homogeneous material. This is because the molding response model can be updated even for an object having an unknown response.
  • prediction model update method the molding operation determination method, and the prediction model determination method in the present invention are not limited to the above-described embodiments and examples, and various machine learning methods and optimization methods can be applied. All examples and conditions set forth herein are intended to aid understanding of the concepts of the present invention and are not intended to limit the scope of the invention.
  • any one of the estimation device (140) and the decision making device (150; 150A) constituting the robot system (100; 100A; 100B) or a combination thereof may be realized by hardware or realized by software May be. Further, any one of the estimation device (140) and the decision making device (150; 150A) constituting the robot system (100; 100A; 100B) or a combination thereof may be realized by a combination of hardware and software. Good.
  • FIG. 8 shows an information processing apparatus (computer) that constitutes one or a combination of the estimation apparatus (140) and the decision-making apparatus (150; 150A) constituting the robot system (100; 100A; 100B). It is a block diagram which shows an example.
  • the information processing apparatus 400 includes a control unit (CPU: Central Processing Unit) 410, a storage unit 420, a ROM (Read Only Memory) 430, a RAM (Random Access Memory) 440, and a communication interface. 450 and a user interface 460.
  • CPU Central Processing Unit
  • storage unit 420 a storage unit 420, a ROM (Read Only Memory) 430, a RAM (Random Access Memory) 440, and a communication interface.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit (CPU) 410 expands and executes a program stored in the storage unit 420 or the ROM 430 in the RAM 440, thereby executing an estimation device (140) and a decision making device that constitute the robot system (100; 100A; 100B). Various functions (150; 150A) can be realized.
  • the control unit (CPU) 410 may include an internal buffer that can temporarily store data and the like.
  • the storage unit 420 is a large-capacity storage medium that can hold various types of data, and can be realized by a storage medium such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive).
  • the storage unit 420 may be a cloud storage that exists on the communication network when the information processing apparatus 400 is connected to the communication network via the communication interface 450.
  • the storage unit 420 may hold a program that can be read by the control unit (CPU) 410.
  • the ROM 430 is a non-volatile storage device that can be configured with a flash memory or the like having a smaller capacity than the storage unit 420.
  • the ROM 430 may hold a program that can be read by the control unit (CPU) 410. Note that a program readable by the control unit (CPU) 410 only needs to be held by at least one of the storage unit 420 and the ROM 430.
  • the program readable by the control unit (CPU) 410 may be supplied to the information processing apparatus 400 in a state of being temporarily stored in various computer-readable storage media.
  • Such storage media include, for example, magnetic tape, magnetic disk, magneto-optical disk, CD-ROM (compact disc read-only memory), CD-R (compact disc-recordable), CD-R / W (compact disc-rewritable). ), A semiconductor memory.
  • the RAM 440 is a semiconductor memory such as a DRAM (Dynamic Random Access Memory) and an SRAM (Static Random Access Memory), and can be used as an internal buffer for temporarily storing data and the like.
  • DRAM Dynamic Random Access Memory
  • SRAM Static Random Access Memory
  • the communication interface 450 is an interface that connects the information processing apparatus 400 and a communication network via a wired or wireless connection.
  • the user interface 460 is, for example, a display unit such as a display and an input unit such as a keyboard, a mouse, and a touch panel.
  • the present invention is not limited to the above-described embodiments and examples.
  • the present invention includes a form in which a part or all of the embodiments are appropriately combined, and a form in which the form is appropriately changed.
  • a creation unit for creating change information representing a shape change generated in the molding object based on shape information representing the actual shape of the molding object before and after each operation performed on the molding object;
  • An update unit for updating a model representing the relationship between each operation on the molding object and a shape change caused in the molding object by the operation based on the past operation and the created change information;
  • a determination unit that determines a next operation based on the updated model so that a difference between the desired shape of the molding target and the actual shape after the operation is reduced;
  • a control device comprising:
  • Appendix 2 The control apparatus according to appendix 1, wherein the object to be molded is a heterogeneous substance.
  • Appendix 3 The control device according to appendix 1 or 2, wherein the object to be molded is any one of earth and sand, rock, and concrete.
  • Appendix 4 The control device according to any one of appendices 1 to 3, wherein the model includes a parameter that represents a degree of ease of occurrence of a shape change for each part to be molded by the operation.
  • the update unit reduces a difference between a simulated shape change generated in the molding target by the operation output by the model each time the operation is performed and an actual shape change of the molding target after the operation.
  • the control device according to appendix 4 or 5, wherein the parameter is updated.
  • Appendix 7 The additional apparatus according to any one of appendices 4 to 6, further comprising an estimation device that estimates the parameter before starting the next operation for reducing the difference between the desired shape and the actual shape. Control device.
  • Appendix 11 11. The control device according to appendix 10, wherein the determination unit recalculates the series of molding operations after performing one molding operation.
  • Appendix 12 The control device according to any one of appendices 1 to 11, wherein the determination unit sets a square error in a feature space between the desired shape and the actual shape as the difference.
  • Appendix 14 14. The control method according to appendix 13, wherein the object to be molded is a heterogeneous substance.
  • Appendix 15 The control method according to appendix 13 or 14, wherein the molding object is any one of earth, sand, rock, and concrete.
  • Appendix 16 The control method according to any one of appendices 13 to 15, wherein the model includes a parameter representing a degree of ease of occurrence of a shape change for each part to be molded by the operation.
  • Appendix 19 The control method according to any one of appendices 16 to 18, further comprising estimating the parameter before starting a next operation for reducing a difference between the desired shape and the actual shape.
  • Appendix 20 The updating is performed when the difference between the simulated shape change generated in the molding target by the operation output by the model every time the operation is performed and the actual shape change of the molding target after the operation is large.
  • the determining includes the predetermined number of molding operations as the next operation for reducing the difference between the desired shape and the actual shape.
  • Appendix 23 The control method according to appendix 22, wherein the determining includes recalculating the series of molding operations when a single molding operation is performed.
  • Appendix 24 The control method according to any one of appendices 13 to 23, wherein the determining is that a square error in a feature space between the desired shape and the actual shape is the difference.
  • Appendix 25 A creation process for creating change information representing a shape change generated in the molding object based on shape information representing the actual shape of the molding object before and after each operation performed on the molding object; An update process for updating a model representing an association between each operation on the molding object and a shape change caused in the molding object by the operation based on the past operation and the created change information; A determination process for determining a next operation based on the updated model so that a difference between the desired shape of the molding target and the actual shape after the operation is reduced; A recording medium on which a control program for causing a computer to execute is recorded.
  • Appendix 26 The recording medium according to appendix 25, wherein the object to be molded is a heterogeneous substance.
  • Appendix 27 The recording medium according to appendix 25 or 26, wherein the molding object is any one of earth and sand, rock, and concrete.
  • Appendix 28 28.
  • Appendix 30 The update process is performed so that a difference between a simulated shape change generated in the molding target by the operation output by the model every time the operation is performed and a real shape change of the molding target after the operation is reduced.
  • Appendix 31 Any one of appendixes 28 to 30, wherein the control program causes the computer to further execute an estimation process for estimating the parameter before starting the next operation for reducing the difference between the desired shape and the actual shape.
  • the recording medium according to one.
  • Appendix 35 35. The recording medium according to appendix 34, wherein the determining process recalculates the series of molding operations after one molding operation.
  • Appendix 36 36.
  • the present invention can be applied to a use related to a control device for controlling a device for forming an object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Manipulator (AREA)
  • Feedback Control In General (AREA)

Abstract

被成形対象が均質な物質でない場合であっても、被成形対象を所望の形状に成形する。制御装置の作成部は、成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき成形対象に生じた形状変化を表す変化情報を作成する。更新部は、成形対象に対する操作と、当該操作によって成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された変化情報とに基づき更新する。決定部は、更新されたモデルに基づき、成形対象の所望形状と、操作後における実形状との間の差異が減少するように、次の操作を決定する。

Description

制御装置、制御方法、及び、制御プログラムが記録された記録媒体
本発明は、対象を成形する装置を制御する制御装置等に関する。
特許文献１には、ＮＣ（数値制御）制御可能な加工機械を制御する制御装置が開示されている。当該制御装置は、被成形材料表面の距離データを測定器で測定し、測定結果に基づき当該被成形材料の成形面を算出し、当該被成形材料が接地された加工テーブルの傾きを調整する。
特許文献２には、工作機械の熱変位を補正する補正装置が開示されている。当該補正装置は、工作機の加工工具の温度検出器を用いて温度データを検出し、検出されたデータに基づき被成形物との相対移動を制御する。
特許文献３には、加工位置を補正する旋盤を制御する制御装置が開示されている。当該制御装置は、カメラを用いてバイトの画像を撮影し、取得された画像を画像処理し、画像処理した画像を参照しながら、当該バイトの欠損、摩耗量、または、機械全体の熱変位などを検査する。当該制御装置は、当該検査結果に基づき、旋盤の位置を補正する。
特許第４５２７１２０号公報 特許第４０７８３３６号公報 特許第５３００００３号公報
しかしながら、被成形対象が、土砂、岩石、または、コンクリートである場合には、特許文献１乃至特許文献３に開示された装置を用いたとしても、被成形対象を所望の形状に成形できるとは限らない。これは、これらの装置が、被成形対象が均質な物質によって構成されることを前提として制御を行うからである。ここで、均質な物質とは、被成形対象が、成形操作を施す領域や成形の進捗度合いに応じて、成形操作に対する応答、すなわち、形状変化のしやすさが変化しない物質（例えば、チタン、アルミニウム、アルミニウム合金、鉄、ステンレスや真鍮）である。つまり、土砂、岩石、または、コンクリートは、必ずしも、均質な物質であるとは限らないため、これらの装置は、被成形対象を所望の形状に成形できるとは限らない。
そこで、本発明の目的の１つは、被成形対象が均質な物質でない場合であっても当該被成形対象を所望の形状に成形することが可能な制御装置等を提供することである。
本発明の１つの態様として、制御装置は、成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき前記成形対象に生じた形状変化を表す変化情報を作成する作成部と；前記成形対象に対する各操作と、当該操作によって前記成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された前記変化情報とに基づき更新する更新部と；更新された前記モデルに基づき、前記成形対象の所望形状と、前記操作後における前記実形状との間の差異が減少するように、次の操作を決定する決定部と；を備える。
また、本発明の他の態様として、制御方法は、情報処理装置によって、成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき前記成形対象に生じた形状変化を表す変化情報を作成し；前記成形対象に対する各操作と、当該操作によって前記成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された前記変化情報とに基づき更新し；更新された前記モデルに基づき、前記成形対象の所望形状と、前記操作後における前記実形状との間の差異が減少するように、次の操作を決定する。
また、本発明の他の態様として、制御プログラムは、成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき前記成形対象に生じた形状変化を表す変化情報を作成する作成処理と；前記成形対象に対する各操作と、当該操作によって前記成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された前記変化情報とに基づき更新する更新処理と；更新された前記モデルに基づき、前記成形対象の所望形状と、前記操作後における前記実形状との間の差異が減少するように、次の操作を決定する決定処理と；をコンピュータに実現させる。
さらに、同目的は、係るプログラムを記録するコンピュータが読み取り可能な記録媒体によっても実現される。
本発明に係る制御装置等によれば、被成形対象が均質な物質でない場合であっても当該被成形対象を所望の形状に成形することができる。
本発明の第１の実施形態のロボットシステム構成を示すブロック図である。 成形応答モデルの一例を模式的に示す図である。 成形応答モデル更新方法の一例を模式的に示す図である。 図１のロボットシステムの動作の一例を示すフローチャートである。 図１のロボットシステムの変形例を示すブロック図である。 本発明の一実施例の建機ロボットシステム構成を示すブロック図である。 本発明の第２の実施形態のロボットシステム構成を示すブロック図である。 本発明のその他の実施形態に係る情報処理装置の構成を示すブロック図である。
本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図面は、本発明の実施形態を説明するためのものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面及び明細書の記載において、同様の構成には同じの符号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
［第１の実施形態］
［構成の説明］
図１は、本発明の第１の実施形態の制御システムを示すブロック図である。本第１の実施形態のロボットシステム１００は、ロボット１１０と、計測装置１３０と、推定装置１４０と、意思決定装置１５０と、制御入力決定装置１６０と、を備える。推定装置１４０と意思決定装置１５０との組み合わせは、制御装置又は制御部とも呼ばれる。制御入力決定装置１６０とロボット１１０との組み合わせは、操作部と呼ばれる。
ロボット１１０の先端には、エンドエフェクタ１１１が取り付けられている。エンドエフェクタ１１１は、成形対象物体１２０を成形するための機器であるグリッパなどから成る。計測装置１３０は、成形対象物体１２０の三次元データをそれぞれ取得するための装置である。推定装置１４０は、計測した三次元データから真の出力と状態を推定する装置である。意思決定装置１５０は、成形操作方法を決定する装置である。制御入力決定装置１６０は、ロボット１１０への制御入力を決定する装置である。
ここで、推定装置１４０は、出力推定部１４１と、状態推定部１４２とを備える。出力推定部１４１は、計測装置１３０から得られた三次元データに基づく成形対象物体１２０の三次元形状の特徴を表す情報などを推定する。ここで、三次元形状の特徴を表す情報とは、例えば、三次元形状を色で表す距離画像やワイヤフレームによるモデル、ニューラルネットワークによって低次元化された画像情報のことである。ここでの推定とは、計測装置１３０から得られたノイズの含まれる観測データから、確からしい成形対象物体１２０の三次元形状の特徴を表す情報を算出することである。状態推定部１４２は、ロボット１１０の状態量を推定する。ここで、状態量としては、例えば、ロボット１１０の各アームの関節の角度、角速度、角加速度やエンドエフェクタ１１１の位置・姿勢などが挙げられる。ここでの推定とは、計測装置１３０から得られたノイズの含まれる観測データから、確からしいロボット１１０の状態量を算出することである。
意思決定装置１５０は、作成部１５４と、更新部１５１と、決定部１５２と、を備える。作成部１５４は、成形対象物体１２０に対して施された各成形操作前後の三次元形状に基づき、成形対象物体１２０に生じた形状変化を表す変化情報を作成する。更新部１５１は、成形対象物体１２０に対する各成形操作とその成形操作によって成形対象物体１２０に生じた形状変化との関連性を表す成形応答モデルを、過去の成形操作と作成部１５４で作成された変化情報とに基づき更新する。ここで、過去の成形操作とは、過去から現在までの成形操作を意味する。決定部１５２は、更新部１５１によって更新された成形応答モデルに基づき、成形対象物体の所望形状と成形操作後における三次元形状（実形状）との間の差異が減少するように、次の成形操作を決定する。なお、意思決定装置１５０は、後に説明するように、成形操作に対する成形対象物体１２０の予測結果と実際の応答との差分に応じて、オンラインで成形応答モデルを更新し、相応しい次の成形操作を制御入力決定装置１６０に供給する。
なお、本明細書中において、「形状」とは、外表面の形状ばかりでなく、例えば、内部に空洞があるような内部形状をも含む、三次元形状を意味する。また、成形操作を単に「操作」という場合もある。
ロボット１１０は、例えば、油圧ショベルを基にしたエクスカベータ型ロボットである。エクスカベータ型ロボットは、エンドエフェクタ１１１として、バケットやブレーカーといったアタッチメントを取り付けることができ、制御入力決定装置１６０によって制御される。ロボット１１０の別の例は、工場などにおける製造などに利用されるマニピュレータ型ロボットである。マニピュレータ型ロボットは、エンドエフェクタ１１１として、物を挟み込んで圧力をかけるグリッパや切削加工のためのエンドミルの他に、研磨するためのサンダー、表面塗装を剥ぐためのスクレーパ、ブラスト処理のためのサンドブラスター、切削や研磨のためのグラインダ、剥離や溶解のための薬剤塗布のためのスプレーガン、穴あけのためのコンクリートドリルやインパクトドライバドリル、切断のためのジグソーといったアタッチメントを取り付けることができ、制御入力決定装置１６０によって制御される。また、ロボット１１０は、エンドエフェクタ１１１により、成形対象物体１２０の一定の領域に、ある一定の力や回数で作用（振動、圧力、研磨など）を与える成形操作を行い、成形対象物体１２０を目標の形状に成形する。
ここで、ロボット１１０は油圧駆動、電動駆動といった駆動形式に限定されず、エンドエフェクタ１１１もクラッシャー、カッター、グラップル、パクラなど、成形対象物体１２０を成形が可能なものであれば限定されない。
［動作の説明］
次に、図面を参照して、本第１の実施形態の動作について詳細に説明する。
出力推定部１４１は、成形対象物体１２０の三次元形状、絶対座標系（ワールド座標系）での位置および姿勢を、位置および姿勢が既知である計測装置１３０を用いて観測された三次元データをもとに、推定する。例えば、計測装置１３０として対象物を複数の異なる方向から同時に撮影することにより、距離情報も測定できるステレオカメラや、レーザーを発振して対象物までの距離を測定できるレーザーレンジファインダを用いることができる。たとえば、ステレオカメラを用いた場合には、出力推定部１４１は、観測データを画像処理することによって、成形対象物体１２０の除去された（崩れた、削れた、割れた、剥がれたなど）領域の位置・体積・割合や形状、残存している部分の大きさや量、崩れ落ちた部分の大きさや量、表面上のクラックの位置や長さ・深さ・形状などを推定することもできる。また、計測装置１３０が、物体の破壊や変形によって放出される音響であるアコースティックエミッションを用いた測定をする場合には、出力推定部１４１は、成形対象物体１２０の内部構造や内部のクラックの三次元的な位置・形状を推定することも可能である。また、出力推定部１４１は、複数または複種類の計測装置１３０の観測データや推定方法を併用してもよい。
また、例えば、エクスカベータの多くは有人でのオペレーションを想定しており、自動制御に必要となる状態量を直接観測できるセンサ群が備わっていないことも多い。ここで、状態量とは、本第１の実施形態では、関節角度や角速度などロボット１１０の制御に必要な情報を一意に決定できる独立変数を示すとする。そこで、本第１の実施形態では、有人オペレーションを想定している装置を自動化する方法として、ロボット１１０の状態量もステレオカメラ群やレーザーレンジファインダを用いた計測装置１３０を用いて計測している。予めロボット１１０のアーム形状のデータが豊富にある場合には、状態推定部１４２おいて特定物体認識と時系列データの解析により、ロボット１１０の状態を推定する。アーム形状の画像データが不足している場合においても、ロボット１１０のアームなどに設置した計測装置が計測しやすいマーカーを用いることで状態量を推定することは可能である。加えて、予めロボット１１０の正確な状態空間モデルが分かっているとする。この場合には、状態空間モデルを用いて出力データから真の状態量と出力を推定するカルマンフィルタや非線形カルマンフィルタ(例えば拡張カルマンフィルタ、Unscented カルマンフィルタ、パーティクルフィルタなど)などの既存手法を併用することができる。
制御入力決定装置１６０は、意思決定装置１５０から入力される成形操作入力にしたがって、ロボット１１０の制御入力を決定しロボット１１０が所望の動作を行うように駆動する。例えば、成形操作入力として有限時間内に達成すべき、エンドエフェクタの絶対座標系での位置とその姿勢情報が与えられたとする。この場合、制御入力決定装置１６０は、計測装置１３０の情報をもとに状態推定部１４２で推定された状態量をフィードバックして制御を行う、視覚フィードバック制御により、成形操作入力を達成するように制御が行われることとなる。視覚フィードバックを用いた具体的な制御方法としては、周知のロボットアーム制御方法である、PID（Proportional-Integral- Differential）制御やモデルベース軌道追従制御、強化学習による制御などがある。
なお、制御入力決定装置１６０自体はロボット１１０の内部に組み込まれている必要はなく、同様に推定装置１４０、意思決定装置１５０ともに物理的配置の制約や有線・無線といった通信方法の制約はない。ただし、装置間の通信方法については制御が不安定にならないよう通信による遅延やサンプリング周期に留意し、必要により通信遅延を補償する。
次に、意思決定装置１５０について説明する。意思決定装置１５０は成形操作と出力推定部１４１で推定された推定出力との関係性を適応的に学習し、成形応答モデルを更新するとともに、更新した成形応答モデルを用いて、所望の成形操作を決定する機能を有する。
成形応答モデルは成形操作による成形対象物体１２０の出力ダイナミクスを表した関数である。成形操作u は成形領域とエンドエフェクタ１１１から与えられる力や打撃・研磨の回数といった入力変数を組み合わせたものとして与えられる。例えば、衝撃荷重を与える成形を考えると、絶対座標系からみた打点の位置p = [px py pz]T と打撃の衝撃力Fと回数iを組み合わせた u = [pT F i]Tが成形操作として与えられる。sを出力推定部１４１によって推定された成形対象物体１２０の三次元形状を表す情報とする。初期状態を0ステップ目、k回目の成形動作をkステップ目とし下付き文字で表すとすると、kステップ目の成形操作入力ukによる出力skは次の数式のような成形応答モデルhkで表される。
Figure JPOXMLDOC01-appb-M000001
すなわち、成形応答モデルhkは成形のダイナミクスを表す関数であるが、確定ダイナミクスに限定されず、確率ダイナミクスとして表してもよい。また、出力sは目標形状の特徴を十分よく表すことができるよう選択する。
図２は、薄い板状の成形対象物体１２０の成形応答モデルを示した具体例である。ここで、推定出力s は成形対象物体１２０の除去進度を二次元平面上のメッシュ２００に写像した画像データとして与えており、除去進度は１(残存２０１)か０(除去済２０２)の２値で表すとする。このとき、成形操作uとして成形領域 p(２０３)のみ考えれば十分であり、絶対座標系での成形領域に対応するメッシュ面とその周囲が除去されるとすると、出力sk はsk-1 とuk から一意に定まり、その関係性を示す関数hk が成形応答モデルとなる。
更新部１５１では、成形応答モデルのパラメータを、成形操作に対する応答の予測と実際の測定結果の差から更新する。なお、パラメータは、成形応答モデルが、当該成形操作による成形対象物体１２０の箇所ごとの形状変化の生じやすさの度合いを表す。パラメータとしては種々のものが考えられるが、以下の例では、パラメータが距離である場合を例に挙げて説明する。
具体例として、図３に図２で示した薄板の成形応答モデルの更新方法を示す。成形応答モデルは成形対象物体１２０に依存するが、図３では過去のデータから、成形応答モデルのパターンは、成形領域p（２０３）から一定の距離a の範囲に一部または全体が含まれるメッシュ部分が確定的に除去されるとする知見があるとしている。一方で、パラメータa は板の厚さや組成によるため、不確定性が大きいが、予測除去範囲（２０４）と実際の除去結果（２０５）の差からオンラインで更新される。
具体的には、ｋ－１ステップ目におけるパラメータak-1 を用いた成形応答モデルの予測出力
Figure JPOXMLDOC01-appb-M000002
 と実際の出力sk-1とを比較し、その差分によりパラメータak を更新する。例えば、次の数式でパラメータを更新することができる。
Figure JPOXMLDOC01-appb-M000003
 ここで αは非負の定数、
Figure JPOXMLDOC01-appb-M000004
 は行列の全要素の和を示し、
Figure JPOXMLDOC01-appb-M000005
 は成形対象物体１２０の残存度合を示す指標となる。
つまり、予測された除去範囲より実際の除去範囲が大きい場合にはパラメータa は大きく、予測された除去範囲より実際の除去範囲が小さい場合にはパラメータaは小さく更新される。この更新により、更新後の予測除去範囲（２０４’）は実際の除去結果（２０５’）に近づく。パラメータaの更新はオンラインで行われていくため、パラメータaが作業中に変化するような、時変な性質をもつ対象であっても、対応が可能である。例えば、成形作業が進むにつれ、認識できない内部破壊が進み、実際の除去範囲が大きくなっていく場合であっても、その変化に応じてパラメータa を補正することができる。
このように、更新部１５１は、当該成形操作を施すたびに成形応答モデルが出力する当該成形操作によって成形対象物体１２０に生じる模擬形状変化と、成形操作後の成形対象物体１２０の実形状変化と、の間の差異が減少するように、上記パラメータを更新する。
更新の手法としては、その他にも、予想外に大きく崩れたら崩れる領域を10％広くするように成形応答モデルを修正する、予想外の領域が壊れたらその周辺が弱いとみなし、その領域の周辺だけ崩れる領域を10％広くするなどといった修正の手法もある。また、成形応答モデルとしては、二次元空間上の成形範囲を考慮するモデルのみならず、クラックを考慮する成形モデルや多次元空間上のモデルに適用できることは明らかである。クラックを考慮する場合の成形モデルでは、クラックにより成形対象物体より切り離された部分は除去されるとみなす。
次に、成形応答モデルの出力が実際の成形操作によって生じた成形対象物体の変化に対して大幅に差異がある場合の対応、すなわち、成形応答モデルの予測精度が大幅に悪い場合の対処例を以下に述べる。まず、更新部１５１は、一定回数の成形操作を実施した結果、成形応答モデルでの予測からのずれが一定の許容範囲内に収まっているかどうかを判定する。このずれが一定以上になる場合、更新部１５１は、たとえば、現在の成形応答モデルが不適当であり他の成形応答モデルに変更すべきことをユーザにレコメンドしてもよい。また、更新部１５１は、事前に複数のモデル（例：物質の種類ごとのモデル、物質の厚さごとのモデル、物質の内部構造ごとのモデル）を用意し、それらを切り替えてもよい。また、更新部１５１は、ずれが大きいことが明白なモデルのパラメータがあれば、その値をランダムに変更してもよい。また、更新部１５１は、一定の範囲内で、ランダムにいくつかのモデルのパラメータの値を変更してもよい。
このように、更新部１５１は、当該成形操作を施すたびに成形応答モデルが出力する当該成形操作によって成形対象物体１２０に生じる模擬形状変化と、成形操作後の成形対象物体１２０の実形状変化と、の間の差異が大きければ、所望形状と実形状との間の差異を減少させる次の成形操作を中断し、上記パラメータを更新する。
次に、一定回数の成形操作を実施しても成形対象物体の目標の形状と成形操作の後の形状との差異が大幅に大きい場合の対処例を以下に述べる。まず、更新部１５１は、一定回数の成形操作を実施した結果、成形対象物体１２０の目標の形状と現在の形状の差異が一定の許容範囲内に収まっているかどうかを判定する。この差異が一定以上になる場合、更新部１５１は、たとえば、現在の成形応答モデルが不適当であり他の成形応答モデルに変更すべきことをユーザにレコメンドしてもよい。また、更新部１５１は、事前に複数のモデル（例：物質の種類ごとのモデル、物質の厚さごとのモデル、物質の内部構造ごとのモデル）を用意し、それらを切り替えてもよい。また、更新部１５１は、差異が大きいことが明白なモデルのパラメータがあれば、その値をランダムに変更してもよい。また、更新部１５１は、一定の範囲内で、ランダムにいくつかのモデルのパラメータの値を変更してもよい。
このように、更新部１５１は、成形対象物体１２０の所望形状と、成形操作後の成形対象物体１２０の実形状との間の差異が大きければ、所望形状と実形状との間の差異を減少させる次の成形操作を中断し、上記パラメータを更新する。
決定部１５２では、前記のようにオンラインで更新される成形応答モデルに対して、最適な次の成形操作を算出する。成形の目的は目標の形状に近づけることであるが、決定部１５２は、例えば、目標形状Sref に対して、目標形状と出力値sとの特徴空間上での二乗誤差J(s, Sref)を用いて、現在の形状を評価することが可能である。例えば、初期の成形応答モデルh1を用いた場合の、初期状態からHステップで目標形状に近づける成形操作u1, ..., uHの導出は次の数式のような最小化問題に書き直すことができる。
Figure JPOXMLDOC01-appb-M000006
このような最適化問題は成形応答モデルが確定ダイナミクスの場合は大域的最適化が向いていることが多い。このため、最適解を得る手法としては既存手法である粒子群最適化、遺伝的アルゴリズム、焼きなまし法などが適用できる。また、確率ダイナミクスとなる場合には確率分布を仮定した近似計算やサンプリング法を用いて計算することができる。実際的には成形が完了するまでのステップ回数Hが分からない場合があること、成形応答モデルhkがステップ毎に更新されること、ステップ回数Hが大きい場合には上記最適化問題を解くための計算コストが大きいことなどの理由から、次の数式のような各ステップで未来の成形応答を予測しながら最適化を行うモデル予測制御を用いる。
Figure JPOXMLDOC01-appb-M000007
ここで、目的関数は各ステップの目標形状と出力値との特徴空間上での二乗誤差 J(St, Sref)の予測ホライゾン長さH'内での和で与えられている。出力St-1が観測される度に上記最適化問題をオンラインで解き、求めたukのみを成形操作として用いる。
決定部１５２は、あらかじめ定めた回数の一連の成形操作をする場合、所望形状と実形状との間の差異を減少させる次の成形操作として、あらかじめ定めた回数の一連の成形操作を算出する。また、決定部１５２は、１回目の成形操作を実施したら上記一連の成形操作を計算しなおす。
図４は図１に示すロボットシステム１００の動作の一例を示すフローチャートである。図４で示されるように、図１に示す意思決定装置１５０では、成形応答モデルを用いて、最適な成形操作を決定する（ステップ４０１～４０５）。と同時に、意思決定装置１５０は、成形応答モデルの予測結果と、計測装置１３０と推定装置１４０で算出した動作後の推定出力との比較を行うことで、成形応答モデルをオンラインで更新を行う（ステップ４０６～４０８）。
詳述すると、計測装置１３０が成形対象物体１２０を計測し、推定装置１４０が出力値を推定する（ステップ４０１）。決定部１５２は、成形対象物体１２０の三次元形状の目標値と推定出力値から評価値Jを計算する（ステップ４０２）。つぎに、決定部１５２は、評価値Ｊが閾値（パラメータ）αより小さいか否かを判断する（ステップＳ４０３）。評価値Ｊが閾値（パラメータ）αより小さければ、処理を終了する。
一方、評価値Ｊが閾値（パラメータ）α以上の場合（ステップ４０３のＮＯ）、決定部１５２は、成形応答モデルを用いて複数の成形操作にする成形結果を予測し（ステップ４０４）、最適な成形操作を決定する（ステップ４０５）。
制御入力決定装置１６０は、決定された成形操作に従ってロボット１１０を制御することにより、成形操作を実行する（ステップ４０６）。
そして、再び計測装置１３０が成形対象物体１２０を計測し、推定装置１４０が出力値を推定する（ステップ４０７）。つぎに、更新部１５１は、成形操作に対する応答の予測と実際の測定結果の差から、成形応答モデルを更新する（ステップ４０８）。その後、ステップ４０２に戻る。
成形応答モデルの初期モデルh1 は土砂成形、コンクリート成形、岩石成形といった成形対象物体１２０のパターン毎に、過去の成形操作とその成形応答データから予め学習することを想定している。過去のデータのパターンに該当しない場合や該当しにくい場合の成形操作が存在する場合には、オペレータが成形パターンの近いものを予測・選択し、自動制御における初期の成形応答パラメータを安全側に設定する。
図２で示したような薄板の成形を例とすると、薄板の厚さが薄く崩れやすいとして、一回の動作における除去範囲を十分に大きく、つまりパラメータa を大きく設定する。初期パラメータの設定後、成形作業を行いながらオンラインで成形応答モデルを更新する。
また、成形作業開始前に事前学習作業を行ってから作業を開始してもよい。事前学習作業では、予め定められたパターンやアルゴリズムに従って、一定回数、成形応答モデル学習のためのサンプリングを行い、出力データから統計的に成形応答モデルを更新する。特に、成形作業領域周囲を成形してはならないなどの制約がある場合には、例えば作業領域の中心部など、制約を確実に満たすと予想できる領域で事前学習作業を行うことで、安全に成形応答モデルを構築することができる。
図５は図１に示すロボットシステム１００の変形例を示すブロック図である。図１と図５との比較から明らかなように、図５のロボットシステム１００Ａにおいては、状態計測装置１３１が加わり、ロボット１１０の状態量を計測するようになっている。
例えば、状態計測装置１３１として、関節角の回転変位を出力する角位置センサであるロータリーエンコーダや位置情報を出力する位置センサであるリニアエンコーダー、回転や向きの変化を検知する角速度センサであるジャイロセンサなどを用いて状態量を測定することで、観測精度が向上する可能性がある。このように、ロボット１１０の状態量を計測する専用のセンサを設置することで、図１の構成に比べてより正確にロボット１１０の状態量を観測できる他に、計測装置１３０に成形対象物体１２０のみの計測をさせることで、成形対象物体１２０の計測に特化したセンシングのチューニングが可能となり、成形対象物体の観測精度が向上する可能性がある。
図５で加わった状態計測装置１３１で全ての状態量を観測できる場合、図１の構成において、ロボット１１０の状態量を測定するために用いたステレオカメラなどの計測装置１３０を省くことが可能となる。また、アームの姿勢は状態計測装置１３１で観測し、エンドエフェクタ１１１の位置・姿勢とロボット１１０のベース座標は計測装置１３０で観測するなど併用してもよい。
図６には本発明の一実施例のロボットシステム１００の建機ロボットを示すブロック図を示す。本実施例におけるロボットシステム１００のロボット１１０Ａは、エクスカベータ型作業機械である。本実施例におけるロボット１１０Ａは、油圧により間接の回転角の制御を行う制御入力決定装置１６０Ａを介して制御される。
本実施例におけるロボットシステム１００は、ロボット１１０Ａの先端に取り付けられた、成形対象物体１２０を成形するための機器であるアタッチメントであるバケット、クラッシャー、カッター、グラップル、パクラなどのエンドエフェクタ１１１Ａを備える。本実施例におけるロボットシステム１００は、成形対象物体を観測できる位置に設置された複数のカメラを使ったステレオヴィジョンにより成形対象物体１２０の三次元データをそれぞれ取得するための計測装置１３０を備える。
本実施例における成形対象物体１２０は、工事の土砂などの積み重なった砂状の物体、採石場の石やがれきなどの岩状の物体、コンクリートの橋梁の柱や建物の壁や床、などである。本実施例における成形対象物体１２０は、厚さや密度が箇所によって異なる天然木や天然石などを用いて作られた構造物などの不均質な材質の物体でもよい。本実施例における成形対象物体１２０は、複数の異なる地層からの土砂や、鉄骨や鉄筋を含むコンクリート壁など、複数の材質からなる物体でもよい。
本実施例に係る制御装置等によれば、被成形対象が均質な物質でない場合であっても当該被成形対象を所望の形状に成形することができる。その理由は被成形対象に生じた形状変化を計測し、前記被成形対象に対する操作と前記被成形対象に生じた形状変化との関連性を表すモデルを毎操作後に更新することで、被成形対象の不均一性に対応したモデルを作成し、前記モデルに基づいた所望形状と操作実施後の実形状との間の差異が減少するような次の操作を決定するためである。
当該理由について詳細に説明する。計測装置１３０で計測した三次元データに対して、推定装置１４０にて真の出力と状態を推定する処理を行うことによって、被成形対象の形状情報の推定出力s を推定することができる。意思決定装置１５０の更新部１５１では、成形操作u と前記形状情報の関係性を操作前の予測成形応答モデルと操作後の成形応答モデルの差異から更新する。毎操作後に行われる前記更新動作により、被成形対象が操作領域や成形の進捗度合いで応答が変化するような均質でない物質であっても、成形応答モデルは前記形状変化に応じて更新される。真の応答に近い、更新された前記成形応答モデルを用いることで、決定部１５２にて、未来の成形応答を成形応答モデルで予測しながら、最適な次の操作を決定することができる。前記次の操作に基づいて制御入力決定装置１６０Ａにて、ロボット１１０への制御入力を算出することで、被成形対象を所望の形状に成形する制御を実行することができる。したがって、本実施例に係る制御装置等によれば、上述したような効果を奏する。
［第２の実施形態］
図７は本発明の第２の実施形態の制御システムを示すブロック図である。図１と図６の比較から明らかなように、図６におけるロボットシステム１００Ｂは意思決定装置１５０Ａに成形応答モデル判定部１５３を含む。
成形応答モデル判定部１５３においては、少なくとも一回の成形操作後、成形応答モデルの予測出力値が実際の出力値のずれが閾値を超えた場合、事前に用意された成形対象のパターンに応じた複数の成形応答モデルと実際の成形応答データとを比較し、成形応答モデルのパターンそのものを自動で変更するか、またはオペレータに表示装置（図示しない）を通じてパターン変更の必要性を知らせる。本第２の実施形態は、例えば、成形対象を無筋コンクリートとして成形応答モデルを設定したが、成形作業が進むにつれ有筋の箇所が成形対象となった場合など、成形応答パターンの切り替わりや、成形応答パターンが未知な場合に用いられる。
本第２の実施形態に係る制御装置等によれば、被成形物体が均質な物質でない場合だけではなく、種類が未知の被成形物体であっても当該被成形対象を所望の形状に成形することができる。その理由は被成形対象が均質な物質でない場合に当該被成形対象を所望の形状に成形することができる図１のシステムに、成形応答パターンを自動または手動で変更する成形応答モデル判定部１５３が加わることで、未知の応答を持つ対象に対しても成形応答モデルを更新することが可能となるためである。
なお、本発明における予測モデル更新方法、成形操作決定方法、予測モデル判定方法は上記実施形態や実施例に限定されず、様々な機械学習手法や最適化手法を適用することが可能である。ここに記載したすべての例や条件は本発明の概念の理解を助けるものを目的としたものであって、発明の範囲を制限することを意図したものではない。
［その他の実施形態］
ロボットシステム（１００；１００Ａ；１００Ｂ）を構成する推定装置（１４０）および意思決定装置（１５０；１５０Ａ）のいずれか１つ又はそれらの組み合せを、ハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。また、ロボットシステム（１００；１００Ａ；１００Ｂ）を構成する推定装置（１４０）および意思決定装置（１５０；１５０Ａ）のいずれか１つ又はそれらの組み合せを、ハードウェアとソフトウェアの組み合わせによって実現してもよい。
図８は、ロボットシステム（１００；１００Ａ；１００Ｂ）を構成する推定装置（１４０）および意思決定装置（１５０；１５０Ａ）のいずれか１つ又はそれらの組み合せを構成する、情報処理装置（コンピュータ）の一例を示すブロック図である。
図８に示すように、情報処理装置４００は、制御部（ＣＰＵ：Central Processing Unit）４１０と、記憶部４２０と、ＲＯＭ（Read Only Memory）４３０と、ＲＡＭ（Random Access Memory）４４０と、通信インターフェース４５０と、ユーザインターフェース４６０とを備えている。
制御部（ＣＰＵ）４１０は、記憶部４２０またはＲＯＭ４３０に格納されたプログラムをＲＡＭ４４０に展開して実行することで、ロボットシステム（１００；１００Ａ；１００Ｂ）を構成する推定装置（１４０）および意思決定装置（１５０；１５０Ａ）の各々の各種の機能を実現することができる。また、制御部（ＣＰＵ）４１０は、データ等を一時的に格納できる内部バッファを備えていてもよい。
記憶部４２０は、各種のデータを保持できる大容量の記憶媒体であって、ＨＤＤ（Hard Disk Drive）、およびＳＳＤ（Solid State Drive）等の記憶媒体で実現することができる。また、記憶部４２０は、情報処理装置４００が通信インターフェース４５０を介して通信ネットワークと接続されている場合には、通信ネットワーク上に存在するクラウドストレージであってもよい。また、記憶部４２０は、制御部（ＣＰＵ）４１０が読み取り可能なプログラムを保持していてもよい。
ＲＯＭ４３０は、記憶部４２０と比べると小容量なフラッシュメモリ等で構成できる不揮発性の記憶装置である。また、ＲＯＭ４３０は、制御部（ＣＰＵ）４１０が読み取り可能なプログラムを保持していてもよい。なお、制御部（ＣＰＵ）４１０が読み取り可能なプログラムは、記憶部４２０およびＲＯＭ４３０の少なくとも一方が保持していればよい。
なお、制御部（ＣＰＵ）４１０が読み取り可能なプログラムは、コンピュータが読み取り可能な様々な記憶媒体に非一時的に格納した状態で、情報処理装置４００に供給してもよい。このような記憶媒体は、例えば、磁気テープ、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（compact disc read only memory）、ＣＤ－Ｒ（compact disc-recordable）、ＣＤ－Ｒ／Ｗ（compact disc-rewritable）、半導体メモリである。
ＲＡＭ４４０は、ＤＲＡＭ（Dynamic Random Access Memory）およびＳＲＡＭ（Static Random Access Memory）等の半導体メモリであり、データ等を一時的に格納する内部バッファとして用いることができる。
通信インターフェース４５０は、有線または無線を介して、情報処理装置４００と、通信ネットワークとを接続するインターフェースである。
ユーザインターフェース４６０は、例えば、ディスプレイ等の表示部、およびキーボード、マウス、タッチパネル等の入力部である。
以上、本発明の実施の形態および実施例について説明したが、本発明は、上記した実施の形態および実施例に限られない。本発明は、実施の形態の一部または全部を適宜組み合わせた形態、その形態に適宜変更を加えた形態をも含む。
上記の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
［付記１］
成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき前記成形対象に生じた形状変化を表す変化情報を作成する作成部と、
前記成形対象に対する各操作と、当該操作によって前記成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された前記変化情報とに基づき更新する更新部と、
更新された前記モデルに基づき、前記成形対象の所望形状と、前記操作後における前記実形状との間の差異が減少するように、次の操作を決定する決定部と、
を備える制御装置。
［付記２］
前記成形対象が、不均質な物質であることを特徴とする、付記１に記載の制御装置。
［付記３］
前記成形対象が、土砂、岩石、コンクリートのいずれか一つであることを特徴とする、付記１又は２に記載の制御装置。
［付記４］
前記モデルが、当該操作による前記成形対象の箇所ごとの形状変化の生じやすさの度合いを表すパラメータを含むことを特徴とする、付記１乃至３のいずれか１つに記載の制御装置。
［付記５］
前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータが選択されることを特徴とする、付記４に記載の制御装置。
［付記６］
前記更新部は、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の成形対象の実形状変化と、の間の差異が減少するように、前記パラメータを更新することを特徴とする、付記４又は５に記載の制御装置。
［付記７］
前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータを推定する推定装置を更に含むことを特徴とする、付記４乃至６のいずれか１つに記載の制御装置。
［付記８］
前記更新部は、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の前記成形対象の実形状変化と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを変更することを特徴とする、付記６に記載の制御装置。
［付記９］
前記更新部は、前記成形対象の所望形状と、前記操作後の前記成形対象の実形状と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを更新することを特徴とする、付記７に記載の制御装置。
［付記１０］
前記決定部は、あらかじめ定めた回数の一連の成形操作をする場合、前記所望形状と前記実形状との間の差異を減少させる前記次の操作として、前記あらかじめ定めた回数の一連の成形操作を算出することを特徴とする、付記１乃至９のいずれか１つに記載の制御装置。
［付記１１］
前記決定部は、１回の成形操作を実施したら前記一連の成形操作を算出しなおすことを特徴とする、付記１０に記載の制御装置。
［付記１２］
前記決定部は、前記所望形状と前記実形状との間の特徴空間上での二乗誤差を前記差異とすることを特徴とする、付記１乃至１１のいずれか１つに記載の制御装置。
［付記１３］
情報処理装置によって、成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき前記成形対象に生じた形状変化を表す変化情報を作成し、
前記成形対象に対する各操作と、当該操作によって前記成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された前記変化情報とに基づき更新し、
更新された前記モデルに基づき、前記成形対象の所望形状と、前記操作後における前記実形状との間の差異が減少するように、次の操作を決定する、
制御方法。
［付記１４］
前記成形対象が、不均質な物質であることを特徴とする、付記１３に記載の制御方法。
［付記１５］
前記成形対象が、土砂、岩石、コンクリートのいずれか一つであることを特徴とする、付記１３又は１４に記載の制御方法。
［付記１６］
前記モデルが、当該操作による前記成形対象の箇所ごとの形状変化の生じやすさの度合いを表すパラメータを含むことを特徴とする、付記１３乃至１５のいずれか１つに記載の制御方法。
［付記１７］
前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータを選択することを特徴とする、付記１６に記載の制御方法。
［付記１８］
前記更新することは、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の成形対象の実形状変化と、の間の差異が減少するように、前記パラメータを更新することである、付記１６又は１７に記載の制御方法。
［付記１９］
前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータを推定することを更に含む、付記１６乃至１８のいずれか１つに記載の制御方法。
［付記２０］
前記更新することは、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の前記成形対象の実形状変化と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを変更することである、付記１８に記載の制御方法。
［付記２１］
前記更新することは、前記成形対象の所望形状と、前記操作後の前記成形対象の実形状と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを更新することである、付記１９に記載の制御方法。
［付記２２］
前記決定することは、あらかじめ定めた回数の一連の成形操作をする場合、前記所望形状と前記実形状との間の差異を減少させる前記次の操作として、前記あらかじめ定めた回数の一連の成形操作を算出する、付記１３乃至２１のいずれか１つに記載の制御方法。
［付記２３］
前記決定することは、１回の成形操作を実施したら前記一連の成形操作を算出しなおす、付記２２に記載の制御方法。
［付記２４］
前記決定することは、前記所望形状と前記実形状との間の特徴空間上での二乗誤差を前記差異とする、付記１３乃至２３のいずれか１つに記載の制御方法。
［付記２５］
成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき前記成形対象に生じた形状変化を表す変化情報を作成する作成処理と、
前記成形対象に対する各操作と、当該操作によって前記成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された前記変化情報とに基づき更新する更新処理と、
更新された前記モデルに基づき、前記成形対象の所望形状と、前記操作後における前記実形状との間の差異が減少するように、次の操作を決定する決定処理と、
をコンピュータに実行させる制御プログラムが記録された記録媒体。
［付記２６］
前記成形対象が、不均質な物質であることを特徴とする、付記２５に記載の記録媒体。
［付記２７］
前記成形対象が、土砂、岩石、コンクリートのいずれか一つであることを特徴とする、付記２５又は２６に記載の記録媒体。
［付記２８］
前記モデルが、当該操作による前記成形対象の箇所ごとの形状変化の生じやすさの度合いを表すパラメータを含むことを特徴とする、付記２５乃至２７のいずれか１つに記載の記録媒体。
［付記２９］
前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータが選択されることを特徴とする、付記２８に記載の記録媒体。
［付記３０］
前記更新処理は、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の成形対象の実形状変化と、の間の差異が減少するように、前記パラメータを更新することを特徴とする、付記２８又は２９に記載の記録媒体。
［付記３１］
前記制御プログラムは、前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータを推定する推定処理を前記コンピュータに更に実行させる、付記２８乃至３０のいずれか１つに記載の記録媒体。
［付記３２］
前記更新処理は、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の前記成形対象の実形状変化と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを変更することを特徴とする、付記３０に記載の記録媒体。
［付記３３］
前記更新処理は、前記成形対象の所望形状と、前記操作後の前記成形対象の実形状と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを更新することを特徴とする、付記３１に記載の記録媒体。
［付記３４］
前記決定処理は、あらかじめ定めた回数の一連の成形操作をする場合、前記所望形状と前記実形状との間の差異を減少させる前記次の操作として、前記あらかじめ定めた回数の一連の成形操作を算出することを特徴とする、付記２５乃至３３のいずれか１つに記載の記録媒体。
［付記３５］
前記決定処理は、１回の成形操作を実施したら前記一連の成形操作を算出しなおすことを特徴とする、付記３４に記載の記録媒体。
［付記３６］
前記決定処理は、前記所望形状と前記実形状との間の特徴空間上での二乗誤差を前記差異とすることを特徴とする、付記２５乃至３５のいずれか１つに記載の記録媒体。
本発明は、対象を成形する装置を制御する制御装置等に関する用途に適用できる。
１００, １００Ａ, １００Ｂ 　ロボットシステム
１１０, １１０Ａ 　ロボット
１２０　成形対象物体
１１１, １１１Ａ 　エンドエフェクタ
１３０　計測装置
１３１　状態計測装置
１４０　推定装置
１４１　出力推定部
１４２　状態推定部
１５０, １５０Ａ　意思決定装置
１５１　更新部
１５２　決定部
１５３　成形応答モデル判定部
１５４　作成部
１６０, １６０Ａ 　制御入力決定装置

Claims (36)

  1. 成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき前記成形対象に生じた形状変化を表す変化情報を作成する作成部と、
    前記成形対象に対する各操作と、当該操作によって前記成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された前記変化情報とに基づき更新する更新部と、
    更新された前記モデルに基づき、前記成形対象の所望形状と、前記操作後における前記実形状との間の差異が減少するように、次の操作を決定する決定部と、
    を備える制御装置。
  2. 前記成形対象が、不均質な物質であることを特徴とする、請求項１に記載の制御装置。
  3. 前記成形対象が、土砂、岩石、コンクリートのいずれか一つであることを特徴とする、請求項１又は２に記載の制御装置。
  4. 前記モデルが、当該操作による前記成形対象の箇所ごとの形状変化の生じやすさの度合いを表すパラメータを含むことを特徴とする、請求項１乃至３のいずれか１つに記載の制御装置。
  5. 前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータが選択されることを特徴とする、請求項４に記載の制御装置。
  6. 前記更新部は、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の成形対象の実形状変化と、の間の差異が減少するように、前記パラメータを更新することを特徴とする、請求項４又は５に記載の制御装置。
  7. 前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータを推定する推定装置を更に含むことを特徴とする、請求項４乃至６のいずれか１つに記載の制御装置。
  8. 前記更新部は、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の前記成形対象の実形状変化と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを変更することを特徴とする、請求項６に記載の制御装置。
  9. 前記更新部は、前記成形対象の所望形状と、前記操作後の前記成形対象の実形状と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを更新することを特徴とする、請求項７に記載の制御装置。
  10. 前記決定部は、あらかじめ定めた回数の一連の成形操作をする場合、前記所望形状と前記実形状との間の差異を減少させる前記次の操作として、前記あらかじめ定めた回数の一連の成形操作を算出することを特徴とする、請求項１乃至９のいずれか１つに記載の制御装置。
  11. 前記決定部は、１回の成形操作を実施したら前記一連の成形操作を算出しなおすことを特徴とする、請求項１０に記載の制御装置。
  12. 前記決定部は、前記所望形状と前記実形状との間の特徴空間上での二乗誤差を前記差異とすることを特徴とする、請求項１乃至１１のいずれか１つに記載の制御装置。
  13. 情報処理装置によって、成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき前記成形対象に生じた形状変化を表す変化情報を作成し、
    前記成形対象に対する各操作と、当該操作によって前記成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された前記変化情報とに基づき更新し、
    更新された前記モデルに基づき、前記成形対象の所望形状と、前記操作後における前記実形状との間の差異が減少するように、次の操作を決定する、
    制御方法。
  14. 前記成形対象が、不均質な物質であることを特徴とする、請求項１３に記載の制御方法。
  15. 前記成形対象が、土砂、岩石、コンクリートのいずれか一つであることを特徴とする、請求項１３又は１４に記載の制御方法。
  16. 前記モデルが、当該操作による前記成形対象の箇所ごとの形状変化の生じやすさの度合いを表すパラメータを含むことを特徴とする、請求項１３乃至１５のいずれか１つに記載の制御方法。
  17. 前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータを選択することを特徴とする、請求項１６に記載の制御方法。
  18. 前記更新することは、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の成形対象の実形状変化と、の間の差異が減少するように、前記パラメータを更新することである、請求項１６又は１７に記載の制御方法。
  19. 前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータを推定することを更に含む、請求項１６乃至１８のいずれか１つに記載の制御方法。
  20. 前記更新することは、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の前記成形対象の実形状変化と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを変更することである、請求項１８に記載の制御方法。
  21. 前記更新することは、前記成形対象の所望形状と、前記操作後の前記成形対象の実形状と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを更新することである、請求項１９に記載の制御方法。
  22. 前記決定することは、あらかじめ定めた回数の一連の成形操作をする場合、前記所望形状と前記実形状との間の差異を減少させる前記次の操作として、前記あらかじめ定めた回数の一連の成形操作を算出する、請求項１３乃至２１のいずれか１つに記載の制御方法。
  23. 前記決定することは、１回の成形操作を実施したら前記一連の成形操作を算出しなおす、請求項２２に記載の制御方法。
  24. 前記決定することは、前記所望形状と前記実形状との間の特徴空間上での二乗誤差を前記差異とする、請求項１３乃至２３のいずれか１つに記載の制御方法。
  25. 成形対象に対して施された各操作前後の当該成形対象の実形状を表す形状情報に基づき前記成形対象に生じた形状変化を表す変化情報を作成する作成処理と、
    前記成形対象に対する各操作と、当該操作によって前記成形対象に生じた形状変化との関連性を表すモデルを、過去の操作と作成された前記変化情報とに基づき更新する更新処理と、
    更新された前記モデルに基づき、前記成形対象の所望形状と、前記操作後における前記実形状との間の差異が減少するように、次の操作を決定する決定処理と、
    をコンピュータに実行させる制御プログラムが記録された記録媒体。
  26. 前記成形対象が、不均質な物質であることを特徴とする、請求項２５に記載の記録媒体。
  27. 前記成形対象が、土砂、岩石、コンクリートのいずれか一つであることを特徴とする、請求項２５又は２６に記載の記録媒体。
  28. 前記モデルが、当該操作による前記成形対象の箇所ごとの形状変化の生じやすさの度合いを表すパラメータを含むことを特徴とする、請求項２５乃至２７のいずれか１つに記載の記録媒体。
  29. 前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータが選択されることを特徴とする、請求項２８に記載の記録媒体。
  30. 前記更新処理は、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の成形対象の実形状変化と、の間の差異が減少するように、前記パラメータを更新することを特徴とする、請求項２８又は２９に記載の記録媒体。
  31. 前記制御プログラムは、前記所望形状と前記実形状との間の差異を減少させる次の操作を始める前に、前記パラメータを推定する推定処理を前記コンピュータに更に実行させる、請求項２８乃至３０のいずれか１つに記載の記録媒体。
  32. 前記更新処理は、当該操作を施すたびに前記モデルが出力する当該操作によって前記成形対象に生じる模擬形状変化と、前記操作後の前記成形対象の実形状変化と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを変更することを特徴とする、請求項３０に記載の記録媒体。
  33. 前記更新処理は、前記成形対象の所望形状と、前記操作後の前記成形対象の実形状と、の間の差異が大きければ、前記所望形状と前記実形状との間の差異を減少させる次の操作を中断し、前記パラメータを更新することを特徴とする、請求項３１に記載の記録媒体。
  34. 前記決定処理は、あらかじめ定めた回数の一連の成形操作をする場合、前記所望形状と前記実形状との間の差異を減少させる前記次の操作として、前記あらかじめ定めた回数の一連の成形操作を算出することを特徴とする、請求項２５乃至３３のいずれか１つに記載の記録媒体。
  35. 前記決定処理は、１回の成形操作を実施したら前記一連の成形操作を算出しなおすことを特徴とする、請求項３４に記載の記録媒体。
  36. 前記決定処理は、前記所望形状と前記実形状との間の特徴空間上での二乗誤差を前記差異とすることを特徴とする、請求項２５乃至３５のいずれか１つに記載の記録媒体。
PCT/JP2018/022004 2018-06-08 2018-06-08 制御装置、制御方法、及び、制御プログラムが記録された記録媒体 WO2019234907A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020523951A JP7078912B2 (ja) 2018-06-08 2018-06-08 制御装置、制御方法、及び、制御プログラム
PCT/JP2018/022004 WO2019234907A1 (ja) 2018-06-08 2018-06-08 制御装置、制御方法、及び、制御プログラムが記録された記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/022004 WO2019234907A1 (ja) 2018-06-08 2018-06-08 制御装置、制御方法、及び、制御プログラムが記録された記録媒体

Publications (1)

Publication Number Publication Date
WO2019234907A1 true WO2019234907A1 (ja) 2019-12-12

Family

ID=68769820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/022004 WO2019234907A1 (ja) 2018-06-08 2018-06-08 制御装置、制御方法、及び、制御プログラムが記録された記録媒体

Country Status (2)

Country Link
JP (1) JP7078912B2 (ja)
WO (1) WO2019234907A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021065779A1 (ja) * 2019-10-04 2021-04-08 株式会社日本製鋼所 操作量決定装置、成形装置システム、成形機、コンピュータプログラム、操作量決定方法及び状態表示装置
KR102493018B1 (ko) * 2021-08-20 2023-01-31 하이시스 주식회사 인공석의 표면을 절삭 가공하기 위한 절삭부가 구비된 로봇 암을 제어하여, 상기 인공석의 표면에 대한 절삭 가공을 가능하게 하는 제어 장치

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721151A (ja) * 1993-07-01 1995-01-24 Toshiba Corp 売上高予測装置
JPH0849265A (ja) * 1994-06-15 1996-02-20 Caterpillar Inc 自動掘削制御装置および方法
JP2000345793A (ja) * 1999-06-07 2000-12-12 Okumura Corp 岩盤判定システム
JP2002004772A (ja) * 2000-06-16 2002-01-09 Ishikawajima Harima Heavy Ind Co Ltd 駆動軸のスラスト荷重検出方法と検出装置
JP2016090346A (ja) * 2014-10-31 2016-05-23 エンネット株式会社 電池診断装置および電池診断方法
JP2016130409A (ja) * 2015-01-13 2016-07-21 株式会社小松製作所 掘削機械、掘削機械の制御方法及び掘削システム
JP2017162074A (ja) * 2016-03-08 2017-09-14 株式会社東芝 サーバ、システム及び探索方法
JP2017220001A (ja) * 2016-06-07 2017-12-14 日本電信電話株式会社 予測装置、予測方法及びプログラム
JP2017228068A (ja) * 2016-06-22 2017-12-28 富士通株式会社 機械学習管理プログラム、機械学習管理方法および機械学習管理装置
JP2018021402A (ja) * 2016-08-05 2018-02-08 清水建設株式会社 シールド掘削機操作分析システム、シールド掘削機操作分析方法およびプログラム
JP2018071256A (ja) * 2016-11-01 2018-05-10 株式会社小松製作所 作業車両の制御システム、制御方法、及び作業車両

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000345763A (ja) * 1999-06-03 2000-12-12 Asmo Co Ltd ウインドレギュレータ

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721151A (ja) * 1993-07-01 1995-01-24 Toshiba Corp 売上高予測装置
JPH0849265A (ja) * 1994-06-15 1996-02-20 Caterpillar Inc 自動掘削制御装置および方法
JP2000345793A (ja) * 1999-06-07 2000-12-12 Okumura Corp 岩盤判定システム
JP2002004772A (ja) * 2000-06-16 2002-01-09 Ishikawajima Harima Heavy Ind Co Ltd 駆動軸のスラスト荷重検出方法と検出装置
JP2016090346A (ja) * 2014-10-31 2016-05-23 エンネット株式会社 電池診断装置および電池診断方法
JP2016130409A (ja) * 2015-01-13 2016-07-21 株式会社小松製作所 掘削機械、掘削機械の制御方法及び掘削システム
JP2017162074A (ja) * 2016-03-08 2017-09-14 株式会社東芝 サーバ、システム及び探索方法
JP2017220001A (ja) * 2016-06-07 2017-12-14 日本電信電話株式会社 予測装置、予測方法及びプログラム
JP2017228068A (ja) * 2016-06-22 2017-12-28 富士通株式会社 機械学習管理プログラム、機械学習管理方法および機械学習管理装置
JP2018021402A (ja) * 2016-08-05 2018-02-08 清水建設株式会社 シールド掘削機操作分析システム、シールド掘削機操作分析方法およびプログラム
JP2018071256A (ja) * 2016-11-01 2018-05-10 株式会社小松製作所 作業車両の制御システム、制御方法、及び作業車両

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021065779A1 (ja) * 2019-10-04 2021-04-08 株式会社日本製鋼所 操作量決定装置、成形装置システム、成形機、コンピュータプログラム、操作量決定方法及び状態表示装置
US12109748B2 (en) 2019-10-04 2024-10-08 The Japan Steel Works, Ltd. Operation quantity determination device, molding apparatus system, molding machine, non-transitory computer readable recording medium, operation quantity determination method, and state display device
KR102493018B1 (ko) * 2021-08-20 2023-01-31 하이시스 주식회사 인공석의 표면을 절삭 가공하기 위한 절삭부가 구비된 로봇 암을 제어하여, 상기 인공석의 표면에 대한 절삭 가공을 가능하게 하는 제어 장치

Also Published As

Publication number Publication date
JPWO2019234907A1 (ja) 2021-06-03
JP7078912B2 (ja) 2022-06-01

Similar Documents

Publication Publication Date Title
AU2016288150B2 (en) Work assist system for work machines
CN113605483B (zh) 一种挖掘机自动作业控制方法和装置
US9133600B2 (en) Method for selecting an attack pose for a working machine having a bucket
CN109972688B (zh) 挖掘控制方法、装置及挖掘机控制器
JP6401296B2 (ja) ショベル及びショベルの制御方法
US11162241B2 (en) Controlling mobile machines with a robotic attachment
US20120165962A1 (en) Systems and methods for remapping of machine implement controls
JP2011514455A (ja) 地形マップ更新システム
JP6974217B2 (ja) 施工管理装置
WO2019234907A1 (ja) 制御装置、制御方法、及び、制御プログラムが記録された記録媒体
CN110426036B (zh) 操作包括工具的机器的方法
CN108507579B (zh) 一种基于局部粒子滤波的重定位方法
JP2019503443A (ja) 掘削具先頭方向の制御
US9483863B2 (en) Terrain mapping system using moved material estimation
WO2018101319A1 (ja) 作業機制御装置および作業機械
AU2012209016B2 (en) Inclination detection systems and methods
KR102637524B1 (ko) 작업 기계
WO2019234908A1 (ja) 成形装置、制御方法、及び、制御プログラムが記録された記録媒体
CN110394778B (zh) 用机器人式附接件控制移动式机械
EP3757299A1 (en) Apparatus for generating environment data around construction equipment and construction equipment including the same
US20210096252A1 (en) Civil engineering work data processing device, civil engineering work data processing method, and civil engineering work data processing program
CN113818506A (zh) 具有改进的移动感测的挖掘机
JP7317926B2 (ja) 施工管理装置、表示装置および施工管理方法
JP7544633B2 (ja) シールド掘進機の施工管理方法
WO2022180843A1 (ja) 制御装置、制御方法及び制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18921506

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020523951

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18921506

Country of ref document: EP

Kind code of ref document: A1