JP7125745B2 - ENVIRONMENTAL ADAPTABILITY REINFORCEMENT SYSTEM OF AUTONOMOUS WORK SUPPORT ROBOT, OPERATION SIMULATION DEVICE, AND THEREOF PROGRAM - Google Patents

ENVIRONMENTAL ADAPTABILITY REINFORCEMENT SYSTEM OF AUTONOMOUS WORK SUPPORT ROBOT, OPERATION SIMULATION DEVICE, AND THEREOF PROGRAM Download PDF

Info

Publication number
JP7125745B2
JP7125745B2 JP2018173076A JP2018173076A JP7125745B2 JP 7125745 B2 JP7125745 B2 JP 7125745B2 JP 2018173076 A JP2018173076 A JP 2018173076A JP 2018173076 A JP2018173076 A JP 2018173076A JP 7125745 B2 JP7125745 B2 JP 7125745B2
Authority
JP
Japan
Prior art keywords
motion
robot
task
virtual
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018173076A
Other languages
Japanese (ja)
Other versions
JP2020044591A (en
Inventor
允啓 亀▲崎▼
貴裕 片野
重樹 菅野
健蔵 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Original Assignee
Waseda University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University filed Critical Waseda University
Priority to JP2018173076A priority Critical patent/JP7125745B2/en
Publication of JP2020044591A publication Critical patent/JP2020044591A/en
Application granted granted Critical
Publication of JP7125745B2 publication Critical patent/JP7125745B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、自律動作可能なロボットを使って災害対応等を行う際に、実環境に合せた仮想空間にてロボットの動作確認を事前に行うことにより、現場でのロボットによる各種のタスクをより迅速且つ確実に遂行可能にする自律型作業支援ロボットの環境適応性強化システム、動作シミュレーション装置及びそのプログラムに関する。 In the present invention, when a robot capable of autonomous operation is used to respond to a disaster, etc., various tasks performed by the robot in the field can be improved by confirming the operation of the robot in advance in a virtual space that matches the actual environment. The present invention relates to an environment adaptability enhancement system for an autonomous work support robot, a motion simulation device, and a program therefor, which enable the robot to perform work quickly and reliably.

災害発生後の復旧作業にロボットの導入が進められており、このような災害対応ロボットとしては、現場の状況調査や緊急性のある復旧作業を実行することが求められる。ここで、2次災害が起こる可能性のある作業環境や、放射線、火災、有毒ガス等の人間が入れないような過酷環境下において災害対応作業を行う際には、安全な遠隔地から遠隔操作を行う自律型のロボットが導入される。 Introduction of robots for recovery work after a disaster is in progress, and such disaster response robots are required to investigate on-site conditions and carry out urgent recovery work. Here, when performing disaster response work in a work environment where secondary disasters may occur, or in a harsh environment where humans cannot enter, such as radiation, fire, and toxic gas, remote control from a safe remote location is required. autonomous robots will be introduced.

近時において、より難易度の高い災害への対応を目的とした次世代災害対応ロボットが研究されており、この次世代災害対応ロボットには、不安定な形状の狭隘空間に素早く侵入でき、複雑な瓦礫撤去作業等を行う高い作業遂行能力が要求される。このような要求を実現するためには、環境適用性のみならず、踏破性及び作業性を災害対応ロボットに兼ね備える必要がある。ここで、踏破性は、段差や傾斜等のある不整地を安全且つ効率良く移動できる能力であり、作業性は、複雑な対象物であっても扱うことができ、更に、当該対象物に切断や引き剥がしなどの様々な動作を行える能力である。 In recent years, next-generation disaster response robots have been researched for the purpose of responding to disasters with a higher degree of difficulty. A high level of work performance is required to remove debris, etc. In order to meet these demands, disaster response robots must have not only environmental applicability but also traversability and workability. Here, treadability is the ability to move safely and efficiently over uneven terrain with steps and slopes, and workability is the ability to handle even complex objects, and furthermore, the ability to cut into the object. It is the ability to perform various actions such as tearing and peeling.

そこで、前述の次世代災害対応用のロボットとして、作業用アームを複数備えた複腕移動ロボットが本発明者らにより既に提案されている(特許文献1参照)。この複腕移動ロボットは、所定範囲内で動作可能な4つの腕部を含むアームユニットと、当該アームユニットが取り付けられた車体を移動させるように地面に接触しながら動作する2つのメインクローラ及び4つのフリッパからなるクローラユニットと、操作者の操作に応じて各アームユニット及びクローラユニットの動作を制御する制御装置とを備えている。この複腕移動ロボットでは、操作者の遠隔操作によってアームユニット及びクローラユニットを全て手動で動作させるマニュアル操作機能と、アームユニット及びクローラユニットを全て自動で動作させる自動化機能の2種類を選択できるようになっている。当該自動化機能は、現場から離れた操作者からのタスク指令により、当該タスクをロボットが自動的に実行することを意図して設けられている。 Therefore, the inventors of the present invention have already proposed a multi-arm mobile robot having a plurality of working arms as a next-generation disaster response robot (see Patent Document 1). This multi-arm mobile robot has an arm unit including four arms that can move within a predetermined range, two main crawlers that operate while contacting the ground so as to move a vehicle body to which the arm unit is attached, and four main crawlers. It has a crawler unit consisting of two flippers, and a control device for controlling the operation of each arm unit and the crawler unit according to the operation of the operator. In this multi-arm mobile robot, the operator can select two types of functions: a manual operation function in which the arm unit and crawler unit are all manually operated by remote control, and an automation function in which the arm unit and crawler unit are all automatically operated. It's becoming The automation function is provided with the intention that the robot automatically executes the task in response to a task command from an operator who is away from the site.

特開2017-52013号公報JP 2017-52013 A

しかしながら、ロボットの動作を自動的に行う場合、実際のロボット周囲の環境状況が、予め想定された環境状況と異なるときに所望とするタスクを行えない場合がある。つまり、前記自動化機能では、ロボットが、いかなる状況でも操作者により指令されたタスクを実行しようと動作し、タスクの失敗やロボットが移動不能に陥る等の問題が発生する。換言すると、現場の実際の状況から、予め想定されていないロボットの制御条件が必要になる場合や、ロボットの動作に悪影響を与える地面や障害物の摩擦や安定性等、現場で実際に接触しないと判らないような実環境上の阻害要因がある場合に、前記問題が発生する。例えば、2段になっている段差で段差昇りを行う場合、1段の段差昇り用の動作制御しか用意されていなければ、実際の段差を昇ることができない。また、ロボットが走行する地面に凹凸があることで、その左右のバランスが崩れることが予想されるが、当該凹凸を考慮した動作を行っていなければロボットの転倒の虞がある。更に、地面が滑りやすい段差の場合、通常の段差と同様に動作すると、滑りによりタスク遂行上の影響が生じ得る。また、実際の段差がロボットの動作性能を超える高さのときに、遠隔地から操作者がカメラ等でモニタリングしていても、操作者がロボットの動作性能を判断することは難しい場合が多く、当該動作性能を超えてロボットが段差を無理に登ろうとすると転倒等が生じてしまう虞がある。 However, when the robot moves automatically, it may not be possible to perform a desired task when the actual environmental conditions around the robot differ from those assumed in advance. In other words, in the automation function, the robot operates to execute the task instructed by the operator under any circumstances, and problems such as failure of the task and the robot becoming immobile occur. In other words, there are cases where unpredicted robot control conditions are required due to the actual situation at the site, and there are situations where the robot does not actually come into contact with the site, such as the friction and stability of the ground or obstacles that adversely affect the robot's operation. The above problem occurs when there is a hindrance factor in the actual environment that is unknown. For example, when climbing a step with two steps, if only one-step step-climbing operation control is prepared, the actual step cannot be climbed. In addition, if the ground on which the robot runs has unevenness, it is expected that the left-right balance will be lost. Furthermore, if the ground is a slippery step, the slippage can affect task performance when acting like a normal step. In addition, when the actual step height exceeds the robot's performance, it is often difficult for the operator to judge the robot's motion performance even if the operator monitors the robot from a remote location with a camera or the like. If the robot tries to forcefully climb a step beyond the operating performance, there is a risk that it will fall over.

実際の現場で自律型のロボットを使って災害対応作業を行う場合には、当該作業を失敗しないこと、ロボットが脱出不能に陥らないことが求められる。ところが、従来の自動化機能では、災害現場の特質により、実空間で実際にロボットを使って試行錯誤することが難しいばかりか、現場での作業対象物の多くの物性が未知の状態での作業が強いられる。このことから、災害現場において、所望のタスク動作をロボットにより適切に行うには限界があり、災害対応作業の自動化促進を阻害する要因となっている。 When performing disaster response work using an autonomous robot at an actual site, it is required that the work should not fail and the robot should not be unable to escape. However, with conventional automation functions, due to the nature of disaster sites, it is not only difficult to actually use robots in a real space for trial and error, but also work in conditions where many of the physical properties of the work target at the site are unknown. Be strong. For this reason, there is a limit to how well a robot can perform a desired task operation at a disaster site, and this is a factor that hinders the promotion of automation of disaster response work.

本発明は、このような課題を解決するために案出されたものであり、その目的は、所定のタスク指令に対応したタスク動作をロボットに自動的に実行させる際に、実際の環境に応じた適切なタスク動作にて、より確実にタスクを遂行可能にする自律型作業支援ロボットの環境適応性強化システム、動作シミュレーション装置及びそのプログラムを提供することにある。 SUMMARY OF THE INVENTION The present invention has been devised to solve such problems. An object of the present invention is to provide an environment adaptability enhancement system for an autonomous work support robot, a motion simulation device, and a program therefor, which enable tasks to be performed more reliably with appropriate task motions.

前記目的を達成するため、本発明は、主として、操作者からのタスク指令に対応したタスク動作を実空間で自動的に行う機能を有するロボットに対して、実空間の環境に応じた適切な前記タスク動作を実行させるための環境適応性強化システムであって、前記タスク動作を仮想空間でシミュレーションすることにより、前記ロボットの動作確認を事前に行う動作確認手段と、当該動作確認手段での動作確認結果に応じた処理を経て前記タスク動作を前記ロボットに指令する動作指令手段とを備え、前記動作確認手段は、前記ロボットの周囲の地形情報に基づき、前記実空間の環境を前記仮想空間内に再現する実環境再現部と、前記仮想空間内で、前記タスク指令に対応した前記ロボットの仮想動作を生成する仮想動作生成部とを備え、前記動作指令手段は、前記仮想動作の動作データに基づいて、指令されたタスクの実空間での成否判断の指標となる信頼度を求める信頼度算出部と、前記信頼度に基づき、前記ロボットによる実空間での前記タスクの実行若しくは不実行を含めた前記ロボットの対応を決定する対応決定部とを備える、という構成を採っている。 In order to achieve the above object, the present invention mainly provides a robot having a function of automatically performing a task action corresponding to a task command from an operator in a real space, and an appropriate robot according to the environment of the real space. An environmental adaptability enhancement system for executing a task motion, comprising motion confirmation means for performing a motion check of the robot in advance by simulating the task motion in a virtual space, and motion confirmation by the motion confirmation means. a motion command means for commanding the task motion to the robot through processing according to the result, wherein the motion confirmation means transforms the environment of the real space into the virtual space based on topographical information around the robot; and a virtual motion generator for generating a virtual motion of the robot corresponding to the task command in the virtual space, wherein the motion command means is based on motion data of the virtual motion. a reliability calculation unit that calculates a reliability that serves as an index for judging the success or failure of the commanded task in the real space; and a correspondence determination unit that determines the correspondence of the robot.

本発明によれば、所定のタスク指令に対応したタスク動作を実空間でロボットに実行させる前に、当該タスク動作が仮想空間でシミュレーションされ、ロボットによるタスクの成否を事前に推定することができる。また、タスクが失敗する可能性が高いと判断される場合には、ロボットの制御条件等を変えた仮想空間でのシミュレーション上で、事前にロボットの動作調整を行うことができる。更に、シミュレーションにより、どうしてもタスクの遂行が不能であると判断される場合には、実空間でのロボットによるタスク動作を不実行にすることで、実空間でのタスクの失敗やロボットの移動不能を回避することができる。このように、本発明では、タスク指令に対応したタスク動作をロボットに自動的に実行させる際に、実際の環境に応じた適切なタスク動作にて、より確実にタスクを遂行することができる。 According to the present invention, before a robot executes a task action corresponding to a predetermined task command in a real space, the task action is simulated in a virtual space, and the success or failure of the task by the robot can be estimated in advance. Further, when it is determined that the task is highly likely to fail, it is possible to adjust the motion of the robot in advance in a virtual space simulation in which the robot's control conditions and the like are changed. Furthermore, if it is determined by the simulation that the task cannot be performed, the robot will not be able to perform the task in the real space. can be avoided. As described above, according to the present invention, when the robot is caused to automatically perform a task operation corresponding to a task command, the task can be performed more reliably with an appropriate task operation according to the actual environment.

また、ロボットが実空間でタスク動作を実行する前に、ロボットにより実空間における地面や障害物等の対象物に直接接触する探索動作が行われ、当該対象物の物性や安定性等の性状情報を能動的に取得することもできる。これにより、仮想空間でのシミュレーションに前記性状情報を含めることで、実空間でのロボットによるタスク動作の確実性をより向上させることができる。 In addition, before the robot executes a task operation in real space, the robot performs a search operation in which it directly contacts an object such as the ground or an obstacle in real space, and obtains property information such as the physical properties and stability of the object. can be actively obtained. Accordingly, by including the property information in the simulation in the virtual space, it is possible to further improve the certainty of the task motion by the robot in the real space.

本実施形態に係る環境適応性強化システムの構成を表したブロック図である。1 is a block diagram showing the configuration of an environment adaptability enhancement system according to an embodiment; FIG. 前記環境適応性強化システムに適用される自律型作業支援ロボットの概略斜視図を主体的に表した図である。FIG. 2 is a diagram mainly showing a schematic perspective view of an autonomous work support robot applied to the environmental adaptability enhancement system; (A)~(C)は、ロボットが段差を昇って移動する際の動作を例示的に説明するための概念図である。(A) to (C) are conceptual diagrams for exemplifying an operation when the robot moves up a step. 動作シミュレーション装置によるロボットへのタスクの実行指令の手順について説明するためのフローチャートである。4 is a flow chart for explaining a procedure for issuing a task execution command to a robot by a motion simulation device;

以下、本発明の実施形態について図面を参照しながら説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1には、本実施形態に係る環境適応性強化システムの構成を表したブロック図が示されている。この図において、本実施形態に係る環境適応性強化システム10は、図示しない操作者からのタスク指令に対応したタスク動作を実空間で自動的に行う機能を有する自律型作業支援ロボット(以下、単に「ロボット」と称する)11に適用され、当該ロボット11が存在する実空間の環境に応じた適切なタスク動作をロボット11に実行させるためのシステムである。 FIG. 1 shows a block diagram showing the configuration of an environment adaptability enhancement system according to this embodiment. In this figure, an environment adaptability enhancement system 10 according to the present embodiment is an autonomous work support robot (hereinafter simply referred to as This system is applied to a robot 11 (referred to as a “robot”) and causes the robot 11 to perform an appropriate task operation according to the environment of the real space in which the robot 11 exists.

この環境適応性強化システム10は、ロボット11と一体的に設けられて実空間の環境情報に関する各種データを取得する環境情報取得装置13と、実空間でのロボット11のタスク動作の前に、実空間の環境を再現した仮想空間でロボット11の動作確認を行い、実空間でのロボット11の対応を決定する動作シミュレーション装置14とにより構成される。 This environmental adaptability enhancement system 10 includes an environment information acquisition device 13 that is provided integrally with the robot 11 and acquires various data related to environment information in the real space, and A motion simulation device 14 confirms the motion of the robot 11 in a virtual space that reproduces the space environment, and determines the response of the robot 11 in the real space.

ところで、本発明の適用に際して特に限定されるものではないが、本実施形態における前記ロボット11は、図2に示されるように、災害対応に従事するための機能を備えた複腕移動ロボットであり、ロボット11から離れた場所にいる操作者のタスク指令に対応したタスク動作を自動的に行えるようになっている。ここで、操作者に指令されるタスクとしては、目的地への移動のためのロコモーションタスクと、物体を把持しながら所望の作業を行うマニピュレーションタスクとに大別される。前記ロコモーションタスクとしては、例えば、災害現場での移動を想定し、平地走行の他に、不整地走行、地面の障害物跨ぎ、段差の昇降等の動作が挙げられる。前記マニピュレーションタスクとしては、例えば、現場の瓦礫や障害物等の物体の除去や回収等の作業、当該物体の切断作業、現場に存在するバルブやドア等の操作作業等が挙げられる。 By the way, the application of the present invention is not particularly limited, but the robot 11 in this embodiment is, as shown in FIG. , the robot 11 can automatically perform a task operation corresponding to a task command from an operator who is away from the robot 11 . Here, the tasks instructed by the operator are roughly classified into a locomotion task for moving to a destination and a manipulation task for performing a desired operation while grasping an object. As the locomotion task, for example, assuming movement at a disaster site, in addition to running on flat ground, there are motions such as running on uneven ground, stepping over obstacles on the ground, and going up and down steps. Examples of the manipulation task include work such as removal and collection of objects such as rubble and obstacles at the site, cutting work of the object, and operation of valves, doors, etc. existing at the site.

操作者は、ロボット11に搭載されたカメラ16で取得した画像等が表示される表示装置17を見ながら、公知のインターフェースからなる入力装置18を使って所望とするタスク指令を行う。すると、有線通信若しくは無線通信により、入力装置18から動作シミュレーション装置14にタスク指令に対応した電気信号が伝送され、動作シミュレーション装置14での処理を経て、ロボット11によりタスク動作が自動的に実行されるようになっている。 An operator uses an input device 18 consisting of a known interface to issue a desired task command while viewing a display device 17 on which images obtained by a camera 16 mounted on the robot 11 are displayed. Then, an electric signal corresponding to the task command is transmitted from the input device 18 to the motion simulation device 14 via wired communication or wireless communication, and after being processed by the motion simulation device 14, the task motion is automatically executed by the robot 11. It has become so.

このロボット11は、モータ等の駆動装置(図示省略)を動力源として所定の動作を可能にする可動部20と、動作シミュレーション装置14からの実行指令に基づいて、可動部20の動作制御を行う動作制御部21とを備えている。 The robot 11 has a movable part 20 which is powered by a driving device (not shown) such as a motor and which can perform a predetermined movement. and an operation control unit 21 .

前記可動部20は、所定範囲内で動作可能な複数のアーム23を含む機体24と、当該機体24を移動させるように地面に接触しながら動作する走行体25と備えている。この可動部20は、例えば、図3に示されるように、アーム23による地面への接触及び走行体25の駆動を利用することで段差を含む不整地の移動を可能にする他、アーム23による瓦礫等の物体を把持して撤去等をする動作を可能にする等、災害対応作業のための各種動作を可能にする構造となっている。なお、当該可動部20の詳細構造については、本発明の本質部分でないため、説明を省略する。 The movable section 20 includes a body 24 including a plurality of arms 23 operable within a predetermined range, and a traveling body 25 that operates while contacting the ground so as to move the body 24 . For example, as shown in FIG. It has a structure that enables various actions for disaster response work, such as enabling actions to grasp and remove objects such as rubble. In addition, since the detailed structure of the movable portion 20 is not an essential part of the present invention, the description thereof is omitted.

前記環境情報取得装置13は、ロボット11に一体的に取り付けられており、図1に示されるように、実空間におけるロボット11の周囲に存在する地面や物体等の対象物の位置及び形状を特定するためのデータを検出する形状検出用センサ27と、対象物に対する摩擦力、反力、重量等の物性データを検出するための物性検出用センサ28とにより構成される。 The environment information acquisition device 13 is integrally attached to the robot 11, and as shown in FIG. It comprises a shape detection sensor 27 for detecting data for detecting physical properties, and a physical property detection sensor 28 for detecting physical property data such as frictional force, reaction force, and weight of an object.

前記形状検出用センサ27は、対象物の位置及び形状を特定するためのデータを計測可能な限り、種々のセンサを用いることができる。本実施形態では、形状検出用センサ27として、対象物の表面形状に沿う各点の位置データからなる点群データを取得する測域センサや深度センサが用いられる。 Various sensors can be used as the shape detection sensor 27 as long as they can measure data for specifying the position and shape of the object. In this embodiment, as the shape detection sensor 27, a range sensor or a depth sensor that acquires point cloud data consisting of position data of each point along the surface shape of the object is used.

前記物性検出用センサ28は、対象物の表面におけるロボット11に対する摩擦力や反力を計測するための力センサにより構成される。 The physical property detection sensor 28 is composed of a force sensor for measuring the friction force and reaction force on the surface of the object with respect to the robot 11 .

なお、以上の各センサ27,28は、公知の構造のものが適用され、本発明の本質部分ではないため、構成等の詳細な説明を省略する。また、これら各センサ27,28は、ロボット11の周囲の環境情報を取得できる限りにおいて、ロボット11に対し別体配置してもよい。 Note that the sensors 27 and 28 described above have known structures and are not essential parts of the present invention, so detailed description of the configuration and the like will be omitted. Further, these sensors 27 and 28 may be arranged separately from the robot 11 as long as the environmental information around the robot 11 can be obtained.

前記環境情報取得装置13での検出結果は、無線通信等を利用して所定のタイミングで動作シミュレーション装置14に送信される。 The detection result of the environment information acquisition device 13 is transmitted to the motion simulation device 14 at a predetermined timing using wireless communication or the like.

前記動作シミュレーション装置14は、CPU等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。 The operation simulation device 14 is composed of a computer including an arithmetic processing unit such as a CPU and a storage device such as a memory and a hard disk, and programs are installed to make the computer function as the following means.

本実施形態における動作シミュレーション装置14は、ロボット11とは別の場所に配置されるサーバとして機能するが、ロボット11に一体的に配置することも可能である。 The motion simulation device 14 in this embodiment functions as a server that is arranged at a location separate from the robot 11 , but it can also be arranged integrally with the robot 11 .

この動作シミュレーション装置14は、図1に示されるように、操作者からのタスク指令に対応したロボット11のタスク動作を仮想空間でシミュレーションすることにより、ロボット11の動作確認を事前に行う動作確認手段30と、動作確認手段30での動作確認結果に応じた処理を経て動作制御部21に動作指令する動作指令手段31とを備えている。 As shown in FIG. 1, the motion simulation device 14 is motion confirmation means for performing motion confirmation of the robot 11 in advance by simulating task motions of the robot 11 corresponding to task commands from the operator in a virtual space. 30, and an operation command means 31 for issuing an operation command to the operation control section 21 through processing according to the result of the operation confirmation by the operation confirmation means 30. FIG.

前記動作確認手段30は、形状検出用センサ27での検出結果により、実空間におけるロボット周囲の環境(以下、「実環境」と称する)を仮想空間内に再現する実環境再現部33と、仮想空間内で、操作者からのタスク指令に対応するロボット11の仮想動作を生成する仮想動作生成部34と、仮想空間内でシミュレーションされたロボット11の仮想動作の結果を動作指令手段31に出力する出力部35とを備えている。 The operation confirmation means 30 includes a real environment reproduction section 33 that reproduces the environment around the robot in the real space (hereinafter referred to as "real environment") in the virtual space based on the detection result of the shape detection sensor 27, and a virtual A virtual motion generator 34 generates a virtual motion of the robot 11 corresponding to the task command from the operator in the space, and outputs the result of the virtual motion of the robot 11 simulated in the virtual space to the motion command means 31. and an output unit 35 .

前記実環境再現部33は、ロボット用の動力学シミュレーション機能を有する公知のソフトウェアからなる物理シミュレータが用いられる。また、ここでは、形状検出用センサ27で取得した実空間の対象物の点群データから、当該実空間内での対象物の占有領域が特定され、実空間に存在する物体及び地面からなる地形情報が形状情報として仮想空間内に再現されるようになっている。この仮想空間においては、実環境を再現した地形モデルと、ロボット11に対応するロボットモデルとが配置されるとともに、ロボット11と地面との摩擦係数が設定される。なお、以上の実環境再現部での処理内容については、公知技術を用いたものであり、本発明の本質部分ではないため、詳細な説明を省略する。 The real environment reproduction unit 33 uses a physical simulator composed of known software having a dynamics simulation function for robots. Further, here, from the point cloud data of the object in the real space acquired by the shape detection sensor 27, the occupied area of the object in the real space is specified, and the terrain consisting of the object and the ground existing in the real space is determined. Information is reproduced in the virtual space as shape information. In this virtual space, a terrain model that reproduces a real environment and a robot model corresponding to the robot 11 are arranged, and a coefficient of friction between the robot 11 and the ground is set. It should be noted that the details of the processing performed by the real environment reproducing unit described above are based on known technology and are not essential to the present invention, and thus detailed description thereof will be omitted.

前記仮想動作生成部34では、多くのパターンのロボット11の基本動作が予め記憶されており、操作者からタスク指令がなされると、タスクの内容に対応して予め設定された動作モデルと仮想空間の地形情報に基づいて、当該タスクを実行するために必要な基本動作が抽出され、それらを時系列で結合することにより、一連の仮想動作が生成される。特に限定されるものではないが、例えば、ロコモーションタスクの場合には、平地走行、段差昇り、段差降り、不整地走行等の各種の基本動作が用意されている。なお、段差の昇降については、段差の高さの変化に対応できるように基本動作が複数パターン用意されている。そこで、例えば、操作者により段差を乗り越えて移動するタスク指令がなされると、ロコモーションタスクに使用される基本動作の中から、仮想空間の地形情報に対応した基本動作が抽出され、各動作をフェーズに分けて時系列で結合される。また、例えば、物体の除去作業等のマニピュレーションタスクの場合には、アーム23による物体へのリーチング、把持、持ち上げ、運搬等の基本動作が各種用意されている。更に、ドア開き作業の場合には、アーム23によるドアノブへのリーチング、把持、回転、ドアを動かしながらのドア開き等の基本動作が各種用意されている。このように、仮想動作の各フェーズでは、その動作内容に応じ、ロボット11の可動部20の目標関節角度や関節角度等がそれぞれ予め設定されている。以上の動作生成については、公知のアルゴリズムによって行われ、更に詳細な説明は省略する。 In the virtual motion generator 34, many patterns of basic motions of the robot 11 are stored in advance. Based on the terrain information, the basic motions required to perform the task are extracted, and a series of virtual motions are generated by combining them in chronological order. Although not particularly limited, for example, in the case of a locomotion task, various basic motions such as flat ground running, step climbing, step descending, rough terrain running, etc. are prepared. As for the step up and down, a plurality of basic motion patterns are prepared so as to be able to cope with changes in the height of the step. Therefore, for example, when the operator issues a task command to move over a step, the basic motion corresponding to the terrain information of the virtual space is extracted from among the basic motions used in the locomotion task, and each motion is executed. Divided into phases and combined in chronological order. Further, for example, in the case of a manipulation task such as removal of an object, various basic operations such as reaching, grasping, lifting, and carrying an object by the arm 23 are prepared. Further, in the case of door opening work, various basic operations such as reaching, gripping, rotating the doorknob by the arm 23, and opening the door while moving the door are prepared. As described above, in each phase of the virtual motion, the target joint angle, joint angle, and the like of the movable portion 20 of the robot 11 are set in advance according to the content of the motion. The motion generation described above is performed by a well-known algorithm, and further detailed description is omitted.

前記出力部35では、仮想空間で操作者からのタスク指令に対応したロボットモデルの仮想動作が実行された結果として、ロボットモデルにおける機体24の位置と姿勢、各フェーズでかかった時間、可動部20の関節角度や角速度やトルク等の仮想動作の動作データ(以下、「仮想動作データ」と称する)が出力される。 The output unit 35 outputs the position and orientation of the robot model 24 in the robot model, the time taken in each phase, the motion of the movable unit 20 as a result of executing the virtual motion of the robot model corresponding to the task command from the operator in the virtual space. Motion data of virtual motions such as joint angles, angular velocities, and torques (hereinafter referred to as “virtual motion data”) are output.

前記動作指令手段31は、仮想動作データに基づいて、予め指令されたタスクの実空間での成否判断の指標となる信頼度を求める信頼度算出部37と、当該信頼度に基づき、ロボット11による実空間でのタスクの実行若しくは不実行を含めたロボット11の対応を決定する対応決定部38と、対応決定部38で、タスクの実行若しくは不実行を決定できない信頼度と判定された場合に、仮想動作よりも更に適切となる動作を探索することでロボットモデルの動作調整をする動作調整部39とを備えている。 The motion commanding means 31 includes a reliability calculation unit 37 that calculates a reliability that serves as an index for judging the success or failure of a commanded task in the real space based on the virtual motion data, and a robot 11 based on the reliability. When the response determination unit 38 that determines the response of the robot 11 including execution or non-execution of the task in the real space and the response determination unit 38 determines that the reliability is such that execution or non-execution of the task cannot be determined, A motion adjustment unit 39 is provided for adjusting the motion of the robot model by searching for a motion that is more appropriate than the virtual motion.

前記信頼度算出部37では、仮想動作データから、次式により、タスクの安定性に関する第1の評価値Pと、作業の効率性に関する第2の評価値Pと、仮想空間における実環境の再現性に関する第3の評価値Pとを求めた上で、これら各評価値P,P,Pを用いて信頼度Cが求められる。この信頼度Cは、値が大きくなる程、操作者により指令されたタスクの成功可能性が高くなるように設定される。また、信頼度Cは、仮想動作生成部34で生成された仮想動作を構成する各フェーズそれぞれで求められる。

Figure 0007125745000001
From the virtual motion data, the reliability calculation unit 37 calculates a first evaluation value P1 relating to task stability, a second evaluation value P2 relating to task efficiency, and a real environment After obtaining a third evaluation value P3 relating to the reproducibility of , the reliability C is obtained using these evaluation values P1, P2 , and P3 . The reliability C is set such that the greater the value, the higher the probability of success of the task instructed by the operator. Also, the reliability C is obtained for each phase that constitutes the virtual motion generated by the virtual motion generation unit 34 .
Figure 0007125745000001

前記各評価値P,P,Pは、それぞれ0から1までの値が採られ、当該値が大きくなる程、それぞれの性能が悪く、タスクの実行を阻害し易くなる評価となるように設定される。 Each of the evaluation values P 1 , P 2 , and P 3 takes a value from 0 to 1, and the larger the value, the worse the performance of each, and the more likely it is to hinder the execution of the task. is set to

具体的に、第1の評価値Pは、前記ロコモーションタスクの場合、移動中にロボット11が転倒する可能性を表す転倒可能性Pとなる。この転倒可能性Pは、上式(2)の通り、移動動作中における機体24の地面に対する最大の傾き角度を表す最大機体角度θmax(deg)と、ロボット11が転倒しない機体24の最大の傾き角度である制限角度θlim(deg)とから求められる。ここで、制限角度θlimは、実際のロボット11の性能から既定値が予め設定される。つまり、転倒可能性Pは、最大機体角度θmaxが0(deg)のときに、値「0」を採り、最大機体角度θmaxが増大する程、増大するように設定される。なお、上式(2)において、最大機体角度θmaxが制限角度θlimと同一になった時点で、値「1」となるが、更に、最大機体角度θmaxが制限角度θlimを超えた場合には、ロボット11の移動が不可能になるとして値「1」を採る。 Specifically, in the case of the locomotion task, the first evaluation value P1 is the overturn probability P1 representing the possibility of the robot 11 overturning during movement. As shown in the above formula ( 2 ), the possibility of overturning P1 is determined by the maximum angle θ max (deg) representing the maximum inclination angle of the body 24 with respect to the ground during movement, and the maximum is obtained from the limit angle θ lim (deg), which is the inclination angle of . Here, the limit angle θ lim is preset to a default value based on the actual performance of the robot 11 . That is, the overturn possibility P1 takes a value of "0" when the maximum body angle θ max is 0 (deg), and is set to increase as the maximum body angle θ max increases. In the above formula (2), when the maximum aircraft angle θ max becomes the same as the limit angle θ lim , the value becomes "1". In this case, the value "1" is adopted as the movement of the robot 11 becomes impossible.

ここで、前記転倒可能性Pは、ロボット11のロール角度とピッチ角度のそれぞれで算出され、それらの中で大きい方の転倒可能性Pが採用される。なお、特に限定されるものではないが、制限角度θlimは、ロール角度(例えば、20(deg))とピッチ角度(例えば、45(deg))で異なる値が設定されている。 Here, the overturn possibility P1 is calculated for each of the roll angle and the pitch angle of the robot 11 , and the greater overturn possibility P1 is adopted. Although not particularly limited, the limit angle θ lim is set to different values depending on the roll angle (eg, 20 (deg)) and the pitch angle (eg, 45 (deg)).

また、前記マニピュレーションタスクにおける物体の持ち上げ作業の場合には、第1の評価値Pとして、例えば、把持する対象物の持ち上げ時における対象物の把持角度(ロール、ピッチ)について、前述と同様に求められる。また、ドア開き作業の場合には、第1の評価値Pとして、アーム23の先端部分における把持角度の変化について、前述と同様に求められる。 Further, in the case of the object lifting work in the manipulation task, as the first evaluation value P1, for example, the grasping angle (roll, pitch) of the object when lifting the object to be grasped is calculated in the same manner as described above. Desired. Further, in the case of the door opening operation, as the first evaluation value P1, the change in the gripping angle at the tip portion of the arm 23 is obtained in the same manner as described above.

前記第2の評価値Pは、タスクの膠着可能性を表す評価値であり、上式(3)の通り、タスクを構成する各フェーズでかかったロボットモデルの動作時間t(s)とフェーズ毎に設定される所定の基準時間Tとから求められる。つまり、第2の評価値Pは、動作時間tが基準時間Tと同一のときに、作業効率が良いとして値「0」を採る。一方、この第2の評価値Pは、動作時間tが基準時間Tよりも多くかかるほど、作業効率が悪くなるとして、値が増大し、値「1」に近づくように設定されている。なお、上式(3)において、動作時間tが基準時間Tよりも短くなるような場合には、P=0とされる。 The second evaluation value P2 is an evaluation value representing the possibility of task stalemate. and a predetermined reference time T set to . That is, the second evaluation value P2 takes a value of "0" when the operation time t is the same as the reference time T, indicating that the working efficiency is good. On the other hand, the second evaluation value P2 is set to increase and approach the value "1" because the longer the operation time t takes than the reference time T, the lower the working efficiency. In addition, in the above equation (3), when the operating time t is shorter than the reference time T, P 2 =0.

前記第3の評価値Pは、計測誤差の可能性に対応する評価値であり、上式(4)の通り、形状検出用センサ27によって測定された値d、すなわち、実空間でのロボット11の位置と対象フェーズでの動作に関連する環境上の物体(例えば、段差等)との距離dと、既知である形状検出用センサ27の誤差Eとから、1以下の正の値を採るように求められる。なお、誤差Eとしては、一例として、5%(E=0.05)を挙げることができる。 The third evaluation value P3 is an evaluation value corresponding to the possibility of a measurement error. A positive value of 1 or less is taken from the distance d between the position of 11 and an environmental object (for example, a step) related to the operation in the target phase, and the known error E of the shape detection sensor 27. You are asked to An example of the error E is 5% (E=0.05).

前記対応決定部38では、操作者のタスク指令に対応して仮想空間上で生成された仮想動作を構成する各フェーズにおいて算出された信頼度から、予め設定された閾値に基づいて次の対応がなされる。 The correspondence determination unit 38 determines the following correspondence based on a preset threshold based on the reliability calculated in each phase that constitutes the virtual action generated in the virtual space in response to the operator's task command. done.

仮想動作の全てのフェーズにおいて、信頼度が上限閾値(例えば、0.7)を超える場合、すなわち、タスク実行の信頼性が高い場合(以下、「信頼性「高」の場合」と称する)には、実空間でロボット11がタスクを確実に実行できると判定され、仮想動作生成部34で生成された仮想動作がロボット11の動作制御部21に指令される。 In all phases of the virtual operation, if the reliability exceeds the upper limit threshold (for example, 0.7), that is, if the reliability of task execution is high (hereinafter referred to as “reliability “high” case”) , it is determined that the robot 11 can reliably execute the task in the real space, and the virtual motion generated by the virtual motion generator 34 is commanded to the motion controller 21 of the robot 11 .

一方、仮想動作における何れかのフェーズにおいて、信頼度が上限閾値よりも低い下限閾値(例えば、0.3)未満となる場合、すなわち、タスク実行の信頼性が低い場合(以下、「信頼性「低」の場合」と称する)には、実空間でロボット11がタスクを確実に実行できないと判定され、実空間でのタスク動作を不実行とする指令がロボット11になされる。 On the other hand, in any phase of the virtual operation, if the reliability is less than the lower threshold (for example, 0.3) lower than the upper threshold, that is, if the reliability of task execution is low (hereinafter referred to as "reliability" In the case of "low"), it is determined that the robot 11 cannot reliably execute the task in the real space, and a command is given to the robot 11 not to execute the task operation in the real space.

前記信頼性「高」及び信頼性「低」の何れの場合にも該当しない信頼性「中」の場合、つまり、仮想動作における全てのフェーズでの信頼度が下限閾値を超えるものの、少なくとも何れかのフェーズでの信頼度が上限閾値を超えない場合には、動作調整部39により、次のように、そのフェーズでの仮想動作について調整が行われる。 In the case of "medium" reliability that does not correspond to either the "high" reliability or the "low" reliability, that is, the reliability in all phases of the virtual operation exceeds the lower threshold, but at least one If the reliability in the phase does not exceed the upper threshold, the motion adjusting unit 39 adjusts the virtual motion in that phase as follows.

前記動作調整部39では、信頼度が下限閾値以上であり、且つ、上限閾値未満となったフェーズそれぞれについて、ロボット11のタスクの成否を左右する実環境中の対象物の物性や状態等をも考慮して動作学習を行うことにより、信頼度が上限閾値以上となる最適な動作を探索する処理が行われる。 In the motion adjusting unit 39, for each phase in which the reliability is equal to or higher than the lower limit threshold and less than the upper limit threshold, the physical properties and states of objects in the real environment that affect the success or failure of the task of the robot 11 are also obtained. A process of searching for an optimum motion whose reliability is equal to or higher than the upper limit threshold is performed by performing motion learning in consideration thereof.

この動作調整部39は、実環境中の対象物の物性や状態等に関する性状情報を取得する性状情報取得部41と、環境情報として地形情報に性状情報を加えた仮想空間において、機械学習によりロボット11の最適な動作を探索する動作探索部42とを備えている。 This operation adjustment unit 39 includes a property information acquisition unit 41 that acquires property information about the physical properties and states of objects in the real environment, and a robot robot through machine learning in a virtual space that adds property information to terrain information as environment information. and a motion search unit 42 for searching for 11 optimal motions.

前記性状情報取得部41は、実空間のロボット11に対し、その一部を対象物に直接接触させながら移動する探索動作をさせることで、物性検出用センサ28で物性データを検出して対象物の性状情報を取得する。この性状情報は、対象物の表面の摩擦状態を推定するための摩擦情報と、対象物の質量や重心等を推定するための重量情報と、対象物の硬さによる変形状態や対象物の配置状態を推定するための安定性情報とからなる。従って、性状情報取得部41は、摩擦情報を取得する摩擦情報取得機能と、重量情報を取得する重量情報取得機能と、安定性情報を取得する安定性情報取得機能を有することになる。ここで、ロボット11のタスク動作の各フェーズにおいて、性状情報の中で必要となる情報が予め記憶されており、性状情報取得部41では、動作調整が行われるフェーズ毎に必要となる情報を取得するようになっている。例えば、ロボット11を移動させるロコモーションタスクにおいて、移動方向前方のアーム23を段上に接地しながら機体24を上昇させる段差昇りのフェーズ(図3参照)では、アーム23が接触する地面における摩擦情報や当該地面が強固か否か等の安定性情報が必要となり、これら情報を取得するように性状情報取得部41が機能する。 The property information acquisition unit 41 causes the robot 11 in the real space to perform a search operation in which a portion of the robot 11 moves while being in direct contact with the object, thereby detecting property data with the property detection sensor 28 and detecting the object. Get the property information of This property information includes friction information for estimating the frictional state of the surface of the object, weight information for estimating the mass and center of gravity of the object, deformation state due to the hardness of the object, and the position of the object. and stability information for estimating the state. Therefore, the property information acquisition unit 41 has a friction information acquisition function for acquiring friction information, a weight information acquisition function for acquiring weight information, and a stability information acquisition function for acquiring stability information. Here, in each phase of the task operation of the robot 11, necessary information in the property information is stored in advance, and the property information acquisition unit 41 acquires necessary information for each phase in which motion adjustment is performed. It is designed to For example, in the locomotion task for moving the robot 11, in the step-climbing phase (see FIG. 3) in which the robot body 24 is raised while the arm 23 in front of the movement direction touches the step, the friction information on the ground that the arm 23 contacts is and stability information such as whether the ground is firm or not, and the property information acquisition unit 41 functions to acquire such information.

前記摩擦情報取得機能では、摩擦情報を取得する対象物の表面にアーム23の先端部分を接触させながら、当該表面に沿って所定の速度と接触力でアーム23を移動させる探索動作を実行させるように、ロボット11の動作制御部21に動作指令がなされる。更に、ここでは、アーム23の移動に伴う物性検出用センサ28での計測値、すなわち、アーム23の移動方向における抵抗力となる摩擦力の計測値から、摩擦情報として対象物の摩擦係数が求められる。 In the friction information acquisition function, the tip of the arm 23 is brought into contact with the surface of the object whose friction information is to be acquired, and the arm 23 is moved along the surface at a predetermined speed and contact force. Then, an operation command is issued to the operation control unit 21 of the robot 11 . Furthermore, here, the friction coefficient of the object is obtained as the friction information from the measurement value of the physical property detection sensor 28 accompanying the movement of the arm 23, that is, the measurement value of the frictional force that is the resistance force in the movement direction of the arm 23. be done.

前記重量情報取得機能では、重量情報を取得する対象物を2本のアーム23の先端部分で把持して持ち上げる方向に移動する探索動作を実行させるように、ロボット11の動作制御部21に動作指令がなされる。更に、ここでは、対象物の持ち上げによる物性検出用センサ28での計測値により、摩擦力を特定することで対象物の重量と重心が重量情報として求められる。 The weight information acquisition function instructs the motion control unit 21 of the robot 11 to execute a search motion in which an object whose weight information is to be acquired is gripped by the tips of the two arms 23 and lifted. is done. Furthermore, here, the weight and the center of gravity of the object can be obtained as weight information by specifying the frictional force from the measured value by the physical property detection sensor 28 when the object is lifted.

前記安定性情報取得機能では、性状情報を取得する対象物の表面にアーム23の先端部分を接触させながら所定の押圧力を付加する探索動作を実行させるように、ロボット11の動作制御部23に動作指令がなされる。更に、ここでは、押圧された表面の変位量と反力との関係から、対象物の変位のし易さを表す弾性や安定性に対応する数値となる安定度が安定性情報とされる。 In the stability information acquisition function, the motion control unit 23 of the robot 11 is caused to perform a search motion in which a predetermined pressing force is applied while the tip of the arm 23 is in contact with the surface of the object whose property information is to be acquired. An operation command is issued. Furthermore, here, the stability information, which is a numerical value corresponding to the elasticity and stability representing the ease with which the object is displaced, is taken as the stability information from the relationship between the amount of displacement of the pressed surface and the reaction force.

以上の性状情報取得部41は、前記物性検出用センサ28とともに、実空間でロボット11を環境内の対象物に物理的に接触させることで、その触覚情報をロボット11のタスクの成否を左右する物理データに基づく対象物の性状情報として収集する能動的情報収集手段を構成する。 The property information acquisition unit 41 described above, together with the physical property detection sensor 28, causes the robot 11 to physically contact an object in the environment in real space, so that the tactile information determines the success or failure of the task of the robot 11. An active information collecting means is configured to collect property information of an object based on physical data.

前記動作探索部42では、深層強化学習、遺伝的アルゴリズム等の動作学習手法を用い、動作調整を行う必要がある全てのフェーズを並行しながら、所定数の学習パラメータや制御則を変化させ、所定の学習回数若しくは演算時間の中で最適となる動作が探索される。この動作探索の過程では、候補として挙げられた動作それぞれについて、信頼度算出部37により信頼度が算出される。そこで、動作調整を行う必要がある全てのフェーズの信頼度が前記上限閾値以上になったときに、対応決定部38により、実空間でロボット11がタスクを確実に実行可能になったと判定され、調整された仮想動作(以下、「調整仮想動作」と称する)を含めて信頼度が上限閾値以上になった全ての仮想動作がロボット11の動作制御部21に指令される。一方、ここでの動作探索により、全てのフェーズにおいて、所定回数内若しくは所定時間内に、信頼度が前記上限閾値以上になる動作を探索できなければ、対応決定部38で、ロボット11のタスク動作を不実行とするように決定される。 The motion search unit 42 uses a motion learning method such as deep reinforcement learning or genetic algorithm, and changes a predetermined number of learning parameters and control rules while performing all phases in which motion adjustment needs to be performed in parallel. , the optimum operation is searched for in the number of times of learning or operation time. In the motion search process, the reliability calculation unit 37 calculates the reliability of each of the candidate motions. Therefore, when the reliability of all the phases requiring motion adjustment becomes equal to or higher than the upper limit threshold, the response determining unit 38 determines that the robot 11 can reliably execute the task in the real space, All virtual motions whose reliability is equal to or higher than the upper limit threshold, including the adjusted virtual motion (hereinafter referred to as “adjusted virtual motion”), are instructed to the motion control unit 21 of the robot 11 . On the other hand, if it is not possible to search for a motion whose reliability is equal to or higher than the upper threshold within a predetermined number of times or within a predetermined period of time in all phases by the motion search here, the correspondence determination unit 38 determines the task motion of the robot 11. is determined to be non-executable.

また、動作探索部42での動作学習により、タスクの成功可能性が高い信頼度が得られたロボット11の動作パターンは、仮想動作生成部34で予め記憶される基本動作として都度追加されることにより、次回の動作確認手段30での動作確認の際における仮想動作の生成時に利用される。 In addition, the motion pattern of the robot 11 for which the reliability of the task success probability has been obtained by the motion search unit 42 is added as a basic motion pre-stored in the virtual motion generation unit 34 each time. , the virtual motion is generated when the next motion verification by the motion verification means 30 is performed.

なお、動作探索部42においては、前記動作調整部39での前記性状情報の収集は必須ではなく、実環境での地形情報を含む形状情報のみで、学習パラメータや制御則の任意選択による動作学習を行うことも可能である。 In the motion search unit 42, the collection of the property information by the motion adjustment unit 39 is not essential, and only shape information including terrain information in the actual environment is used for motion learning by arbitrary selection of learning parameters and control rules. It is also possible to

次に、前記動作シミュレーション装置14によるロボット11へのタスクの実行指令の手順について、図4のフローチャートを用いながら、以下に説明する。 Next, a procedure for issuing a task execution command to the robot 11 by the motion simulation device 14 will be described below with reference to the flow chart of FIG.

先ず、現場でロボット11が動作する前に、ロボット11から離れて位置する操作者が、ロボット11に取り付けられているカメラ16からの取得画像を表示装置17で確認しながら、入力装置18を使ってタスク指令が行われ、当該タスク指令が動作シミュレーション装置14に入力される。 First, before the robot 11 operates at the site, an operator positioned away from the robot 11 uses the input device 18 while checking the image obtained from the camera 16 attached to the robot 11 on the display device 17. Then, a task command is issued, and the task command is input to the motion simulation device 14 .

すると、ロボット11の動作が停止したタスク動作前の状態で、当該ロボット11に取り付けられた形状検出用センサ27により、実空間におけるロボット11の周囲に存在する地面や物体等の対象物の位置及び形状を特定するためのデータが計測され、当該データが、動作シミュレーション装置14に伝送される。 Then, in the state before the task operation where the robot 11 has stopped its operation, the shape detection sensor 27 attached to the robot 11 detects the position and position of an object such as the ground or an object existing around the robot 11 in the real space. Data for specifying the shape is measured and transmitted to the motion simulation device 14 .

その後、動作シミュレーション装置14では、操作者からのタスク指令と形状検出用センサ27からのデータから、動作確認手段30で、実空間のロボット11を実際に動作させる前に、仮想空間においてロボット11の動作をシミュレーションする動作確認が行われる。すなわち、実環境再現部33において、形状検出用センサ27での計測データから、対象物の形状情報が取得され(ステップS101)、仮想空間内に、実空間におけるロボット11の周囲の実環境が再現される(ステップS102)。また、仮想動作生成部34において、タスク指令に応じ、予め記憶された基本動作の中から該当する動作がフェーズ毎に抽出され、それらを組み合わせることで仮想動作が生成される(ステップS103)。 After that, in the motion simulation device 14, based on the task command from the operator and the data from the shape detection sensor 27, the motion confirmation means 30 determines the motion of the robot 11 in the virtual space before actually moving the robot 11 in the real space. An operation check is performed to simulate the operation. That is, in the real environment reproduction unit 33, the shape information of the object is acquired from the measurement data of the shape detection sensor 27 (step S101), and the real environment around the robot 11 in the real space is reproduced in the virtual space. (step S102). Further, in the virtual motion generator 34, corresponding motions are extracted from the pre-stored basic motions for each phase according to the task command, and virtual motions are generated by combining them (step S103).

次に、仮想空間内で生成された一連の仮想動作を実行させた結果により、信頼度算出部37でフェーズ毎に信頼度が算出される(ステップS104)。そして、全てのフェーズでの信頼度について、上限閾値、下限閾値を使った評価がなされる(ステップS105)。 Next, based on the result of executing a series of virtual actions generated in the virtual space, the reliability calculation unit 37 calculates the reliability for each phase (step S104). Then, the reliability in all phases is evaluated using the upper threshold and the lower threshold (step S105).

ここで、全てのフェーズでの信頼度が上限閾値を超える信頼性「高」の場合には、仮想動作生成部34で生成された仮想動作でのタスクの成功可能性が高いとされ、仮想動作の実行がロボット11に指令され、ロボット11によりタスク動作が実行される(ステップS106)。 Here, when the reliability in all the phases exceeds the upper limit threshold and the reliability is "high", the possibility of task success in the virtual action generated by the virtual action generating unit 34 is considered high. is instructed to the robot 11, and the task operation is executed by the robot 11 (step S106).

また、何れかのフェーズでの信頼度が下限閾値を未満となる信頼性「低」の場合には、仮想動作生成部34で生成された仮想動作でのタスクの成功可能性が低いとされ、ロボット11のタスク動作が不実行とされる(ステップS107)。 In addition, when the reliability in any phase is less than the lower limit threshold and the reliability is "low", the probability of task success in the virtual motion generated by the virtual motion generating unit 34 is low. The task operation of the robot 11 is made non-executable (step S107).

更に、以上の場合の何れにも該当しない信頼性「中」の場合には、仮想動作生成部34で生成された仮想動作が、確実とは言えないもののタスクの成功可能性があると評価される。そこで、タスク成功の確実性を更に高めるために、信頼度が下限閾値以上で上限閾値未満となるフェーズについて、動作学習を所定回数若しくは所定時間に亘って行うことにより(ステップS108)、仮想動作の調整が行われる。すなわち、先ず、性状情報取得部41により、実空間のロボット11の一部が対象物に接触しながら触覚情報を得る探索動作指令がロボット11になされ、実環境における対象物の物性や状態等に関する性状情報が取得される(ステップS109)。その後、動作探索部42では、環境情報として、対象物の形状情報に性状情報を加えた上で、動作学習によりタスク成功のための最適な動作が探索される(ステップS110)。その結果、探索された動作である調整仮想動作について、前述と同様に信頼度が再び算出されて当該信頼度に基づく評価が行われる(ステップS104、S105)。その結果、調整仮想動作が全てのフェーズで信頼性「高」になったときには、当該調整仮想動作の実行がロボットに指令される(ステップS106)一方、動作学習を所定回数若しくは所定時間行っても、調整仮想動作が全てのフェーズで信頼性「高」にならない場合には、ロボット11のタスク動作が不実行とされる(ステップS107)。 Furthermore, when the reliability is "medium", which does not correspond to any of the above cases, the virtual action generated by the virtual action generating unit 34 is evaluated as having a possibility of task success, although it cannot be said to be certain. be. Therefore, in order to further increase the certainty of task success, motion learning is performed a predetermined number of times or over a predetermined period of time (step S108) for phases where the reliability is equal to or higher than the lower limit threshold and less than the upper limit threshold. adjustments are made. That is, first, the property information acquisition unit 41 issues a search operation command to the robot 11 to obtain tactile information while a part of the robot 11 in the real space is in contact with the object, and obtains tactile information related to the physical properties, state, etc. of the object in the real environment. Property information is acquired (step S109). After that, the motion searching unit 42 adds property information to the shape information of the object as environment information, and then searches for the optimum motion for task success by motion learning (step S110). As a result, the reliability of the adjusted virtual motion, which is the searched motion, is calculated again in the same manner as described above, and evaluation is performed based on the reliability (steps S104 and S105). As a result, when the reliability of the adjusted virtual motion becomes "high" in all phases, the robot is instructed to execute the adjusted virtual motion (step S106). , the task motion of the robot 11 is not executed (step S107).

なお、前記実施形態では、自律型作業支援ロボット11として、複腕移動ロボットを例に図示説明したが、本発明はこれに限らず、種々の構造の自律型作業支援ロボットに適用することができる。 In the above-described embodiment, the multi-arm mobile robot was illustrated as an example of the autonomous work support robot 11, but the present invention is not limited to this, and can be applied to autonomous work support robots of various structures. .

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。 In addition, the configuration of each part of the device in the present invention is not limited to the illustrated configuration example, and various modifications are possible as long as substantially the same action is exhibited.

10 環境適応性強化システム
11 自律型作業支援ロボット
14 動作シミュレーション装置
28 物性検出用センサ(能動的情報収集手段)
30 動作確認手段
31 動作指令手段
33 実環境再現部
34 仮想動作生成部
37 信頼度算出部
38 対応決定部
39 動作調整部
41 性状情報取得部(能動的情報収集手段)
10 Environmental adaptability enhancement system 11 Autonomous work support robot 14 Motion simulation device 28 Physical property detection sensor (active information gathering means)
30 action confirmation means 31 action command means 33 real environment reproduction part 34 virtual action generation part 37 reliability calculation part 38 correspondence determination part 39 action adjustment part 41 property information acquisition part (active information gathering means)

Claims (6)

操作者からのタスク指令に対応したタスク動作を実空間で自動的に行う機能を有するロボットに対して、実空間の環境に応じた適切な前記タスク動作を実行させるための環境適応性強化システムであって、
前記タスク動作を仮想空間でシミュレーションすることにより、前記ロボットの動作確認を事前に行う動作確認手段と、当該動作確認手段での動作確認結果に応じた処理を経て前記タスク動作を前記ロボットに指令する動作指令手段とを備え、
前記動作確認手段は、前記ロボットの周囲の地形情報に基づき、前記実空間の環境を前記仮想空間内に再現する実環境再現部と、前記仮想空間内で、前記タスク指令に対応した前記ロボットの仮想動作を生成する仮想動作生成部とを備え、
前記動作指令手段は、前記仮想動作の動作データに基づいて、指令されたタスクの実空間での成否判断の指標となる信頼度を求める信頼度算出部と、前記信頼度に基づき、前記ロボットによる実空間での前記タスクの実行若しくは不実行を含めた前記ロボットの対応を決定する対応決定部と、当該対応決定部で前記タスクの実行若しくは不実行を決定できない前記信頼度と判定された場合に、前記仮想動作よりも更に適切となる動作を探索することで前記ロボットの動作調整をする動作調整部とを備えたことを特徴とする自律型作業支援ロボットの環境適応性強化システム。
An environmental adaptability enhancing system for making a robot, which has a function to automatically perform a task operation corresponding to a task command from an operator in a real space, perform the task operation appropriately according to the environment of the real space. There is
By simulating the task motion in a virtual space, an operation confirmation means for confirming the operation of the robot in advance, and the task operation is commanded to the robot through processing according to the result of the operation confirmation by the operation confirmation means. and an operation command means,
The action confirmation means includes a real environment reproduction unit that reproduces the environment of the real space in the virtual space based on topographical information around the robot, and a robot controller that reproduces the environment of the real space in the virtual space in response to the task command. a virtual motion generator that generates a virtual motion;
The motion command means includes a reliability calculation unit that calculates a reliability that serves as an index for judging the success or failure of the commanded task in the real space based on the motion data of the virtual motion, and a robot based on the reliability. a response determination unit that determines a response of the robot including execution or non-execution of the task in the real space ; and a motion adjusting unit that adjusts the motion of the robot by searching for a motion that is more appropriate than the virtual motion .
前記信頼度は、タスクの安定性に関する第1の評価値と、タスクの効率性に関する第2の評価値と、前記仮想空間における実環境の再現性に関する第3の評価値とにより決定されることを特徴とする請求項1記載の自律型作業支援ロボットの環境適応性強化システム。 The reliability is determined by a first evaluation value regarding task stability, a second evaluation value regarding task efficiency, and a third evaluation value regarding reproducibility of the real environment in the virtual space. 2. The system for enhancing environmental adaptability of an autonomous work support robot according to claim 1. 前記ロボットを前記実空間の対象物に物理接触させることで、前記タスクの成否を左右する物性データに基づく前記対象物の性状情報を収集する能動的情報収集手段を更に備え、
前記能動的情報収集手段は、前記対応決定部で前記タスクの実行若しくは不実行を決定できない前記信頼度の場合に、前記性状情報を収集するための探索動作を前記ロボットに指令し、
前記動作調整部では、前記性状情報をも考慮して前記動作を探索することを特徴とする請求項記載の自律型作業支援ロボットの環境適応性強化システム。
Further comprising active information collecting means for collecting property information of the object based on physical property data that determines the success or failure of the task by bringing the robot into physical contact with the object in the real space,
said active information collecting means instructing said robot to perform a search operation for collecting said property information when said reliability is such that execution or non-execution of said task cannot be determined by said correspondence determination unit;
2. The system for enhancing environmental adaptability of an autonomous work support robot according to claim 1 , wherein said motion adjusting unit searches for said motion in consideration of said property information.
前記仮想動作生成部では、予め設定された複数の基本動作の中から前記タスク指令に対応する基本動作を抽出して前記仮想動作を生成し、
前記動作調整部では、複数の学習パラメータや制御則を適宜調整しながら最適な動作を探索する動作学習がなされ、
前記仮想動作生成部では、前記動作学習の結果、タスクの成功可能性が高い前記信頼度が得られた動作が、前記基本動作に加えられて次回の前記仮想動作の生成時に利用されることを特徴とする請求項記載の自律型作業支援ロボットの環境適応性強化システム。
The virtual motion generation unit extracts a basic motion corresponding to the task command from among a plurality of preset basic motions to generate the virtual motion,
The motion adjustment unit conducts motion learning to search for an optimum motion while appropriately adjusting a plurality of learning parameters and control rules,
In the virtual action generation unit, as a result of the action learning, the action for which the reliability is obtained with a high probability of task success is added to the basic action and used when generating the next virtual action. 2. The system for enhancing environmental adaptability of an autonomous work support robot according to claim 1 .
操作者からのタスク指令に対応したタスク動作を実空間で自動的に行う機能を有するロボットに対して、実空間の環境に応じた適切な前記タスク動作を実行させるためのシミュレーション装置であって、
前記タスク動作を仮想空間でシミュレーションすることにより、前記ロボットの動作確認を事前に行う動作確認手段と、当該動作確認手段での動作確認結果に応じた処理を経て前記タスク動作を前記ロボットに指令する動作指令手段とを備え、
前記動作確認手段は、前記ロボットの周囲の地形情報に基づき、前記実空間の環境を前記仮想空間内に再現する実環境再現部と、前記仮想空間内で、前記タスク指令に対応した前記ロボットの仮想動作を生成する仮想動作生成部とを備え、
前記動作指令手段は、前記仮想動作の動作データに基づいて、指令されたタスクの実空間での成否判断の指標となる信頼度を求める信頼度算出部と、前記信頼度に基づき、前記ロボットによる実空間での前記タスクの実行若しくは不実行を含めた前記ロボットの対応を決定する対応決定部と、当該対応決定部で前記タスクの実行若しくは不実行を決定できない前記信頼度と判定された場合に、前記仮想動作よりも更に適切となる動作を探索することで前記ロボットの動作調整をする動作調整部とを備えたことを特徴とする自律型作業支援ロボットのシミュレーション装置。
A simulation device for causing a robot having a function to automatically perform a task operation corresponding to a task command from an operator in a real space to perform the appropriate task operation according to the environment of the real space,
By simulating the task motion in a virtual space, an operation confirmation means for confirming the operation of the robot in advance, and the task operation is commanded to the robot through processing according to the result of the operation confirmation by the operation confirmation means. and an operation command means,
The action confirmation means includes a real environment reproduction unit that reproduces the environment of the real space in the virtual space based on topographical information around the robot, and a robot controller that reproduces the environment of the real space in the virtual space in response to the task command. a virtual motion generator that generates a virtual motion;
The motion command means includes a reliability calculation unit that calculates a reliability that serves as an index for judging the success or failure of the commanded task in the real space based on the motion data of the virtual motion, and a robot based on the reliability. a response determination unit that determines a response of the robot including execution or non-execution of the task in the real space ; and a motion adjusting unit that adjusts the motion of the robot by searching for a motion that is more appropriate than the virtual motion .
操作者からのタスク指令に対応したタスク動作を実空間で自動的に行う機能を有するロボットに対して、実空間の環境に応じた適切な前記タスク動作を実行させるためのシミュレーション装置のプログラムであって、
前記タスク動作を仮想空間でシミュレーションすることにより、前記ロボットの動作確認を事前に行う動作確認手段と、当該動作確認手段での動作確認結果に応じた処理を経て前記タスク動作を前記ロボットに指令する動作指令手段としてコンピュータを機能させ、
前記動作確認手段は、前記ロボットの周囲の地形情報に基づき、前記実空間の環境を前記仮想空間内に再現する実環境再現部と、前記仮想空間内で、前記タスク指令に対応した前記ロボットの仮想動作を生成する仮想動作生成部とを有し、
前記動作指令手段は、前記仮想動作の動作データに基づいて、指令されたタスクの実空間での成否判断の指標となる信頼度を求める信頼度算出部と、前記信頼度に基づき、前記ロボットによる実空間での前記タスクの実行若しくは不実行を含めた前記ロボットの対応を決定する対応決定部と、当該対応決定部で前記タスクの実行若しくは不実行を決定できない前記信頼度と判定された場合に、前記仮想動作よりも更に適切となる動作を探索することで前記ロボットの動作調整をする動作調整部とを有することを特徴とする自律型作業支援ロボットのシミュレーション装置のプログラム。
A program for a simulation apparatus for causing a robot having a function to automatically perform a task operation corresponding to a task command from an operator in a real space to perform the appropriate task operation according to the environment of the real space. hand,
By simulating the task motion in a virtual space, an operation confirmation means for confirming the operation of the robot in advance, and the task operation is commanded to the robot through processing according to the result of the operation confirmation by the operation confirmation means. functioning a computer as an operation command means,
The action confirmation means includes a real environment reproduction unit that reproduces the environment of the real space in the virtual space based on topographical information around the robot, and a robot controller that reproduces the environment of the real space in the virtual space in response to the task command. a virtual motion generator that generates a virtual motion;
The motion command means includes a reliability calculation unit that calculates a reliability that serves as an index for judging the success or failure of the commanded task in the real space based on the motion data of the virtual motion, and a robot based on the reliability. a response determination unit that determines a response of the robot including execution or non-execution of the task in the real space ; and a motion adjusting unit that adjusts the motion of the robot by searching for a motion that is more appropriate than the virtual motion .
JP2018173076A 2018-09-14 2018-09-14 ENVIRONMENTAL ADAPTABILITY REINFORCEMENT SYSTEM OF AUTONOMOUS WORK SUPPORT ROBOT, OPERATION SIMULATION DEVICE, AND THEREOF PROGRAM Active JP7125745B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018173076A JP7125745B2 (en) 2018-09-14 2018-09-14 ENVIRONMENTAL ADAPTABILITY REINFORCEMENT SYSTEM OF AUTONOMOUS WORK SUPPORT ROBOT, OPERATION SIMULATION DEVICE, AND THEREOF PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018173076A JP7125745B2 (en) 2018-09-14 2018-09-14 ENVIRONMENTAL ADAPTABILITY REINFORCEMENT SYSTEM OF AUTONOMOUS WORK SUPPORT ROBOT, OPERATION SIMULATION DEVICE, AND THEREOF PROGRAM

Publications (2)

Publication Number Publication Date
JP2020044591A JP2020044591A (en) 2020-03-26
JP7125745B2 true JP7125745B2 (en) 2022-08-25

Family

ID=69899144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018173076A Active JP7125745B2 (en) 2018-09-14 2018-09-14 ENVIRONMENTAL ADAPTABILITY REINFORCEMENT SYSTEM OF AUTONOMOUS WORK SUPPORT ROBOT, OPERATION SIMULATION DEVICE, AND THEREOF PROGRAM

Country Status (1)

Country Link
JP (1) JP7125745B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7356147B2 (en) * 2020-03-13 2023-10-04 株式会社ユニバーサルエンターテインメント gaming machine
JP7356146B2 (en) * 2020-03-13 2023-10-04 株式会社ユニバーサルエンターテインメント gaming machine
JP7356148B2 (en) * 2020-03-13 2023-10-04 株式会社ユニバーサルエンターテインメント gaming machine
CN112078678B (en) * 2020-09-09 2021-08-03 南华大学 Deformable composite chassis of nuclear emergency robot
WO2023037423A1 (en) * 2021-09-07 2023-03-16 日本電信電話株式会社 Assistance device, assistance method, and assistance program
WO2023166631A1 (en) * 2022-03-02 2023-09-07 日本電信電話株式会社 Assistance device, assistance method, and assistance program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150219A (en) 2001-11-12 2003-05-23 Fanuc Ltd Simulation device for work machine
US20070244599A1 (en) 2006-04-14 2007-10-18 Fanuc Robotics America, Inc. A Method for Optimizing a Robot Program and a Robot System
JP2016016488A (en) 2014-07-09 2016-02-01 ファナック株式会社 Robot program correction system
JP2017170584A (en) 2016-03-25 2017-09-28 株式会社国際電気通信基礎技術研究所 Robot action simulation device
JP2017185577A (en) 2016-04-04 2017-10-12 ファナック株式会社 Machine learning device for performing learning by use of simulation result, mechanical system, manufacturing system and machine learning method
US20180021952A1 (en) 2015-02-03 2018-01-25 Canon Kabushiki Kaisha Teaching device, teaching method, and robot system
WO2018092860A1 (en) 2016-11-16 2018-05-24 三菱電機株式会社 Interference avoidance device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150219A (en) 2001-11-12 2003-05-23 Fanuc Ltd Simulation device for work machine
US20070244599A1 (en) 2006-04-14 2007-10-18 Fanuc Robotics America, Inc. A Method for Optimizing a Robot Program and a Robot System
JP2016016488A (en) 2014-07-09 2016-02-01 ファナック株式会社 Robot program correction system
US20180021952A1 (en) 2015-02-03 2018-01-25 Canon Kabushiki Kaisha Teaching device, teaching method, and robot system
JP2017170584A (en) 2016-03-25 2017-09-28 株式会社国際電気通信基礎技術研究所 Robot action simulation device
JP2017185577A (en) 2016-04-04 2017-10-12 ファナック株式会社 Machine learning device for performing learning by use of simulation result, mechanical system, manufacturing system and machine learning method
WO2018092860A1 (en) 2016-11-16 2018-05-24 三菱電機株式会社 Interference avoidance device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
上原悠嗣、亀崎允啓、陳奎、片野貴裕、金子大靖、東宏河、石田健蔵、菅野重樹,グローピング動作に基づく災害対応ロボットの近接環境理解に関する基礎検討,ロボティクスメカトロニクス講演会2018講演会論文集 2018 JSME Conference on Robotics and Mechatronics ,日本,一般社団法人日本機械学会,2022年06月27日

Also Published As

Publication number Publication date
JP2020044591A (en) 2020-03-26

Similar Documents

Publication Publication Date Title
JP7125745B2 (en) ENVIRONMENTAL ADAPTABILITY REINFORCEMENT SYSTEM OF AUTONOMOUS WORK SUPPORT ROBOT, OPERATION SIMULATION DEVICE, AND THEREOF PROGRAM
US10456916B2 (en) Determination of robotic step path
KR101934017B1 (en) Work machine
US9987745B1 (en) Execution of robotic tasks
US9114524B2 (en) Method of operating a wearable robot
KR102261469B1 (en) Robot control apparatus, and method and program for obtaining angle of joint of robot
KR102692977B1 (en) Footstep contact detection
CN113605483B (en) Automatic operation control method and device for excavator
WO2015137169A1 (en) Terrain determination device, legged mobile robot, robot system, control method for legged mobile robot, and control method for robot system
JP2013204260A (en) Remote control device for vehicle, vehicle and remote control method of vehicle
US10661439B2 (en) Abnormal contact detecting method and contact site identifying method for mobile robot
WO2024058844A2 (en) Automatically trasitioning a robot to an operational mode optimized for particular terrain
Ben-Tzvi et al. A mobile robot with autonomous climbing and descending of stairs
CN113733040A (en) Safety monitoring method and device for working robot and working robot
JPH11315556A (en) Learning system and method optimizing autonomous control of earth-moving machine
JP6270334B2 (en) Robot control apparatus and method
Jordan et al. Real-time model based path planning for wheeled vehicles
Gouda et al. Complex motion planning for nao humanoid robot
Olsen et al. Development of a hybrid dynamic model and experimental identification of robotic bulldozing
JP2020163495A (en) Falling determination device, falling determination method and program
JP4457617B2 (en) Motion generation system and robot motion evaluation method
Ridgewell Humanoid robot friction estimation in multi-contact scenarios
US20230399812A1 (en) Autonomous driving device for work machine
JP2018034238A (en) Mobile robot, control device thereof and stabilization discrimination method
JP2023007754A (en) Operation parameter adjustment method and operation parameter adjustment device for adjusting operation parameter of robot

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220805

R150 Certificate of patent or registration of utility model

Ref document number: 7125745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150