JP7079435B2

JP7079435B2 - Robot control device, robot control method and robot control program

Info

Publication number: JP7079435B2
Application number: JP2018097144A
Authority: JP
Inventors: エンリケチェンホセ; ラサンタフェルナンドチャリス
Original assignee: Telexistence Inc
Current assignee: Telexistence Inc
Priority date: 2018-05-21
Filing date: 2018-05-21
Publication date: 2022-06-02
Anticipated expiration: 2038-05-21
Also published as: JP2019202354A

Description

本発明は、ロボットを操作するロボット制御装置、ロボット制御方法及びロボット制御プログラムに関する。 The present invention relates to a robot control device for operating a robot, a robot control method, and a robot control program.

操作者の動作に追従してロボットを遠隔操作するシステムが開発されている。操作者が、自分自身が現存する場所とは異なった場所に実質的に存在し、その場所で自在に行動するための技術は、テレイグジスタンス（Telexistence）と呼ばれる。特許文献１には、ロボットのアームを制御する際に動作シミュレーションを行い、物体との衝突が予測された場合にロボットのアームを物体から遠ざかる向きに動作するように制御するロボット制御システムが開示されている。 A system for remotely controlling a robot according to the movement of an operator has been developed. The technique for an operator to exist in a place substantially different from the place where he / she exists and to act freely in that place is called telexistence. Patent Document 1 discloses a robot control system that performs motion simulation when controlling a robot arm and controls the robot arm to move away from the object when a collision with an object is predicted. ing.

特開２０１０－２４０７８２号公報Japanese Unexamined Patent Publication No. 2010-240782

物体との衝突を回避する際に、ロボットをどのように駆動するか（モーションプランニング）を演算する必要がある。衝突が発生した時点又は衝突回避のために停止した時点から、従来のモーションプランニングを演算するためには、相当の時間を要する。これは、衝突の回避後に２次的な衝突を回避したうえでロボットと操作者の動きとを同期するのが非常に複雑であるためである。 It is necessary to calculate how to drive the robot (motion planning) when avoiding a collision with an object. It takes a considerable amount of time to calculate the conventional motion planning from the time when the collision occurs or the time when the collision is stopped to avoid the collision. This is because it is very complicated to synchronize the movements of the robot and the operator after avoiding the secondary collision after avoiding the collision.

操作者にとって、衝突発生から復帰までの長い演算時間は、操作のスムーズさやテレイグジスタンスの体験価値を損なうものである。ロボットの腕やその他部位は、操作者の動作との時間的なずれが小さくなるように、操作者に同期されることが求められる。 For the operator, the long calculation time from the occurrence of the collision to the recovery impairs the smoothness of the operation and the experience value of the telexistence. The robot's arms and other parts are required to be synchronized with the operator so that the time lag with the operator's movement is small.

本発明はこれらの点に鑑みてなされたものであり、ロボットが物体に衝突することを回避するための演算時間を短縮できるロボット制御装置、ロボット制御方法及びロボット制御プログラムを提供することを目的とする。 The present invention has been made in view of these points, and an object of the present invention is to provide a robot control device, a robot control method, and a robot control program capable of shortening the calculation time for avoiding a robot colliding with an object. do.

本発明の第１の態様に係るロボット制御装置は、操作者の動作に追従するようにロボットを制御するロボット制御装置であって、前記ロボットの物体への衝突を検出する衝突検出部と、前記衝突検出部が前記衝突を検出した場合に、前記ロボットの周囲の状況に対応する衝突を回避可能な駆動内容を示す学習モデルと、前記ロボットの過去の駆動履歴との少なくとも一方に基づいて、前記衝突検出部が検出した前記衝突を回避可能な駆動内容を決定する駆動決定部と、前記操作者の動作への追従を前記ロボットに停止させるとともに、前記駆動決定部が決定した前記駆動内容を前記ロボットに行わせる駆動制御部と、を有する。 The robot control device according to the first aspect of the present invention is a robot control device that controls a robot so as to follow the movement of an operator, and includes a collision detection unit that detects a collision of the robot with an object and the above-mentioned. The above is based on at least one of a learning model showing a driving content that can avoid a collision corresponding to a situation around the robot when the collision detecting unit detects the collision and a past driving history of the robot. The drive determination unit that determines the drive content that can avoid the collision detected by the collision detection unit, the robot stops following the operation of the operator, and the drive content determined by the drive determination unit is described. It has a drive control unit that allows the robot to perform the operation.

前記ロボット制御装置は、前記学習モデルを記憶する記憶部をさらに有し、前記衝突検出部が前記衝突を検出した場合に、前記駆動決定部は、前記ロボットから取得した情報に基づいて前記状況を特定し、特定した前記状況に対応する前記学習モデルを前記記憶部から取得し、取得した前記学習モデルが示す駆動内容を、前記衝突を回避可能な前記駆動内容として決定してもよい。 The robot control device further has a storage unit for storing the learning model, and when the collision detection unit detects the collision, the drive determination unit determines the situation based on the information acquired from the robot. The learning model corresponding to the specified and specified situation may be acquired from the storage unit, and the driving content indicated by the acquired learning model may be determined as the driving content capable of avoiding the collision.

前記ロボット制御装置は、前記駆動履歴を記憶する記憶部をさらに有し、前記衝突検出部が前記衝突を検出した場合に、前記駆動決定部は、前記衝突の検出時から遡って所定時間の前記駆動履歴を前記記憶部から取得し、取得した前記駆動履歴を時間順に逆にした駆動内容を、前記衝突を回避可能な前記駆動内容として決定してもよい。 The robot control device further has a storage unit that stores the drive history, and when the collision detection unit detects the collision, the drive determination unit advances the drive determination unit for a predetermined time from the time when the collision is detected. The drive history may be acquired from the storage unit, and the drive content obtained by reversing the acquired drive history in chronological order may be determined as the drive content capable of avoiding the collision.

前記駆動決定部は、前記ロボットが前記衝突を回避した後に所定の姿勢に遷移する駆動内容を決定してもよい。 The drive determination unit may determine the drive content for the robot to transition to a predetermined posture after avoiding the collision.

前記駆動制御部は、前記所定の姿勢に遷移する前記駆動内容の実行を完了した後に、前記操作者の動作への追従を前記ロボットに再開させてもよい。 The drive control unit may cause the robot to resume following the operation of the operator after completing the execution of the drive content that transitions to the predetermined posture.

前記駆動制御部は、前記操作者の動作への追従を前記ロボットに停止させる際に、前記操作者の頭部の動作への追従を停止させず、前記操作者の頭部以外の動作への追従を停止させてもよい。 When the robot stops following the operation of the operator, the drive control unit does not stop following the operation of the operator's head, and causes the robot to perform an operation other than the operator's head. The follow-up may be stopped.

前記ロボット制御装置は、前記操作者が視認する表示部に対して、前記ロボットが前記操作者の動作へ追従する期間と、前記ロボットが前記操作者の動作への追従を停止している期間との間で表示態様を変更するように制御する表示制御部をさらに有してもよい。 The robot control device includes a period during which the robot follows the operation of the operator and a period during which the robot stops following the operation of the operator with respect to a display unit visually recognized by the operator. It may further have a display control unit that controls the display mode to be changed between the two.

前記物体は、前記ロボットの体と、前記ロボットの外部の物体との少なくとも一方を含んでもよい。 The object may include at least one of the body of the robot and an object outside the robot.

本発明の第２の態様に係るロボット制御方法は、操作者の動作に追従するようにロボットを制御するロボット制御装置のプロセッサが、前記ロボットの物体への衝突を検出するステップと、前記検出するステップが前記衝突を検出した場合に、前記ロボットの周囲の状況に対応する衝突を回避可能な駆動内容を示す学習モデルと、前記ロボットの過去の駆動履歴との少なくとも一方に基づいて、前記検出するステップが検出した前記衝突を回避可能な駆動内容を決定するステップと、前記操作者の動作への追従を前記ロボットに停止させるとともに、前記決定するステップが決定した前記駆動内容を前記ロボットに行わせるステップと、を実行する。 The robot control method according to the second aspect of the present invention includes a step in which a processor of a robot control device that controls a robot so as to follow an operator's motion detects a collision of the robot with an object. When the step detects the collision, the detection is performed based on at least one of a learning model showing a driving content that can avoid the collision corresponding to the surrounding situation of the robot and a past driving history of the robot. The robot is stopped from following the operation of the operator and the step of determining the drive content that can avoid the collision detected by the step, and the robot is made to perform the drive content determined by the determined step. Step and execute.

本発明の第３の態様に係るロボット制御プログラムは、操作者の動作に追従するようにロボットを制御するロボット制御装置に、前記ロボットの物体への衝突を検出するステップと、前記検出するステップが前記衝突を検出した場合に、前記ロボットの周囲の状況に対応する衝突を回避可能な駆動内容を示す学習モデルと、前記ロボットの過去の駆動履歴との少なくとも一方に基づいて、前記検出するステップが検出した前記衝突を回避可能な駆動内容を決定するステップと、前記操作者の動作への追従を前記ロボットに停止させるとともに、前記決定するステップが決定した前記駆動内容を前記ロボットに行わせるステップと、を実行させる。 In the robot control program according to the third aspect of the present invention, the robot control device that controls the robot so as to follow the movement of the operator has a step of detecting the collision of the robot with an object and a step of detecting the robot. When the collision is detected, the detection step is based on at least one of a learning model showing a driving content that can avoid the collision corresponding to the surrounding situation of the robot and a past driving history of the robot. A step of determining a driving content that can avoid the collision that has been detected, and a step of causing the robot to perform the driving content determined by the determination step while stopping the robot from following the operation of the operator. , Is executed.

本発明の第４の態様に係るロボット制御装置は、操作者の動作に追従するようにロボットを制御するロボット制御装置であって、前記ロボットの物体への衝突を検出する衝突検出部と、前記衝突検出部が前記衝突を検出した場合に、前記衝突検出部が検出した前記衝突を回避可能な駆動内容を決定するとともに、前記ロボットが前記衝突を回避した後に所定の姿勢に遷移する駆動内容を決定する駆動決定部と、前記操作者の動作への追従を前記ロボットに停止させるとともに、前記駆動決定部が決定した前記駆動内容を前記ロボットに行わせる駆動制御部と、を有する。 The robot control device according to the fourth aspect of the present invention is a robot control device that controls the robot so as to follow the movement of the operator, and includes a collision detection unit that detects a collision of the robot with an object and the above-mentioned. When the collision detection unit detects the collision, the drive content that can avoid the collision detected by the collision detection unit is determined, and the drive content that the robot transitions to a predetermined posture after avoiding the collision is determined. It has a drive determination unit for determining, and a drive control unit for causing the robot to stop following the operation of the operator and for causing the robot to perform the drive content determined by the drive determination unit.

本発明によれば、ロボットが物体に衝突することを回避するための演算時間を短縮できるという効果を奏する。 According to the present invention, there is an effect that the calculation time for avoiding the robot colliding with the object can be shortened.

本実施形態に係るロボット制御システムの模式図である。It is a schematic diagram of the robot control system which concerns on this embodiment. 本実施形態に係るロボット制御システムのブロック図である。It is a block diagram of the robot control system which concerns on this embodiment. ロボットの動作中に発生し得る衝突を説明する図である。It is a figure explaining the collision which may occur during the operation of a robot. 学習モデルを用いて衝突を回避する第１の方法を説明する模式図である。It is a schematic diagram explaining the 1st method of avoiding a collision using a learning model. 駆動履歴を用いて衝突を回避する第２の方法を説明する模式図である。It is a schematic diagram explaining the 2nd method of avoiding a collision by using a drive history. 衝突を回避した後に操作者の姿勢とロボットの姿勢とを合わせる方法を説明する模式図である。It is a schematic diagram explaining the method of matching the posture of an operator and the posture of a robot after avoiding a collision. 本実施形態に係る表示部が表示する画面を示す模式図である。It is a schematic diagram which shows the screen which the display part which concerns on this embodiment displays. 本実施形態に係るロボット制御方法のフローチャートを示す図である。It is a figure which shows the flowchart of the robot control method which concerns on this embodiment.

［ロボット制御システムＳの構成］
図１は、本実施形態に係るロボット制御システムＳの模式図である。ロボット制御システムＳは、ロボット制御装置１と、ロボット２とを含む。ロボット制御システムＳは、その他のサーバ、端末等の機器を含んでもよい。 [Configuration of robot control system S]
FIG. 1 is a schematic diagram of a robot control system S according to the present embodiment. The robot control system S includes a robot control device 1 and a robot 2. The robot control system S may include other devices such as servers and terminals.

ロボット制御装置１は、操作者Ｕ（ユーザ）の操作を示す情報に基づいてロボット２を制御するコンピュータである。ロボット制御装置１は、ロボット２に一体化されて構成されてもよい。すなわち、ロボット２は、ロボット制御装置１の機能を有してもよい。 The robot control device 1 is a computer that controls the robot 2 based on information indicating the operation of the operator U (user). The robot control device 1 may be integrated with the robot 2. That is, the robot 2 may have the function of the robot control device 1.

ロボット制御装置１は、操作者Ｕの動作を示す情報を取得する動作情報取得部１１と、操作者Ｕに対して情報を表示する表示部１２とを有する。動作情報取得部１１は、操作者Ｕの体から離れて設けられてもよく、操作者Ｕの体に装着されてもよい。表示部１２は操作者Ｕの頭部に固定されており、操作者Ｕは頭部を動かしても表示部１２が表示している情報を視認できる。 The robot control device 1 has an operation information acquisition unit 11 that acquires information indicating the operation of the operator U, and a display unit 12 that displays information to the operator U. The operation information acquisition unit 11 may be provided away from the body of the operator U, or may be attached to the body of the operator U. The display unit 12 is fixed to the head of the operator U, and the operator U can visually recognize the information displayed by the display unit 12 even if the head is moved.

ロボット２は、ロボット制御装置１から受信した信号に従って動作する装置である。図１の例では、ロボット２は人間と同様の頭部、腕部等を有しており、ロボット２を操作する操作者Ｕの体の動きに追従して各部が動作するように制御される。また、ロボット２は、撮像部２１を有しており、撮像部２１が撮像した撮像画像をロボット制御装置１へ送信する。ロボット２は、有線又は無線でロボット制御装置１に接続され、ロボット制御装置１との間で信号を授受する。ロボット２は、ロボット制御装置１に直接接続されてもよく、インターネット等のネットワークを介して接続されてもよい。 The robot 2 is a device that operates according to a signal received from the robot control device 1. In the example of FIG. 1, the robot 2 has a head, arms, and the like similar to those of a human being, and each part is controlled to move according to the movement of the body of the operator U who operates the robot 2. .. Further, the robot 2 has an image pickup unit 21, and transmits the image captured by the image pickup unit 21 to the robot control device 1. The robot 2 is connected to the robot control device 1 by wire or wirelessly, and sends and receives signals to and from the robot control device 1. The robot 2 may be directly connected to the robot control device 1 or may be connected via a network such as the Internet.

［ロボット制御システムＳの構成］
図２は、本実施形態に係るロボット制御システムＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示したもの以外のデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。 [Configuration of robot control system S]
FIG. 2 is a block diagram of the robot control system S according to the present embodiment. In FIG. 2, the arrows indicate the main data flows, and there may be data flows other than those shown in FIG. In FIG. 2, each block shows not a hardware (device) unit configuration but a functional unit configuration. Therefore, the block shown in FIG. 2 may be mounted in a single device, or may be mounted separately in a plurality of devices. Data can be exchanged between blocks via any means such as a data bus, a network, and a portable storage medium.

ロボット２は、撮像部２１、駆動部２２と、インタフェース２３とを有する。インタフェース２３は、ロボット制御装置１との間で信号の授受をするための接続部である。インタフェース２３は、ロボット制御装置１から受信した信号に所定の処理を行ってデータを取得し、取得したデータを駆動部２２に入力する。また、インタフェース２３は、撮像部２１から入力されたデータに所定の処理を行って信号を生成し、生成した信号をロボット制御装置１に送信する。 The robot 2 has an image pickup unit 21, a drive unit 22, and an interface 23. The interface 23 is a connection unit for sending and receiving signals to and from the robot control device 1. The interface 23 performs predetermined processing on the signal received from the robot control device 1 to acquire data, and inputs the acquired data to the drive unit 22. Further, the interface 23 performs predetermined processing on the data input from the imaging unit 21 to generate a signal, and transmits the generated signal to the robot control device 1.

駆動部２２は、ロボット２の各部位に動力を供給するモータ、アクチュエータ等の駆動装置を含む。駆動部２２は例えばロボット２の腕に設けられており、ロボット２はロボット制御装置１の指示に基づいて駆動部２２が動作することによって、物に触れたり、物を掴んだりする。駆動部２２は、ロボット制御装置１から受信した駆動情報に従って、ロボット２の各部位を駆動する。 The drive unit 22 includes a drive device such as a motor or an actuator that supplies power to each part of the robot 2. The drive unit 22 is provided on the arm of the robot 2, for example, and the robot 2 touches or grabs an object by operating the drive unit 22 based on an instruction from the robot control device 1. The drive unit 22 drives each part of the robot 2 according to the drive information received from the robot control device 1.

撮像部２１は、ロボット２自身の体を含む所定の撮像範囲を撮像する撮像装置である。撮像部２１は、１つ又は複数の撮像素子を含む。撮像部２１は、予め設定されたタイミングで撮像を行ってもよく、あるいはロボット制御装置１から受信した撮像の指示に従って撮像を行ってもよい。撮像部２１は、撮像素子を用いて撮像した撮像画像を示す信号をロボット制御装置１に送信する。 The image pickup unit 21 is an image pickup device that captures a predetermined imaging range including the body of the robot 2 itself. The image pickup unit 21 includes one or more image pickup elements. The imaging unit 21 may perform imaging at a preset timing, or may perform imaging according to an imaging instruction received from the robot control device 1. The image pickup unit 21 transmits a signal indicating an image captured by the image pickup element to the robot control device 1.

ロボット制御装置１は、上述の動作情報取得部１１及び表示部１２に加えて、制御部１３と、記憶部１４と、インタフェース１５とを有する。制御部１３は、動作特定部１３１と、衝突検出部１３２と、駆動決定部１３３と、駆動制御部１３４と、表示制御部１３５とを有する。記憶部１４は、学習モデル記憶部１４１と、駆動履歴記憶部１４２とを有する。 The robot control device 1 has a control unit 13, a storage unit 14, and an interface 15 in addition to the operation information acquisition unit 11 and the display unit 12 described above. The control unit 13 includes an operation specifying unit 131, a collision detection unit 132, a drive determination unit 133, a drive control unit 134, and a display control unit 135. The storage unit 14 has a learning model storage unit 141 and a drive history storage unit 142.

インタフェース１５は、ロボット２との間で信号の授受をするための接続部である。インタフェース１５は、ロボット２から受信した信号に所定の処理を行ってデータを取得し、取得したデータを制御部１３に入力する。また、インタフェース１５は、制御部１３から入力されたデータに所定の処理を行って信号を生成し、生成した信号をロボット２に送信する。 The interface 15 is a connection unit for sending and receiving signals to and from the robot 2. The interface 15 performs predetermined processing on the signal received from the robot 2 to acquire data, and inputs the acquired data to the control unit 13. Further, the interface 15 performs predetermined processing on the data input from the control unit 13 to generate a signal, and transmits the generated signal to the robot 2.

動作情報取得部１１は、操作者Ｕの動作を示す動作情報を取得する。例えば動作情報取得部１１は、操作者Ｕに向けて赤外線等の光を照射し、操作者Ｕの体の各部位に装着された受光部が光を受けたタイミングを、動作情報として取得する。あるいは動作情報取得部１１は、撮像素子を用いて操作者Ｕの体を含む撮像範囲を撮像した撮像画像を、動作情報として取得する。動作情報取得部１１は、ここに示した方法に限られず、その他の方法で操作者Ｕの動作を示す動作情報を取得してもよい。動作情報取得部１１は、取得した動作情報を示す信号を制御部１３に入力する。 The operation information acquisition unit 11 acquires operation information indicating the operation of the operator U. For example, the operation information acquisition unit 11 irradiates the operator U with light such as infrared rays, and acquires the timing at which the light receiving unit attached to each part of the body of the operator U receives the light as operation information. Alternatively, the operation information acquisition unit 11 acquires an image captured by capturing the imaging range including the body of the operator U using the image sensor as operation information. The operation information acquisition unit 11 is not limited to the method shown here, and may acquire operation information indicating the operation of the operator U by other methods. The operation information acquisition unit 11 inputs a signal indicating the acquired operation information to the control unit 13.

表示部１２は、各種情報を表示するための、液晶ディスプレイ等の表示装置を含む。表示部１２は、制御部１３から受け取った信号に従って情報を表示する。 The display unit 12 includes a display device such as a liquid crystal display for displaying various information. The display unit 12 displays information according to the signal received from the control unit 13.

記憶部１４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１４は、制御部１３が実行するプログラムを予め記憶している。学習モデル記憶部１４１は、機械学習によって生成された、衝突を回避するための駆動情報を示す学習モデルを記憶する。駆動履歴記憶部１４２は、ロボット２の駆動部２２の駆動履歴を記憶する。学習モデル記憶部１４１及び駆動履歴記憶部１４２は、それぞれ記憶部１４中の記憶領域でもよく、記憶部１４に記憶されたデータベースでもよい。記憶部１４は、ロボット制御装置１の外部に設けられてもよく、その場合にインタフェース１５を介して制御部１３との間でデータの授受を行ってもよい。 The storage unit 14 is a storage medium including a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk drive, and the like. The storage unit 14 stores in advance the program executed by the control unit 13. The learning model storage unit 141 stores a learning model that shows driving information for avoiding a collision, which is generated by machine learning. The drive history storage unit 142 stores the drive history of the drive unit 22 of the robot 2. The learning model storage unit 141 and the drive history storage unit 142 may be storage areas in the storage unit 14, or may be a database stored in the storage unit 14, respectively. The storage unit 14 may be provided outside the robot control device 1, and in that case, data may be exchanged with the control unit 13 via the interface 15.

制御部１３は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１４に記憶されたプログラムを実行することにより、動作特定部１３１、衝突検出部１３２、駆動決定部１３３、駆動制御部１３４及び表示制御部１３５として機能する。動作特定部１３１、衝突検出部１３２、駆動決定部１３３、駆動制御部１３４及び表示制御部１３５の記憶については、図３～図７を用いて後述する。制御部１３の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１３の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。 The control unit 13 is, for example, a processor such as a CPU (Central Processing Unit), and by executing a program stored in the storage unit 14, the operation specifying unit 131, the collision detection unit 132, the drive determination unit 133, and the drive control unit It functions as 134 and the display control unit 135. The memory of the operation specifying unit 131, the collision detection unit 132, the drive determination unit 133, the drive control unit 134, and the display control unit 135 will be described later with reference to FIGS. 3 to 7. At least some of the functions of the control unit 13 may be performed by an electric circuit. Further, at least a part of the functions of the control unit 13 may be executed by a program executed via the network.

本実施形態に係るロボット制御システムＳは、図２に示す具体的な構成に限定されない。例えばロボット制御装置１及びロボット２は、それぞれ１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。 The robot control system S according to the present embodiment is not limited to the specific configuration shown in FIG. For example, the robot control device 1 and the robot 2 are not limited to one device each, and may be configured by connecting two or more physically separated devices by wire or wirelessly.

［ロボット制御方法の説明］
本実施形態に係るロボット制御装置１が実行するロボット制御方法を以下に説明する。まず動作特定部１３１は、動作情報取得部１１から動作情報を取得し、取得した動作情報に基づいて操作者Ｕの動作を特定する。操作者Ｕの体の各部位に装着された受光部が光を受けたタイミングを示す動作情報を用いる場合には、動作特定部１３１は、複数の時点の該タイミングと受光部が装着された体の部位との間の関係を特定することによって、各部位の相対的な位置関係及び各部位の位置の変化を含む、操作者Ｕの動作を特定する。 [Explanation of robot control method]
The robot control method executed by the robot control device 1 according to the present embodiment will be described below. First, the operation specifying unit 131 acquires operation information from the operation information acquisition unit 11, and identifies the operation of the operator U based on the acquired operation information. When the operation information indicating the timing when the light receiving unit attached to each part of the body of the operator U receives the light is used, the operation specifying unit 131 is the body to which the timing and the light receiving unit are attached at a plurality of time points. By identifying the relationship between the parts and the parts, the movement of the operator U including the relative positional relationship of each part and the change in the position of each part is specified.

操作者Ｕの体を含む撮像範囲を撮像した撮像画像を示す動作情報を用いる場合には、動作特定部１３１は、パターンマッチング等の画像認識技術を用いて複数の時点の該撮像画像に含まれる体の部位を特定することによって、各部位の相対的な位置関係及び各部位の位置の変化を含む、操作者Ｕの動作を特定する。 When the motion information indicating the captured image including the body of the operator U is used, the motion specifying unit 131 is included in the captured image at a plurality of time points by using an image recognition technique such as pattern matching. By identifying the parts of the body, the movement of the operator U including the relative positional relationship of each part and the change in the position of each part is specified.

動作特定部１３１が操作者Ｕの動作を特定するのと並行して、衝突検出部１３２はロボット２の体の少なくとも一部が物体に衝突（接触）すること又は衝突したことを検出する。ロボット２が衝突する相手の物体は、ロボット２自身の体及びロボット２の外部の物体の少なくとも一方である。 In parallel with the motion specifying unit 131 specifying the operation of the operator U, the collision detecting unit 132 detects that at least a part of the body of the robot 2 collides (contacts) with or collides with an object. The object with which the robot 2 collides is at least one of the body of the robot 2 itself and an object outside the robot 2.

図３は、ロボット２の動作中に発生し得る衝突を説明する図である。操作者Ｕが腕を動かすように動作すると、ロボット制御装置１は操作者Ｕの動作に対応するように、ロボット２の腕を動作させる。操作者Ｕの体の形状とロボット２の体の形状との間には差異があるため、ロボット２は操作者Ｕの動作に追従しようとすると、ロボット２の体が物体と衝突する場合がある。図３はロボット２の２本の腕同士が衝突する場合を表しているが、ロボット２の腕と外部の物体とが衝突する場合もある。 FIG. 3 is a diagram illustrating a collision that may occur during the operation of the robot 2. When the operator U moves to move the arm, the robot control device 1 moves the arm of the robot 2 so as to correspond to the movement of the operator U. Since there is a difference between the shape of the body of the operator U and the shape of the body of the robot 2, when the robot 2 tries to follow the movement of the operator U, the body of the robot 2 may collide with an object. .. FIG. 3 shows a case where the two arms of the robot 2 collide with each other, but the arm of the robot 2 may collide with an external object.

衝突検出部１３２は、ロボット２の体が物体に衝突することを予測し、又はロボット２の体が物体に衝突したことを感知することによって、衝突を検出する。衝突検出部１３２は、例えばロボット２の撮像部２１が撮像した撮像画像を取得して、パターンマッチング等の画像認識技術を用いて撮像画像内の物体を抽出する。そして衝突検出部１３２は、後述の駆動制御部１３４がロボット２の体の部位を駆動する向き（ベクトル）上に抽出した物体があり、かつ該体の部位と該物体との間の距離が所定の値以下である場合に、ロボット２の体が物体に衝突することを予測する。 The collision detection unit 132 detects a collision by predicting that the body of the robot 2 collides with an object or by detecting that the body of the robot 2 collides with an object. The collision detection unit 132 acquires, for example, an image captured by the image pickup unit 21 of the robot 2 and extracts an object in the captured image by using an image recognition technique such as pattern matching. The collision detection unit 132 has an object extracted in the direction (vector) in which the drive control unit 134 described later drives the body portion of the robot 2, and the distance between the body portion and the object is predetermined. When the value is equal to or less than the value of, it is predicted that the body of the robot 2 will collide with the object.

また、衝突検出部１３２は、例えばロボット２の体の少なくとも一部に設けられた圧力センサ、加速度センサ等のセンサから値を取得し、取得した値が、物体への衝突を示す所定の条件を満たす場合にロボット２の体が物体に衝突したことを感知する。 Further, the collision detection unit 132 acquires a value from a sensor such as a pressure sensor or an acceleration sensor provided on at least a part of the body of the robot 2, and the acquired value satisfies a predetermined condition indicating a collision with an object. When it is satisfied, it senses that the body of the robot 2 has collided with an object.

衝突検出部１３２は、ここに示した方法に限られず、その他の方法でロボット２の体の少なくとも一部が物体に衝突すること又は衝突したことを検出してもよい。 The collision detection unit 132 is not limited to the method shown here, and may detect that at least a part of the body of the robot 2 collides with or has collided with an object by other methods.

駆動決定部１３３は、動作特定部１３１が特定した操作者Ｕの動作と、衝突検出部１３２が衝突を検出した結果とに基づいて、ロボット２を駆動する指示を示す駆動情報を決定する。 The drive determination unit 133 determines drive information indicating an instruction to drive the robot 2 based on the operation of the operator U specified by the operation identification unit 131 and the result of the collision detection unit 132 detecting the collision.

衝突検出部１３２が衝突を検出しなかった場合に、駆動決定部１３３は、動作特定部１３１が特定した操作者Ｕの動作に対応するロボット２の動作を決定する。駆動決定部１３３は、操作者Ｕの動作と同一の動作をロボット２の動作としてもよく、操作者Ｕの動作に対して所定の変換を加えた動作をロボット２の動作としてもよい。また、駆動決定部１３３は、操作者Ｕの動作に基づいてロボット制御装置１上で仮想的な姿勢のモデルを動かし、該姿勢のモデルの動作に基づいてロボット２の動作を決定してもよい。そして駆動決定部１３３は、ロボット２が該動作をするように駆動部２２を駆動する指示を示す駆動情報を決定する。駆動部２２を駆動する様々な指示は、予めロボット制御装置１に設定される。 When the collision detection unit 132 does not detect a collision, the drive determination unit 133 determines the operation of the robot 2 corresponding to the operation of the operator U specified by the operation identification unit 131. The drive determination unit 133 may perform the same operation as the operation of the operator U as the operation of the robot 2, or may perform an operation obtained by adding a predetermined conversion to the operation of the operator U as the operation of the robot 2. Further, the drive determination unit 133 may move the virtual posture model on the robot control device 1 based on the movement of the operator U, and determine the movement of the robot 2 based on the movement of the posture model. .. Then, the drive determination unit 133 determines drive information indicating an instruction to drive the drive unit 22 so that the robot 2 performs the operation. Various instructions for driving the drive unit 22 are set in advance in the robot control device 1.

駆動制御部１３４は、駆動決定部１３３が決定した駆動情報をロボット２に送信することによって、動作特定部１３１が特定した操作者Ｕの動作に追従するように、ロボット２を制御する。ロボット２の駆動部２２は、ロボット制御装置１から受信した駆動情報に従って、ロボット２の各部位を駆動する。 The drive control unit 134 controls the robot 2 so that the operation specifying unit 131 follows the operation of the operator U specified by the operation specifying unit 131 by transmitting the drive information determined by the drive determining unit 133 to the robot 2. The drive unit 22 of the robot 2 drives each part of the robot 2 according to the drive information received from the robot control device 1.

衝突検出部１３２が衝突を検出した場合に、まず駆動制御部１３４は、ロボット２に所定の停止情報を送信することによって、操作者Ｕの動作への追従をロボット２に停止させる。そして駆動決定部１３３は、衝突を回避するためのロボット２の動作を決定する。衝突を回避することは、衝突の発生前に衝突を防ぐことと、衝突の発生後に衝突を解消することとを含む。本発明者は、従来のモーションプランニングの代わりに又は従来のモーションプランニングに加えて、学習モデルを用いて衝突を回避する第１の方法と、駆動履歴を用いて操作者Ｕの直前の動作を巻き戻すことによって衝突を回避する第２の方法との少なくとも一方によって、衝突を回避することを考案した。これらの方法は、従来のモーションプランニングを行うよりも、格段に早い衝突からの復帰を実現できる。 When the collision detection unit 132 detects a collision, the drive control unit 134 first causes the robot 2 to stop following the operation of the operator U by transmitting predetermined stop information to the robot 2. Then, the drive determination unit 133 determines the operation of the robot 2 for avoiding a collision. Avoiding a collision involves preventing the collision before it occurs and eliminating it after it has occurred. The present inventor winds a first method of avoiding a collision by using a learning model and an operation immediately before the operator U by using a drive history instead of or in addition to the conventional motion planning. It was devised to avoid the collision by at least one of the second methods of avoiding the collision by returning. These methods can achieve a much faster recovery from a collision than conventional motion planning.

図４は、学習モデルを用いて衝突を回避する第１の方法を説明する模式図である。図４は、時刻Ｔ１、時刻Ｔ２にかけて順にロボット２の腕が動作し、その後、時刻Ｔ３の時点で衝突検出部１３２が衝突を検出したことを表している。 FIG. 4 is a schematic diagram illustrating a first method of avoiding a collision using a learning model. FIG. 4 shows that the arm of the robot 2 operates in order from time T1 to time T2, and then the collision detection unit 132 detects a collision at time T3.

学習モデル記憶部１４１には、機械学習によって生成された、衝突を回避するための駆動情報を示す学習モデルが予め記憶されている。ロボット制御装置１は、機械学習技術を用いて、ロボット２の周囲の様々な状況ごとに、衝突を回避可能なロボット２の駆動部２２の駆動内容を学習し、学習モデルとして学習モデル記憶部１４１に予め記憶させる。駆動内容は、ロボット２の部位の移動を示すベクトルや、ロボット２の部位の移動後の位置を示す情報等、駆動部２２がどのように駆動するかを示す情報である。ロボット制御装置１は、機械学習技術として、ニューラルネットワーク、サポートベクトルマシン等の公知の学習技術を用いることができる。 In the learning model storage unit 141, a learning model generated by machine learning and showing driving information for avoiding a collision is stored in advance. The robot control device 1 uses machine learning technology to learn the drive content of the drive unit 22 of the robot 2 that can avoid collisions in various situations around the robot 2, and the learning model storage unit 141 as a learning model. To memorize in advance. The driving content is information indicating how the driving unit 22 is driven, such as a vector indicating the movement of the part of the robot 2 and information indicating the position of the part of the robot 2 after the movement. As the machine learning technique, the robot control device 1 can use a known learning technique such as a neural network or a support vector machine.

駆動決定部１３３は、時刻Ｔ３において衝突検出部１３２が衝突を検出した場合に、ロボット２の撮像部２１が撮像した撮像画像を取得し、取得した撮像画像からロボット２の周囲の状況を特定する。ロボット２の周囲の状況は、ロボット２の各部位の位置と、ロボット２の近傍にある物体の位置とを含む。駆動決定部１３３は、学習モデル記憶部１４１からロボット２の周囲の状況に対応する学習モデルを取得し、取得した学習モデルが示す、衝突を回避可能な駆動内容を示す駆動情報を決定する。 When the collision detection unit 132 detects a collision at time T3, the drive determination unit 133 acquires an image captured by the image pickup unit 21 of the robot 2 and identifies the surrounding situation of the robot 2 from the acquired image. .. The situation around the robot 2 includes the position of each part of the robot 2 and the position of an object in the vicinity of the robot 2. The drive determination unit 133 acquires a learning model corresponding to the situation around the robot 2 from the learning model storage unit 141, and determines the drive information indicating the drive content that can avoid the collision, which is indicated by the acquired learning model.

このように駆動決定部１３３は、第１の方法として学習モデルを用いるため、衝突回避のためのシミュレーション等の複雑な計算が不要であり、高速に駆動情報を決定するための、演算時間を短縮できる。また、駆動決定部１３３は、衝突が検出された際のロボット２の周囲の状況に対応する駆動内容を決定するため、ロボット２が衝突を回避する際に他の物体に衝突することを抑制でき、状況ごとに適した動作をして衝突を回避できる。 In this way, since the drive determination unit 133 uses the learning model as the first method, complicated calculations such as simulation for collision avoidance are unnecessary, and the calculation time for determining the drive information at high speed is shortened. can. Further, since the drive determination unit 133 determines the drive content corresponding to the situation around the robot 2 when the collision is detected, it is possible to suppress the robot 2 from colliding with another object when avoiding the collision. , Collision can be avoided by performing the operation suitable for each situation.

図５は、駆動履歴を用いて衝突を回避する第２の方法を説明する模式図である。図５は、時刻Ｔ１、時刻Ｔ２にかけて順にロボット２の腕が動作し、その後、時刻Ｔ３の時点で衝突検出部１３２が衝突を検出したことを表している。 FIG. 5 is a schematic diagram illustrating a second method of avoiding a collision by using a drive history. FIG. 5 shows that the arm of the robot 2 operates in order from time T1 to time T2, and then the collision detection unit 132 detects a collision at time T3.

駆動履歴記憶部１４２には、ロボット２の駆動部２２が過去に実行した駆動内容を示す駆動履歴が記憶されている。駆動履歴記憶部１４２は、過去の全ての駆動履歴を記憶してもよく、現在から遡って所定時間の駆動履歴を記憶してもよい。 The drive history storage unit 142 stores a drive history indicating the drive contents executed in the past by the drive unit 22 of the robot 2. The drive history storage unit 142 may store all the past drive histories, or may store the drive history for a predetermined time retroactively from the present.

駆動決定部１３３は、時刻Ｔ３において衝突検出部１３２が衝突を検出した場合に、駆動履歴記憶部１４２から、衝突検出時から遡って所定時間（例えば５秒）の駆動履歴を取得する。そして駆動決定部１３３は、取得した駆動履歴が示す所定時間の駆動内容を時間順に逆にした駆動内容、すなわち衝突検出時から遡って所定時間前まで巻き戻す駆動内容を、衝突を回避可能な駆動内容を示す駆動情報として決定する。 When the collision detection unit 132 detects a collision at time T3, the drive determination unit 133 acquires a drive history for a predetermined time (for example, 5 seconds) from the drive history storage unit 142 retroactively from the time of collision detection. Then, the drive determination unit 133 drives the drive content in which the drive content of the predetermined time indicated by the acquired drive history is reversed in chronological order, that is, the drive content that rewinds from the time of collision detection to a predetermined time before, so that the collision can be avoided. Determined as drive information indicating the content.

図５の例では、駆動決定部１３３は、時刻Ｔ３から時刻Ｔ２まで巻き戻し、さらに時刻Ｔ２から時刻Ｔ１まで巻き戻すように、ロボット２の駆動部２２の駆動情報を決定する。このように駆動決定部１３３は、第２の方法として、ロボット２の部位が過去に実際に駆動した駆動履歴を用いて、実際に行った駆動内容を巻き戻すようにロボット２を駆動する。そのため、駆動決定部１３３は、衝突回避のためのシミュレーション等の複雑な計算が不要であり、高速に駆動情報を決定するための演算時間を短縮できる。また、ロボット２が衝突を回避する際に他の物体に衝突することを抑制でき、また予め学習モデルを構築する必要がないため実装が容易である。 In the example of FIG. 5, the drive determination unit 133 determines the drive information of the drive unit 22 of the robot 2 so as to rewind from the time T3 to the time T2 and further rewind from the time T2 to the time T1. As described above, as a second method, the drive determination unit 133 drives the robot 2 so as to rewind the actually performed drive content by using the drive history actually driven by the part of the robot 2 in the past. Therefore, the drive determination unit 133 does not require complicated calculations such as simulation for collision avoidance, and can shorten the calculation time for determining drive information at high speed. Further, it is possible to suppress the robot 2 from colliding with another object when avoiding the collision, and it is easy to implement because it is not necessary to construct a learning model in advance.

駆動決定部１３３は、第１の方法と第２の方法とを、状況によって切り替えて実行してもよい。例えば駆動決定部１３３は、学習モデルを用いる第１の方法の処理が失敗した又は計算時間が所定値以上になった場合に、駆動履歴を用いる第２の方法に切り替える。これにより、周囲の状況に対応する学習モデルが学習モデル記憶部１４１に記憶されていなかった場合や、撮像画像に基づいて学習モデルを取得する計算の解が出なかった場合等に、駆動決定部１３３は、第１の方法を中止して第２の方法を用いて処理を続行できる。 The drive determination unit 133 may switch between the first method and the second method depending on the situation. For example, the drive determination unit 133 switches to the second method using the drive history when the processing of the first method using the learning model fails or the calculation time becomes a predetermined value or more. As a result, when the learning model corresponding to the surrounding situation is not stored in the learning model storage unit 141, or when the calculation solution for acquiring the learning model based on the captured image is not obtained, the drive determination unit is used. 133 can stop the first method and continue the process using the second method.

駆動制御部１３４は、駆動決定部１３３が決定した駆動情報をロボット２に送信することによって、衝突検出部１３２が検出した衝突を回避するようにロボット２を制御する。このとき駆動制御部１３４は、駆動履歴記憶部１４２に記憶されている駆動履歴に、最新の駆動情報を追加する。ロボット２の駆動部２２は、ロボット制御装置１から受信した駆動情報に従って、ロボット２の各部位を駆動する。 The drive control unit 134 controls the robot 2 so as to avoid the collision detected by the collision detection unit 132 by transmitting the drive information determined by the drive determination unit 133 to the robot 2. At this time, the drive control unit 134 adds the latest drive information to the drive history stored in the drive history storage unit 142. The drive unit 22 of the robot 2 drives each part of the robot 2 according to the drive information received from the robot control device 1.

操作者Ｕの全ての動作への追従をロボット２に停止させると、操作者Ｕが頭部を動かしてもロボット２の撮像部２１が撮像した画像（すなわち表示部１２に表示されている画像）が変化しないため、操作者Ｕは自身の動作とロボット２の動作とのズレに起因する画面酔いをする場合がある。そのため駆動制御部１３４は、操作者Ｕの動作へ追従する動作を停止した場合であっても、操作者Ｕの頭部の動作への追従を停止させる必要が生じない範囲において（例えば、ロボット２の頭部の衝突が検出されていないことを条件として）、操作者Ｕの頭部の動作への追従は継続し、操作者Ｕの頭部以外の動作への追従を停止することが望ましい。 When the robot 2 stops following all the movements of the operator U, the image captured by the image pickup unit 21 of the robot 2 (that is, the image displayed on the display unit 12) even if the operator U moves his head. Does not change, so that the operator U may get screen sickness due to the deviation between his / her own movement and the movement of the robot 2. Therefore, even when the drive control unit 134 stops following the operation of the operator U, the drive control unit 134 does not need to stop following the movement of the head of the operator U (for example, the robot 2). It is desirable that the follow-up to the movement of the head of the operator U is continued and the follow-up to the movement other than the head of the operator U is stopped (provided that the collision of the head of the head is not detected).

例えば駆動制御部１３４は、ロボット２の腕の衝突を回避する動作をロボット２に行わせている際に、操作者Ｕの頭部の動作に対応する動作をロボットに行わせる。これにより操作者Ｕは、ロボット２が回避動作を行っている際にも、自身の頭部に追従した画像を表示部１２で見ることができるため、自身の動作とロボット２の動作とのズレに起因する画面酔いをしづらい。 For example, the drive control unit 134 causes the robot to perform an operation corresponding to the operation of the head of the operator U when the robot 2 performs an operation of avoiding a collision of the arms of the robot 2. As a result, the operator U can see the image following his / her head on the display unit 12 even when the robot 2 is performing the avoidance operation, so that the operation of the operator U and the operation of the robot 2 are deviated from each other. It is hard to get screen sickness caused by.

ロボット２が衝突を回避する動作は操作者Ｕの動作に追従しないため、ロボット２が衝突を回避する行動をした後には、操作者Ｕの姿勢とロボット２の姿勢との間にずれが生じる。そのためロボット２は、衝突を回避した後に、操作者Ｕの動作に追従することが難しくなる。そこで、駆動決定部１３３は、衝突を回避した後に操作者Ｕの姿勢とロボット２の姿勢とを合わせる駆動内容を示す駆動情報を決定することが望ましい。 Since the motion of the robot 2 avoiding the collision does not follow the motion of the operator U, a gap occurs between the posture of the operator U and the posture of the robot 2 after the robot 2 takes the action of avoiding the collision. Therefore, it becomes difficult for the robot 2 to follow the operation of the operator U after avoiding the collision. Therefore, it is desirable that the drive determination unit 133 determines the drive information indicating the drive content that matches the posture of the operator U and the posture of the robot 2 after avoiding the collision.

図６は、衝突を回避した後に操作者Ｕの姿勢とロボット２の姿勢とを合わせる方法を説明する模式図である。衝突検出部１３２が図６の上段のような衝突を検出すると、駆動決定部１３３は、まず上述の学習モデルを用いる第１の方法又は駆動履歴を用いる第２の方法を用いて、衝突を回避可能な駆動内容を示す駆動情報を決定する。このときロボット２は、操作者Ｕの動作へ追従する動作を停止しているため、図６の中段のように操作者Ｕの姿勢とロボット２の姿勢との間にずれが生じる。 FIG. 6 is a schematic diagram illustrating a method of matching the posture of the operator U with the posture of the robot 2 after avoiding a collision. When the collision detection unit 132 detects a collision as shown in the upper part of FIG. 6, the drive determination unit 133 first avoids the collision by using the first method using the learning model described above or the second method using the drive history. Determine the drive information that indicates the possible drive content. At this time, since the robot 2 has stopped the operation following the operation of the operator U, a deviation occurs between the posture of the operator U and the posture of the robot 2 as shown in the middle of FIG.

駆動決定部１３３は、衝突を回避可能な駆動の実行の後に、上述の学習モデルを用いる第１の方法によって、ロボット２を所定の姿勢に遷移させる駆動内容を示す駆動情報を決定する。所定の姿勢は、操作者Ｕとの共通認識として定められた姿勢である。図６の例では、所定の姿勢は手を下方に伸ばして広げた姿勢である。この場合に、操作者Ｕは、図６の下段のように、自らの体を動かして所定の姿勢に遷移する。 The drive determination unit 133 determines the drive information indicating the drive content for transitioning the robot 2 to a predetermined posture by the first method using the above-mentioned learning model after the execution of the drive that can avoid the collision. The predetermined posture is a posture defined as a common recognition with the operator U. In the example of FIG. 6, the predetermined posture is a posture in which the hands are extended downward and spread out. In this case, the operator U moves his / her body to change to a predetermined posture as shown in the lower part of FIG.

あるいは所定の姿勢は、操作者Ｕの現在の姿勢であってもよい。この場合に、動作特定部１３１が操作者Ｕの現在の姿勢を特定し、駆動決定部１３３は、ロボット２の姿勢を操作者Ｕの現在の姿勢に遷移させるように駆動情報を決定する。 Alternatively, the predetermined posture may be the current posture of the operator U. In this case, the motion specifying unit 131 specifies the current posture of the operator U, and the drive determining unit 133 determines the drive information so as to shift the posture of the robot 2 to the current posture of the operator U.

駆動制御部１３４は、ロボット２が所定の姿勢に遷移する駆動の実行を完了し、かつ操作者Ｕが所定の姿勢になった場合に、ロボット２を操作者Ｕの動作に追従させる制御を再開する。操作者Ｕの姿勢は、動作特定部１３１によって特定される。このように、ロボット制御装置１は、衝突を回避した後に操作者Ｕの姿勢とロボット２の姿勢とを合わせ、操作者Ｕの動作への追従をロボット２に再開させることができる。 The drive control unit 134 restarts the control to make the robot 2 follow the operation of the operator U when the robot 2 completes the execution of the drive for transitioning to the predetermined posture and the operator U is in the predetermined posture. do. The posture of the operator U is specified by the motion specifying unit 131. In this way, the robot control device 1 can match the posture of the operator U with the posture of the robot 2 after avoiding the collision, and cause the robot 2 to resume following the operation of the operator U.

表示制御部１３５は、駆動制御部１３４によるロボット２の駆動制御と並行して、ロボット２の撮像部２１が撮像した画像を表示させるように表示部１２を制御する。図７（ａ）、図７（ｂ）は、本実施形態に係る表示部１２が表示する画面を示す模式図である。 The display control unit 135 controls the display unit 12 so as to display the image captured by the image pickup unit 21 of the robot 2 in parallel with the drive control of the robot 2 by the drive control unit 134. 7 (a) and 7 (b) are schematic views showing a screen displayed by the display unit 12 according to the present embodiment.

動作特定部１３１が特定した操作者Ｕの動作に対応する動作をロボット２に行わせる場合（すなわち衝突検出部１３２が衝突を検出しなかった場合）に、表示制御部１３５は、図７（ａ）のように、ロボット２の撮像部２１が撮像した画像を表す画面Ａを表示部１２に表示させる。 When the robot 2 is made to perform an operation corresponding to the operation of the operator U specified by the operation specifying unit 131 (that is, when the collision detecting unit 132 does not detect a collision), the display control unit 135 displays FIG. 7 (a). ), The screen A representing the image captured by the imaging unit 21 of the robot 2 is displayed on the display unit 12.

衝突検出部１３２が決定した衝突を回避する動作をロボット２に行わせる場合（すなわち衝突検出部１３２が衝突を検出した場合）に、表示制御部１３５は、図７（ｂ）のように、ロボット２の撮像部２１が撮像した画像に、ロボット２が衝突回避動作を行っていることを表す情報Ｃを重畳した画面Ｂを表示部１２に表示させる。すなわち、表示制御部１３５は、ロボット２が操作者Ｕの動作へ追従する動作をしている期間と、ロボット２が操作者Ｕの動作へ追従する動作を停止している期間との間で、表示部１２の表示態様を変更する。表示制御部１３５は、例えば画面Ｂにおいてロボット２の撮像部２１が撮像した画像の明度を下げることによって、画面Ａとの表示態様を変更する。 When the robot 2 is made to perform the operation of avoiding the collision determined by the collision detection unit 132 (that is, when the collision detection unit 132 detects a collision), the display control unit 135 uses the robot as shown in FIG. 7 (b). The display unit 12 displays the screen B on which the information C indicating that the robot 2 is performing the collision avoidance operation is superimposed on the image captured by the image pickup unit 21 of 2. That is, the display control unit 135 has a period between the period in which the robot 2 follows the operation of the operator U and the period in which the robot 2 stops following the operation of the operator U. The display mode of the display unit 12 is changed. The display control unit 135 changes the display mode with the screen A by, for example, reducing the brightness of the image captured by the image pickup unit 21 of the robot 2 on the screen B.

このように表示制御部１３５は、動作特定部１３１が特定した操作者Ｕの動作に対応する動作をロボット２が行っているか、衝突検出部１３２が決定した衝突を回避する動作をロボット２が行っているかを、操作者Ｕが区別できるように表示制御を行う。衝突発生時に、操作者Ｕはさらなる衝突を発生させないことを意識して、自身の体を動かしてよいかどうかわからなくなる場合がある。図７（ａ）、図７（ｂ）のように表示部１２に追従の有無を明示することによって、操作者Ｕはロボット２が衝突発生時に自身の動作に追従していないことを認識することができ、自由に体を動かせるようになる。また、操作者Ｕは、表示部１２上で追従の有無を認識することによって、自身の動作とロボット２の動作とのズレに起因する画面酔いをしづらい。 In this way, in the display control unit 135, the robot 2 performs an operation corresponding to the operation of the operator U specified by the operation specifying unit 131, or the robot 2 performs an operation of avoiding a collision determined by the collision detecting unit 132. Display control is performed so that the operator U can distinguish whether or not it is. When a collision occurs, the operator U may not know whether or not to move his / her body, conscious of not causing a further collision. By clearly indicating whether or not to follow the display unit 12 as shown in FIGS. 7 (a) and 7 (b), the operator U recognizes that the robot 2 does not follow its own movement when a collision occurs. And you will be able to move your body freely. Further, by recognizing the presence / absence of follow-up on the display unit 12, the operator U is less likely to get screen sickness due to the deviation between his / her own movement and the movement of the robot 2.

［ロボット制御方法のフローチャート］
図８は、本実施形態に係るロボット制御方法のフローチャートを示す図である。図８のフローチャートは、例えば操作者Ｕがロボット制御装置１に対して所定の開始操作を行うことによって開始される。まず動作特定部１３１は、動作情報取得部１１から動作情報を取得し、取得した動作情報に基づいて操作者Ｕの動作を特定する（Ｓ１１）。 [Flowchart of robot control method]
FIG. 8 is a diagram showing a flowchart of the robot control method according to the present embodiment. The flowchart of FIG. 8 is started by, for example, the operator U performing a predetermined start operation on the robot control device 1. First, the operation specifying unit 131 acquires operation information from the operation information acquisition unit 11 and specifies the operation of the operator U based on the acquired operation information (S11).

ステップＳ１１で動作特定部１３１が操作者Ｕの動作を特定するのと並行して、衝突検出部１３２は、ロボット２の体の少なくとも一部が物体に衝突すること又は衝突したことを検出する（Ｓ１２）。 In parallel with the operation specifying unit 131 specifying the operation of the operator U in step S11, the collision detecting unit 132 detects that at least a part of the body of the robot 2 collides with or has collided with an object (. S12).

ステップＳ１２で衝突検出部１３２が衝突を検出しなかった場合に（Ｓ１３のＮＯ）、駆動決定部１３３は、ステップＳ１１で動作特定部１３１が特定した操作者Ｕの動作に対応するロボット２の動作を決定し、ロボット２が該動作をするように駆動部２２を駆動する指示を示す駆動情報を決定する（Ｓ１４）。 When the collision detection unit 132 does not detect the collision in step S12 (NO in S13), the drive determination unit 133 operates the robot 2 corresponding to the operation of the operator U specified by the operation identification unit 131 in step S11. Is determined, and drive information indicating an instruction to drive the drive unit 22 so that the robot 2 performs the operation is determined (S14).

駆動制御部１３４は、ステップＳ１４で駆動決定部１３３が決定した駆動情報をロボット２に送信することによって、ステップＳ１１で動作特定部１３１が特定した操作者Ｕの動作に追従するようにロボット２を制御する（Ｓ１５）。 The drive control unit 134 transmits the drive information determined by the drive determination unit 133 in step S14 to the robot 2, so that the robot 2 follows the operation of the operator U specified by the operation identification unit 131 in step S11. Control (S15).

ステップＳ１２で衝突検出部１３２が衝突を検出した場合に（Ｓ１３のＹＥＳ）、駆動制御部１３４は、ロボット２に所定の停止情報を送信することによって、操作者Ｕの動作への追従をロボット２に停止させる（Ｓ１６）。駆動決定部１３３は、学習モデル記憶部１４１からロボット２の周囲の状況に対応する学習モデルを取得し、又は駆動履歴記憶部１４２から所定時間の駆動履歴を取得する（Ｓ１７）。そして駆動決定部１３３は、ステップＳ１６で取得した学習モデル又は駆動履歴に基づいて、衝突を回避可能な駆動内容を示す駆動情報を決定する（Ｓ１８）。 When the collision detection unit 132 detects a collision in step S12 (YES in S13), the drive control unit 134 transmits predetermined stop information to the robot 2 to follow the operation of the operator U to the robot 2. (S16). The drive determination unit 133 acquires a learning model corresponding to the situation around the robot 2 from the learning model storage unit 141, or acquires a drive history for a predetermined time from the drive history storage unit 142 (S17). Then, the drive determination unit 133 determines the drive information indicating the drive content that can avoid the collision based on the learning model or the drive history acquired in step S16 (S18).

駆動制御部１３４は、ステップＳ１７で駆動決定部１３３が決定した駆動情報をロボット２に送信することによって、衝突検出部１３２が検出した衝突を回避するようにロボット２を制御する（Ｓ１９）。 The drive control unit 134 controls the robot 2 so as to avoid the collision detected by the collision detection unit 132 by transmitting the drive information determined by the drive determination unit 133 in step S17 to the robot 2 (S19).

所定の終了条件（例えば操作者Ｕがロボット制御装置１に対して所定の終了操作を行うこと）が満たされていない場合に（Ｓ２０のＮＯ）、ロボット制御装置１はステップＳ１１に戻って処理を繰り返す。所定の終了条件が満たされた場合に（Ｓ２０のＹＥＳ）、ロボット制御装置１は処理を終了する。 When a predetermined end condition (for example, the operator U performs a predetermined end operation on the robot control device 1) is not satisfied (NO in S20), the robot control device 1 returns to step S11 to perform processing. repeat. When the predetermined end condition is satisfied (YES in S20), the robot control device 1 ends the process.

［実施形態の効果］
本実施形態に係るロボット制御装置１は、学習モデル又は駆動履歴を用いて衝突を回避するためのロボット２の駆動内容を決定し、操作者Ｕの動作への追従を停止して衝突を回避するようにロボット２を駆動する。そのため、衝突回避のためにロボット２の各部位をどのように駆動するか（モーションプランニング）の演算時間を短縮できる。また、ロボット２が衝突を回避する際に別の物体に衝突することを抑制できる。 [Effect of embodiment]
The robot control device 1 according to the present embodiment determines the drive content of the robot 2 for avoiding a collision by using a learning model or a drive history, and stops following the operation of the operator U to avoid the collision. The robot 2 is driven as described above. Therefore, it is possible to shorten the calculation time of how to drive each part of the robot 2 for collision avoidance (motion planning). Further, it is possible to prevent the robot 2 from colliding with another object when avoiding the collision.

操作者Ｕの動作に追従するようにロボット２を動作させる際には、操作者Ｕの操作の違和感を小さくするために、操作者Ｕの動作を検出してからロボット２の駆動内容を決定するまでのタイムラグを小さくすることが求められる。本実施形態に係るロボット制御装置１は、衝突回避のために学習モデル又は駆動履歴を用いているため、衝突回避のためのシミュレーション等の複雑な計算が不要であり、高速に駆動内容を決定し、タイムラグを低減できる。 When operating the robot 2 so as to follow the operation of the operator U, in order to reduce the discomfort of the operation of the operator U, the operation of the operator U is detected and then the drive content of the robot 2 is determined. It is required to reduce the time lag until. Since the robot control device 1 according to the present embodiment uses a learning model or a drive history for collision avoidance, complicated calculations such as simulation for collision avoidance are unnecessary, and the drive content is determined at high speed. , Time lag can be reduced.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. be. For example, the specific embodiment of the distribution / integration of the device is not limited to the above embodiment, and all or a part thereof may be functionally or physically distributed / integrated in any unit. Can be done. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment together.

ロボット制御装置１の制御部１３（プロセッサ）は、図８に示すロボット制御方法に含まれる各ステップ（工程）の主体となる。すなわち、制御部１３は、図８に示すロボット制御方法を実行するためのプログラムを記憶部１４から読み出し、当該プログラムを実行してロボット制御装置１の各部を制御することによって、図８に示すロボット制御方法を実行する。図８に示すロボット制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。 The control unit 13 (processor) of the robot control device 1 is the main body of each step (process) included in the robot control method shown in FIG. That is, the control unit 13 reads a program for executing the robot control method shown in FIG. 8 from the storage unit 14, executes the program, and controls each part of the robot control device 1, thereby controlling the robot shown in FIG. Execute the control method. Some of the steps included in the robot control method shown in FIG. 8 may be omitted, the order between the steps may be changed, or a plurality of steps may be performed in parallel.

Ｓロボット制御システム
１ロボット制御装置
１２表示部
１３制御部
１３２衝突検出部
１３３駆動決定部
１３４駆動制御部
１３５表示制御部
１４記憶部
１４１学習モデル記憶部
１４２駆動履歴記憶部
２ロボット

S Robot control system 1 Robot control device 12 Display unit 13 Control unit 132 Collision detection unit 133 Drive determination unit 134 Drive control unit 135 Display control unit 14 Storage unit 141 Learning model storage unit 142 Drive history storage unit 2 Robot

Claims

A robot control device that controls a robot so as to follow the movement of the operator.
A collision detection unit that detects a collision of the robot with an object,
When the collision detection unit detects the collision, the collision detected by the collision detection unit can be avoided based on a learning model showing a driving content that can avoid the collision corresponding to the situation around the robot. The drive decision unit that determines the drive content and the drive decision unit
A drive control unit that causes the robot to stop following the operation of the operator and causes the robot to perform the drive content determined by the drive determination unit.
A storage unit that stores a plurality of the learning models that have learned the driving contents for each situation around the robot, and a storage unit.
Have,
When the collision detection unit detects the collision, the drive determination unit identifies the situation based on the information acquired from the robot, and acquires the learning model corresponding to the identified situation from the storage unit. A robot control device that determines the acquired drive content indicated by the learning model as the drive content that can avoid the collision .

The robot control device according to claim 1 , wherein the drive determination unit determines a drive content in which the robot transitions to a predetermined posture after avoiding the collision.

The robot control device according to claim 2 , wherein the drive control unit causes the robot to resume following the operation of the operator after the execution of the drive content transitioning to the predetermined posture is completed.

When the robot stops following the operation of the operator, the drive control unit does not stop following the operation of the operator's head, and causes the robot to perform an operation other than the operator's head. The robot control device according to any one of claims 1 to 3 , which stops following.

The display mode is set between the period in which the robot follows the operation of the operator and the period in which the robot stops following the operation of the operator with respect to the display unit visually recognized by the operator. The robot control device according to any one of claims 1 to 4 , further comprising a display control unit that controls to change.

The robot control device according to any one of claims 1 to 5 , wherein the object includes at least one of the body of the robot and an object outside the robot.

The processor of the robot control device that controls the robot so as to follow the movement of the operator
The step of detecting the collision of the robot with an object and
When the detected step detects the collision, the collision detected by the detected step can be avoided based on a learning model showing a driving content that can avoid the collision corresponding to the situation around the robot. Steps to determine the driving content and
A step of causing the robot to stop following the operation of the operator and causing the robot to perform the driving content determined by the determined step.
Is a robot control method that executes
The robot control device has a storage unit that stores a plurality of the learning models in which the driving contents are learned for each situation around the robot.
In the step of determining the driving content, the situation is specified based on the information acquired from the robot, the learning model corresponding to the identified situation is acquired from the storage unit, and the driving indicated by the acquired learning model. A robot control method comprising determining the content as the driving content that can avoid the collision .

For robot control devices that control robots to follow the movements of the operator,
The step of detecting the collision of the robot with an object and
When the detected step detects the collision, the collision detected by the detected step can be avoided based on a learning model showing a driving content that can avoid the collision corresponding to the situation around the robot. Steps to determine the driving content and
A step of causing the robot to stop following the operation of the operator and causing the robot to perform the driving content determined by the determined step.
It is a robot control program that executes
The robot control device has a storage unit that stores a plurality of the learning models in which the driving contents are learned for each situation around the robot.
In the step of determining the driving content, the situation is specified based on the information acquired from the robot, the learning model corresponding to the identified situation is acquired from the storage unit, and the driving indicated by the acquired learning model. A robot control program comprising determining the content as the driving content that can avoid the collision .