JP6931585B2 - Work system, work system control method and program - Google Patents

Work system, work system control method and program Download PDF

Info

Publication number
JP6931585B2
JP6931585B2 JP2017193041A JP2017193041A JP6931585B2 JP 6931585 B2 JP6931585 B2 JP 6931585B2 JP 2017193041 A JP2017193041 A JP 2017193041A JP 2017193041 A JP2017193041 A JP 2017193041A JP 6931585 B2 JP6931585 B2 JP 6931585B2
Authority
JP
Japan
Prior art keywords
control signal
manipulator
posture
joint
signal generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017193041A
Other languages
Japanese (ja)
Other versions
JP2019063951A (en
Inventor
佳一 山下
佳一 山下
聡 麻生
聡 麻生
雅比古 有田
雅比古 有田
健士 渡邊
健士 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Okamura Corp
Original Assignee
Okamura Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Okamura Corp filed Critical Okamura Corp
Priority to JP2017193041A priority Critical patent/JP6931585B2/en
Publication of JP2019063951A publication Critical patent/JP2019063951A/en
Application granted granted Critical
Publication of JP6931585B2 publication Critical patent/JP6931585B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、作業システム、作業システムの制御方法及びプログラムに関する。 The present invention relates to a work system, a work system control method and a program.

特許文献１には、操作者による擬人的な動きを検出し、これを複数の信号に変換してロボットデバイスを駆動させる技術が開示されている。特許文献２には、センサによって検知された製品をピックアップするようにピッカーを自動制御する技術が開示されている。 Patent Document 1 discloses a technique of detecting anthropomorphic movement by an operator and converting it into a plurality of signals to drive a robot device. Patent Document 2 discloses a technique for automatically controlling a picker so as to pick up a product detected by a sensor.

特開２０１５−１６８０５６号公報Japanese Unexamined Patent Publication No. 2015-168506 特許第５９４０６８２号公報Japanese Patent No. 5940682

ロボットデバイスや自動ピッカーなどのマニピュレータを手作業で動作させる場合、オペレータごとにマニピュレータの作業の精度が異なり、不慣れなオペレータには操作が困難となる。他方、マニピュレータを自動制御する場合、作業対象となる対象物に応じて制御を異ならせる必要があるところ、全ての種類の対象物について予め制御情報を記憶することは現実的でない。また機械学習を用いて自動制御する場合にも、学習が不十分である場合に作業の精度が低下する可能性がある。
その結果、マニピュレータの状況に応じてマニピュレータを制御するスレーブコントローラと、そのスレーブコントローラに制御信号を送信するマスタコントローラとの組み合わせを頻繁に切り替える必要がある。そのため、マスタコントローラとスレーブコントローラとの組み合わせの切り替えを短時間に容易に行うことのできる技術が求められていた。
本発明の目的は、上述した課題を解決する作業システム、作業システムの制御方法及びプログラムを提供することにある。 When a manipulator such as a robot device or an automatic picker is manually operated, the accuracy of the manipulator work differs for each operator, which makes it difficult for an inexperienced operator to operate the manipulator. On the other hand, when the manipulator is automatically controlled, it is necessary to make the control different depending on the object to be worked on, but it is not realistic to store the control information in advance for all kinds of objects. Further, even in the case of automatic control using machine learning, the accuracy of the work may decrease if the learning is insufficient.
As a result, it is necessary to frequently switch the combination of the slave controller that controls the manipulator according to the situation of the manipulator and the master controller that transmits the control signal to the slave controller. Therefore, there has been a demand for a technique capable of easily switching the combination of the master controller and the slave controller in a short time.
An object of the present invention is to provide a work system, a control method and a program of the work system, which solve the above-mentioned problems.

本発明の第１の態様によれば、作業システムは、対象物を把持し所定の位置まで移動させるマニピュレータと、前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成する制御信号生成装置と、前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行うスレーブコントローラと、前記マニピュレータが備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられた関節を基準関節と特定し、特定した前記基準関節より基端側に設けられた関節に作業モデルに基づく制御信号を適用し、前記基準関節より先端側に設けられた関節にオペレータによる操作に基づく制御信号を適用するマスタコントローラと、を備える。 According to the first aspect of the present invention, the working system is in a posture in which an operating state indicates a manipulator that grips an object and moves it to a predetermined position, and a control signal that grips the object and moves it to a predetermined position. When the posture of the manipulator and the posture indicated by the operation state of the control signal generator are similar to each other, the operation of the manipulator is changed to the operation of the control signal generator. Among the plurality of joints provided by the slave controller that performs matching synchronization processing and the manipulator, the joint that has a control signal score less than the threshold value and is provided on the most proximal side is specified as a reference joint, and the specified joint is specified. It is provided with a master controller that applies a control signal based on a work model to a joint provided on the proximal end side of the reference joint and applies a control signal based on an operation by an operator to a joint provided on the distal end side of the reference joint. ..

本発明の第２の態様によれば、第１の態様に係る作業システムにおいて、前記スレーブコントローラは、前記対象物を把持し前記所定の位置まで移動した、または、前記所定の位置まで移動できると判定した場合に前記同期を解除する離脱の処理を行ってよい。 According to the second aspect of the present invention, in the work system according to the first aspect, the slave controller grips the object and moves to the predetermined position, or can move to the predetermined position. When it is determined, the withdrawal process for canceling the synchronization may be performed.

本発明の第３の態様によれば、作業システムは、対象物を把持し所定の位置まで移動させるマニピュレータと、前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成する制御信号生成装置と、前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すスレーブコントローラと、を備える。
本発明の第４の態様によれば、第１から第３の何れかの態様に係る作業システムにおいて、前記類似の姿勢は、絶対座標での位置の差が所定範囲内である姿勢、相対座標での位置の差が所定範囲内である姿勢、及び、前記制御信号生成装置を操作する操作者の操作に基づいて生成された前記マニピュレータを制御する制御信号が示す関節の角度と、前記マニピュレータの関節の角度との差が所定範囲内である姿勢のうち少なくとも１つを含んでよい。 According to the third aspect of the present invention, the working system is in a posture in which the operating state indicates a manipulator that grips the object and moves it to a predetermined position, and a control signal that grips the object and moves it to a predetermined position. When the posture of the manipulator and the posture indicated by the operating state of the control signal generator are similar to each other, the operation of the manipulator is changed to the operation of the control signal generator. A slave controller that performs a matching synchronization process and returns the control contents of the manipulator for a predetermined time in the synchronization process is provided.
According to the fourth aspect of the present invention, in the work system according to any one of the first to third aspects, the similar postures are postures and relative coordinates in which the difference in position in absolute coordinates is within a predetermined range. The posture in which the difference in position is within a predetermined range, the angle of the joint indicated by the control signal that controls the manipulator generated based on the operation of the operator who operates the control signal generator, and the angle of the joint of the manipulator. It may include at least one of the postures in which the difference from the joint angle is within a predetermined range.

本発明の第５の態様によれば、第１から第４の何れかの態様に係る作業システムにおいて、前記スレーブコントローラは、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻してよい。 According to the fifth aspect of the present invention, in the work system according to any one of the first to fourth aspects, the slave controller returns the control content to the manipulator for a predetermined time in the synchronization process. good.

本発明の第６の態様によれば、作業システムの制御方法は、マニピュレータが、対象物を把持し所定の位置まで移動させることと、制御信号生成装置が、前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成することと、スレーブコントローラが、前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行うことと、前記マニピュレータが備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられた関節を基準関節と特定し、特定した前記基準関節より基端側に設けられた関節に作業モデルに基づく制御信号を適用し、前記基準関節より先端側に設けられた関節にオペレータによる操作に基づく制御信号を適用することと、を含む。
本発明の第７の態様によれば、作業システムの制御方法は、マニピュレータが、対象物を把持し所定の位置まで移動させることと、制御信号生成装置が、前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成することと、スレーブコントローラが、前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すことと、を含む。 According to the sixth aspect of the present invention, the control method of the working system is that the manipulator grips the object and moves it to a predetermined position, and the control signal generator grips the object and moves it to a predetermined position. When the attitude of the slave controller is similar to the attitude of the manipulator and the attitude of the control signal generator, which is indicated by the operation state, the control signal to be moved to is generated based on the attitude indicated by the operation state. Synchronizing the operation of the manipulator to match the operation of the control signal generator, and among the plurality of joints included in the manipulator, the control signal score is less than the threshold value and is provided on the most proximal side. The joint is identified as a reference joint, a control signal based on the work model is applied to the joint provided on the proximal side of the identified reference joint, and the joint provided on the distal end side of the reference joint is operated by the operator. Includes applying control signals based on .
According to the seventh aspect of the present invention, the control method of the working system is that the manipulator grips the object and moves it to a predetermined position, and the control signal generator grips the object and moves it to a predetermined position. When the attitude of the slave controller is similar to the attitude of the manipulator and the attitude of the control signal generator, which is indicated by the operation state, the control signal to be moved to is generated based on the attitude indicated by the operation state. A synchronization process for matching the operation of the manipulator with the operation of the control signal generator is performed, and in the synchronization process, the control content of the manipulator is returned for a predetermined time.

本発明の第８の態様によれば、プログラムは、コンピュータに、対象物を把持し所定の位置まで移動させる制御信号を制御信号生成装置の操作状態が示す姿勢に基づいて生成することと、前記対象物を把持し所定の位置まで移動させるマニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行うことと、前記マニピュレータが備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられた関節を基準関節と特定し、特定した前記基準関節より基端側に設けられた関節に作業モデルに基づく制御信号を適用し、前記基準関節より先端側に設けられた関節にオペレータによる操作に基づく制御信号を適用することと、を実行させる。
本発明の第９の態様によれば、プログラムは、コンピュータに、対象物を把持し所定の位置まで移動させる制御信号を制御信号生成装置の操作状態が示す姿勢に基づいて生成することと、前記対象物を把持し所定の位置まで移動させるマニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すことと、を実行させる。 According to the eighth aspect of the present invention, the program generates a control signal for the computer to grasp the object and move it to a predetermined position based on the posture indicated by the operating state of the control signal generator. When the posture of the manipulator that grips the object and moves it to a predetermined position and the posture indicated by the operating state of the control signal generator are similar to each other, the operation of the manipulator is changed to the operation of the control signal generator. The matching process is performed, and among the plurality of joints included in the manipulator, the joint whose control signal score is less than the threshold value and is provided on the most proximal side is specified as the reference joint, and the specified reference is specified. A control signal based on a work model is applied to a joint provided on the proximal end side of the joint, and a control signal based on an operation by an operator is applied to a joint provided on the distal end side of the reference joint .
According to the ninth aspect of the present invention, the program generates a control signal for the computer to grasp the object and move it to a predetermined position based on the posture indicated by the operating state of the control signal generator. When the posture of the manipulator that grips the object and moves it to a predetermined position and the posture indicated by the operating state of the control signal generator are similar to each other, the operation of the manipulator is changed to the operation of the control signal generator. The matching synchronization process is performed, and in the synchronization process, the control contents of the manipulator are returned for a predetermined time, and the operation is executed.

上記態様のうち少なくとも１つの態様によれば、制御装置は、マスタコントローラとスレーブコントローラとの組み合わせの切り替えを短時間に容易に行うことができる。 According to at least one of the above aspects, the control device can easily switch the combination of the master controller and the slave controller in a short time.

第１の実施形態に係る作業システムの構成を示す概略図である。It is the schematic which shows the structure of the work system which concerns on 1st Embodiment. 第１の実施形態に係るコントローラの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the controller which concerns on 1st Embodiment. 第１の実施形態に係るマスタコントローラの動作を示す第１のフローチャートである。It is a 1st flowchart which shows the operation of the master controller which concerns on 1st Embodiment. 第１の実施形態に係るマスタコントローラの動作を示す第２のフローチャートである。It is a 2nd flowchart which shows the operation of the master controller which concerns on 1st Embodiment. 第３の実施形態に係るマスタコントローラの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the master controller which concerns on 3rd Embodiment. 第４の実施形態における同期の処理フローの例を示す第１の図である。It is the first figure which shows the example of the synchronous processing flow in 4th Embodiment. 第４の実施形態における同期の処理フローの例を示す第２の図である。It is a 2nd figure which shows the example of the synchronous processing flow in 4th Embodiment. 第４の実施形態における同期の処理フローの例を示す第３の図である。It is a 3rd figure which shows the example of the synchronous processing flow in 4th Embodiment. 第４の実施形態における離脱の処理フローの例を示す第１の図である。It is the first figure which shows the example of the processing flow of withdrawal in 4th Embodiment. 第４の実施形態における離脱の処理フローの例を示す第２の図である。It is a 2nd figure which shows the example of the processing flow of withdrawal in 4th Embodiment. 第４の実施形態における離脱の処理フローの例を示す第３の図である。It is a 3rd figure which shows the example of the processing flow of withdrawal in 4th Embodiment. 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the computer which concerns on at least one Embodiment.

《第１の実施形態》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る作業システムの構成を示す概略図である。
作業システム１は、入出力グローブ１０と、ヘッドマウントディスプレイ２０と、マスタコントローラ３０と、スレーブコントローラ４０と作業ロボット５０とを備える。入出力グローブ１０とヘッドマウントディスプレイ２０とはオペレータＯに装着され、作業ロボット５０はオペレータＯと遠隔に設置される。マスタコントローラ３０は、入出力グローブ１０およびヘッドマウントディスプレイ２０と電気的に接続される。スレーブコントローラ４０は、作業ロボット５０と電気的に接続される。マスタコントローラ３０とスレーブコントローラ４０とは、ネットワークＮを介して通信可能に構成される。 << First Embodiment >>
Hereinafter, embodiments will be described in detail with reference to the drawings.
FIG. 1 is a schematic view showing a configuration of a work system according to the first embodiment.
The work system 1 includes an input / output glove 10, a head-mounted display 20, a master controller 30, a slave controller 40, and a work robot 50. The input / output gloves 10 and the head-mounted display 20 are attached to the operator O, and the work robot 50 is installed remotely from the operator O. The master controller 30 is electrically connected to the input / output glove 10 and the head-mounted display 20. The slave controller 40 is electrically connected to the work robot 50. The master controller 30 and the slave controller 40 are configured to be communicable via the network N.

第１の実施形態に係る作業システム１は、倉庫から物品を運搬するピッキングシステムに適用される。ピッキングシステムは、コンベアや運搬ロボットによって、物品を収容するビンを作業ロボット５０が設置された作業スペースに運搬するシステムである。オペレータＯは、作業ロボット５０を遠隔から操作し、ビンに収容された対象物品を、出荷用コンベアや仕分け箱などの他の位置に移転させる。なお、他の実施形態においては、作業システム１は、ピッキングシステム以外のシステムに適用されてもよい。例えば、作業システム１は、たねまき、仕分け、開梱や梱包、検品、組立などの他の遠隔作業（倉庫内に限らずオフィス、スーパー、病院、図書館、実験室等における遠隔作業を含む）に用いられてもよい。 The work system 1 according to the first embodiment is applied to a picking system for transporting goods from a warehouse. The picking system is a system in which a bin for accommodating an article is transported to a work space in which a work robot 50 is installed by a conveyor or a transport robot. The operator O remotely operates the work robot 50 to move the target article contained in the bin to another position such as a shipping conveyor or a sorting box. In another embodiment, the working system 1 may be applied to a system other than the picking system. For example, the work system 1 can be used for other remote work (including remote work not only in a warehouse but also in offices, supermarkets, hospitals, libraries, laboratories, etc.) such as beating, sorting, unpacking and packing, inspection, and assembly. It may be used.

入出力グローブ１０は、オペレータＯの手に取り付けられる手袋状の入出力装置である。入出力グローブ１０は、オペレータＯの姿勢を検出する姿勢センサと、作業ロボット５０の動作をフィードバックするフィードバックデバイスとを備える。入出力グローブ１０は、姿勢センサが生成する信号を、操作信号としてマスタコントローラ３０に出力する。姿勢センサは、少なくともオペレータＯの関節の角度を算出可能に構成される。姿勢センサは、モーションキャプチャによりオペレータＯの動きを検出するものであってよい。フィードバックデバイスは、作業ロボット５０のマニピュレータ５１が触れた物の触感を再現可能な素子（アクチュエータや電極など）である。フィードバックデバイスは、マスタコントローラ３０から入力されるフィードバック信号に従って動作する。 The input / output glove 10 is a glove-shaped input / output device attached to the hand of the operator O. The input / output glove 10 includes a posture sensor that detects the posture of the operator O and a feedback device that feeds back the movement of the work robot 50. The input / output glove 10 outputs a signal generated by the posture sensor to the master controller 30 as an operation signal. The posture sensor is configured to be able to calculate at least the angle of the joint of the operator O. The posture sensor may detect the movement of the operator O by motion capture. The feedback device is an element (actuator, electrode, etc.) capable of reproducing the tactile sensation of an object touched by the manipulator 51 of the work robot 50. The feedback device operates according to the feedback signal input from the master controller 30.

ヘッドマウントディスプレイ２０は、オペレータＯの頭部に装着されることでオペレータＯに画像を提示する装置である。画像の提示方法としては、オペレータの目に対向するディスプレイに画像を表示する方法や、プロジェクタによってオペレータの目に画像を投影する方法が挙げられる。ヘッドマウントディスプレイ２０は、マスタコントローラ３０から入力される映像信号に従って映像を提示する。ヘッドマウントディスプレイ２０は、自身の姿勢を検出する姿勢センサ（例えば、加速度センサやジャイロスコープなど）を備える。ヘッドマウントディスプレイ２０は、姿勢センサの検出結果を示す姿勢信号をマスタコントローラ３０に出力する。 The head-mounted display 20 is a device that presents an image to the operator O by being attached to the head of the operator O. Examples of the method of presenting the image include a method of displaying the image on a display facing the operator's eyes and a method of projecting the image on the operator's eyes by a projector. The head-mounted display 20 presents an image according to an image signal input from the master controller 30. The head-mounted display 20 includes a posture sensor (for example, an acceleration sensor, a gyroscope, etc.) that detects its own posture. The head-mounted display 20 outputs a posture signal indicating a detection result of the posture sensor to the master controller 30.

作業ロボット５０は、マニピュレータ５１とカメラ５２とを備える。
マニピュレータ５１は、複数のリンクが複数の関節を介して互いに接続されている。マニピュレータ５１は、スレーブコントローラ４０から入力される制御信号に従って関節ごとに設けられたアクチュエータを駆動させることによって各関節の角度を調整する。マニピュレータ５１の関節とオペレータＯの関節とは必ずしも一対一に対応しない。例えば、マニピュレータ５１は、５本未満の指（指に相当するリンクと関節との組み合わせ）を備えるものであってよい。また例えばマニピュレータ５１は、２つ以上の肘（肘に相当する関節）を備えるものであってよい。マニピュレータ５１には、触覚センサと姿勢センサとが設けられている。触覚センサは、マニピュレータ５１の表面（特に指に相当するリンクの先端）に設けられ、接触した物体の触感を検出する。姿勢センサは、マニピュレータ５１の関節ごとに設けられており、各関節の角度および角速度を検出する。姿勢センサの例としては、アクチュエータの運動量を計測するセンサ（回転数センサやストロークセンサ）が挙げられる。
カメラ５２は、関節を介してマニピュレータ５１と接続される。カメラ５２は、撮像した画像を表す映像情報をスレーブコントローラ４０に出力する。カメラ５２の姿勢は、スレーブコントローラ４０から入力される制御信号に従って調整される。つまり、カメラ５２とマニピュレータ５１とに接続されたアクチュエータが制御信号に従って駆動することで、カメラ５２の姿勢が調整される。 The working robot 50 includes a manipulator 51 and a camera 52.
In the manipulator 51, a plurality of links are connected to each other via a plurality of joints. The manipulator 51 adjusts the angle of each joint by driving an actuator provided for each joint according to a control signal input from the slave controller 40. The joint of the manipulator 51 and the joint of the operator O do not necessarily have a one-to-one correspondence. For example, the manipulator 51 may include less than five fingers (a combination of a link corresponding to a finger and a joint). Further, for example, the manipulator 51 may include two or more elbows (joints corresponding to elbows). The manipulator 51 is provided with a tactile sensor and a posture sensor. The tactile sensor is provided on the surface of the manipulator 51 (particularly, the tip of the link corresponding to the finger), and detects the tactile sensation of the contacted object. The posture sensor is provided for each joint of the manipulator 51, and detects the angle and the angular velocity of each joint. Examples of the posture sensor include a sensor (rotation speed sensor and stroke sensor) that measures the momentum of the actuator.
The camera 52 is connected to the manipulator 51 via a joint. The camera 52 outputs video information representing the captured image to the slave controller 40. The posture of the camera 52 is adjusted according to the control signal input from the slave controller 40. That is, the posture of the camera 52 is adjusted by driving the actuator connected to the camera 52 and the manipulator 51 according to the control signal.

マスタコントローラ３０は、入出力グローブ１０から入力される操作信号に基づいて、作業ロボット５０のマニピュレータ５１の制御信号を生成する。またマスタコントローラ３０は、作業ロボット５０からマニピュレータ５１が検出する触感を示す触感信号に基づいて、当該触覚を入出力グローブ１０のフィードバックデバイスに再現させるためのフィードバック信号を生成する。また、マスタコントローラ３０は、スレーブコントローラ４０から映像信号を受信し、これをヘッドマウントディスプレイ２０に出力する。またマスタコントローラ３０は、ヘッドマウントディスプレイ２０から入力された姿勢信号に基づいて、作業ロボット５０のカメラ５２の制御信号を生成し、スレーブコントローラ４０に送信する。 The master controller 30 generates a control signal for the manipulator 51 of the work robot 50 based on an operation signal input from the input / output glove 10. Further, the master controller 30 generates a feedback signal for reproducing the tactile sensation in the feedback device of the input / output glove 10 based on the tactile sensation signal indicating the tactile sensation detected by the manipulator 51 from the working robot 50. Further, the master controller 30 receives a video signal from the slave controller 40 and outputs the video signal to the head-mounted display 20. Further, the master controller 30 generates a control signal for the camera 52 of the work robot 50 based on the posture signal input from the head-mounted display 20, and transmits the control signal to the slave controller 40.

スレーブコントローラ４０は、マスタコントローラ３０から制御信号を受信し、これに従ってマニピュレータ５１を駆動させる。またスレーブコントローラ４０は、触覚センサ、姿勢センサ、カメラ５２から信号を取得し、これをマスタコントローラ３０に送信する。 The slave controller 40 receives a control signal from the master controller 30 and drives the manipulator 51 accordingly. Further, the slave controller 40 acquires signals from the tactile sensor, the posture sensor, and the camera 52, and transmits the signals to the master controller 30.

図２は、第１の実施形態に係るコントローラの構成を示す概略ブロック図である。
マスタコントローラ３０は、信号受信部３０１、映像信号出力部３０２、触感信号変換部３０３、フィードバック信号出力部３０４、姿勢記憶部３０５、姿勢更新部３０６、指示入力部３０７、認識部３０８、作業モデル記憶部３０９、制御信号算出部３１０、操作信号入力部３１１、操作信号変換部３１２、制御信号送信部３１３、作業判定部３１４、学習部３１５を備える。 FIG. 2 is a schematic block diagram showing a configuration of the controller according to the first embodiment.
The master controller 30 includes a signal receiving unit 301, a video signal output unit 302, a tactile signal conversion unit 303, a feedback signal output unit 304, an attitude storage unit 305, an attitude update unit 306, an instruction input unit 307, a recognition unit 308, and a work model storage. A unit 309, a control signal calculation unit 310, an operation signal input unit 311, an operation signal conversion unit 312, a control signal transmission unit 313, a work determination unit 314, and a learning unit 315 are provided.

信号受信部３０１は、スレーブコントローラ４０を介して、作業ロボット５０から映像信号、触感信号および姿勢信号を受信する。
映像信号出力部３０２は、受信した映像信号をヘッドマウントディスプレイ２０に出力する。このとき、映像信号出力部３０２は、作業指示に含まれる対象物品Ｉの画像や、認識部３０８による認識結果を映像信号に重畳させてもよい。
触感信号変換部３０３は、受信した触感信号をフィードバック信号に変換する。つまり、触感信号変換部３０３は、作業ロボット５０のマニピュレータ５１が触れた物体の触感を、フィードバックデバイスに再現させるためのフィードバック信号を生成する。触感信号からフィードバック信号への変換は、例えば触感信号を予め求められた関数に入力することで実現することができる。
フィードバック信号出力部３０４は、フィードバック信号を入出力グローブ１０に出力する。 The signal receiving unit 301 receives a video signal, a tactile signal, and an attitude signal from the working robot 50 via the slave controller 40.
The video signal output unit 302 outputs the received video signal to the head-mounted display 20. At this time, the video signal output unit 302 may superimpose the image of the target article I included in the work instruction and the recognition result by the recognition unit 308 on the video signal.
The tactile signal conversion unit 303 converts the received tactile signal into a feedback signal. That is, the tactile signal conversion unit 303 generates a feedback signal for reproducing the tactile sensation of the object touched by the manipulator 51 of the work robot 50 on the feedback device. The conversion from the tactile signal to the feedback signal can be realized, for example, by inputting the tactile signal into a function obtained in advance.
The feedback signal output unit 304 outputs the feedback signal to the input / output glove 10.

姿勢記憶部３０５は、作業ロボット５０の姿勢を記憶する。作業ロボット５０の姿勢には、各関節の位置、角度、角速度が含まれる。
姿勢更新部３０６は、受信した姿勢信号に基づいて姿勢記憶部３０５が記憶する情報を更新する。 The posture storage unit 305 stores the posture of the work robot 50. The posture of the working robot 50 includes the position, angle, and angular velocity of each joint.
The posture update unit 306 updates the information stored in the posture storage unit 305 based on the received posture signal.

指示入力部３０７は、ピッキングシステム等から作業指示の入力を受け付ける。作業指示には、作業対象となる対象物品Ｉの形状を特定可能な情報が含まれる。形状を特定可能な情報の例としては、立体形状を示す三次元形状データ、複数の視点から撮影された二次元画像データ、三次元形状データや二次元画像データから抽出された特徴量情報などが挙げられる。 The instruction input unit 307 receives input of work instructions from a picking system or the like. The work instruction includes information that can identify the shape of the target article I to be worked on. Examples of information that can specify the shape include three-dimensional shape data indicating a three-dimensional shape, two-dimensional image data taken from multiple viewpoints, three-dimensional shape data, and feature quantity information extracted from the two-dimensional image data. Can be mentioned.

認識部３０８は、作業指示に基づいて、映像信号に写った対象物品Ｉの位置および姿勢を認識する。認識部３０８は、例えばパターンマッチング法により対象物品Ｉを認識する。 The recognition unit 308 recognizes the position and orientation of the target article I captured in the video signal based on the work instruction. The recognition unit 308 recognizes the target article I by, for example, a pattern matching method.

作業モデル記憶部３０９は、対象物品Ｉの種類、位置および姿勢、ならびにマニピュレータ５１の姿勢からマニピュレータ５１の操作信号を特定するための作業モデルを記憶する。作業モデルは、学習部３１５による機械学習によって更新される。作業モデルの例としては、ニューラルネットワークモデルやベイジアンネットワークなどが挙げられる。 The work model storage unit 309 stores a work model for identifying the operation signal of the manipulator 51 from the type, position and posture of the target article I, and the posture of the manipulator 51. The working model is updated by machine learning by the learning unit 315. Examples of working models include neural network models and Bayesian networks.

制御信号算出部３１０は、作業モデル記憶部３０９が記憶する作業モデルに対象物品Ｉの種類、位置および姿勢、ならびにマニピュレータ５１の姿勢を入力することで、制御信号（第１の制御信号）を算出する。このとき、制御信号算出部３１０は、制御信号の妥当性を示すスコアを算出する。スコアの例としては、作業モデルの導出過程で算出される制御信号の尤度が挙げられる。本実施形態に係るスコアは値が大きいほど妥当性が高いことを示す。つまり、制御信号算出部３１０は信号生成部およびスコア算出部の一例である。 The control signal calculation unit 310 calculates a control signal (first control signal) by inputting the type, position and posture of the target article I, and the posture of the manipulator 51 into the work model stored in the work model storage unit 309. do. At this time, the control signal calculation unit 310 calculates a score indicating the validity of the control signal. An example of a score is the likelihood of a control signal calculated in the process of deriving a working model. The larger the score, the higher the validity of the score according to this embodiment. That is, the control signal calculation unit 310 is an example of the signal generation unit and the score calculation unit.

操作信号入力部３１１は、入出力グローブ１０から操作信号（第２の操作信号）の入力を受け付ける。また操作信号入力部３１１は、ヘッドマウントディスプレイ２０から姿勢信号の入力を受け付ける。
操作信号変換部３１２は、操作信号および姿勢信号を制御信号に変換する。つまり、操作信号変換部３１２は、オペレータＯと同じ動作を作業ロボット５０に実行させるための制御信号を生成する。操作信号および姿勢信号から制御信号への変換は、例えば操作信号および姿勢信号を予め求められた関数に入力することで実現することができる。なお、入出力グローブ１０の操作信号は、マニピュレータ５１の制御信号に変換され、ヘッドマウントディスプレイ２０の姿勢信号は、カメラ５２の制御信号に変換される。 The operation signal input unit 311 receives an input of an operation signal (second operation signal) from the input / output glove 10. Further, the operation signal input unit 311 receives the input of the attitude signal from the head-mounted display 20.
The operation signal conversion unit 312 converts the operation signal and the attitude signal into control signals. That is, the operation signal conversion unit 312 generates a control signal for causing the work robot 50 to perform the same operation as the operator O. The conversion of the operation signal and the attitude signal into the control signal can be realized, for example, by inputting the operation signal and the attitude signal into a function obtained in advance. The operation signal of the input / output glove 10 is converted into a control signal of the manipulator 51, and the posture signal of the head-mounted display 20 is converted into a control signal of the camera 52.

制御信号送信部３１３は、制御信号算出部３１０が生成した制御信号のスコアに基づいて、作業ロボット５０の制御に用いる制御信号を決定する。具体的には、制御信号送信部３１３は、スコアが閾値以上である場合に、制御信号算出部３１０が生成したマニピュレータ５１の制御信号をスレーブコントローラ４０に送信し、スコアが閾値未満である場合に、操作信号変換部３１２が変換したマニピュレータ５１の制御信号をスレーブコントローラ４０に送信する。また制御信号送信部３１３は、スコアに関わらず操作信号変換部３１２が生成したカメラ５２の制御信号をスレーブコントローラ４０に送信する。 The control signal transmission unit 313 determines a control signal to be used for controlling the work robot 50 based on the score of the control signal generated by the control signal calculation unit 310. Specifically, the control signal transmission unit 313 transmits the control signal of the manipulator 51 generated by the control signal calculation unit 310 to the slave controller 40 when the score is equal to or higher than the threshold value, and the score is lower than the threshold value. , The control signal of the manipulator 51 converted by the operation signal conversion unit 312 is transmitted to the slave controller 40. Further, the control signal transmission unit 313 transmits the control signal of the camera 52 generated by the operation signal conversion unit 312 to the slave controller 40 regardless of the score.

作業判定部３１４は、信号受信部３０１が受信した映像信号に基づいて、作業ロボット５０による作業が成功したか否かを判定する。例えば、作業判定部３１４は、対象物品Ｉが目標位置にあり、かつ対象物品Ｉがマニピュレータ５１に把持されていない場合に、作業が成功したと判定する。他方、作業判定部３１４は、対象物品Ｉが目標位置になく、かつ対象物品Ｉがマニピュレータ５１に把持されていない場合に、作業が失敗したと判定する。
学習部３１５は、認識部３０８による認識結果と、作業判定部３１４による判定結果と、作業開始から判定までに出力された制御信号とを用いて作業モデル記憶部３０９が記憶する作業モデルを更新する。 The work determination unit 314 determines whether or not the work by the work robot 50 is successful based on the video signal received by the signal reception unit 301. For example, the work determination unit 314 determines that the work is successful when the target article I is in the target position and the target article I is not gripped by the manipulator 51. On the other hand, the work determination unit 314 determines that the work has failed when the target article I is not at the target position and the target article I is not gripped by the manipulator 51.
The learning unit 315 updates the work model stored in the work model storage unit 309 using the recognition result by the recognition unit 308, the determination result by the work determination unit 314, and the control signal output from the start of the work to the determination. ..

図３は、第１の実施形態に係るマスタコントローラの動作を示す第１のフローチャートである。
ピッキングシステムが対象物を作業スペースに運搬すると、ピッキングシステムは、マスタコントローラ３０に作業指示を出力する。
マスタコントローラ３０の指示入力部３０７は、ピッキングシステムから作業指示の入力を受け付ける（ステップＳ１）。次に、信号受信部３０１は、スレーブコントローラ４０を介して作業ロボット５０から、カメラ５２が撮像した映像信号、触覚センサが検出した触感信号、および姿勢センサが検出した姿勢信号を受信する（ステップＳ２）。 FIG. 3 is a first flowchart showing the operation of the master controller according to the first embodiment.
When the picking system transports the object to the work space, the picking system outputs a work instruction to the master controller 30.
The instruction input unit 307 of the master controller 30 receives an input of a work instruction from the picking system (step S1). Next, the signal receiving unit 301 receives the video signal captured by the camera 52, the tactile signal detected by the tactile sensor, and the posture signal detected by the posture sensor from the work robot 50 via the slave controller 40 (step S2). ).

映像信号出力部３０２は、信号受信部３０１が受信した映像信号をヘッドマウントディスプレイ２０に出力する（ステップＳ３）。ヘッドマウントディスプレイ２０は、映像信号が入力されると当該映像信号に基づいて画像をオペレータＯに提示する。これにより、オペレータＯは、作業ロボット５０のマニピュレータ５１と対象物品Ｉとの位置関係を確認することができる。 The video signal output unit 302 outputs the video signal received by the signal reception unit 301 to the head-mounted display 20 (step S3). When a video signal is input, the head-mounted display 20 presents an image to the operator O based on the video signal. As a result, the operator O can confirm the positional relationship between the manipulator 51 of the work robot 50 and the target article I.

姿勢更新部３０６は、受信した姿勢信号に基づいて姿勢記憶部３０５が記憶する情報を更新する（ステップＳ４）。また触感信号変換部３０３は、受信した触感信号をフィードバック信号に変換する（ステップＳ５）そして、フィードバック信号出力部３０４は、フィードバック信号を入出力グローブ１０に出力する（ステップＳ６）。これにより、オペレータＯは、マニピュレータ５１が触れるものの触感を得ることができる。 The posture update unit 306 updates the information stored in the posture storage unit 305 based on the received posture signal (step S4). Further, the tactile signal conversion unit 303 converts the received tactile signal into a feedback signal (step S5), and the feedback signal output unit 304 outputs the feedback signal to the input / output glove 10 (step S6). As a result, the operator O can obtain the tactile sensation of what the manipulator 51 touches.

次に、認識部３０８は、作業指示に含まれる対象物品Ｉの情報に基づいて、映像信号に写った対象物品Ｉの位置および姿勢を認識する（ステップＳ７）。制御信号算出部３１０は、作業モデル記憶部３０９が記憶する作業モデルに、対象物品Ｉの種類、位置および姿勢、ならびにマニピュレータ５１の姿勢を入力することで、マニピュレータ５１の制御信号と、当該制御信号の妥当性を示すスコアとを算出する（ステップＳ８）。対象物品Ｉの種類は、作業指示に含まれる。また対象物品Ｉの位置および姿勢は、認識部３０８によって認識される。またマニピュレータ５１の姿勢は、姿勢記憶部３０５に記憶される。当該制御信号は、マニピュレータ５１を単位時間の間動作させるための信号である。 Next, the recognition unit 308 recognizes the position and posture of the target article I reflected in the video signal based on the information of the target article I included in the work instruction (step S7). The control signal calculation unit 310 inputs the type, position and posture of the target article I, and the posture of the manipulator 51 into the work model stored in the work model storage unit 309, thereby inputting the control signal of the manipulator 51 and the control signal. A score indicating the validity of the above is calculated (step S8). The type of target article I is included in the work instruction. The position and orientation of the target article I are recognized by the recognition unit 308. The posture of the manipulator 51 is stored in the posture storage unit 305. The control signal is a signal for operating the manipulator 51 for a unit time.

制御信号送信部３１３は、制御信号算出部３１０が生成した制御信号のスコアが閾値以上であるか否かを判定する（ステップＳ９）。スコアが閾値以上である場合（ステップＳ９：ＹＥＳ）、制御信号送信部３１３は、ステップＳ８で算出されたマニピュレータ５１の制御信号を、スレーブコントローラ４０に送信する（ステップＳ１０）。これにより、スレーブコントローラ４０は、作業モデルに基づいて生成された制御信号に従ってマニピュレータ５１を動作させる。 The control signal transmission unit 313 determines whether or not the score of the control signal generated by the control signal calculation unit 310 is equal to or higher than the threshold value (step S9). When the score is equal to or higher than the threshold value (step S9: YES), the control signal transmission unit 313 transmits the control signal of the manipulator 51 calculated in step S8 to the slave controller 40 (step S10). As a result, the slave controller 40 operates the manipulator 51 according to the control signal generated based on the working model.

他方、スコアが閾値未満である場合（ステップＳ９：ＮＯ）、制御信号送信部３１３は、オペレータＯによる操作に基づく制御信号をスレーブコントローラ４０に送信することを決定する。このとき、マスタコントローラ３０は、ヘッドマウントディスプレイ２０に入出力グローブ１０の操作の指示を表示させてもよい。オペレータＯによって入出力グローブ１０が操作されると、操作信号入力部３１１は、入出力グローブ１０から操作信号の入力を受け付ける（ステップＳ１１）。操作信号変換部３１２は、操作信号をマニピュレータ５１の制御信号に変換する（ステップＳ１２）。そして、制御信号送信部３１３は、ステップＳ１２で変換されたマニピュレータ５１の制御信号を、スレーブコントローラ４０に送信する（ステップＳ１３）。これにより、スレーブコントローラ４０は、オペレータＯの操作に基づいて生成された制御信号に従ってマニピュレータ５１を動作させる。 On the other hand, when the score is less than the threshold value (step S9: NO), the control signal transmission unit 313 determines to transmit the control signal based on the operation by the operator O to the slave controller 40. At this time, the master controller 30 may display the operation instruction of the input / output glove 10 on the head-mounted display 20. When the input / output glove 10 is operated by the operator O, the operation signal input unit 311 receives the input of the operation signal from the input / output glove 10 (step S11). The operation signal conversion unit 312 converts the operation signal into the control signal of the manipulator 51 (step S12). Then, the control signal transmission unit 313 transmits the control signal of the manipulator 51 converted in step S12 to the slave controller 40 (step S13). As a result, the slave controller 40 operates the manipulator 51 according to the control signal generated based on the operation of the operator O.

マニピュレータ５１の制御信号を送信すると、操作信号入力部３１１は、ヘッドマウントディスプレイ２０から姿勢信号の入力を受け付ける（ステップＳ１４）。操作信号変換部３１２は、姿勢信号をカメラ５２の制御信号に変換する（ステップＳ１５）。そして、制御信号送信部３１３は、スコアに関わらず操作信号変換部３１２が生成したカメラ５２の制御信号を作業ロボット５０に送信する（ステップＳ１６）。これにより、スレーブコントローラ４０は、オペレータＯの視線の動きとカメラ５２の視線の動きが一致するように、カメラ５２の姿勢を制御する。 When the control signal of the manipulator 51 is transmitted, the operation signal input unit 311 receives the input of the attitude signal from the head-mounted display 20 (step S14). The operation signal conversion unit 312 converts the attitude signal into the control signal of the camera 52 (step S15). Then, the control signal transmission unit 313 transmits the control signal of the camera 52 generated by the operation signal conversion unit 312 to the work robot 50 regardless of the score (step S16). As a result, the slave controller 40 controls the posture of the camera 52 so that the movement of the line of sight of the operator O and the movement of the line of sight of the camera 52 match.

図４は、第１の実施形態に係るマスタコントローラの動作を示す第２のフローチャートである。
作業判定部３１４は、信号受信部３０１が受信した映像信号に基づいて、対象物品Ｉがマニピュレータ５１に把持されているか否かを判定する（ステップＳ１７）。対象物品Ｉがマニピュレータ５１に把持されている場合（ステップＳ１７：ＹＥＳ）、作業判定部３１４は、作業中であると判定し、ステップＳ２に処理を戻す。他方、対象物品Ｉがマニピュレータ５１に把持されていない場合（ステップＳ１７：ＮＯ）、作業判定部３１４は、信号受信部３０１が受信した映像信号に基づいて、対象物品Ｉが目標位置にあるか否かを判定する（ステップＳ１８）。対象物品Ｉが目標位置にある場合（ステップＳ１８：ＹＥＳ）、作業判定部３１４は、作業が成功したと判定する（ステップＳ１９）。他方、対象物品Ｉが目標位置にない場合（ステップＳ１８：ＮＯ）、作業判定部３１４は、作業が失敗したと判定する（ステップＳ２０）。 FIG. 4 is a second flowchart showing the operation of the master controller according to the first embodiment.
The work determination unit 314 determines whether or not the target article I is gripped by the manipulator 51 based on the video signal received by the signal reception unit 301 (step S17). When the target article I is gripped by the manipulator 51 (step S17: YES), the work determination unit 314 determines that the work is in progress, and returns the process to step S2. On the other hand, when the target article I is not gripped by the manipulator 51 (step S17: NO), the work determination unit 314 determines whether or not the target article I is in the target position based on the video signal received by the signal receiving unit 301. (Step S18). When the target article I is in the target position (step S18: YES), the work determination unit 314 determines that the work was successful (step S19). On the other hand, when the target article I is not at the target position (step S18: NO), the work determination unit 314 determines that the work has failed (step S20).

そして、学習部３１５は、認識部３０８による認識結果と、作業判定部３１４による判定結果と、作業開始から判定までに出力された制御信号とを用いて作業モデル記憶部３０９が記憶する作業モデルを更新する（ステップＳ２１）。 Then, the learning unit 315 stores the work model stored in the work model storage unit 309 using the recognition result by the recognition unit 308, the determination result by the work determination unit 314, and the control signal output from the start of the work to the determination. Update (step S21).

このように、第１の実施形態によれば、マスタコントローラ３０は、マニピュレータ５１の操作の履歴に基づいてマニピュレータ５１の操作信号とその妥当性を示すスコアを算出し、当該スコアに基づいて、入出力グローブ１０の操作に従った操作信号を出力するか、算出した操作信号を出力するかを決定する。これにより、マスタコントローラ３０は、操作の履歴から生成された操作信号によってオペレータＯごとの操作のばらつきを抑制しつつ、学習が不十分な作業についてはオペレータＯによる操作によりマニピュレータ５１を動作させることで、作業の精度を保つことができる。 As described above, according to the first embodiment, the master controller 30 calculates the operation signal of the manipulator 51 and the score indicating its validity based on the operation history of the manipulator 51, and inputs based on the score. It is determined whether to output the operation signal according to the operation of the output glove 10 or to output the calculated operation signal. As a result, the master controller 30 suppresses the variation in the operation for each operator O by the operation signal generated from the operation history, and operates the manipulator 51 by the operation by the operator O for the work for which the learning is insufficient. , Work accuracy can be maintained.

《第２の実施形態》
第１の実施形態に係る作業システム１は、作業ロボット５０の単位制御時間ごとに、作業モデルから算出された制御信号と入出力グローブ１０の操作に基づく制御信号との何れを採用するかを決定する。これに対し、第２の実施形態に係る作業システム１は、スコアが閾値未満になるまでは作業モデルから算出された制御信号を採用し、スコアが閾値未満になった以降は、入出力グローブ１０の操作に基づく制御信号を採用する。 << Second Embodiment >>
The work system 1 according to the first embodiment determines whether to adopt the control signal calculated from the work model or the control signal based on the operation of the input / output glove 10 for each unit control time of the work robot 50. do. On the other hand, the work system 1 according to the second embodiment adopts the control signal calculated from the work model until the score becomes less than the threshold value, and after the score becomes less than the threshold value, the input / output glove 10 The control signal based on the operation of is adopted.

具体的には、第１の実施形態に係る制御信号送信部３１３は、ステップＳ９において、ステップＳ８で算出したスコアが閾値以上であるか否かを判定したが、第２の実施形態に係る制御信号送信部３１３は、以前に算出したスコアが全て閾値以上であるか否かを判定する。これにより、制御信号送信部３１３は、スコアが閾値未満になるまでは作業モデルから算出された制御信号を採用し、スコアが閾値未満になった以降は、入出力グローブ１０の操作に基づく制御信号を採用することができる。これにより、第２の実施形態に係る作業システム１は、作業の大まかな工程を自動制御により実現し、妥当性の低い最終工程だけをオペレータＯの操作に基づいて調整することができる。 Specifically, the control signal transmission unit 313 according to the first embodiment determines in step S9 whether or not the score calculated in step S8 is equal to or greater than the threshold value, but the control according to the second embodiment. The signal transmission unit 313 determines whether or not all the previously calculated scores are equal to or higher than the threshold value. As a result, the control signal transmission unit 313 adopts the control signal calculated from the work model until the score becomes less than the threshold value, and after the score becomes less than the threshold value, the control signal based on the operation of the input / output glove 10. Can be adopted. As a result, the work system 1 according to the second embodiment can realize a rough process of the work by automatic control, and can adjust only the final process having low validity based on the operation of the operator O.

《第３の実施形態》
第１、第２の実施形態に係る作業システム１は、マニピュレータ５１の全ての関節を作業モデルから算出された制御信号によって制御するか、入出力グローブ１０の操作に基づく制御信号によって制御するかを決定する。これに対し、第３の実施形態に係る作業システム１は、マニピュレータ５１の複数の関節の中から、作業モデルから算出された制御信号によって制御する関節と、入出力グローブ１０の操作に基づく制御信号によって制御する関節とを決定する。 << Third Embodiment >>
The work system 1 according to the first and second embodiments determines whether all the joints of the manipulator 51 are controlled by the control signal calculated from the work model or by the control signal based on the operation of the input / output glove 10. decide. On the other hand, the work system 1 according to the third embodiment has a joint controlled by a control signal calculated from a work model from a plurality of joints of the manipulator 51, and a control signal based on the operation of the input / output glove 10. Determine which joints are controlled by.

図５は、第３の実施形態に係るマスタコントローラの構成を示す概略ブロック図である。
第３の実施形態に係るマスタコントローラ３０は、第１の実施形態の構成に加え、さらに関節特定部３１６を備える。関節特定部３１６は、マニピュレータ５１が備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられるものを、基準関節として特定する。例えば、制御信号算出部３１０が、各関節の制御信号を生成した場合に、肩に相当する関節のスコアが０．８、肘に相当する関節のスコアが０．７、手首に相当する関節のスコアが０．６、指の第三関節に相当する関節のスコアが０．４、指の第二関節に相当する関節のスコアが０．３、指の第一関節に相当する関節のスコアが０．１であって、閾値が０．５である場合、関節特定部３１６は、指の第三関節に相当する関節を基準関節とする。 FIG. 5 is a schematic block diagram showing a configuration of the master controller according to the third embodiment.
The master controller 30 according to the third embodiment further includes a joint identification unit 316 in addition to the configuration of the first embodiment. The joint identification unit 316 identifies as a reference joint a plurality of joints included in the manipulator 51 that have a control signal score less than the threshold value and are provided on the most proximal side. For example, when the control signal calculation unit 310 generates a control signal for each joint, the score of the joint corresponding to the shoulder is 0.8, the score of the joint corresponding to the elbow is 0.7, and the score of the joint corresponding to the wrist is 0.7. The score is 0.6, the score of the joint corresponding to the third joint of the finger is 0.4, the score of the joint corresponding to the second joint of the finger is 0.3, and the score of the joint corresponding to the first joint of the finger is When it is 0.1 and the threshold value is 0.5, the joint identification portion 316 uses the joint corresponding to the third joint of the finger as a reference joint.

第３の実施形態に係る制御信号送信部３１３は、基準関節より基端側に設けられた関節に、制御信号算出部３１０が算出した操作信号を出力し、基準関節および基準関節より先端側に設けられた関節に、操作信号変換部３１２が変換した操作信号を出力する。上記例に倣うと、制御信号送信部３１３は、肩に相当する関節、肘に相当する関節、および手首に相当する関節に、制御信号算出部３１０が算出した操作信号を出力する。また制御信号送信部３１３は、指の第三関節に相当する関節、指の第二関節に相当する関節、指の第一関節に相当する関節に、操作信号変換部３１２が変換した操作信号を出力する。 The control signal transmission unit 313 according to the third embodiment outputs an operation signal calculated by the control signal calculation unit 310 to the joint provided on the proximal side of the reference joint, and outputs the operation signal calculated by the control signal calculation unit 310 to the reference joint and the tip side of the reference joint. The operation signal converted by the operation signal conversion unit 312 is output to the provided joint. Following the above example, the control signal transmission unit 313 outputs the operation signal calculated by the control signal calculation unit 310 to the joint corresponding to the shoulder, the joint corresponding to the elbow, and the joint corresponding to the wrist. Further, the control signal transmission unit 313 transmits the operation signal converted by the operation signal conversion unit 312 to the joint corresponding to the third joint of the finger, the joint corresponding to the second joint of the finger, and the joint corresponding to the first joint of the finger. Output.

このように、第３の実施形態に係る作業システム１は、マニピュレータ５１の基端側の動作を自動制御し、学習が不十分な先端部分についてはオペレータＯによる操作によりマニピュレータ５１を動作させる。これにより、作業システム１は、オペレータＯごとの操作のばらつきを抑制しつつ、作業の精度を保つことができる。 As described above, the work system 1 according to the third embodiment automatically controls the operation of the base end side of the manipulator 51, and operates the manipulator 51 by the operation of the operator O for the tip portion where learning is insufficient. As a result, the work system 1 can maintain the accuracy of the work while suppressing the variation in the operation for each operator O.

以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態においては、自動制御するか手動制御とするかを判定する閾値が固定値であるが、これに限られない。例えば、他の実施形態においては、当該閾値がオペレータＯの習熟度に応じて異なってもよい。例えば、オペレータＯが作業に習熟しているほど、閾値を高くすることで、習熟度の高いオペレータＯの手動制御の割合を増加させることができる。これにより、習熟度の高いオペレータＯの操作を適切に作業モデルに学習させることができる。また、他の実施形態においては、オペレータＯが当該閾値を自由に変更してもよい。また、他の実施形態においては、対象物品Ｉの種類に応じて閾値を異ならせてもよい。 Although one embodiment has been described in detail with reference to the drawings, the specific configuration is not limited to the above, and various design changes and the like can be made.
For example, in the above-described embodiment, the threshold value for determining whether to perform automatic control or manual control is a fixed value, but the present invention is not limited to this. For example, in other embodiments, the threshold value may vary depending on the proficiency level of operator O. For example, the more proficient the operator O is in the work, the higher the threshold value is, so that the ratio of manual control of the operator O having a high proficiency level can be increased. As a result, the operation of the highly proficient operator O can be appropriately learned by the work model. Further, in another embodiment, the operator O may freely change the threshold value. Further, in other embodiments, the threshold value may be different depending on the type of the target article I.

また、上述の実施形態では、マスタコントローラ３０がオペレータＯの近傍に設けられるが、これに限られない。例えば、他の実施形態では、ネットワークＮ上のサーバ装置において、上述の制御がなされてもよいし、マスタコントローラ３０とスレーブコントローラ４０の位置関係が入れ替わってもよい。つまり、他の実施形態においては、オペレータＯの近傍に設けられたスレーブコントローラ４０が、信号の転送のみを行い、作業ロボット５０の近傍に設けられたマスタコントローラ３０が、上記処理を行ってもよい。 Further, in the above-described embodiment, the master controller 30 is provided in the vicinity of the operator O, but the present invention is not limited to this. For example, in another embodiment, the above-mentioned control may be performed in the server device on the network N, or the positional relationship between the master controller 30 and the slave controller 40 may be exchanged. That is, in another embodiment, the slave controller 40 provided in the vicinity of the operator O may only transfer the signal, and the master controller 30 provided in the vicinity of the work robot 50 may perform the above processing. ..

また、第３の実施形態では、マスタコントローラ３０がスコアに基づいて複数の関節のうち基準関節より基端側の関節を自動制御し、基準関節およびこれより先端側の関節を手動制御するが、これに限られない。例えば、他の実施形態においては、マスタコントローラ３０は、複数の関節のうち、スコアが閾値以上の関節を自動制御し、スコアが閾値未満の関節を手動制御してもよい。 Further, in the third embodiment, the master controller 30 automatically controls the joint on the proximal end side of the reference joint among the plurality of joints based on the score, and manually controls the reference joint and the joint on the distal end side thereof. Not limited to this. For example, in another embodiment, the master controller 30 may automatically control a joint having a score equal to or higher than a threshold value and manually control a joint having a score lower than the threshold value among the plurality of joints.

《第４の実施形態》
本発明の第４の実施形態では、本発明の第１〜第３の実施形態による作業システム１が行う同期及び離脱について説明する。本発明の第４の実施形態において、同期とは、作業ロボット５０のオペレータＯを切り替えた場合に、作業ロボット５０のマニピュレータ５１とオペレータＯが操作する入出力グローブ１０（制御信号生成装置）との動きを一致させる作業のことである。また、本発明の第４の実施形態において、離脱とは、作業ロボット５０のマニピュレータ５１をオペレータＯが入出力グローブ１０を介して行う遠隔操作を解除する、すなわち同期を解除する作業のことである。
まず、作業システム１が同期を行う際の処理について説明する。その後、作業システム１が離脱を行う際の処理について説明する。 << Fourth Embodiment >>
In the fourth embodiment of the present invention, the synchronization and withdrawal performed by the work system 1 according to the first to third embodiments of the present invention will be described. In the fourth embodiment of the present invention, synchronization means that when the operator O of the work robot 50 is switched, the manipulator 51 of the work robot 50 and the input / output glove 10 (control signal generator) operated by the operator O are used. It is the work of matching the movements. Further, in the fourth embodiment of the present invention, the withdrawal is an operation of canceling the remote control of the manipulator 51 of the work robot 50 by the operator O via the input / output glove 10, that is, canceling the synchronization. ..
First, the processing when the work system 1 performs synchronization will be described. After that, the process when the work system 1 performs withdrawal will be described.

（作業システム１の同期処理）
作業ロボット５０は、学習により自動制御を行っている。そのような状況で、作業ロボット５０は、スコアが閾値未満となり、自動制御から手動制御に切り替わる際に、作業システム１は同期の処理を行う。作業システム１が行う同期の処理は、例えば以下に示す３つの例が挙げられる。 (Synchronous processing of work system 1)
The work robot 50 is automatically controlled by learning. In such a situation, when the score of the work robot 50 becomes less than the threshold value and the automatic control is switched to the manual control, the work system 1 performs the synchronization process. Examples of the synchronization process performed by the work system 1 include the following three examples.

（具体例１）
同期処理の１つ目の例は、マニピュレータ５１を正常な制御状態と予測される姿勢まで戻し、オペレータＯが入出力グローブ１０の状態が示す姿勢をその姿勢に近づけ、その後、スレーブコントローラ４０がマニピュレータ５１の示す姿勢を入出力グローブ１０の状態が示す姿勢に近づける処理である。
図６に示す作業システム１の処理フローを用いて、同期処理の１つ目の具体例について説明する。
スレーブコントローラ４０は、学習のために制御内容を記憶している。スレーブコントローラ４０は、所定の時間（例えば１０秒）だけ制御内容を戻す（ステップＳ１０１）。これにより、マニピュレータ５１は、スコアが閾値未満になる直前、すなわち自動制御が失敗する直前である自動制御が成功していると予想される状態に戻すことができる。オペレータＯは、入出力グローブ１０を身に着けて、入出力グローブ１０の状態が示す姿勢を、ヘッドマウントディスプレイ２０に表示されるマニピュレータ５１の姿勢に近づける。具体的には、オペレータＯは、例えばヘッドマウントディスプレイ２０を装着するオペレータＯの頭の位置を基準として、マスタコントローラ３０の存在する空間の絶対座標系とスレーブコントローラ４０の存在する空間の絶対座標系との関係を定義した相対座標系において、入出力グローブ１０の把持部の座標とマニピュレータ５１の把持部の座標とを一致させる。マスタコントローラ３０は、入出力グローブ１０の状態が示す姿勢により生成された制御信号をネットワークＮを介してスレーブコントローラ４０に送信する（ステップＳ１０２）。スレーブコントローラ４０は、マニピュレータ５１に設けられている姿勢センサのデータが示すマニピュレータ５１の姿勢と入出力グローブ１０の状態が示す姿勢とを比較する（ステップＳ１０３）。スレーブコントローラ４０は、姿勢センサのデータが示すマニピュレータ５１の姿勢と入出力グローブ１０の状態が示す姿勢との差、すなわち相対座標系における座標の差が所定の範囲内に入ったか否かを判定する（ステップＳ１０４）。スレーブコントローラ４０は、それら２つの姿勢の差が所定の範囲内に入っていないと判定した場合（ステップＳ１０４においてＮＯ）、マニピュレータ５１の姿勢を入出力グローブ１０の状態が示す姿勢に近づけるキャリブレーションを行う（ステップＳ１０５）。また、スレーブコントローラ４０は、それら２つの姿勢の差が所定の範囲内に入ったと判定した場合（ステップＳ１０４においてＹＥＳ）、同期の処理を完了する。
なお、別の具体例では、マスタコントローラ３０とスレーブコントローラ４０の存在する空間の絶対座標系で座標を定義し、オペレータＯは、入出力グローブ１０の把持部の座標とマニピュレータ５１の把持部の座標とを絶対座標系で一致させるものであってもよい。 (Specific example 1)
In the first example of the synchronization process, the manipulator 51 is returned to a posture predicted to be a normal control state, the operator O brings the posture indicated by the state of the input / output glove 10 closer to that posture, and then the slave controller 40 moves the manipulator 40 to the posture. This is a process of bringing the posture indicated by 51 closer to the posture indicated by the state of the input / output glove 10.
The first specific example of the synchronous processing will be described using the processing flow of the work system 1 shown in FIG.
The slave controller 40 stores the control contents for learning. The slave controller 40 returns the control content for a predetermined time (for example, 10 seconds) (step S101). As a result, the manipulator 51 can return to a state in which the automatic control is expected to succeed immediately before the score becomes less than the threshold value, that is, immediately before the automatic control fails. The operator O wears the input / output gloves 10 and brings the posture indicated by the state of the input / output gloves 10 closer to the posture of the manipulator 51 displayed on the head-mounted display 20. Specifically, the operator O uses, for example, the absolute coordinate system of the space where the master controller 30 exists and the absolute coordinate system of the space where the slave controller 40 exists, with reference to the position of the head of the operator O who mounts the head mount display 20. In the relative coordinate system that defines the relationship with, the coordinates of the grip portion of the input / output glove 10 and the coordinates of the grip portion of the manipulator 51 are matched. The master controller 30 transmits a control signal generated by the posture indicated by the state of the input / output glove 10 to the slave controller 40 via the network N (step S102). The slave controller 40 compares the posture of the manipulator 51 indicated by the data of the posture sensor provided on the manipulator 51 with the posture indicated by the state of the input / output glove 10 (step S103). The slave controller 40 determines whether or not the difference between the posture of the manipulator 51 indicated by the attitude sensor data and the attitude indicated by the state of the input / output glove 10, that is, the difference in coordinates in the relative coordinate system is within a predetermined range. (Step S104). When the slave controller 40 determines that the difference between the two postures is not within the predetermined range (NO in step S104), the slave controller 40 performs calibration to bring the posture of the manipulator 51 closer to the posture indicated by the state of the input / output glove 10. (Step S105). Further, when the slave controller 40 determines that the difference between the two postures is within a predetermined range (YES in step S104), the slave controller 40 completes the synchronization process.
In another specific example, the coordinates are defined in the absolute coordinate system of the space where the master controller 30 and the slave controller 40 exist, and the operator O is the coordinates of the grip portion of the input / output glove 10 and the coordinates of the grip portion of the manipulator 51. And may match in the absolute coordinate system.

（具体例２）
同期処理の２つ目の例は、同期をとる際の姿勢を予め決定し、スレーブコントローラ４０がマニピュレータ５１の姿勢を予め設定した姿勢に近づけるとともに、オペレータＯが入出力グローブ１０の状態が示す姿勢を予め設定した姿勢に近づける。そして、それらの２つの姿勢に違いがある場合にはスレーブコントローラ４０がマニピュレータ５１の姿勢を入出力グローブ１０の状態が示す姿勢に近づける処理である。
図７に示す作業システム１の処理フローを用いて、同期処理の２つ目の具体例について説明する。
予め設定した姿勢として、マニピュレータ５１の関節部への負担が低減されるように、例えばマニピュレータ５１を重力方向に伸ばす、いわゆる「気をつけ」の姿勢やオペレータＯの自然な姿勢などと決定する。スレーブコントローラ４０は、マニピュレータ５１の姿勢が予め設定した姿勢とする制御を行う（ステップＳ１０６）。また、オペレータＯは、入出力グローブ１０を身に着けて、予め設定した姿勢をとる。入出力グローブ１０の状態が示す姿勢により生成された制御信号は、マスタコントローラ３０からネットワークＮを介してスレーブコントローラ４０に送信される（ステップＳ１０２）。スレーブコントローラ４０は、マニピュレータ５１に設けられている姿勢センサのデータが示すマニピュレータ５１の姿勢と入出力グローブ１０の状態が示す姿勢とを比較する（ステップＳ１０３）。具体的には、入出力グローブ１０の状態が示す姿勢により生成された制御信号が示すマニピュレータ５１の各関節の角度と、実際のマニピュレータ５１の各関節の角度を比較する。スレーブコントローラ４０は、姿勢センサのデータが示すマニピュレータ５１の姿勢と入出力グローブ１０の状態が示す姿勢との差が所定の範囲内に入ったか否かを判定する（ステップＳ１０４）。具体的には、入出力グローブ１０の状態が示す姿勢により生成された制御信号が示すマニピュレータ５１の各関節の角度と、実際のマニピュレータ５１の各関節の角度との差が所定の角度の範囲内に入ったか否かを判定する。スレーブコントローラ４０は、それら２つの姿勢の差が所定の範囲内に入っていないと判定した場合（ステップＳ１０４においてＮＯ）、マニピュレータ５１の姿勢を入出力グローブ１０の状態が示す姿勢に近づけるキャリブレーションを行う（ステップＳ１０５）。また、スレーブコントローラ４０は、それら２つの姿勢の差が所定の範囲内に入ったと判定した場合（ステップＳ１０４においてＹＥＳ）、同期の処理を完了する。 (Specific example 2)
In the second example of the synchronization process, the posture at the time of synchronization is determined in advance, the slave controller 40 brings the posture of the manipulator 51 closer to the preset posture, and the operator O is the posture indicated by the state of the input / output glove 10. Brings closer to the preset posture. Then, when there is a difference between these two postures, the slave controller 40 brings the posture of the manipulator 51 closer to the posture indicated by the state of the input / output gloves 10.
A second specific example of the synchronous processing will be described using the processing flow of the work system 1 shown in FIG. 7.
As a preset posture, for example, a so-called "careful" posture in which the manipulator 51 is extended in the direction of gravity or a natural posture of the operator O is determined so that the load on the joint portion of the manipulator 51 is reduced. The slave controller 40 controls the posture of the manipulator 51 to be a preset posture (step S106). Further, the operator O wears the input / output gloves 10 and takes a preset posture. The control signal generated by the posture indicated by the state of the input / output glove 10 is transmitted from the master controller 30 to the slave controller 40 via the network N (step S102). The slave controller 40 compares the posture of the manipulator 51 indicated by the data of the posture sensor provided on the manipulator 51 with the posture indicated by the state of the input / output glove 10 (step S103). Specifically, the angle of each joint of the manipulator 51 indicated by the control signal generated by the posture indicated by the state of the input / output glove 10 is compared with the angle of each joint of the actual manipulator 51. The slave controller 40 determines whether or not the difference between the posture of the manipulator 51 indicated by the posture sensor data and the posture indicated by the state of the input / output gloves 10 is within a predetermined range (step S104). Specifically, the difference between the angle of each joint of the manipulator 51 indicated by the control signal generated by the posture indicated by the state of the input / output glove 10 and the angle of each joint of the actual manipulator 51 is within a predetermined angle range. Determine if it has entered. When the slave controller 40 determines that the difference between the two postures is not within the predetermined range (NO in step S104), the slave controller 40 performs calibration to bring the posture of the manipulator 51 closer to the posture indicated by the state of the input / output glove 10. (Step S105). Further, when the slave controller 40 determines that the difference between the two postures is within a predetermined range (YES in step S104), the slave controller 40 completes the synchronization process.

（具体例３）
同期処理の３つ目の例は、同期をとる際の姿勢を予め決定し、スレーブコントローラ４０がマニピュレータ５１の姿勢を予め設定した姿勢に近づけるとともに、オペレータＯが入出力グローブ１０の状態が示す姿勢を予め設定した姿勢に近づける。そして、それらの２つの姿勢に違いがある場合にはオペレータＯが入出力グローブ１０の状態が示す姿勢をマニピュレータ５１の姿勢に近づける処理である。
図８に示す作業システム１の処理フローを用いて、同期処理の３つ目の具体例について説明する。
予め設定した姿勢として、マニピュレータ５１の関節部への負担が低減されるように、例えばマニピュレータ５１を重力方向に伸ばす、いわゆる「気をつけ」の姿勢やオペレータＯの自然な姿勢などと決定する。スレーブコントローラ４０は、マニピュレータ５１の姿勢が予め設定した姿勢とする制御を行う（ステップＳ１０６）。また、オペレータＯは、入出力グローブ１０を身に着けて、予め設定した姿勢をとる。入出力グローブ１０の状態が示す姿勢により生成された制御信号は、マスタコントローラ３０からネットワークＮを介してスレーブコントローラ４０に送信される（ステップＳ１０２）。スレーブコントローラ４０は、マニピュレータ５１に設けられている姿勢センサのデータが示すマニピュレータ５１の姿勢と入出力グローブ１０の状態が示す姿勢とを比較する（ステップＳ１０３）。具体的には、入出力グローブ１０の状態が示す姿勢により生成された制御信号が示すマニピュレータ５１の各関節の角度と、実際のマニピュレータ５１の各関節の角度を比較する。スレーブコントローラ４０は、姿勢センサのデータが示すマニピュレータ５１の姿勢と入出力グローブ１０の状態が示す姿勢との差が所定の範囲内に入ったか否かを判定する（ステップＳ１０４）。具体的には、入出力グローブ１０の状態が示す姿勢により生成された制御信号が示すマニピュレータ５１の各関節の角度と、実際のマニピュレータ５１の各関節の角度との差が所定の角度の範囲内に入ったか否かを判定する。スレーブコントローラ４０は、それら２つの姿勢の差が所定の範囲内に入っていないと判定した場合（ステップＳ１０４においてＮＯ）、ネットワークＮを介してマスタコントローラ３０に２つの姿勢の差が所定の範囲内に入っていないことを報知する情報を送信する（ステップＳ１０７）。ヘッドマウントディスプレイ２０は、２つの姿勢の差が所定の範囲内に入っていないことを表示する（ステップＳ１０８）。オペレータＯは、ヘッドマウントディスプレイ２０が表示するマニピュレータ５１を見ながら、入出力グローブ１０の状態が示す姿勢をマニピュレータ５１の姿勢に近づける。入出力グローブ１０の状態が示す姿勢は、再度ステップＳ１０２の処理によってマスタコントローラ３０からネットワークＮを介してスレーブコントローラ４０に送信される。スレーブコントローラ４０は、再度ステップＳ１０３の処理を行う。これらの処理は、スレーブコントローラ４０が、それら２つの姿勢の差が所定の範囲内に入ったと判定するまで、すなわちステップＳ１０４の処理においてＹＥＳと判定されるまで繰り返される。 (Specific example 3)
In the third example of the synchronization process, the posture at the time of synchronization is determined in advance, the slave controller 40 brings the posture of the manipulator 51 closer to the preset posture, and the operator O is the posture indicated by the state of the input / output glove 10. Brings closer to the preset posture. Then, when there is a difference between these two postures, the operator O is a process of bringing the posture indicated by the state of the input / output glove 10 closer to the posture of the manipulator 51.
A third specific example of the synchronous processing will be described using the processing flow of the work system 1 shown in FIG.
As a preset posture, for example, a so-called "careful" posture in which the manipulator 51 is extended in the direction of gravity or a natural posture of the operator O is determined so that the load on the joint portion of the manipulator 51 is reduced. The slave controller 40 controls the posture of the manipulator 51 to be a preset posture (step S106). Further, the operator O wears the input / output gloves 10 and takes a preset posture. The control signal generated by the posture indicated by the state of the input / output glove 10 is transmitted from the master controller 30 to the slave controller 40 via the network N (step S102). The slave controller 40 compares the posture of the manipulator 51 indicated by the data of the posture sensor provided on the manipulator 51 with the posture indicated by the state of the input / output glove 10 (step S103). Specifically, the angle of each joint of the manipulator 51 indicated by the control signal generated by the posture indicated by the state of the input / output glove 10 is compared with the angle of each joint of the actual manipulator 51. The slave controller 40 determines whether or not the difference between the posture of the manipulator 51 indicated by the posture sensor data and the posture indicated by the state of the input / output gloves 10 is within a predetermined range (step S104). Specifically, the difference between the angle of each joint of the manipulator 51 indicated by the control signal generated by the posture indicated by the state of the input / output glove 10 and the angle of each joint of the actual manipulator 51 is within a predetermined angle range. Determine if it has entered. When the slave controller 40 determines that the difference between the two postures is not within the predetermined range (NO in step S104), the difference between the two postures is within the predetermined range for the master controller 30 via the network N. Information for notifying that the computer is not entered is transmitted (step S107). The head-mounted display 20 displays that the difference between the two postures is not within a predetermined range (step S108). The operator O brings the posture indicated by the state of the input / output gloves 10 closer to the posture of the manipulator 51 while looking at the manipulator 51 displayed by the head-mounted display 20. The posture indicated by the state of the input / output glove 10 is transmitted from the master controller 30 to the slave controller 40 via the network N again by the process of step S102. The slave controller 40 performs the process of step S103 again. These processes are repeated until the slave controller 40 determines that the difference between the two postures is within a predetermined range, that is, until it is determined to be YES in the process of step S104.

なお、スレーブコントローラ４０が行う姿勢センサのデータが示すマニピュレータ５１の姿勢と入出力グローブ１０の状態が示す姿勢との差が所定の範囲内に入ったか否かの判定は、マニピュレータ５１が設置されている空間と入出力グローブ１０が存在する空間とのグローバル座標（絶対座標）を基準に所定の範囲内に入ったと判定してもよいし、ヘッドマウントディスプレイ２０の位置を基準とした相対的な位置関係に基づいて所定の範囲内に入ったと判定するものであってもよし、手首などの関節を基準とした姿勢に基づいて所定の範囲内に入ったと判定するものであってもよい。 The manipulator 51 is installed to determine whether or not the difference between the posture of the manipulator 51 indicated by the posture sensor data performed by the slave controller 40 and the posture indicated by the state of the input / output glove 10 is within a predetermined range. It may be determined that the space is within a predetermined range based on the global coordinates (absolute coordinates) of the space where the input / output glove 10 is located and the space where the input / output glove 10 is located, or a relative position based on the position of the head mount display 20. It may be determined that the data is within the predetermined range based on the relationship, or it may be determined that the data is within the predetermined range based on the posture based on the joint such as the wrist.

また、スレーブコントローラ４０が行う姿勢センサのデータが示すマニピュレータ５１の姿勢と入出力グローブ１０の状態が示す姿勢との差が所定の範囲内に入った場合、ヘッドマウントディスプレイ２０が、例えば、音や光によってオペレータＯに報知するものであってもよい。 Further, when the difference between the posture of the manipulator 51 indicated by the posture sensor data performed by the slave controller 40 and the posture indicated by the state of the input / output glove 10 is within a predetermined range, the head-mounted display 20 may perform, for example, sound. The operator O may be notified by light.

また、オペレータＯが入出力グローブ１０の状態が示す姿勢をマニピュレータ５１の姿勢に近づける際に、ヘッドマウントディスプレイ２０は、入出力グローブ１０を身に着けた腕を仮想的に表現するものであってもよい。具体的には、ヘッドマウントディスプレイ２０は、マニピュレータ５１とともに、入出力グローブ１０を身に着けた腕を半透明に表示するものであってもよい。 Further, when the operator O brings the posture indicated by the state of the input / output glove 10 closer to the posture of the manipulator 51, the head-mounted display 20 virtually represents the arm wearing the input / output glove 10. May be good. Specifically, the head-mounted display 20 may display the arm wearing the input / output glove 10 semi-transparently together with the manipulator 51.

また、オペレータＯによる操作は、入出力グローブ１０に代わって、例えば、Ｋｉｎｅｃｔ（登録商標）などの技術を用いたモーションキャプチャに基づくものであってもよい。 Further, the operation by the operator O may be based on motion capture using a technique such as Kinect (registered trademark) instead of the input / output glove 10.

（作業システム１の離脱処理）
作業ロボット５０が対象物Ｉを所定の位置まで移動した、または、作業モデルに基づく自律制御によって所定の位置まで移動できると判定した場合、作業システム１は離脱の処理を行う。作業システム１が行う離脱の処理は、例えば以下に示す３つの例が挙げられる。 (Leaving process of work system 1)
When the work robot 50 determines that the object I has moved to a predetermined position or can be moved to a predetermined position by autonomous control based on the work model, the work system 1 performs a withdrawal process. Examples of the withdrawal process performed by the work system 1 include the following three examples.

（具体例１）
離脱処理の１つ目の例は、作業の完了をオペレータＯが判断して離脱のための操作を行う処理である。
図９に示す作業システム１の処理フローを用いて、離脱処理の１つ目の具体例について説明する。
オペレータＯは、ヘッドマウントディスプレイ２０に表示される対象物Ｉやマニピュレータ５１を見ながら、マニピュレータ５１で対象物Ｉを把持し、所定の位置までその対象物Ｉを移動させる操作を入出力グローブ１０に対して行う。制御信号送信部３１３は、オペレータＯによる操作に基づく制御信号をスレーブコントローラ４０に送信する（ステップＳ２０１）。スレーブコントローラ４０は、マスタコントローラ３０から制御信号を受信する（ステップＳ２０２）。スレーブコントローラ４０は、受信した制御信号に応じてマニピュレータ５１を制御し、対象物Ｉを所定の位置まで移動させる（ステップＳ２０３）。オペレータＯは、ヘッドマウントディスプレイ２０が表示するマニピュレータ５１の動作を見る。オペレータＯは、マニピュレータ５１が所定の位置まで対象物Ｉを移動させたと判定した場合、「離脱」ボタンを押下する操作を行う（ステップＳ２０４）。なお、本発明の別の実施形態では、「離脱」ボタンの押下に代わり、アイトラッキングによって「離脱」を選択できるものであってもよい。 (Specific example 1)
The first example of the withdrawal process is a process in which the operator O determines the completion of the work and performs an operation for withdrawal.
The first specific example of the withdrawal process will be described with reference to the process flow of the work system 1 shown in FIG.
While looking at the object I and the manipulator 51 displayed on the head-mounted display 20, the operator O grasps the object I with the manipulator 51 and moves the object I to a predetermined position on the input / output glove 10. Do it against. The control signal transmission unit 313 transmits a control signal based on the operation by the operator O to the slave controller 40 (step S201). The slave controller 40 receives a control signal from the master controller 30 (step S202). The slave controller 40 controls the manipulator 51 according to the received control signal to move the object I to a predetermined position (step S203). The operator O sees the operation of the manipulator 51 displayed by the head-mounted display 20. When it is determined that the manipulator 51 has moved the object I to a predetermined position, the operator O performs an operation of pressing the "leave" button (step S204). In another embodiment of the present invention, "withdrawal" may be selected by eye tracking instead of pressing the "withdrawal" button.

（具体例２）
離脱処理の２つ目の例は、スレーブコントローラ４０がカメラ５２の撮影した画像に基づいて、対象物Ｉが所定の位置まで移動したと判定した場合に、スレーブコントローラ４０が離脱と判定し離脱のための操作を行う処理である。
図１０に示す作業システム１の処理フローを用いて、離脱処理の１つ目の具体例について説明する。
オペレータＯは、ヘッドマウントディスプレイ２０に表示される対象物Ｉやマニピュレータ５１を見ながら、マニピュレータ５１で対象物Ｉを把持し、所定の位置までその対象物Ｉを移動させる操作を入出力グローブ１０に対して行う。制御信号送信部３１３は、オペレータＯによる操作に基づく制御信号をスレーブコントローラ４０に送信する（ステップＳ２０１）。スレーブコントローラ４０は、マスタコントローラ３０から制御信号を受信する（ステップＳ２０２）。スレーブコントローラ４０は、受信した制御信号に応じてマニピュレータ５１を制御し、対象物Ｉを所定の位置まで移動させる（ステップＳ２０３）。カメラ５２は、マニピュレータ５１と対象物Ｉの画像を撮影する。スレーブコントローラ４０は、カメラ５２が撮影した画像を解析して、マニピュレータ５１が対象物Ｉを所定の位置まで移動させたか否かを判定する（ステップＳ２０５）。
スレーブコントローラ４０は、マニピュレータ５１が対象物Ｉを所定の位置まで移動させていないと判定した場合（ステップＳ２０５においてＮＯ）、ステップＳ２０３の処理に戻す。
また、スレーブコントローラ４０は、マニピュレータ５１が対象物Ｉを所定の位置まで移動させたと判定した場合（ステップＳ２０５においてＹＥＳ）、「離脱」の処理を行う（ステップＳ２０６）。 (Specific example 2)
In the second example of the detachment process, when the slave controller 40 determines that the object I has moved to a predetermined position based on the image taken by the camera 52, the slave controller 40 determines that the object is detached and detaches. It is a process to perform the operation for.
A first specific example of the withdrawal process will be described using the process flow of the work system 1 shown in FIG.
While looking at the object I and the manipulator 51 displayed on the head-mounted display 20, the operator O grasps the object I with the manipulator 51 and moves the object I to a predetermined position on the input / output glove 10. Do it against. The control signal transmission unit 313 transmits a control signal based on the operation by the operator O to the slave controller 40 (step S201). The slave controller 40 receives a control signal from the master controller 30 (step S202). The slave controller 40 controls the manipulator 51 according to the received control signal to move the object I to a predetermined position (step S203). The camera 52 captures an image of the manipulator 51 and the object I. The slave controller 40 analyzes the image taken by the camera 52 and determines whether or not the manipulator 51 has moved the object I to a predetermined position (step S205).
When the slave controller 40 determines that the manipulator 51 has not moved the object I to a predetermined position (NO in step S205), the slave controller 40 returns to the process of step S203.
Further, when the manipulator 51 determines that the object I has been moved to a predetermined position (YES in step S205), the slave controller 40 performs the process of "leaving" (step S206).

（具体例３）
離脱処理の３つ目の例は、スレーブコントローラ４０が対象物Ｉを移動させる作業が安定な状態にあると判定した場合、スレーブコントローラ４０が離脱の処理を行い、それ以降の処理をスレーブコントローラ４０による自律制御で行う処理である。
図１１に示す作業システム１の処理フローを用いて、離脱処理の１つ目の具体例について説明する。
オペレータＯは、ヘッドマウントディスプレイ２０に表示される対象物Ｉやマニピュレータ５１を見ながら、マニピュレータ５１で対象物Ｉを把持し、所定の位置までその対象物Ｉを移動させる操作を入出力グローブ１０に対して行う。制御信号算出部３１０が生成した操作領域ごとの制御信号のスコアが閾値以上であるか否かを判定する（ステップＳ２０７）。制御信号送信部３１３は、オペレータＯによる操作に基づく操作領域ごとの制御信号をスレーブコントローラ４０に送信する（ステップＳ２０８）。このとき、操作領域ごとの制御信号が閾値以上のスコアであると制御信号算出部３１０が判定した場合には、制御信号送信部３１３は、スコアが閾値以上であることを示す情報と共に制御信号を所定の操作領域ごとにスレーブコントローラ４０に送信する。また、制御信号が閾値未満のスコアであると制御信号算出部３１０が判定した場合には、制御信号送信部３１３は、スコアが閾値未満であることを示す情報と共に制御信号を所定の操作領域ごとにスレーブコントローラ４０に送信する。スレーブコントローラ４０は、マスタコントローラ３０から制御信号を受信する（ステップＳ２０９）。
このとき、スレーブコントローラ４０は、受信した操作領域ごとの制御信号が閾値未満のスコアである場合には、同期を継続して、受信した制御信号でマニピュレータ５１を制御し、対象物Ｉを所定の位置へ向けて操作領域内を移動させる（ステップＳ２１０）。
また、スレーブコントローラ４０は、受信した操作領域ごとの制御信号が閾値以上のスコアである場合には、離脱の操作を行い、受信した制御信号でマニピュレータ５１を制御し、対象物Ｉを所定の位置へ向けて操作領域内を移動させる（ステップＳ２１１）。スレーブコントローラ４０は、離脱の操作を行った場合、以降の操作領域において自律制御によって対象物Ｉを所定の位置まで移動させる制御を行う。 (Specific example 3)
In the third example of the detachment process, when the slave controller 40 determines that the work of moving the object I is in a stable state, the slave controller 40 performs the detachment process, and the subsequent processes are performed by the slave controller 40. It is a process performed by autonomous control by.
A first specific example of the withdrawal process will be described using the process flow of the work system 1 shown in FIG.
While looking at the object I and the manipulator 51 displayed on the head-mounted display 20, the operator O grasps the object I with the manipulator 51 and moves the object I to a predetermined position on the input / output glove 10. Do it against. It is determined whether or not the score of the control signal for each operation area generated by the control signal calculation unit 310 is equal to or greater than the threshold value (step S207). The control signal transmission unit 313 transmits a control signal for each operation area based on the operation by the operator O to the slave controller 40 (step S208). At this time, when the control signal calculation unit 310 determines that the control signal for each operation area has a score equal to or higher than the threshold value, the control signal transmission unit 313 transmits the control signal together with information indicating that the score is equal to or higher than the threshold value. It is transmitted to the slave controller 40 for each predetermined operation area. When the control signal calculation unit 310 determines that the control signal has a score less than the threshold value, the control signal transmission unit 313 transmits the control signal for each predetermined operation area together with information indicating that the score is less than the threshold value. Is transmitted to the slave controller 40. The slave controller 40 receives a control signal from the master controller 30 (step S209).
At this time, when the received control signal for each operation area has a score less than the threshold value, the slave controller 40 continues synchronization, controls the manipulator 51 with the received control signal, and determines the object I. The operation area is moved toward the position (step S210).
Further, when the received control signal for each operation area has a score equal to or higher than the threshold value, the slave controller 40 performs a withdrawal operation, controls the manipulator 51 with the received control signal, and positions the object I at a predetermined position. The operation area is moved toward (step S211). When the slave controller 40 performs the detachment operation, the slave controller 40 controls to move the object I to a predetermined position by autonomous control in the subsequent operation area.

このように、第４の実施形態に係る作業システム１は、マニピュレータ５１の姿勢と入出力グローブ１０の状態が示す姿勢とが類似の姿勢となった場合に同期の処理を行う。類似の姿勢とは、グローバル座標（絶対座標）での誤差の範囲内で同一の姿勢、ヘッドマウントディスプレイ２０の位置を基準とした誤差の範囲内で同一の姿勢、関節を基準とした誤差の範囲内で同一の姿勢を含む姿勢である。また、作業システム１は、対象物Ｉが所定の位置まで移動した場合、または、所定の位置まで移動できると判定した場合、離脱の処理を行う。
これにより、作業システム１は、マスタコントローラ３０とスレーブコントローラ４０との組み合わせの切り替えを短時間に容易に行うことができる。 As described above, the work system 1 according to the fourth embodiment performs the synchronization process when the posture of the manipulator 51 and the posture indicated by the state of the input / output glove 10 are similar to each other. Similar postures are the same posture within the error range in global coordinates (absolute coordinates), the same posture within the error range based on the position of the head mount display 20, and the error range based on the joints. It is a posture that includes the same posture within. Further, the work system 1 performs a withdrawal process when the object I moves to a predetermined position or when it is determined that the object I can move to a predetermined position.
As a result, the work system 1 can easily switch the combination of the master controller 30 and the slave controller 40 in a short time.

図６は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、ＣＰＵ９１、メインメモリ９２、ストレージ９３、インターフェース９４を備える。
上述のマスタコントローラ３０は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。ＣＰＵ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。 FIG. 6 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
The computer 90 includes a CPU 91, a main memory 92, a storage 93, and an interface 94.
The master controller 30 described above is mounted on the computer 90. The operation of each processing unit described above is stored in the storage 93 in the form of a program. The CPU 91 reads a program from the storage 93, expands it into the main memory 92, and executes the above processing according to the program. Further, the CPU 91 secures a storage area corresponding to each of the above-mentioned storage units in the main memory 92 according to the program.

ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インターフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。 Examples of the storage 93 include HDD (Hard Disk Drive), SSD (Solid State Drive), magnetic disk, optical magnetic disk, CD-ROM (Compact Disc Read Only Memory), and DVD-ROM (Digital Versatile Disc Read Only Memory). , Semiconductor memory and the like. The storage 93 may be internal media directly connected to the bus of computer 90, or external media connected to computer 90 via an interface 94 or a communication line. When this program is distributed to the computer 90 via a communication line, the distributed computer 90 may expand the program in the main memory 92 and execute the above process. In at least one embodiment, the storage 93 is a non-temporary tangible storage medium.

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ９３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the program may be for realizing a part of the above-mentioned functions. Further, the program may be a so-called difference file (difference program) that realizes the above-mentioned function in combination with another program already stored in the storage 93.

１ 作業システム
１０ 入出力グローブ
２０ ヘッドマウントディスプレイ
３０ マスタコントローラ
４０ スレーブコントローラ
５０ 作業ロボット
５１ マニピュレータ
５２ カメラ
９０ コンピュータ
９１ ＣＰＵ
９２ メインメモリ
９３ ストレージ
９４ インターフェース
３０１ 信号受信部
３０２ 映像信号出力部
３０３ 触感信号変換部
３０４ フィードバック信号出力部
３０５ 姿勢記憶部
３０６ 姿勢更新部
３０７ 指示入力部
３０８ 認識部
３０９ 作業モデル記憶部
３１０ 制御信号算出部
３１１ 操作信号入力部
３１２ 操作信号変換部
３１３ 制御信号送信部
３１４ 作業判定部
３１５ 学習部
３１６ 関節特定部 1 Work system 10 I / O glove 20 Head-mounted display 30 Master controller 40 Slave controller 50 Work robot 51 Manipulator 52 Camera 90 Computer 91 CPU
92 Main memory 93 Storage 94 Interface 301 Signal reception unit 302 Video signal output unit 303 Tactile signal conversion unit 304 Feedback signal output unit 305 Attitude storage unit 306 Attitude update unit 307 Instruction input unit 308 Recognition unit 309 Work model storage unit 310 Control signal calculation Unit 311 Operation signal input unit 312 Operation signal conversion unit 313 Control signal transmission unit 314 Work judgment unit 315 Learning unit 316 Joint identification unit

Claims (9)

対象物を把持し所定の位置まで移動させるマニピュレータと、
前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成する制御信号生成装置と、
前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行うスレーブコントローラと、
前記マニピュレータが備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられた関節を基準関節と特定し、特定した前記基準関節より基端側に設けられた関節に作業モデルに基づく制御信号を適用し、前記基準関節より先端側に設けられた関節にオペレータによる操作に基づく制御信号を適用するマスタコントローラと、
を備える作業システム。 A manipulator that grips an object and moves it to a predetermined position,
A control signal generator that generates a control signal that grips the object and moves it to a predetermined position based on the posture indicated by the operating state.
When the posture of the manipulator and the posture indicated by the operating state of the control signal generator are similar to each other, a slave controller that performs synchronization processing to match the operation of the manipulator with the operation of the control signal generator. ,
Among the plurality of joints included in the manipulator, the joint provided on the proximal end side with a control signal score less than the threshold value is specified as the reference joint, and the joint provided on the proximal end side from the specified reference joint is specified. A master controller that applies a control signal based on a work model to the joint, and applies a control signal based on an operation by an operator to a joint provided on the tip side of the reference joint.
A work system equipped with. 前記スレーブコントローラは、
前記対象物を把持し前記所定の位置まで移動した、または、前記所定の位置まで移動できると判定した場合に前記同期を解除する離脱の処理を行う、
請求項１に記載の作業システム。 The slave controller
When the object is grasped and moved to the predetermined position, or when it is determined that the object can be moved to the predetermined position, a withdrawal process for canceling the synchronization is performed.
The work system according to claim 1. 対象物を把持し所定の位置まで移動させるマニピュレータと、 A manipulator that grips an object and moves it to a predetermined position,
前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成する制御信号生成装置と、 A control signal generator that generates a control signal that grips the object and moves it to a predetermined position based on the posture indicated by the operating state.
前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すスレーブコントローラと、 When the posture of the manipulator and the posture indicated by the operating state of the control signal generator are similar to each other, synchronization processing is performed to match the operation of the manipulator with the operation of the control signal generator, and the synchronization is performed. In the process of, the slave controller that returns the control contents for the manipulator for a predetermined time, and
を備える作業システム。 A work system equipped with. 前記類似の姿勢は、
絶対座標での位置の差が所定範囲内である姿勢、相対座標での位置の差が所定範囲内である姿勢、及び、前記制御信号生成装置を操作する操作者の操作に基づいて生成された前記マニピュレータを制御する制御信号が示す関節の角度と、前記マニピュレータの関節の角度との差が所定範囲内である姿勢のうち少なくとも１つを含む、
請求項１から請求項３の何れか一項に記載の作業システム。 The similar posture
It was generated based on the posture in which the difference in position in absolute coordinates is within a predetermined range, the posture in which the difference in position in relative coordinates is within a predetermined range, and the operation of the operator who operates the control signal generator. It includes at least one of the postures in which the difference between the joint angle indicated by the control signal for controlling the manipulator and the joint angle of the manipulator is within a predetermined range.
The work system according to any one of claims 1 to 3. 前記スレーブコントローラは、
前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻す、
請求項１から請求項４の何れか一項に記載の作業システム。 The slave controller
In the synchronization process, the control content of the manipulator is returned for a predetermined time.
The work system according to any one of claims 1 to 4. マニピュレータが、対象物を把持し所定の位置まで移動させることと、
制御信号生成装置が、前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成することと、
スレーブコントローラが、前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行うことと、
前記マニピュレータが備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられた関節を基準関節と特定し、特定した前記基準関節より基端側に設けられた関節に作業モデルに基づく制御信号を適用し、前記基準関節より先端側に設けられた関節にオペレータによる操作に基づく制御信号を適用することと、
を含む作業システムの制御方法。 The manipulator grasps the object and moves it to a predetermined position,
The control signal generator generates a control signal for grasping the object and moving it to a predetermined position based on the posture indicated by the operating state.
When the slave controller has a similar posture to the posture of the manipulator and the posture indicated by the operating state of the control signal generator, a synchronization process for matching the operation of the manipulator with the operation of the control signal generator is performed. To do and
Among the plurality of joints included in the manipulator, the joint provided on the proximal end side with a control signal score less than the threshold value is specified as the reference joint, and the joint provided on the proximal end side from the specified reference joint is specified. The control signal based on the work model is applied to the joint, and the control signal based on the operation by the operator is applied to the joint provided on the tip side of the reference joint.
How to control the work system, including. マニピュレータが、対象物を把持し所定の位置まで移動させることと、 The manipulator grasps the object and moves it to a predetermined position,
制御信号生成装置が、前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成することと、 The control signal generator generates a control signal for grasping the object and moving it to a predetermined position based on the posture indicated by the operating state.
スレーブコントローラが、前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すことと、 When the slave controller has a similar posture to the posture of the manipulator and the posture indicated by the operating state of the control signal generator, a synchronization process for matching the operation of the manipulator with the operation of the control signal generator is performed. Then, in the synchronization process, the control contents of the manipulator are returned for a predetermined time.
を含む作業システムの制御方法。 How to control the work system, including. コンピュータに、
対象物を把持し所定の位置まで移動させる制御信号を制御信号生成装置の操作状態が示す姿勢に基づいて生成することと、
前記対象物を把持し所定の位置まで移動させるマニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行うことと、
前記マニピュレータが備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられた関節を基準関節と特定し、特定した前記基準関節より基端側に設けられた関節に作業モデルに基づく制御信号を適用し、前記基準関節より先端側に設けられた関節にオペレータによる操作に基づく制御信号を適用することと、
を実行させるプログラム。 On the computer
Generating a control signal that grips an object and moves it to a predetermined position based on the posture indicated by the operating state of the control signal generator.
When the posture of the manipulator that grips the object and moves it to a predetermined position and the posture indicated by the operating state of the control signal generator are similar to each other, the operation of the manipulator is changed to the operation of the control signal generator. Performing synchronization processing to match with
Among the plurality of joints included in the manipulator, the joint provided on the proximal end side with a control signal score less than the threshold value is specified as the reference joint, and the joint provided on the proximal end side from the specified reference joint is specified. The control signal based on the work model is applied to the joint, and the control signal based on the operation by the operator is applied to the joint provided on the tip side of the reference joint.
A program that executes. コンピュータに、 On the computer
対象物を把持し所定の位置まで移動させる制御信号を制御信号生成装置の操作状態が示す姿勢に基づいて生成することと、 Generating a control signal that grips an object and moves it to a predetermined position based on the posture indicated by the operating state of the control signal generator.
前記対象物を把持し所定の位置まで移動させるマニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すことと、 When the posture of the manipulator that grips the object and moves it to a predetermined position and the posture indicated by the operating state of the control signal generator are similar to each other, the operation of the manipulator is changed to the operation of the control signal generator. In the synchronization process, the control contents of the manipulator are returned for a predetermined time, and the control contents are returned.
を実行させるプログラム。 A program that executes.
JP2017193041A 2017-10-02 2017-10-02 Work system, work system control method and program Active JP6931585B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017193041A JP6931585B2 (en) 2017-10-02 2017-10-02 Work system, work system control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017193041A JP6931585B2 (en) 2017-10-02 2017-10-02 Work system, work system control method and program

Publications (2)

Publication Number Publication Date
JP2019063951A JP2019063951A (en) 2019-04-25
JP6931585B2 true JP6931585B2 (en) 2021-09-08

Family

ID=66337163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017193041A Active JP6931585B2 (en) 2017-10-02 2017-10-02 Work system, work system control method and program

Country Status (1)

Country Link
JP (1) JP6931585B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3797931B1 (en) * 2018-05-21 2023-08-02 Telexistence Inc. Remote control system, information processing method, and program
JPWO2021124902A1 (en) * 2019-12-17 2021-06-24
CN111730601B (en) * 2020-07-20 2021-01-01 季华实验室 Wearable demonstrator demonstration control method and device and electronic equipment

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6130385A (en) * 1984-07-17 1986-02-12 工業技術院長 Robot
JPH08215204A (en) * 1995-02-08 1996-08-27 Olympus Optical Co Ltd Medical manipulator
JPH08216065A (en) * 1995-02-10 1996-08-27 Yaskawa Electric Corp Remote control device of mobile manipulator
JP3752494B2 (en) * 2003-03-31 2006-03-08 株式会社東芝 Master-slave manipulator, control device and control method thereof
CN102317044B (en) * 2009-02-12 2014-03-26 三菱电机株式会社 Industrial robot system
JP5733511B2 (en) * 2011-03-31 2015-06-10 株式会社Ihi Hand guide device and control method thereof
DE102015222168B4 (en) * 2015-11-11 2024-02-22 Kuka Roboter Gmbh METHOD AND COMPUTER PROGRAM FOR CORRECTING ERRORS IN A MANIPULATOR SYSTEM

Also Published As

Publication number Publication date
JP2019063951A (en) 2019-04-25

Similar Documents

Publication Publication Date Title
JP6869060B2 (en) Manipulator controls, control methods and programs, and work systems
US10967507B2 (en) Positioning a robot sensor for object classification
Du et al. Markerless human–robot interface for dual robot manipulators using Kinect sensor
JP6902369B2 (en) Presentation device, presentation method and program, and work system
CN114080583B (en) Visual teaching and repetitive movement manipulation system
Borst et al. DLR hand II: Experiments and experience with an anthropomorphic hand
US20150314442A1 (en) Bare Hand Robot Path Teaching
JP2018161692A (en) Information processing system, information processing method and program
JP6931585B2 (en) Work system, work system control method and program
EP2923806A1 (en) Robot control device, robot, robotic system, teaching method, and program
JP2015520040A (en) Training and operating industrial robots
JP2019084601A (en) Information processor, gripping system and information processing method
CN108453743A (en) Mechanical arm grasping means
Fishel et al. Tactile telerobots for dull, dirty, dangerous, and inaccessible tasks
Zubrycki et al. Using integrated vision systems: three gears and leap motion, to control a 3-finger dexterous gripper
US11052541B1 (en) Autonomous robot telerobotic interface
Devine et al. Real time robotic arm control using hand gestures with multiple end effectors
US10933526B2 (en) Method and robotic system for manipulating instruments
JP6067547B2 (en) Object recognition device, robot, and object recognition method
US20230226698A1 (en) Robot teleoperation control device, robot teleoperation control method, and storage medium
US11915523B2 (en) Engagement detection and attention estimation for human-robot interaction
JP6456557B1 (en) Gripping position / posture teaching apparatus, gripping position / posture teaching method, and robot system
WO2020166509A1 (en) Control device and program
US20230234231A1 (en) Teleoperation assist device, teleoperation assist method, and storage medium
US20240051143A1 (en) Tele-operation assistance system and tele-operation assistance method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R150 Certificate of patent or registration of utility model

Ref document number: 6931585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150