JP5733518B2 - Motion prediction control apparatus and method - Google Patents
Motion prediction control apparatus and method Download PDFInfo
- Publication number
- JP5733518B2 JP5733518B2 JP2011116663A JP2011116663A JP5733518B2 JP 5733518 B2 JP5733518 B2 JP 5733518B2 JP 2011116663 A JP2011116663 A JP 2011116663A JP 2011116663 A JP2011116663 A JP 2011116663A JP 5733518 B2 JP5733518 B2 JP 5733518B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- internal state
- data storage
- control
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、ロボットなどを使った自動装置のうち、ワークやロボットなどの運動を予測する運動予測制御装置と方法に関する。 The present invention relates to a motion prediction control apparatus and method for predicting motion of a workpiece, a robot, etc., among automatic devices using a robot or the like.
移動するワークをロボットでハンドリングする自動装置では、ロボット上やロボットの外部に設置したカメラなどの視覚センサやレーザーレンジファインダ（ＬＲＦ）などの測距センサでワークの位置を計測し、その計測結果に基づいてロボットアームを追従制御させる必要がある。
また、ロボット自身が移動する移動ロボットの場合でも、ロボット上やロボットの外部に設置したセンサで移動ロボットの位置を計測し、計測結果に基づいてロボットを制御する必要があり、同様の技術が用いられる。ロボットの位置を計測する方法には、ロボット上のセンサでランドマークとの相対位置を計測する方法や、ロボットの外部に設置したセンサでロボットの位置を直接計測する方法がある。
以下、移動するワークや移動ロボットを単に「移動体」と呼ぶ。
In an automatic device that handles a moving workpiece with a robot, the position of the workpiece is measured by a visual sensor such as a camera installed on the robot or outside the robot, or a distance measuring sensor such as a laser range finder (LRF). Based on this, it is necessary to control the robot arm to follow up.
Also, even in the case of a mobile robot that moves by itself, it is necessary to measure the position of the mobile robot with sensors installed on the robot or outside the robot and control the robot based on the measurement results. It is done. As a method of measuring the position of the robot, there are a method of measuring a relative position with respect to a landmark with a sensor on the robot, and a method of directly measuring the position of the robot with a sensor installed outside the robot.
Hereinafter, a moving work or a mobile robot is simply referred to as a “moving body”.
上述したロボットの運動予測制御では、時々刻々と変化する対象物（ワークやランドマーク）やロボット間の相対位置を一定周期（例：３０ｆｐｓのカメラ）で計測し、計測結果に基づいて、例えばワークにロボットを近づけるような、移動指令がロボットに出力される。 In the robot motion prediction control described above, the object (work or landmark) that changes from moment to moment and the relative position between the robots are measured at a constant period (eg, 30 fps camera), and based on the measurement result, for example, the workpiece A movement command is output to the robot to bring the robot closer to the robot.
しかし、計測したワークの位置を目標としてロボットを動作させても、センサの計測遅れ、データの取得遅れ、ロボットの動作遅れなどの制御遅れにより、ロボットが移動するワークに追従できないことがある。
また、視覚センサの場合、センサの計測周期はロボットの制御周期（例：４ｍｓ）よりも一般に長いため、ロボットは制御周期ごとに最新の計測結果を得られるわけではなく、その分が計測遅れとなる。特に、画像処理に時間がかかったり、ワークがカメラの視野から外れたりすると、計測結果が更新される周期はさらに長くなり、かつ一定ではなくなる。このように、移動するワークや移動ロボットを扱う装置では、制御遅れによりロボットの追従性能が低下する問題点があった。
However, even if the robot is operated with the measured workpiece position as a target, the robot may not be able to follow the workpiece that is moving due to control delays such as sensor measurement delay, data acquisition delay, and robot operation delay.
In the case of a visual sensor, since the sensor measurement cycle is generally longer than the robot control cycle (eg, 4 ms), the robot cannot obtain the latest measurement results for each control cycle. Become. In particular, if the image processing takes time or the work is out of the field of view of the camera, the measurement result update period becomes longer and is not constant. As described above, in a device that handles a moving workpiece or a mobile robot, there is a problem that the tracking performance of the robot is deteriorated due to a control delay.
上述した問題を解決するために、種々の制御手段が既に提案されている（例えば、特許文献１〜３）。 In order to solve the above problems, various control means have already been proposed (for example, Patent Documents 1 to 3).
特許文献１の「３次元運動予測装置」は、単振動を行う被計測体の位置データからその運動パラメータを推定し、その将来の位置を予測し、その位置情報を基にマニュピュレータにより被計測体を把持するものである。
特許文献２の状態推定手段は、観測により時系列に入力される観測信号に基づいて、その観測を行ったシステムの内部状態を推定するものである。内部状態とは、対象物の位置、姿勢、振れ角などの状態変数を意味する。
特許文献３の「運動予測装置」は、バックグラウンド処理とフォアグラウンド処理を併用して自動追尾と運動予測を行うものである。
The “three-dimensional motion prediction device” of Patent Document 1 estimates the motion parameter from the position data of the measured object that performs simple vibration, predicts the future position, and measures the target by a manipulator based on the position information. Holds the body.
The state estimation means of Patent Document 2 estimates the internal state of the system that performed the observation based on observation signals input in time series by observation. The internal state means state variables such as the position, posture, and deflection angle of the object.
The “motion prediction device” of Patent Document 3 performs automatic tracking and motion prediction by using both background processing and foreground processing.
上述した特許文献１によれば、対象物（被計測体）を計測した観測履歴から、対象物の運動状態を推定することで、計測値が得られていない間のデータを補完したり、対象物をロボットで把持する際の把持地点を予測したりすることができる。 According to Patent Document 1 described above, by estimating the motion state of the object from the observation history of measuring the object (object to be measured), it is possible to supplement the data while the measured value is not obtained, It is possible to predict a gripping point when gripping an object with a robot.
運動状態の推定には、カルマンフィルタやパーティクルフィルタなどのベイズフィルタが一般的に用いられる。ベイズフィルタでは、特許文献２に開示されているように、運動の状態を表す「内部状態」と、「状態遷移方程式」、「観測方程式」を定義する。 A Bayesian filter such as a Kalman filter or a particle filter is generally used for estimating the motion state. In the Bayes filter, as disclosed in Patent Document 2, an “internal state” representing a motion state, a “state transition equation”, and an “observation equation” are defined.
ベイズフィルタは、大きく分けて、以下の２つの処理で実現される。
（１）任意の時刻における内部状態を予測する「予測処理」。
（２）内部状態から計測値を予測し、実際の計測値と比較して、内部状態を修正する「更新処理」（特許文献２では、「濾波推定手段」と記述されている）。
The Bayes filter is roughly divided into the following two processes.
(1) “Prediction process” for predicting an internal state at an arbitrary time.
(2) “Update process” in which a measurement value is predicted from an internal state and compared with an actual measurement value to correct the internal state (described in Patent Document 2 as “filter estimation means”).
ロボットが状態推定結果を制御に用いる場合、以下の２通りの構成が考えられる。
Ａ ロボット制御装置内に上記のアルゴリズムが実装され、ロボット制御周期ごとに（１）の予測処理を行ない、センサの計測値が得られた時に、（２）の更新処理を行なう。
Ｂ 特許文献１のように、状態推定装置とロボットで構成されるシステムとし、ロボットが推定装置から予測値を読み出して制御に用いる。
When the robot uses the state estimation result for control, the following two configurations are conceivable.
A The above algorithm is implemented in the robot control device, and the prediction process (1) is performed every robot control cycle, and when the sensor measurement value is obtained, the update process (2) is performed.
B As in Patent Document 1, a system including a state estimation device and a robot is used, and the robot reads a predicted value from the estimation device and uses it for control.
ロボットなどの自動機械の運動を制御する際、一定の制御周期（例：４ｍｓ周期）で制御指令値を算出することが求められる。これに対し従来技術では、運動状態の推定を使うシステムを、時間制約を考慮して構成する具体的な方法が提案されていなかった。 When controlling the motion of an automatic machine such as a robot, it is required to calculate a control command value at a constant control cycle (eg, 4 ms cycle). On the other hand, the prior art has not proposed a specific method for configuring a system using motion state estimation in consideration of time constraints.
例えば上述したＡの手段では、ロボットの制御周期内に更新処理が終わらない可能性がある。状態推定器の更新処理には、一般的に時間がかかり、特に計測値の種類が多い場合、パーティクルフィルタや、その他の複雑な処理を使う場合には特に時間がかかる。
また、特許文献２の手段は、観測値や状態変数の種類に応じて予測処理、更新処理を分けることで、目的に応じて計算量を減らすことができるが、複雑な運動や、得られる計測値を全て反映させたい場合は、結局全ての処理を連結する必要があるため、推定に必要な計算量は減少しない。
For example, with the means A described above, the update process may not be completed within the robot control cycle. The update process of the state estimator generally takes time, especially when there are many types of measurement values, and particularly when using a particle filter or other complicated processes.
In addition, the means of Patent Document 2 can reduce the amount of calculation according to the purpose by dividing the prediction process and the update process according to the types of observation values and state variables. When all values are to be reflected, all processes need to be connected after all, so the amount of calculation required for estimation does not decrease.
また上述したＢの方法は、ロボット制御装置が更新処理をする必要はないが、ロボットが予測値を要求してから、推定装置が一定時間内に予測処理を完了し、予測値を返答しなければならない。これを満たす状態推定装置を設計するには、次のような問題を考慮する必要がある。 In the method B described above, the robot controller does not need to perform the update process, but after the robot requests the predicted value, the estimation apparatus must complete the prediction process within a certain time and return the predicted value. I must. In order to design a state estimation apparatus that satisfies this requirement, the following problems must be considered.
（１）ロボットが多数に増えた時や、更新処理の負荷が高い時は、推定装置の演算処理能力が分散される。このような状況でも、予測処理は一定時間内に完了しなければならない。
（２）ロボットの制御周期はロボットごとに異なるため、ロボット側の要求から予測値を返すまでの時間制約は、一意に決まらない。
（３）ロボット制御装置と状態推定装置間の通信に、一定の時間がかかる。この通信の所要時間は、通信方式（有線・無線など）によって異なる。
(1) When the number of robots increases or when the load of update processing is high, the arithmetic processing capability of the estimation device is distributed. Even in such a situation, the prediction process must be completed within a certain time.
(2) Since the robot control cycle is different for each robot, the time constraint until the predicted value is returned from the request on the robot side is not uniquely determined.
(3) A certain amount of time is required for communication between the robot control device and the state estimation device. The time required for this communication varies depending on the communication method (wired / wireless).
本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、対象物（ワークやランドマーク）やロボット間の相対位置の計測結果（例えば位置、姿勢）に基づいて対象物やロボット間の相対運動を予測することができ、状態推定の計算量や、データの通信所要時間の影響を受けることなく、ロボットごとに決められた制御周期で制御指令値を算出し、ロボットを制御することができる運動予測制御装置と方法を提供することにある。 The present invention has been developed to solve the above-described problems. That is, the object of the present invention is to predict the relative motion between the object and the robot based on the measurement result (for example, position and posture) of the object (work or landmark) and the relative position between the robots. Provided is a motion prediction control apparatus and method capable of controlling a robot by calculating a control command value at a control cycle determined for each robot without being affected by an estimated calculation amount or a data communication time. There is.
本発明によれば、対象物やロボットを計測することで、対象物やロボットとの相対運動を予測して、予測結果に基づきロボットを制御する運動予測制御装置であって、
対象物やロボット間の相対関係を計測する計測装置と、対象物やロボットの内部状態を予測し更新する状態推定装置と、前記内部状態を記憶するデータ記憶装置と、前記ロボットを制御するロボット制御装置と、を備え、
前記計測装置、前記状態推定装置、及び前記データ記憶装置は、ロボットの制御周期と異なるタイミングで実行される非リアルタイム処理系であり、
前記ロボット制御装置は、ロボットの制御周期で制御されるリアルタイム処理系であり、
前記状態推定装置は、前記内部状態を予測する全体予測部と、前記データ記憶装置に記憶されている古い内部状態を、計算した新しい内部状態に更新する更新部とを有し、
状態遷移方程式は、時刻が進むと前記内部状態Ｘがどのように変化するかを示す関係式Ｘ（ｔ＋Δｔ）＝ｆ（Ｘ（ｔ））であり、
前記全体予測部は、前記データ記憶装置に記録されているモデル時刻ｔｘの内部状態Ｘ（ｔｘ）を、前記状態遷移方程式を使って、計測された時刻ｔｙまで遷移させる計算を行ない、
前記更新部は、前記データ記憶装置にある計測時刻ｔｙの内部状態Ｘ（ｔｙ）と、観測方程式ｈ（Ｘ）を使って、計測時刻ｔｙの時の計測値を予測し、予測値と計測値を比較して内部状態Ｘ（ｔｙ）を修正し、前記データ記憶装置に記録し、
前記観測方程式は、前記内部状態と前記計測値を対応づける関係式であり、
前記ロボット制御装置は、前記ロボットの制御周期でその制御に必要な予測位置を予測するロボット上予測部を有しており、
前記予測位置は、ワーク又はロボットの現在位置又は未来位置であり、
前記ロボット上予測部は、前記データ記憶装置に記録されている内部状態のうち、モデル時刻ｔｘにおけるワーク又はロボットの位置を、前記状態遷移方程式を使って、指定された時刻まで遷移させる計算を行ない、
（Ａ）前記制御周期に依らない任意のタイミングで、前記計測装置、前記状態推定装置、及び前記データ記憶装置により、対象物やロボット間の相対関係を計測し、対象物やロボットの計測時刻ｔｙの内部状態Ｘ（ｔｙ）を予測し、予測した内部状態を更新し、予測に用いた前記状態遷移方程式と共に記憶し、
（Ｂ）前記ロボット制御装置により、前記データ記憶装置に記憶された最新の内部状態に基づき、前記制御周期で、前記予測位置を予測し、ロボットをリアルタイムに制御する、ことを特徴とする運動予測制御装置が提供される。
According to the present invention, a motion prediction control apparatus that predicts a relative motion with an object or robot by measuring the object or robot, and controls the robot based on a prediction result,
Measuring device for measuring relative relationship between object and robot, state estimating device for predicting and updating the internal state of the object and robot, data storage device for storing the internal state, and robot control for controlling the robot An apparatus,
The measurement device, the state estimation device, and the data storage device are non-real-time processing systems that are executed at a timing different from the control cycle of the robot,
The robot control device is a real-time processing system controlled by a robot control cycle,
The state estimating device has a total prediction unit that predicts the internal state, the old internal state stored in the data storage device, and an update unit that updates the new internal state calculated,
The state transition equation is a relational expression X (t + Δt) = f (X (t)) indicating how the internal state X changes with time.
The overall prediction unit performs a calculation of causing the internal state X (tx) of the model time tx recorded in the data storage device to transition to the measured time ty using the state transition equation.
The update unit predicts a measurement value at the measurement time ty using the internal state X (ty) at the measurement time ty in the data storage device and the observation equation h (X), and the predicted value and the measurement value To correct the internal state X (ty) and record it in the data storage device,
The observation equation is a relational expression that associates the internal state with the measured value,
The robot control device has an on-robot prediction unit that predicts a predicted position necessary for the control in the control period of the robot,
The predicted position is a current position or a future position of a workpiece or a robot,
The on-robot prediction unit performs a calculation to transition the position of the workpiece or the robot at the model time tx to the specified time using the state transition equation among the internal states recorded in the data storage device. ,
(A) at any time that does not depend on the control period, the measuring device, the state estimating device, and by the data storage device, to measure the relative relationship between the object and the robot, the object and the measurement time of the robot ty the predicted internal state X (ty), and updates the internal state of predictive, and stored in the state transition equations and co used in the prediction,
(B) by the robot controller, based on the latest internal state stored in the data storage device, in the control period, predicting the predicted position, to control the robot in real time, that motion prediction, wherein A control device is provided.
また本発明によれば、対象物やロボットを計測することで、対象物やロボットとの相対運動を予測して、予測結果に基づきロボットを制御する運動予測制御方法であって、
対象物やロボット間の相対関係を計測する計測装置と、対象物やロボットの内部状態を予測し更新する状態推定装置と、前記内部状態を記憶するデータ記憶装置と、前記ロボットを制御するロボット制御装置と、を備え、
前記計測装置、前記状態推定装置、及び前記データ記憶装置は、ロボットの制御周期と異なるタイミングで実行される非リアルタイム処理系であり、
前記ロボット制御装置は、ロボットの制御周期で制御されるリアルタイム処理系であり、
前記状態推定装置は、前記内部状態を予測する全体予測部と、前記データ記憶装置に記憶されている古い内部状態を、計算した新しい内部状態に更新する更新部とを有し、
状態遷移方程式は、時刻が進むと前記内部状態Ｘがどのように変化するかを示す関係式Ｘ（ｔ＋Δｔ）＝ｆ（Ｘ（ｔ））であり、
前記全体予測部は、前記データ記憶装置に記録されているモデル時刻ｔｘの内部状態Ｘ（ｔｘ）を、前記状態遷移方程式を使って、計測された時刻ｔｙまで遷移させる計算を行ない、
前記更新部は、前記データ記憶装置にある計測時刻ｔｙの内部状態Ｘ（ｔｙ）と、観測方程式ｈ（Ｘ）を使って、計測時刻ｔｙの時の計測値を予測し、予測値と計測値を比較して内部状態Ｘ（ｔｙ）を修正し、前記データ記憶装置に記録し、
前記観測方程式は、前記内部状態と前記計測値を対応づける関係式であり、
前記ロボット制御装置は、前記ロボットの制御周期でその制御に必要な予測位置を予測するロボット上予測部を有しており、
前記予測位置は、ワーク又はロボットの現在位置又は未来位置であり、
前記ロボット上予測部は、前記データ記憶装置に記録されている内部状態のうち、モデル時刻ｔｘにおけるワーク又はロボットの位置を、前記状態遷移方程式を使って、指定された時刻まで遷移させる計算を行ない、
（Ａ）前記制御周期に依らない任意のタイミングで、前記計測装置、前記状態推定装置、及び前記データ記憶装置により、対象物やロボット間の相対関係を計測し、対象物やロボットの計測時刻ｔｙの内部状態Ｘ（ｔｙ）を予測し、予測した内部状態を更新し、予測に用いた前記状態遷移方程式と共に記憶し、
（Ｂ）前記ロボット制御装置により、前記データ記憶装置に記憶された最新の内部状態に基づき、前記制御周期で、前記予測位置を予測し、ロボットをリアルタイムに制御する、ことを特徴とする運動予測制御方法が提供される。
According to the present invention, there is provided a motion prediction control method for predicting a relative motion with an object or a robot by measuring the object or the robot, and controlling the robot based on a prediction result,
Measuring device for measuring relative relationship between object and robot, state estimating device for predicting and updating the internal state of the object and robot, data storage device for storing the internal state, and robot control for controlling the robot An apparatus,
The measurement device, the state estimation device, and the data storage device are non-real-time processing systems that are executed at a timing different from the control cycle of the robot,
The robot control device is a real-time processing system controlled by a robot control cycle,
The state estimating device has a total prediction unit that predicts the internal state, the old internal state stored in the data storage device, and an update unit that updates the new internal state calculated,
The state transition equation is a relational expression X (t + Δt) = f (X (t)) indicating how the internal state X changes with time.
The overall prediction unit performs a calculation of causing the internal state X (tx) of the model time tx recorded in the data storage device to transition to the measured time ty using the state transition equation.
The update unit predicts a measurement value at the measurement time ty using the internal state X (ty) at the measurement time ty in the data storage device and the observation equation h (X), and the predicted value and the measurement value To correct the internal state X (ty) and record it in the data storage device,
The observation equation is a relational expression that associates the internal state with the measured value,
The robot control device has an on-robot prediction unit that predicts a predicted position necessary for the control in the control period of the robot,
The predicted position is a current position or a future position of a workpiece or a robot,
The on-robot prediction unit performs a calculation to transition the position of the workpiece or the robot at the model time tx to the specified time using the state transition equation among the internal states recorded in the data storage device. ,
(A) at any time that does not depend on the control period, the measuring device, the state estimating device, and by the data storage device, to measure the relative relationship between the object and the robot, the object and the measurement time of the robot ty the predicted internal state X (ty), and updates the internal state of predictive, and stored in the state transition equations and co used in the prediction,
(B) by the robot controller, based on the latest internal state stored in the data storage device, in the control period, predicting the predicted position, to control the robot in real time, that motion prediction, wherein A control method is provided.
上記本発明の装置と方法によれば、計測装置、状態推定装置、及びデータ記憶装置により、対象物やロボット間の相対関係（例えば相対位置）を計測し、対象物やロボット間の内部状態を予測し、予測した内部状態を更新し、予測に用いた状態遷移方程式と共に記憶するので、対象物（ワークやランドマーク）やロボットの相対関係の計測結果（例えば位置、姿勢）に基づいて移動体（ワークや移動ロボット）の運動予測をすることができる。
According to the apparatus and method of the present invention, the relative state (for example, relative position) between the object and the robot is measured by the measuring device, the state estimating device, and the data storage device, and the internal state between the object and the robot is determined. predict, updates the internal state of predictive, since stored in the state transition equations and co used in the prediction, the object (workpiece and landmarks) and measurement results of the relative relationship between the robot (for example, position, and orientation) on the basis of the The motion of a moving body (work or mobile robot) can be predicted.
また、ロボット制御装置が、ロボットの制御周期でロボットの制御に必要な予測値を予測するロボット上予測部を有しており、データ記憶装置に記憶された最新の内部状態に基づき、前記制御周期で、前記予測値を予測し、ロボットをリアルタイムに制御するので、状態推定の計算量や、データの通信所要時間の影響を受けることなく、ロボットごとに決められた制御周期で制御指令値を算出し、ロボットを制御することができる。 Further, the robot control device has an on-robot prediction unit that predicts a predicted value necessary for robot control in the robot control cycle, and the control cycle is based on the latest internal state stored in the data storage device. Because the predicted value is predicted and the robot is controlled in real time, the control command value is calculated at the control cycle determined for each robot without being affected by the amount of state estimation calculation or the time required for data communication. The robot can be controlled.
すなわち、ロボット制御装置は、状態推定の更新処理にかかる時間の影響を受けることなく動作できる。
また、計測装置やロボット制御装置が増え、状態推定の計算量が増加する場合も、各ロボット制御装置が独立して予測計算を行なうため、予測処理にかかる時間は長くならない。したがって、システム変更の際に、演算処理能力などの設計を見直す必要がなくなる。
さらに、予測処理の時間制約をロボット制御装置ごとに設定できる。また、算出する予測値の精度や、予測値の種類なども、ロボット制御装置ごとに設定できる。したがって、予測処理にかかる時間や制御周期等を考慮して、予測計算の精度を変えたり、内部状態のうち必要な変数のみを計算したりといった工夫を、それぞれのロボットで実現できる。
That is, the robot controller can operate without being affected by the time required for the state estimation update process.
Also, when the number of measuring devices and robot control devices increases and the amount of calculation for state estimation increases, each robot control device performs prediction calculation independently, so that the time required for prediction processing does not increase. Therefore, it is not necessary to review the design of arithmetic processing capacity when the system is changed.
Furthermore, the time limit of the prediction process can be set for each robot control device. Further, the accuracy of the predicted value to be calculated, the type of predicted value, and the like can be set for each robot control device. Therefore, in consideration of the time required for the prediction process, the control cycle, and the like, the respective robots can realize contrivances such as changing the accuracy of the prediction calculation or calculating only necessary variables in the internal state.
また、データ記憶装置が、ロボットからの要求に依らないタイミングで、データ記憶装置に記憶された最新の内部状態をロボット上記憶部に転送することで、ロボット制御装置と状態推定装置間の通信に時間がかかる場合や、通信所要時間が一定でない場合でも、予測処理に必要なデータをすぐに参照できる。この場合、ロボット上で参照されるデータは、通信遅れの影響で、必ずしも最新値とならないが、予測処理が一定時間内に完了することができる。
In addition, the data storage device transfers the latest internal state stored in the data storage device to the storage unit on the robot at a timing that does not depend on the request from the robot, thereby enabling communication between the robot control device and the state estimation device. Even if time is required or the time required for communication is not constant, data necessary for the prediction process can be referred to immediately. In this case, the data referred on the robot does not necessarily become the latest value due to the influence of communication delay, but the prediction process can be completed within a certain time.
以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.
図１は、本発明による運動予測制御装置を備えたロボットシステムの第１実施形態図である。
この図において、１はワーク、２は移動可能なロボット、３はロボットアーム、４はハンド、５ａはハンド４に固定された第１カメラ、５ｂは外部の定位置に固定された第２カメラ、６は固定されたランドマーク、１０は本発明の運動予測制御装置である。以下、ワーク１とランドマーク６をまとめて「対象物」とする。
このロボットシステムは、振り子運動しながら移動するワーク１や固定されたランドマーク６をカメラ５ａ，５ｂで計測し、ロボット２をカメラ５ｂで計測し、ロボット２をワーク１に追従させて制御し、ハンド４によりワーク１を把持するようになっている。なお、この例においてランドマーク６の位置は分かっている必要はない。
FIG. 1 is a diagram showing a first embodiment of a robot system provided with a motion prediction control apparatus according to the present invention.
In this figure, 1 is a workpiece, 2 is a movable robot, 3 is a robot arm, 4 is a hand, 5a is a first camera fixed to the hand 4, 5b is a second camera fixed to an external fixed position, 6 is a fixed landmark, and 10 is a motion prediction control apparatus of the present invention. Hereinafter, the workpiece 1 and the landmark 6 are collectively referred to as an “object”.
This robot system measures the workpiece 1 moving while pendulum movement and the fixed landmark 6 with the cameras 5a and 5b, measures the robot 2 with the camera 5b, and controls the robot 2 to follow the workpiece 1, The workpiece 1 is held by the hand 4. In this example, the position of the landmark 6 need not be known.
図２は、本発明による運動予測制御装置の第１実施形態図である。
この図において、本発明の運動予測制御装置１０は、計測装置１２、状態推定装置１４、データ記憶装置１６、及びロボット制御装置２０を備える。装置１２、１４、２０は、データ記憶装置１６に接続されている。
FIG. 2 is a diagram showing a first embodiment of the motion prediction control apparatus according to the present invention.
In this figure, the motion prediction control apparatus 10 of the present invention includes a measurement device 12, a state estimation device 14, a data storage device 16, and a robot control device 20. The devices 12, 14 and 20 are connected to the data storage device 16.
計測装置１２は、対象物やロボット２間の相対関係を計測する。計測装置１２で計測される対象物やロボット間の相対位置や姿勢などの計測結果を、計測値Ｙとする。計測値Ｙは、計測装置の種類や、計測される対象に応じてそれぞれ定義される。計測値Ｙは、計測される対象（ワーク１か、ランドマーク６か、移動ロボット２か）や、計測装置の種類によって、中身が異なる。
例えば、相対関係とは、位置、姿勢、速度、角速度、加速度、角加速度などの情報である。
The measuring device 12 measures the relative relationship between the object and the robot 2. A measurement result Y such as the relative position or posture between the object and the robot measured by the measurement device 12 is defined as a measurement value Y. The measurement value Y is defined according to the type of measurement device and the object to be measured. The measured value Y differs depending on the object to be measured (whether it is workpiece 1, landmark 6 or mobile robot 2) and the type of measuring device.
For example, the relative relationship is information such as position, posture, speed, angular velocity, acceleration, angular acceleration, and the like.
計測装置１２は、この例では第１カメラ５ａ、第２カメラ５ｂ、ロボット制御装置２０にそれぞれ接続された３台の計測装置（第１計測装置１２ａ、第２計測装置１２ｂ、第３計測装置１２ｃ）からなる。
すなわち、この例では、カメラと計測装置をそれぞれ２台用い、第１カメラ５ａと第２カメラ５ｂから対象物の画像を取り込み、画像処理によって、対象物の計測値Ｙを求める。また、計測装置１２ｂは、ロボット２の画像も取り込み、画像処理によって、ロボット２の計測値Ｙも求める。計測装置１２ｃは、ロボット２のタイヤの移動量や、アーム関節の回転量をエンコーダで計測し、ロボット２の計測値Ｙを求める。求められた対象物やロボット２の計測値Ｙは、データ記憶装置１６に記憶される。
なお、計測装置１２は、この構成に限定されず、対象物やロボット２間の相対関係を計測することができる装置、例えばレーザレーダ、加速度センサ、ジャイロセンサ、速度センサなどを用いてもよい。
In this example, the measurement device 12 includes three measurement devices (first measurement device 12a, second measurement device 12b, and third measurement device 12c) connected to the first camera 5a, the second camera 5b, and the robot control device 20, respectively. ).
That is, in this example, two cameras and two measuring devices are used, the images of the object are taken from the first camera 5a and the second camera 5b, and the measurement value Y of the object is obtained by image processing. The measuring device 12b also captures the image of the robot 2 and obtains the measured value Y of the robot 2 by image processing. The measuring device 12c measures the amount of movement of the tire of the robot 2 and the amount of rotation of the arm joint with an encoder, and obtains the measured value Y of the robot 2. The obtained object and the measured value Y of the robot 2 are stored in the data storage device 16.
Note that the measuring device 12 is not limited to this configuration, and a device that can measure the relative relationship between the object and the robot 2, such as a laser radar, an acceleration sensor, a gyro sensor, or a speed sensor, may be used.
状態推定装置１４には、カルマンフィルタのアルゴリズムを基にした状態推定アルゴリズムが実装されている。このアルゴリズムでは、ワーク１が吊るされている振り子の振れ角θや、Δθ、支点位置ｘ，ｙ，ｚ、ランドマーク６の位置Ｘｌ，Ｙｌ，Ｚｌ，姿勢ＲＸｌ，ＲＹｌ，ＲＺｌ，ロボット２の位置Ｘｒ，Ｙｒ，Ｚｒ，姿勢ＲＸｒ，ＲＹｒ，ＲＺｒなどの状態変数をまとめて、内部状態Ｘとする。
また、時刻が進むと内部状態Ｘがどのように変化するかを示す状態遷移方程式Ｘ（ｔ＋Δｔ）＝ｆ（Ｘ（ｔ））と、内部状態Ｘと計測値Ｙを対応づける観測方程式Ｙ＝ｈ（Ｘ）を定義する。観測方程式は、計測値Ｙの種類ごとにそれぞれ定義される。
またこのアルゴリズムは、内部状態Ｘの誤差分布ＣｏｖＸや、計測値の誤差分布ＣｏｖＹなどを管理しており、これらのデータから状態推定の精度を求めることができる。なお以下の例では、これらの精度指標値をまとめてＥとする。
The state estimation device 14 is implemented with a state estimation algorithm based on the Kalman filter algorithm. In this algorithm, the swing angle θ of the pendulum on which the workpiece 1 is suspended, Δθ, fulcrum positions x, y, and z, the positions Xl, Yl, and Zl of the landmark 6, the postures RXl, RYl, RZl, and the position of the robot 2 State variables such as Xr, Yr, Zr, and postures RXr, RYr, RZr are collectively set as an internal state X.
Further, a state transition equation X (t + Δt) = f (X (t)) indicating how the internal state X changes as time advances, and an observation equation Y = h that associates the internal state X with the measured value Y. Define (X). An observation equation is defined for each type of measurement value Y.
This algorithm manages the error distribution C ov X of the internal state X, the error distribution C ov Y of the measurement value, and the like, and the accuracy of state estimation can be obtained from these data. In the following example, these accuracy index values are collectively referred to as E.
状態推定装置１４は、対象物やロボット２の内部状態を予測する全体予測部１５ａと、データ記憶装置１６に記憶された内部状態を更新する更新部１５ｂとを有し、対象物やロボット２の内部状態を予測し更新する。 The state estimation device 14 includes an overall prediction unit 15 a that predicts the internal state of the object and the robot 2, and an update unit 15 b that updates the internal state stored in the data storage device 16. Predict and update internal state.
全体予測部１５ａでは、データ記憶装置１６に記録されている内部状態Ｘを、状態遷移方程式ｆ（Ｘ）を使って、指定された時刻まで遷移させる計算を行なう。 The overall prediction unit 15a performs a calculation for causing the internal state X recorded in the data storage device 16 to transition to a specified time using the state transition equation f (X).
更新部１５ｂでは、データ記憶装置１６にある内部状態Ｘと、観測方程式ｈ（Ｘ）を使って、対象物やロボット２の計測値Ｙの予測値を算出する。入力された計測値Ｙと、予測値を比較して、内部状態Ｘを更新し、データ記憶装置１６に記録する。この時、状態推定の精度指標Ｅも同時に更新し、データ記憶装置１６に記録する。 The update unit 15b calculates a predicted value of the measurement value Y of the target object or the robot 2 using the internal state X in the data storage device 16 and the observation equation h (X). The input measurement value Y and the predicted value are compared, and the internal state X is updated and recorded in the data storage device 16. At this time, the state estimation accuracy index E is simultaneously updated and recorded in the data storage device 16.
上述した計測装置１２、状態推定装置１４、及びデータ記憶装置１６は、ロボット２の制御周期と異なるタイミングで実行される非リアルタイム処理系である。この非リアルタイム処理系の処理間隔は、ロボット２の制御周期よりも長くてもよく、かつ周期が一定でなくてもよい。この処理間隔は、例えば３０〜８０ｍｓである。
従って、上述した構成により、ロボット２の制御周期と異なるタイミングで、計測装置１２、状態推定装置１４、及びデータ記憶装置１６により、対象物やロボット間の相対関係（例えば相対位置と姿勢）を計測し、対象物やロボット２の内部状態を予測し、予測した内部状態を更新し、予測に用いた状態遷移方程式と共に記憶する。
The measurement device 12, the state estimation device 14, and the data storage device 16 described above are non-real-time processing systems that are executed at a timing different from the control cycle of the robot 2. The processing interval of this non-real time processing system may be longer than the control cycle of the robot 2 and the cycle may not be constant. This processing interval is, for example, 30 to 80 ms.
Therefore, with the above-described configuration, the measurement device 12, the state estimation device 14, and the data storage device 16 measure the relative relationship (for example, relative position and posture) between the object and the robot at a timing different from the control cycle of the robot 2. and predicts the internal state of the object and the robot 2, and updates the internal state of predictive, and stores the state transition equations and co used in the prediction.
ロボット制御装置２０は、この例では、受信部２１、指令値算出部２２、送信部２３、及びロボット上予測部２４を有する。 In this example, the robot control device 20 includes a reception unit 21, a command value calculation unit 22, a transmission unit 23, and an on-robot prediction unit 24.
受信部２１は、ロボット２からその位置情報（エンコーダ情報など）を受信する。
指令値算出部２２は、ロボット上予測部２４による予測値から、ロボット２に対する指令値を算出する。予測値は、例えばワーク１やロボット２の現在位置や未来位置である。
送信部２３は、算出された指令値をロボット２に送信する。
ロボット上予測部２４は、所定の制御周期でロボット２の制御に必要な予測値を予測する。
The receiving unit 21 receives position information (such as encoder information) from the robot 2.
The command value calculation unit 22 calculates a command value for the robot 2 from the prediction value obtained by the on-robot prediction unit 24. The predicted value is, for example, the current position or future position of the workpiece 1 or the robot 2.
The transmission unit 23 transmits the calculated command value to the robot 2.
The on-robot prediction unit 24 predicts a prediction value necessary for controlling the robot 2 at a predetermined control cycle.
すなわち、ロボット制御装置２０は、ロボット２の制御に必要な予測値を得るための予測処理を実装したロボット上予測部２４を有する。
なおロボット上予測部２４は、ロボット２の制御に関連する内部量（予測値）を予測できれば良く、全ての内部量を予測する必要はない。
That is, the robot control apparatus 20 includes an on-robot prediction unit 24 that implements a prediction process for obtaining a prediction value necessary for controlling the robot 2.
The on-robot prediction unit 24 only needs to be able to predict the internal quantity (predicted value) related to the control of the robot 2, and does not need to predict all the internal quantities.
ロボット制御装置２０は、ロボット２に一定周期（例：４ｍｓ）で動作指令を送信し、ロボット２のエンコーダ情報などを受信する。受信した位置情報は、前述の計測装置１２ｃによって取得され、移動ロボット２の計測値Ｙとなる。
ロボット上予測部２４を使って、対象物やロボット２の現在及び未来の運動状態を予測し、指令値の算出に用いる。
ロボット上予測部２４は、データ記憶装置１６に記録されている内部状態Ｘのうち、ロボット制御に関連する状態量を、状態遷移方程式ｆ（Ｘ）を使って、指定された時刻まで遷移させる計算を行なう。
The robot control device 20 transmits an operation command to the robot 2 at a constant cycle (for example, 4 ms) and receives encoder information of the robot 2 and the like. The received position information is acquired by the above-described measuring device 12 c and becomes the measurement value Y of the mobile robot 2.
The on-robot prediction unit 24 is used to predict current and future motion states of the target object and the robot 2 and use them to calculate command values.
The on-robot prediction unit 24 calculates the state quantity related to the robot control among the internal states X recorded in the data storage device 16 by using the state transition equation f (X) until the specified time. To do.
データ記憶装置１６は、上述した内部状態Ｘ、内部状態のモデル時刻ｔｘ、計測値Ｙ、計測値された時刻ｔｙ、状態遷移方程式ｆ、観測方程式ｈ、状態推定の精度指標値Ｅなどのデータを保持する。 The data storage device 16 stores data such as the internal state X, the model time tx of the internal state, the measured value Y, the measured time ty, the state transition equation f, the observation equation h, and the state estimation accuracy index value E. Hold.
上述したロボット制御装置２０は、ロボット２の制御周期で制御されるリアルタイム処理系である。この制御周期は、上述した非リアルタイム処理系の処理間隔よりも短い一定周期である。この制御周期は、例えば３〜４ｍｓである。
従って、上述した構成により、ロボット制御装置２０により、データ記憶装置１６に記憶された最新の内部状態に基づき、ロボット２の制御周期で、その制御に必要な予測値を予測し、ロボット２をリアルタイムに制御する。
The robot control device 20 described above is a real-time processing system controlled by the control cycle of the robot 2. This control cycle is a fixed cycle shorter than the processing interval of the non-real time processing system described above. This control cycle is, for example, 3 to 4 ms.
Therefore, with the above-described configuration, the robot control device 20 predicts a predicted value necessary for the control in the control cycle of the robot 2 based on the latest internal state stored in the data storage device 16, and makes the robot 2 in real time. To control.
以下、本発明の運動予測制御装置１０の動作を説明する。
計測装置１２は、任意のタイミングで対象物やロボット２を計測し、データ記憶装置１６に計測結果を記録する。
状態推定装置１４は、データ記憶装置１６に新しい計測結果が記録されると、予測処理、更新処理によって、内部状態を推定する。算出した内部状態や、推定に使った状態遷移方程式などはデータ記憶装置１６に記録する。
Hereinafter, operation | movement of the motion prediction control apparatus 10 of this invention is demonstrated.
The measuring device 12 measures the object and the robot 2 at an arbitrary timing, and records the measurement result in the data storage device 16.
When a new measurement result is recorded in the data storage device 16, the state estimation device 14 estimates an internal state through prediction processing and update processing. The calculated internal state and the state transition equation used for estimation are recorded in the data storage device 16.
ロボット制御装置２０は、一定の制御周期でロボット２を制御する。この時、ロボット上予測部２４を使って、任意の時刻における対象物やロボット２の予測位置を算出し、制御に用いる。ロボット上予測部２４は、データ記憶装置１６に記録されている最新の内部状態や、状態遷移モデルを使って、予測処理を行なう。
ロボット制御装置２０は、一定の制御周期で処理を行なうリアルタイム処理系として動作する。それ以外の各装置は、一定周期の時間制約を持たない、非リアルタイム処理系でよい。
The robot control device 20 controls the robot 2 at a constant control cycle. At this time, the predicted position of the object and the robot 2 at an arbitrary time is calculated using the on-robot prediction unit 24 and used for control. The on-robot prediction unit 24 performs a prediction process using the latest internal state or state transition model recorded in the data storage device 16.
The robot controller 20 operates as a real-time processing system that performs processing at a constant control cycle. Each of the other devices may be a non-real-time processing system that does not have a fixed period time constraint.
以下、上述した本発明の運動予測制御装置１０の作用を説明する。
２台の計測装置（第１計測装置１２ａと第２計測装置１２ｂ）は以下の（１）〜（３）を任意のタイミングで繰り返す。
（１）任意のタイミングでカメラ５ａ，５ｂにシャッター信号を送信し、撮像された画像を取得する。
（２）得られた画像から画像処理によって対象物やロボット２の位置・姿勢情報（計測値Ｙ）を取得する。例えば、画像内の白色領域を抽出し、重心を求める。
（３）算出した計測値Ｙと、シャッター時刻（計測値された時刻ｔｙ）、計測値Ｙの誤差分布ＣｏｖＹをデータ記憶装置に記録する。
Hereinafter, the operation of the motion prediction control apparatus 10 of the present invention described above will be described.
The two measuring devices (the first measuring device 12a and the second measuring device 12b) repeat the following (1) to (3) at an arbitrary timing.
(1) A shutter signal is transmitted to the cameras 5a and 5b at an arbitrary timing, and a captured image is acquired.
(2) The position / posture information (measurement value Y) of the object and the robot 2 is acquired from the obtained image by image processing. For example, a white area in the image is extracted and the center of gravity is obtained.
(3) The calculated measurement value Y, the shutter time (measured value time ty), and the error distribution C ov Y of the measurement value Y are recorded in the data storage device.
また、計測装置１２ｃは、以下の（ａ１）〜（ａ３）を任意のタイミングで繰り返す。
（ａ１）任意のタイミングでロボット制御装置２０のエンコーダ情報を取得する。
（ａ２）得られたエンコーダ情報から、タイヤの移動量や関節角度を求め、移動ロボット２の位置・姿勢情報（計測値Ｙ）を取得する。
（ａ３）算出した計測値Ｙと、エンコーダの計測時刻、計測値Ｙの誤差分布ＣｏｖＹをデータ記憶装置に記録する。
The measuring device 12c repeats the following (a1) to (a3) at an arbitrary timing.
(A1) Acquire encoder information of the robot controller 20 at an arbitrary timing.
(A2) The movement amount and joint angle of the tire are obtained from the obtained encoder information, and the position / posture information (measured value Y) of the mobile robot 2 is obtained.
(A3) The calculated measurement value Y, the measurement time of the encoder, and the error distribution C ov Y of the measurement value Y are recorded in the data storage device.
状態推定装置１４は以下の（４）〜（６）を計測値Ｙが更新されるたびに実施する。
（４）データ記憶装置１６を監視し、新たな計測値Ｙが記録されていたら、データ記憶装置からＹ，ｔｙ，Ｘ，ｔｘ，ｆ，ｈ，Ｅを読み出す。
（５）内部状態Ｘは、時刻ｔｘの時の内部状態を示しているので、全体予測部１５ａを使って、時刻ｔｙのときの内部状態を予測する。
（６）更新部１５ｂを使って、時刻ｔｙの時の計測値を予測し、予測値と計測値Ｙを比較して、内部状態Ｘを修正する。修正した内部状態Ｘと新たなモデル時刻ｔｘ（＝ｔｙ）をデータ記憶装置１６に記録する。また更新部１５ｂは、内部状態Ｘの誤差分布ＣｏｖＸや、計測値と予測値の差などの精度指標Ｅを算出し、データ記憶装置１６に記録する。
The state estimation device 14 performs the following (4) to (6) every time the measurement value Y is updated.
(4) The data storage device 16 is monitored, and if a new measurement value Y is recorded, Y, ty, X, tx, f, h, E are read from the data storage device.
(5) Since the internal state X indicates the internal state at the time tx, the internal state at the time ty is predicted using the overall prediction unit 15a.
(6) Using the update unit 15b, the measured value at the time ty is predicted, the predicted value and the measured value Y are compared, and the internal state X is corrected. The corrected internal state X and the new model time tx (= ty) are recorded in the data storage device 16. Further, the update unit 15 b calculates an error distribution C ov X of the internal state X and an accuracy index E such as a difference between the measured value and the predicted value, and records it in the data storage device 16.
ロボット制御装置２０は以下の（７）〜（１０）を任意の周期で繰り返す。
（７）ロボット２からエンコーダ情報などを受信する。ロボット２との通信は、例えば４ｍｓ周期で行なわれるようにロボット２が管理する。したがって、ロボット制御部は、データを受信するまで待機し、データを受信してから４ｍｓ以内に（１１）の送信処理を完了しなければならない。
（８）ロボット上予測部２４を使ってワークやロボットの現在位置や、未来の位置を算出する。この計算を行なう際、ロボット上予測部２４は、データ記憶装置１６にある最新の内部状態等を参照する。
（９）予測したワーク１の位置にアーム手先が近づくように、目標軌道を算出する。また、状態推定の精度指標値Ｅを評価して、状態推定が精度良く行なわれている場合は、未来のワークの位置へ把持動作するように、アームの目標軌道、ハンド開閉指令値を算出する。
（１０）算出された目標軌道やハンド開閉指令値をロボット２に送信する。
The robot controller 20 repeats the following (7) to (10) at an arbitrary cycle.
(7) Receive encoder information from the robot 2. Communication with the robot 2 is managed by the robot 2 so as to be performed, for example, at a cycle of 4 ms. Therefore, the robot controller must wait until data is received and complete the transmission process (11) within 4 ms after receiving the data.
(8) The current position of the workpiece and the robot and the future position are calculated using the robot prediction unit 24. When performing this calculation, the on-robot prediction unit 24 refers to the latest internal state or the like in the data storage device 16.
(9) A target trajectory is calculated so that the arm hand approaches the predicted position of the workpiece 1. Further, the state estimation accuracy index value E is evaluated, and when the state estimation is performed with high accuracy, the arm target trajectory and the hand opening / closing command value are calculated so as to perform the gripping operation to the future workpiece position. .
(10) The calculated target trajectory and hand opening / closing command value are transmitted to the robot 2.
図３は、本発明による運動予測制御装置の第２実施形態図である。
この例は、ロボット制御装置２０とデータ記憶装置１６の間の通信所要時間が長い場合に適している。
すなわちこの例において、データ記憶装置１６は、ロボットからの要求に依らないタイミングで、データ記憶装置に記憶された最新の内部状態をロボット上記憶部２６に転送する機能を有する。
FIG. 3 is a diagram showing a second embodiment of the motion prediction control apparatus according to the present invention.
This example is suitable when the time required for communication between the robot control device 20 and the data storage device 16 is long.
That is, in this example, the data storage device 16 has a function of transferring the latest internal state stored in the data storage device to the on-robot storage unit 26 at a timing that does not depend on a request from the robot.
この構成により、データ記憶装置１６は、データ記憶装置１６に記録されている内部状態や状態遷移モデルを、ロボット上記憶部２６に転送する。ロボット上予測部２４は、ロボット上記憶部２６にあるデータを参照して処理を行なう。
転送するタイミングは、データ記憶装置１６の内部状態Ｘが更新された時（（６）の直後）であるのがよい。
なおデータ転送を、データ記憶部に新たなデータが記録されたことを検出した時（（６）の直後）とするか、または、一定の時間ごとに行なう。あるいは前述の両方のタイミングで行なってもよい。
With this configuration, the data storage device 16 transfers the internal state and state transition model recorded in the data storage device 16 to the on-robot storage unit 26. The on-robot prediction unit 24 performs processing with reference to data in the on-robot storage unit 26.
The transfer timing may be when the internal state X of the data storage device 16 is updated (immediately after (6)).
Data transfer is performed when it is detected that new data has been recorded in the data storage unit (immediately after (6)) or at regular intervals. Alternatively, it may be performed at both timings described above.
この構成により、データ記憶装置１６の内容を、ロボット上記憶部２６に逐次転送し、ロボット上予測部２４は、ロボット上記憶部２６を参照するので、上述した（８）の計算では通信する必要が無い。したがって、無線通信などの通信所用時間が長い通信を用いた場合でも、通信時間の影響を回避することができる。 With this configuration, the contents of the data storage device 16 are sequentially transferred to the on-robot storage unit 26, and the on-robot prediction unit 24 refers to the on-robot storage unit 26. Therefore, it is necessary to communicate in the calculation of (8) described above. There is no. Therefore, even when communication using a long communication time such as wireless communication is used, the influence of communication time can be avoided.
図４は、本発明による運動予測制御装置を備えたロボットシステムの第２実施形態図である。
この例は、ロボット２が固定されたロボットであり、ランドマーク６がない点で第１実施形態と相違する。その他の構成は第１実施形態と同様である。
すなわちこの例は、固定されたロボット２のアーム３で移動するワーク１を把持するケースであり、ロボット２の位置と姿勢の推定をしなくても良い点で第１実施形態と相違する。
FIG. 4 is a diagram showing a second embodiment of a robot system provided with a motion prediction control apparatus according to the present invention.
This example is a robot to which the robot 2 is fixed, and is different from the first embodiment in that there is no landmark 6. Other configurations are the same as those of the first embodiment.
That is, this example is a case in which the workpiece 1 moving with the arm 3 of the fixed robot 2 is gripped, and is different from the first embodiment in that it is not necessary to estimate the position and posture of the robot 2.
図５は、本発明による運動予測制御装置を備えたロボットシステムの第３実施形態図である。
この例は、ロボット２が位置の分かっているランドマーク６から自己位置推定するケースであり、ワークに関する推定や、ランドマーク６の位置と姿勢の推定をしなくても良い点で第１実施形態と相違する。
FIG. 5 is a diagram showing a third embodiment of a robot system provided with a motion prediction control apparatus according to the present invention.
This example is a case in which the robot 2 estimates its own position from the landmark 6 whose position is known. The first embodiment is not required to estimate the workpiece or the position and orientation of the landmark 6. Is different.
この例は、移動ロボット２が位置の分かっているランドマーク６を計測して、ロボット２の自己位置を推定する場合である。この例では、推定する内部量Ｘは、ロボット２の原点位置（Ｘｒ，Ｙｒ，Ｚｒ）、ロボット２の姿勢（Ｒｘｒ，Ｒｙｒ，Ｒｚｒ）である。その他に、車輪のステア角、速度、角速度などを推定してもよい。 In this example, the mobile robot 2 measures the landmark 6 whose position is known, and estimates the self-position of the robot 2. In this example, the estimated internal quantity X is the origin position (X r , Y r , Z r ) of the robot 2 and the posture (R xr , R yr , R zr ) of the robot 2. In addition, the steer angle, speed, angular velocity, etc. of the wheel may be estimated.
更新処理で用いる計測値には、カメラ５ａがランドマーク６を計測した結果、カメラ５ｂがロボット２の位置を計測した結果、ロボット制御装置が記録する車輪の回転量（θ）などを用いる。 As the measurement value used in the update process, the rotation amount (θ) of the wheel recorded by the robot controller as a result of measuring the landmark 6 as a result of the camera 5a and measuring the position of the robot 2 as the camera 5b is used.
なお、本発明は上述した実施形態に限定されない。
例えば、複数のロボットとワークが存在する場合も、ワークの運動状態推定と、ロボットの運動状態推定の組み合わせとなるため、上述した本発明により、ロボット制御の時間制約を考慮したシステムを実現できる。
上述した実施例では、振り子運動するワーク、車輪型の移動ロボットを示したが、それぞれが移動する形態はこれらに限定されない。例えば、ワークは、コンベア上を移動するもの、水上で浮遊するもの、飛んでいるものでもよい。ロボットは、クローラ式や、レール上を移動する方式などでもよい。また、固定されたアームでも、土台が揺れたり、受動的に動いたりするケースも「移動」に含む。
In addition, this invention is not limited to embodiment mentioned above.
For example, even when there are a plurality of robots and workpieces, the motion state estimation of the workpieces and the motion state estimation of the robots are combined. Therefore, according to the present invention described above, it is possible to realize a system that takes into account time constraints for robot control.
In the above-described embodiments, the pendulum work and the wheel-type mobile robot are shown. However, the form in which each moves is not limited thereto. For example, the workpiece may be one that moves on a conveyor, one that floats on water, or one that is flying. The robot may be a crawler type or a type that moves on a rail. In addition, “moving” includes cases in which the base sways or passively moves even with a fixed arm.
また、各装置は、別々の処理装置に分ける必要はない。例えば、計測プログラム、状態推定プログラムとして、一つのＰＣ上で複数プログラムを並列処理させる構成であってもよい。
ただし、ロボット制御装置（プログラム）は、一定周期の制約下で処理を行なうリアルタイム処理系とする。なおリアルタイムＯＳでは、非リアルタイム処理のプログラムとリアルタイム処理のプログラムを並列させることもできる。
データ記憶装置１６は、複数の装置、プログラムが同一のデータを読み書きする共有メモリであれば良い。したがって、独立した装置とする必要はなく、状態推定装置１４や計測装置１２などのメモリ空間上に用意されていれば良い。
Also, each device need not be separated into separate processing devices. For example, a configuration in which a plurality of programs are processed in parallel on one PC may be used as the measurement program and the state estimation program.
However, the robot control device (program) is a real-time processing system that performs processing under the constraint of a fixed period. In the real-time OS, a non-real-time processing program and a real-time processing program can be paralleled.
The data storage device 16 may be a shared memory in which a plurality of devices and programs read and write the same data. Therefore, it is not necessary to use an independent device, and it is sufficient that the device is prepared in a memory space such as the state estimation device 14 or the measurement device 12.
上述した本発明の装置と方法によれば、計測装置１２、状態推定装置１４、及びデータ記憶装置１６により、対象物やロボット間の相対関係（例えば相対位置）を計測し、対象物やロボット間の内部状態を予測し、予測した内部状態を更新し、予測に用いた状態遷移方程式と共に記憶するので、対象物（ワークやランドマーク）やロボットの相対関係の計測結果（例えば位置、姿勢）に基づいて移動体（ワークや移動ロボット）の運動予測をすることができる。
According to the apparatus and method of the present invention described above, the measurement device 12, the state estimation device 14, and the data storage device 16 measure the relative relationship (for example, relative position) between the object and the robot, and predicts the internal state of, and updates the internal state of predictive, since stored in the state transition equations and co used in the prediction, the object (workpiece and landmarks) and measurement results of the relative relationship between the robot (for example, position, and orientation ) To predict the motion of the moving body (work or mobile robot).
また、ロボット制御装置２０が、ロボット２の制御周期でロボット２の制御に必要な予測値を予測するロボット上予測部２４を有しており、データ記憶装置１６に記憶された最新の内部状態に基づき、前記制御周期で、前記予測値を予測し、ロボット２をリアルタイムに制御するので、状態推定の計算量や、データの通信所要時間の影響を受けることなく、ロボットごとに決められた制御周期で制御指令値を算出し、ロボット２を制御することができる。 In addition, the robot control device 20 has an on-robot prediction unit 24 that predicts a predicted value necessary for controlling the robot 2 in the control cycle of the robot 2, and the latest internal state stored in the data storage device 16 is updated. Based on the control cycle, the predicted value is predicted and the robot 2 is controlled in real time. Therefore, the control cycle determined for each robot is not affected by the calculation amount of state estimation or the time required for data communication. Thus, the control command value can be calculated and the robot 2 can be controlled.
すなわち、ロボット制御装置２０は、状態推定の更新処理にかかる時間の影響を受けることなく動作できる。
また、計測装置１２やロボット制御装置２０が増え、状態推定の計算量が増加する場合も、各ロボット制御装置２０が独立して予測計算を行なうため、予測処理にかかる時間は長くならない。したがって、システム変更の際に、演算処理能力などの設計を見直す必要がなくなる。
さらに、予測処理の時間制約をロボット制御装置２０ごとに設定できる。また、算出する予測値の精度や、予測値の種類なども、ロボット制御装置２０ごとに設定できる。したがって、予測処理にかかる時間や制御周期等を考慮して、予測計算の精度を変えたり、内部状態のうち必要な変数のみを計算したりといった工夫を、それぞれのロボット２で実現できる。
That is, the robot controller 20 can operate without being affected by the time required for the state estimation update process.
Also, when the number of measuring devices 12 and robot control devices 20 increases and the amount of calculation for state estimation increases, the time required for the prediction processing does not increase because each robot control device 20 performs prediction calculation independently. Therefore, it is not necessary to review the design of arithmetic processing capacity when the system is changed.
Furthermore, the time constraint of the prediction process can be set for each robot control device 20. Also, the accuracy of the predicted value to be calculated, the type of predicted value, and the like can be set for each robot control device 20. Therefore, in consideration of the time required for the prediction process, the control period, and the like, the respective robots 2 can realize contrivances such as changing the accuracy of the prediction calculation or calculating only necessary variables in the internal state.
また、データ記憶装置１６が、ロボット２からの要求に依らないタイミングで、データ記憶装置１６に記憶された最新の内部状態をロボット上記憶部２４に転送することで、ロボット制御装置２０と状態推定装置１４間の通信に時間がかかる場合や、通信所要時間が一定でない場合でも、予測処理に必要なデータをすぐに参照できる。この場合、ロボット２上で参照されるデータは、通信遅れの影響で、必ずしも最新値とならないが、予測処理が一定時間内に完了することができる。 Further, the data storage device 16 transfers the latest internal state stored in the data storage device 16 to the on-robot storage unit 24 at a timing that does not depend on the request from the robot 2, so that the state estimation with the robot control device 20 is performed. Even when the communication between the devices 14 takes a long time or when the required communication time is not constant, the data necessary for the prediction process can be referred to immediately. In this case, the data referred to on the robot 2 does not necessarily become the latest value due to the influence of communication delay, but the prediction process can be completed within a certain time.
なお、本発明は上述した実施形態に限定されず、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内でのすべての変更を含むものである。 In addition, this invention is not limited to embodiment mentioned above, is shown by description of a claim, and also includes all the changes within the meaning and range equivalent to description of a claim.
１ ワーク（対象物）、２ ロボット、
３ ロボットアーム、４ ハンド、
５ａ第１カメラ、５ｂ 第２カメラ、
１０ 運動予測制御装置、１２ 計測装置、
１２ａ 第１計測装置、１２ｂ 第２計測装置、
１４ 状態推定装置、１５ａ 全体予測部、
１５ｂ 更新部、１６ データ記憶装置、
２０ ロボット制御装置、２１ 受信部、
２２ 指令値算出部、２３ 送信部、
２４ ロボット上予測部、
２６ ロボット上記憶部
1 work (object), 2 robot,
3 Robot arms, 4 hands,
5a first camera, 5b second camera,
10 motion prediction control device, 12 measuring device,
12a 1st measuring device, 12b 2nd measuring device,
14 state estimation apparatus, 15a whole prediction part,
15b update unit, 16 data storage device,
20 robot controller, 21 receiver,
22 command value calculation unit, 23 transmission unit,
24 Prediction unit on the robot,
26 Robot storage unit
Claims (6)
対象物やロボット間の相対関係を計測する計測装置と、対象物やロボットの内部状態を予測し更新する状態推定装置と、前記内部状態を記憶するデータ記憶装置と、前記ロボットを制御するロボット制御装置と、を備え、
前記計測装置、前記状態推定装置、及び前記データ記憶装置は、ロボットの制御周期と異なるタイミングで実行される非リアルタイム処理系であり、
前記ロボット制御装置は、ロボットの制御周期で制御されるリアルタイム処理系であり、
前記状態推定装置は、前記内部状態を予測する全体予測部と、前記データ記憶装置に記憶されている古い内部状態を、計算した新しい内部状態に更新する更新部とを有し、
状態遷移方程式は、時刻が進むと前記内部状態Ｘがどのように変化するかを示す関係式Ｘ（ｔ＋Δｔ）＝ｆ（Ｘ（ｔ））であり、
前記全体予測部は、前記データ記憶装置に記録されているモデル時刻ｔｘの内部状態Ｘ（ｔｘ）を、前記状態遷移方程式を使って、計測された時刻ｔｙまで遷移させる計算を行ない、
前記更新部は、前記データ記憶装置にある計測時刻ｔｙの内部状態Ｘ（ｔｙ）と、観測方程式ｈ（Ｘ）を使って、計測時刻ｔｙの時の計測値を予測し、予測値と計測値を比較して内部状態Ｘ（ｔｙ）を修正し、前記データ記憶装置に記録し、
前記観測方程式は、前記内部状態と前記計測値を対応づける関係式であり、
前記ロボット制御装置は、前記ロボットの制御周期でその制御に必要な予測位置を予測するロボット上予測部を有しており、
前記予測位置は、ワーク又はロボットの現在位置又は未来位置であり、
前記ロボット上予測部は、前記データ記憶装置に記録されている内部状態のうち、モデル時刻ｔｘにおけるワーク又はロボットの位置を、前記状態遷移方程式を使って、指定された時刻まで遷移させる計算を行ない、
（Ａ）前記制御周期に依らない任意のタイミングで、前記計測装置、前記状態推定装置、及び前記データ記憶装置により、対象物やロボット間の相対関係を計測し、対象物やロボットの計測時刻ｔｙの内部状態Ｘ（ｔｙ）を予測し、予測した内部状態を更新し、予測に用いた前記状態遷移方程式と共に記憶し、
（Ｂ）前記ロボット制御装置により、前記データ記憶装置に記憶された最新の内部状態に基づき、前記制御周期で、前記予測位置を予測し、ロボットをリアルタイムに制御する、ことを特徴とする運動予測制御装置。 A motion prediction control device that predicts relative motion with an object or robot by measuring the object or robot, and controls the robot based on the prediction result,
Measuring device for measuring relative relationship between object and robot, state estimating device for predicting and updating the internal state of the object and robot, data storage device for storing the internal state, and robot control for controlling the robot An apparatus,
The measurement device, the state estimation device, and the data storage device are non-real-time processing systems that are executed at a timing different from the control cycle of the robot,
The robot control device is a real-time processing system controlled by a robot control cycle,
The state estimating device has a total prediction unit that predicts the internal state, the old internal state stored in the data storage device, and an update unit that updates the new internal state calculated,
The state transition equation is a relational expression X (t + Δt) = f (X (t)) indicating how the internal state X changes with time.
The overall prediction unit performs a calculation of causing the internal state X (tx) of the model time tx recorded in the data storage device to transition to the measured time ty using the state transition equation.
The update unit predicts a measurement value at the measurement time ty using the internal state X (ty) at the measurement time ty in the data storage device and the observation equation h (X), and the predicted value and the measurement value To correct the internal state X (ty) and record it in the data storage device,
The observation equation is a relational expression that associates the internal state with the measured value,
The robot control device has an on-robot prediction unit that predicts a predicted position necessary for the control in the control period of the robot,
The predicted position is a current position or a future position of a workpiece or a robot,
The on-robot prediction unit performs a calculation to transition the position of the workpiece or the robot at the model time tx to the specified time using the state transition equation among the internal states recorded in the data storage device. ,
(A) at any time that does not depend on the control period, the measuring device, the state estimating device, and by the data storage device, to measure the relative relationship between the object and the robot, the object and the measurement time of the robot ty the predicted internal state X (ty), and updates the internal state of predictive, and stored in the state transition equations and co used in the prediction,
(B) by the robot controller, based on the latest internal state stored in the data storage device, in the control period, predicting the predicted position, to control the robot in real time, that motion prediction, wherein Control device.
前記データ記憶装置は、ロボットからの要求に依らないタイミングで、前記データ記憶装置に記憶された最新の内部状態をロボット上記憶部に転送する、ことを特徴とする請求項１に記載の運動予測制御装置。 The robot control device includes a robot on a storage unit that stores the latest internal state stored in the data storage device,
The motion prediction according to claim 1, wherein the data storage device transfers the latest internal state stored in the data storage device to a storage unit on the robot at a timing not depending on a request from the robot. Control device.
対象物やロボット間の相対関係を計測する計測装置と、対象物やロボットの内部状態を予測し更新する状態推定装置と、前記内部状態を記憶するデータ記憶装置と、前記ロボットを制御するロボット制御装置と、を備え、
前記計測装置、前記状態推定装置、及び前記データ記憶装置は、ロボットの制御周期と異なるタイミングで実行される非リアルタイム処理系であり、
前記ロボット制御装置は、ロボットの制御周期で制御されるリアルタイム処理系であり、
前記状態推定装置は、前記内部状態を予測する全体予測部と、前記データ記憶装置に記憶されている古い内部状態を、計算した新しい内部状態に更新する更新部とを有し、
状態遷移方程式は、時刻が進むと前記内部状態Ｘがどのように変化するかを示す関係式Ｘ（ｔ＋Δｔ）＝ｆ（Ｘ（ｔ））であり、
前記全体予測部は、前記データ記憶装置に記録されているモデル時刻ｔｘの内部状態Ｘ（ｔｘ）を、前記状態遷移方程式を使って、計測された時刻ｔｙまで遷移させる計算を行ない、
前記更新部は、前記データ記憶装置にある計測時刻ｔｙの内部状態Ｘ（ｔｙ）と、観測方程式ｈ（Ｘ）を使って、計測時刻ｔｙの時の計測値を予測し、予測値と計測値を比較して内部状態Ｘ（ｔｙ）を修正し、前記データ記憶装置に記録し、
前記観測方程式は、前記内部状態と前記計測値を対応づける関係式であり、
前記ロボット制御装置は、前記ロボットの制御周期でその制御に必要な予測位置を予測するロボット上予測部を有しており、
前記予測位置は、ワーク又はロボットの現在位置又は未来位置であり、
前記ロボット上予測部は、前記データ記憶装置に記録されている内部状態のうち、モデル時刻ｔｘにおけるワーク又はロボットの位置を、前記状態遷移方程式を使って、指定された時刻まで遷移させる計算を行ない、
（Ａ）前記制御周期に依らない任意のタイミングで、前記計測装置、前記状態推定装置、及び前記データ記憶装置により、対象物やロボット間の相対関係を計測し、対象物やロボットの計測時刻ｔｙの内部状態Ｘ（ｔｙ）を予測し、予測した内部状態を更新し、予測に用いた前記状態遷移方程式と共に記憶し、
（Ｂ）前記ロボット制御装置により、前記データ記憶装置に記憶された最新の内部状態に基づき、前記制御周期で、前記予測位置を予測し、ロボットをリアルタイムに制御する、ことを特徴とする運動予測制御方法。 A motion prediction control method that predicts relative motion with an object or robot by measuring the object or robot, and controls the robot based on the prediction result,
Measuring device for measuring relative relationship between object and robot, state estimating device for predicting and updating the internal state of the object and robot, data storage device for storing the internal state, and robot control for controlling the robot An apparatus,
The measurement device, the state estimation device, and the data storage device are non-real-time processing systems that are executed at a timing different from the control cycle of the robot,
The robot control device is a real-time processing system controlled by a robot control cycle,
The state estimating device has a total prediction unit that predicts the internal state, the old internal state stored in the data storage device, and an update unit that updates the new internal state calculated,
The state transition equation is a relational expression X (t + Δt) = f (X (t)) indicating how the internal state X changes with time.
The overall prediction unit performs a calculation of causing the internal state X (tx) of the model time tx recorded in the data storage device to transition to the measured time ty using the state transition equation.
The update unit predicts a measurement value at the measurement time ty using the internal state X (ty) at the measurement time ty in the data storage device and the observation equation h (X), and the predicted value and the measurement value To correct the internal state X (ty) and record it in the data storage device,
The observation equation is a relational expression that associates the internal state with the measured value,
The robot control device has an on-robot prediction unit that predicts a predicted position necessary for the control in the control period of the robot,
The predicted position is a current position or a future position of a workpiece or a robot,
The on-robot prediction unit performs a calculation to change the position of the workpiece or the robot at the model time tx from the internal state recorded in the data storage device to the specified time using the state transition equation. ,
(A) at any time that does not depend on the control period, the measuring device, the state estimating device, and by the data storage device, to measure the relative relationship between the object and the robot, the object and the measurement time of the robot ty the predicted internal state X (ty), and updates the internal state of predictive, and stored in the state transition equations and co used in the prediction,
(B) by the robot controller, based on the latest internal state stored in the data storage device, in the control period, predicting the predicted position, to control the robot in real time, that motion prediction, wherein Control method.
The motion prediction control method according to claim 5 , wherein the control cycle is a constant cycle shorter than a processing interval of the measuring device.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011116663A JP5733518B2 (en) | 2011-05-25 | 2011-05-25 | Motion prediction control apparatus and method |
| EP12782445.6A EP2708334B1 (en) | 2011-05-12 | 2012-04-24 | Device and method for controlling prediction of motion |
| PCT/JP2012/060918 WO2012153629A1 (en) | 2011-05-12 | 2012-04-24 | Device and method for controlling prediction of motion |
| CN201280022935.9A CN103517789B (en) | 2011-05-12 | 2012-04-24 | motion prediction control device and method |
| US14/078,342 US9108321B2 (en) | 2011-05-12 | 2013-11-12 | Motion prediction control device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011116663A JP5733518B2 (en) | 2011-05-25 | 2011-05-25 | Motion prediction control apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012245568A JP2012245568A (en) | 2012-12-13 |
| JP5733518B2 true JP5733518B2 (en) | 2015-06-10 |
Family
ID=47466538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011116663A Active JP5733518B2 (en) | 2011-05-12 | 2011-05-25 | Motion prediction control apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5733518B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5740433B2 (en) * | 2013-05-24 | 2015-06-24 | 日本電信電話株式会社 | Delay compensation apparatus, method, program, and recording medium |
| US9889566B2 (en) * | 2015-05-01 | 2018-02-13 | General Electric Company | Systems and methods for control of robotic manipulation |
| JP6904327B2 (en) * | 2018-11-30 | 2021-07-14 | オムロン株式会社 | Control device, control method, and control program |
| JP6878391B2 (en) * | 2018-12-18 | 2021-05-26 | ファナック株式会社 | Robot system and its adjustment method |
| JP6761194B2 (en) * | 2019-01-30 | 2020-09-23 | 株式会社安川電機 | Robot system, robot control method, robot controller and program |
| US20230032982A1 (en) | 2020-01-22 | 2023-02-02 | Abb Schweiz Ag | System and method for operating the robot, electronic device and computer readable medium |
| WO2021146989A1 (en) * | 2020-01-22 | 2021-07-29 | Robert Bosch Gmbh | Method and apparatus for estimating system state |
| JP7001730B2 (en) * | 2020-03-19 | 2022-01-20 | 川崎重工業株式会社 | Submersible |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0719818A (en) * | 1993-06-30 | 1995-01-20 | Kajima Corp | Three-dimensional movement predicting device |
| JPH07239236A (en) * | 1994-02-28 | 1995-09-12 | Hitachi Ltd | Method and apparatus for measurement of quantity of state of moving body and calculation device of attitude angle of moving body |
| JPH1124718A (en) * | 1997-07-07 | 1999-01-29 | Toshiba Corp | Device and method for controlling robot |
| JP3988255B2 (en) * | 1998-05-20 | 2007-10-10 | 株式会社安川電機 | Position command method and apparatus in numerical controller |
| JP2011209203A (en) * | 2010-03-30 | 2011-10-20 | Sony Corp | Self-position estimating device and self-position estimating method |
-
2011
- 2011-05-25 JP JP2011116663A patent/JP5733518B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012245568A (en) | 2012-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5733518B2 (en) | Motion prediction control apparatus and method | |
| WO2012153629A1 (en) | Device and method for controlling prediction of motion | |
| US10252424B2 (en) | Systems and methods for control of robotic manipulation | |
| EP3186041B1 (en) | Natural pitch and roll | |
| EP2865495B1 (en) | Control synchronization for high-latency teleoperation | |
| CN101943916B (en) | Kalman filter prediction-based robot obstacle avoidance method | |
| US9563528B2 (en) | Mobile apparatus and localization method thereof | |
| JP5679121B2 (en) | Robot motion prediction control method and apparatus | |
| CN110770664A (en) | Navigation path tracking control method, equipment, mobile robot and system | |
| JP2022543926A (en) | System and Design of Derivative-Free Model Learning for Robotic Systems | |
| JP5169273B2 (en) | Mobile robot control device and mobile robot system | |
| Rollinson et al. | State estimation for snake robots | |
| CN113561171B (en) | Robot system with dynamic motion adjustment mechanism and method of operating the same | |
| US9395726B1 (en) | Methods and devices for bound and gallop gaits | |
| JP6035671B2 (en) | Device state identification method and apparatus | |
| JP5733516B2 (en) | Moving body gripping apparatus and method | |
| US11656923B2 (en) | Systems and methods for inter-process communication within a robot | |
| WO2023066201A1 (en) | Mechanical arm motion path planning method and apparatus, device, program, and medium | |
| WO2023162017A1 (en) | Position and posture estimation device, position and posture estimation system, and sensor installation method | |
| US20230419546A1 (en) | Online camera calibration for a mobile robot | |
| US20230393581A1 (en) | Moving-body path calculation device | |
| CN116945182A (en) | Robot arm control method, robot and control terminal | |
| Sharma et al. | Integrating configuration space and sensor space for visionbased robot motion planning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150318 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150331 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5733518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |