JP6409605B2 - Robot system - Google Patents

Robot system Download PDF

Info

Publication number
JP6409605B2
JP6409605B2 JP2015023465A JP2015023465A JP6409605B2 JP 6409605 B2 JP6409605 B2 JP 6409605B2 JP 2015023465 A JP2015023465 A JP 2015023465A JP 2015023465 A JP2015023465 A JP 2015023465A JP 6409605 B2 JP6409605 B2 JP 6409605B2
Authority
JP
Japan
Prior art keywords
robot
marker
plane
robot system
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015023465A
Other languages
Japanese (ja)
Other versions
JP2016144852A (en
Inventor
清宏 宗玄
清宏 宗玄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015023465A priority Critical patent/JP6409605B2/en
Publication of JP2016144852A publication Critical patent/JP2016144852A/en
Application granted granted Critical
Publication of JP6409605B2 publication Critical patent/JP6409605B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、ロボットシステムに関する。   The present invention relates to a robot system.

特許文献１に開示されるロボットシステムは、ロボットと、ロボット及び作業空間を撮影する撮像部と、撮影された映像を表示する表示端末とを備える。このロボットは、ユーザにより教示された対象物の向き情報に基づいて、対象物の位置姿勢を推定して、対象物を把持する方向を決定する。   The robot system disclosed in Patent Literature 1 includes a robot, an imaging unit that captures the robot and the work space, and a display terminal that displays the captured video. The robot estimates the position and orientation of the target based on the orientation information of the target taught by the user, and determines the direction in which the target is gripped.

特開２０１３−１７３２０９号公報JP 2013-173209 A

ところで、対象物を把持した後で、所定の方向に動かす作業がある。このような作業として、例えば、エンドエフェクタを用いてカーテンを把持した後で、エンドエフェクタを移動させることでカーテンを開閉させる作業がある。ロボットが対象物を把持した後で、ユーザがエンドエフェクタの動作方向を指示することがある。ここで、ユーザによって指示される方向は、複数考えられ、ユーザの操作が複雑であった。   By the way, there is an operation of moving the object in a predetermined direction after holding the object. As such an operation, for example, there is an operation of opening and closing the curtain by moving the end effector after gripping the curtain using the end effector. After the robot holds the object, the user may instruct the movement direction of the end effector. Here, a plurality of directions indicated by the user are considered, and the user's operation is complicated.

本発明は、単純な操作方法でロボットを操作することのできるロボットシステムを提供する。   The present invention provides a robot system capable of operating a robot by a simple operation method.

本発明にかかるロボットシステムは、
対象物を把持した後で、前記対象物を所定の方向に動かすロボットと、
前記対象物及び前記ロボットを含む作業空間と、前記ロボットが前記対象物を動かす動作方向を示すマーカと、を表示する表示部と、
ユーザによる前記マーカへの入力によって、前記ロボットを操作する操作入力部と、を有するロボットシステムであって、
前記ロボットは、
前記対象物までの距離を計測する距離センサと、
前記距離センサにより計測された距離点群に基づいて、前記対象物における前記動作方向と平行な平面、及び、前記平面の法線方向を検出する検出部と、
検出した前記動作方向と平行な平面、及び、前記平面の法線方向に沿う平面マーカの位置及び姿勢を計算するマーカ位置姿勢計算部と、を備え、
前記表示部は、計算した前記平面マーカの位置及び姿勢を示すマーカを表示する。 The robot system according to the present invention includes:
A robot that moves the object in a predetermined direction after gripping the object;
A display unit for displaying a work space including the object and the robot, and a marker indicating an operation direction in which the robot moves the object;
An operation input unit for operating the robot by an input to the marker by a user,
The robot is
A distance sensor for measuring the distance to the object;
Based on the distance point group measured by the distance sensor, a plane that is parallel to the movement direction of the object, and a detection unit that detects a normal direction of the plane;
A plane parallel to the detected motion direction, and a marker position and orientation calculator that calculates the position and orientation of a planar marker along the normal direction of the plane,
The display unit displays a marker indicating the calculated position and orientation of the planar marker.

このような構成によれば、対象物における動作方向と平行な平面、及び、平面の法線方向に沿うマーカをユーザに示して、対象物における平面に沿う方向の中から動作をユーザに指示させる。したがって、単純な操作方法でロボットを操作することができる。   According to such a configuration, a marker is shown to the user along a plane parallel to the movement direction of the object and the normal direction of the plane, and the user is instructed to move from the direction along the plane of the object. . Therefore, the robot can be operated by a simple operation method.

本発明によれば、単純な操作方法でロボットを操作することができるロボットシステムを提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the robot system which can operate a robot with a simple operation method can be provided.

実施の形態１にかかるロボットシステムの構成図である。1 is a configuration diagram of a robot system according to a first embodiment. 端末画面の一例を示す図である。It is a figure which shows an example of a terminal screen. 作業表示領域の一例を示す図である。It is a figure which shows an example of a work display area. 実施の形態１にかかるロボットシステムの処理を示すフローチャートである。3 is a flowchart showing processing of the robot system according to the first exemplary embodiment. 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。FIG. 3 is a diagram illustrating an example of a work display area in the process of the robot system according to the first embodiment. 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。FIG. 3 is a diagram illustrating an example of a work display area in the process of the robot system according to the first embodiment. 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。FIG. 3 is a diagram illustrating an example of a work display area in the process of the robot system according to the first embodiment. 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。FIG. 3 is a diagram illustrating an example of a work display area in the process of the robot system according to the first embodiment. 実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。FIG. 3 is a diagram illustrating an example of a work display area in the process of the robot system according to the first embodiment. 実施の形態１にかかるロボットシステムの処理における作業表示領域の別の一例を示す図である。It is a figure which shows another example of the work display area in the process of the robot system concerning Embodiment 1. FIG.

実施の形態１．
図１〜図３を用いて、実施の形態１にかかるロボットシステムについて説明する。図１は、実施の形態１にかかるロボットシステムの構成図である。図２は、端末画面の一例を示す図である。図３は、端末画面の要部の一例を示す図である。 Embodiment 1 FIG.
The robot system according to the first embodiment will be described with reference to FIGS. FIG. 1 is a configuration diagram of the robot system according to the first embodiment. FIG. 2 is a diagram illustrating an example of a terminal screen. FIG. 3 is a diagram illustrating an example of a main part of the terminal screen.

（システム構成）
図１に示すように、ロボットシステム１００は、ロボット２と、ユーザがロボット２を操縦するための操作入力を受け付ける操作端末３と、撮像装置４とを含む。 (System configuration)
As illustrated in FIG. 1, the robot system 100 includes a robot 2, an operation terminal 3 that receives an operation input for a user to operate the robot 2, and an imaging device 4.

ロボット２は、回動可能なロボットアーム２ａと、ロボットアーム２ａの先端に支持されるエンドエフェクタ２ｂと、操縦用マーカ追従制御部２ｃと、距離センサ２ｄと、検出部２ｅと、操縦用マーカ位置姿勢計算部２ｆと、操縦用マーカ描画処理部２ｇとを含む。   The robot 2 includes a pivotable robot arm 2a, an end effector 2b supported at the tip of the robot arm 2a, a steering marker tracking control unit 2c, a distance sensor 2d, a detection unit 2e, and a steering marker position. An attitude calculation unit 2f and a control marker drawing processing unit 2g are included.

図３に示すように、ロボットアーム２ａは、互いに連結する複数のリンク２ａ１と、リンク２ａ１同士の間に設置されて、リンク２ａ１同士の関節角度を変化させる複数のモータ２ａ２とを備える。リンク２ａ１同士の関節角度は、リンク２ａ１同士が交差する角度である。モータ２ａ２は、電源（図示略）から電流を供給されて、この関節角度が変化するように、リンク２ａ１の少なくとも一方を回動させる。このようなリンク２ａ１の回動等によって、ロボットアーム２ａは、エンドエフェクタ２ｂを３次元空間内において、最大自由度６、つまり、並進３自由度及び回転３自由度で、移動又は回転させることができる。ロボットアーム２ａは、必要に応じて、リンク２ａ１同士の関節角度を計測するエンコーダ（図示略）や、モータ２ａ２を駆動させるための電流を制御するモータドライバ（図示略）を備える。   As shown in FIG. 3, the robot arm 2a includes a plurality of links 2a1 that are connected to each other, and a plurality of motors 2a2 that are installed between the links 2a1 and change the joint angles between the links 2a1. The joint angle between the links 2a1 is an angle at which the links 2a1 intersect. The motor 2a2 is supplied with a current from a power source (not shown) and rotates at least one of the links 2a1 so that the joint angle changes. By such rotation of the link 2a1, the robot arm 2a can move or rotate the end effector 2b in the three-dimensional space with a maximum degree of freedom of 6, that is, three translational degrees of freedom and three degrees of freedom of rotation. it can. The robot arm 2a includes an encoder (not shown) that measures the joint angle between the links 2a1 and a motor driver (not shown) that controls a current for driving the motor 2a2, as necessary.

図１に示すように、エンドエフェクタ２ｂは、対象物を把持するものであればよく、例えば、ロボットハンドやツールである。   As shown in FIG. 1, the end effector 2b may be anything that grips an object, for example, a robot hand or a tool.

距離センサ２ｄは、対象物までの距離を取得するセンサであればよく、例えば、ステレオカメラ、ＬＲＦ（レーザレンジファインダ）、赤外線を用いた深度センサが挙げられる。   The distance sensor 2d may be any sensor that acquires the distance to the object, and examples thereof include a stereo camera, an LRF (laser range finder), and a depth sensor using infrared rays.

検出部２ｅは、例えば、距離点群からＲＡＮＳＡＣ（Random Sample Consensus）と呼ばれる方法を用いて、対象物の平面検出を行う。   The detection unit 2e performs planar detection of an object using, for example, a method called RANSAC (Random Sample Consensus) from a distance point group.

操縦用マーカ位置姿勢計算部２ｆは、検出した対象物の平面の平面方向と法線方向に沿う操縦用マーカの位置姿勢を計算する。   The control marker position and orientation calculation unit 2 f calculates the position and orientation of the control marker along the plane direction and the normal direction of the detected plane of the object.

操縦用マーカ描画処理部２ｇは、３次元ＣＧ（コンピュータグラフィックス）の描画処理を行う。操縦用マーカ描画処理部２ｇは、描画処理して形成した画像データを操作端末３に送る。   The steering marker drawing processing unit 2g performs three-dimensional CG (computer graphics) drawing processing. The steering marker drawing processing unit 2g sends the image data formed by the drawing process to the operation terminal 3.

操作端末３は、画像を表示する表示部３０と、ユーザによる操作入力を受け付ける操作入力部３１とを有する。ユーザによる操作は、例えば、マウス、タッチパネルを用いて行われる。操作端末３は、例えば、タブレット端末、スマートフォン、ＰＣ（パーソナルコンピュータ）などである。   The operation terminal 3 includes a display unit 30 that displays an image and an operation input unit 31 that receives an operation input by a user. The operation by the user is performed using, for example, a mouse or a touch panel. The operation terminal 3 is, for example, a tablet terminal, a smartphone, or a PC (personal computer).

操作端末３は、タッチパネルを有してもよく、このタッチパネルは、表示部３０と操作入力部３１との機能を有する。具体的には、図２に示すように、操作端末３では、表示部３０の一例として、タッチパネル３０を有する。タッチパネル３０は、ユーザによる操作入力を受け付ける入力受付領域３ａと、作業表示領域３ｂ１と、全体表示領域３ｂ２とを含む。入力受付領域３ａは、ユーザによる操作入力を受け付ける。作業表示領域３ｂ１は、ロボット２及び対象物としての家具８の実画像又はＣＧ（コンピュータグラフィックス）画像を表示する。全体表示領域３ｂ２は、ロボット２及び対象物が配置された作業空間を表示する。図３に示すように、作業表示領域３ｂ１には、ユーザによる操作入力を受け付ける操縦用マーカ１を実画像又はＣＧ画像に重畳して表示する。操縦用マーカ１は、矢印１ｂと、リング１ｃと、指差マーク１ｄとを含む。   The operation terminal 3 may have a touch panel, and this touch panel has functions of the display unit 30 and the operation input unit 31. Specifically, as illustrated in FIG. 2, the operation terminal 3 includes a touch panel 30 as an example of the display unit 30. The touch panel 30 includes an input receiving area 3a for receiving an operation input by a user, a work display area 3b1, and an entire display area 3b2. The input reception area 3a receives an operation input by a user. The work display area 3b1 displays a real image or a CG (computer graphics) image of the robot 2 and the furniture 8 as an object. The entire display area 3b2 displays a work space where the robot 2 and the object are arranged. As shown in FIG. 3, in the work display area 3b1, the steering marker 1 that receives an operation input by the user is displayed superimposed on the real image or the CG image. Steering marker 1 includes an arrow 1b, a ring 1c, and a finger pointing mark 1d.

撮像装置４は、対象物及びロボット２を含む作業空間を撮影し、撮影した映像を操作端末３及びロボット２に出力する。撮像装置４は、ＣＣＤ（Charge Coupled device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの画像検出素子を備える。   The imaging device 4 captures a work space including the object and the robot 2 and outputs the captured image to the operation terminal 3 and the robot 2. The imaging device 4 includes an image detection element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).

（ロボットシステムの処理）
次に、図４を参照しつつ、図３及び図５〜図９を用いて、ロボットシステム１００の処理について説明する。図４は、実施の形態１にかかるロボットシステムの処理を示すフローチャートである。図５〜図９は、実施の形態１にかかるロボットシステムの処理における作業表示領域の一例を示す図である。 (Robot system processing)
Next, the processing of the robot system 100 will be described with reference to FIG. 4 and FIGS. 3 and 5 to 9. FIG. 4 is a flowchart illustrating processing of the robot system according to the first embodiment. 5 to 9 are diagrams illustrating an example of a work display area in the process of the robot system according to the first embodiment.

まず、エンドエフェクタ２ｂの位置・姿勢を指示する操作入力を、操作端末３が受け付ける（エンドエフェクタ指示ステップＳ１）。具体的には、図３に示すように、エンドエフェクタ２ｂの位置を指示する操作入力は、例えば、ユーザが、指差マーク１ｄを矢印１ｂに沿うようにドラッグして動かすことによって、行なわれる。図５及び図６に示すように、この操作入力によって、エンドエフェクタ２ｂを家具８の取っ手８ａに向かって前進させるように、ロボット２は指示される。また、エンドエフェクタ２ｂの姿勢を指示する操作入力は、例えば、ユーザが、指差マーク１ｄをリング１ｃに沿うようにドラッグして回転させることによって、行なわれる。この操作入力によって、操縦用マーカ１の位置・姿勢が決定する。   First, the operation terminal 3 receives an operation input for instructing the position / posture of the end effector 2b (end effector instruction step S1). Specifically, as shown in FIG. 3, the operation input for instructing the position of the end effector 2b is performed by, for example, the user dragging and moving the finger pointing mark 1d along the arrow 1b. As shown in FIGS. 5 and 6, the robot 2 is instructed to advance the end effector 2 b toward the handle 8 a of the furniture 8 by this operation input. Further, the operation input for instructing the posture of the end effector 2b is performed, for example, by the user dragging and rotating the finger pointing mark 1d along the ring 1c. By this operation input, the position / posture of the steering marker 1 is determined.

続いて、エンドエフェクタ２ｂの位置・姿勢が操縦用マーカ１の位置・姿勢に一致するように、ロボットアーム２ａを制御する（ロボットアーム制御ステップＳ２）。具体的には、操縦用マーカ追従制御部２ｃは、エンドエフェクタ２ｂの位置・姿勢を指示する操作入力を操作端末３から受ける。操縦用マーカ追従制御部２ｃは、エンドエフェクタ２ｂの位置・姿勢が、操縦用マーカ１の位置・姿勢に一致するように、ロボットアーム２ａの関節角度を算出する。操縦用マーカ追従制御部２ｃは、算出したロボットアーム２ａの関節角度を、指令関節角度として各モータ２ａ２に送る。操縦用マーカ追従制御部２ｃは、エンドエフェクタ２ｂの位置・姿勢が操縦用マーカ１の位置・姿勢に一致するように、ロボットアーム２ａを制御する。   Subsequently, the robot arm 2a is controlled so that the position / posture of the end effector 2b matches the position / posture of the control marker 1 (robot arm control step S2). Specifically, the steering marker follow-up control unit 2c receives an operation input for instructing the position / posture of the end effector 2b from the operation terminal 3. The control marker tracking control unit 2c calculates the joint angle of the robot arm 2a so that the position / posture of the end effector 2b matches the position / posture of the control marker 1. The control marker tracking control unit 2c sends the calculated joint angle of the robot arm 2a to each motor 2a2 as a command joint angle. The control marker tracking control unit 2c controls the robot arm 2a so that the position / posture of the end effector 2b matches the position / posture of the control marker 1.

続いて、操縦用マーカ１周辺に距離センサ２ｄによって計測した距離点群が閾値以上存在するかを確認する（距離点群確認ステップＳ３）。このような距離点群が閾値以上存在することを確認した場合（ＹＥＳ：距離点群確認ステップＳ３）、操縦用マーカ周辺の距離点群から平面検出部によって、対象物の平面情報を検出する（平面情報検出ステップＳ４）。   Subsequently, it is confirmed whether or not the distance point group measured by the distance sensor 2d exists in the vicinity of the control marker 1 or more (threshold point group confirmation step S3). When it is confirmed that such a distance point group exists more than the threshold (YES: distance point group confirmation step S3), the plane information of the object is detected from the distance point group around the steering marker by the plane detection unit ( Plane information detection step S4).

距離点群確認ステップＳ３および平面情報検出ステップＳ４では、図７に示す作業を例として説明する。図７に示す作業は、対象物としてのカーテン９を把持した後で、所定の方向（ここでは、Ｘ軸方向）に動かすことによって、開ける作業である。図８に示すように、操作端末３（図２参照）の作業表示領域３ｂ１では、操縦用マーカ１が表示される。距離センサ２ｄ（図１参照）によってカーテン９の位置情報を検出し、操縦用マーカ１周辺の距離点群に変換する。検出部２ｅが、変換した距離点群から平面を検出し、カーテン９の平面方向Ｄ１と平面法線方向Ｄ２とを取得することができる。   In the distance point group confirmation step S3 and the plane information detection step S4, the operation shown in FIG. 7 will be described as an example. The work shown in FIG. 7 is a work that opens by gripping the curtain 9 as an object and then moving it in a predetermined direction (here, the X-axis direction). As shown in FIG. 8, the steering marker 1 is displayed in the work display area 3b1 of the operation terminal 3 (see FIG. 2). The position information of the curtain 9 is detected by the distance sensor 2d (see FIG. 1), and converted into distance point groups around the steering marker 1. The detection unit 2e can detect a plane from the converted distance point group and acquire the plane direction D1 and the plane normal direction D2 of the curtain 9.

続いて、操縦用マーカの最適な位置・姿勢を計算する（最適位置姿勢計算ステップＳ５）。例えば、図９に示すように、操縦用マーカ位置姿勢計算部２ｆ（図１参照）によって、平面方向Ｄ１と平面法線方向Ｄ２に沿う操縦用マーカ１の位置・姿勢を算出する。   Subsequently, the optimum position / orientation of the steering marker is calculated (optimum position / orientation calculation step S5). For example, as shown in FIG. 9, the position / posture of the steering marker 1 along the plane direction D1 and the plane normal direction D2 is calculated by the steering marker position / posture calculation unit 2f (see FIG. 1).

最後に、算出した結果の通りに、操縦用マーカ１を作業表示領域３ｂ１に表示する（操縦用マーカ表示ステップＳ６）。例えば、３次元ＣＧの描画処理を用いて、操縦用マーカ１を描画処理して表示する。   Finally, according to the calculated result, the control marker 1 is displayed in the work display area 3b1 (control marker display step S6). For example, using the three-dimensional CG drawing process, the steering marker 1 is drawn and displayed.

以上、実施の形態１にかかるロボットシステムによれば、対象物における動作方向と平行な平面、及び、平面の法線方向に沿うマーカをユーザに示すことができる。対象物における平面に沿う方向の中から動作をユーザに指示させるため、単純な操作方法でロボットを操作することができる。   As described above, according to the robot system according to the first embodiment, it is possible to show the user a plane parallel to the movement direction of the object and a marker along the normal direction of the plane. Since the user is instructed to perform an action from the direction along the plane of the object, the robot can be operated by a simple operation method.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、ロボットシステム１００に自由度制限処理部を加えてもよい。図９及び図１０に示すように、カーテン９の主面と平行な方向、つまり、カーテン９の鉛直上下方向（ここでは、Ｚ軸方向（図７参照））、及び、カーテン９の開閉方向（ここでは、Ｘ軸方向）のみに、自由度を制限する。つまり、カーテン９の主面に垂直な方向（ここでは、Ｙ軸方向）の動きは、制限される。したがって、カーテン９の主面に垂直な方向に動かすことが無いので、カーテン９を窓に衝突させることが抑制される。ユーザが操作を誤ることなく効率的に操作を行うことができる。なお、図１０は、実施の形態１にかかるロボットシステムの処理における作業表示領域の別の一例を示す図である。また、ここでは、カーテン９の主面は、Ｘ軸方向及びＺ軸方向に平行な面である。   Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. For example, a freedom degree restriction processing unit may be added to the robot system 100. 9 and 10, the direction parallel to the main surface of the curtain 9, that is, the vertical vertical direction of the curtain 9 (here, the Z-axis direction (see FIG. 7)) and the opening and closing direction of the curtain 9 ( Here, the degree of freedom is limited only in the X-axis direction). That is, the movement in the direction perpendicular to the main surface of the curtain 9 (here, the Y-axis direction) is limited. Accordingly, the curtain 9 is not moved in the direction perpendicular to the main surface of the curtain 9, and the curtain 9 is prevented from colliding with the window. The user can operate efficiently without making a mistake. FIG. 10 is a diagram illustrating another example of the work display area in the process of the robot system according to the first embodiment. Here, the main surface of the curtain 9 is a surface parallel to the X-axis direction and the Z-axis direction.

１００ ロボットシステム
１ 操縦用マーカ
２ ロボット
２ｅ 検出部 ２ｆ 操縦用マーカ位置姿勢計算部
３ 操作端末
３０ 表示部
Ｄ１ 平面方向 Ｄ２ 平面法線方向 DESCRIPTION OF SYMBOLS 100 Robot system 1 Steering marker 2 Robot 2e Detection part 2f Steering marker position and orientation calculation part 3 Operation terminal 30 Display part D1 Plane direction D2 Plane normal direction

Claims (1)

対象物を把持した後で、前記対象物を所定の方向に動かすロボットと、
前記対象物及び前記ロボットを含む作業空間と、前記ロボットが前記対象物を動かす動作方向を示すマーカと、を表示する表示部と、
ユーザによる前記マーカへの入力によって、前記ロボットが前記対象物を前記動作方向に動かすよう、前記ロボットを操作する操作入力部と、を有するロボットシステムであって、
前記ロボットは、
前記対象物までの距離を計測する距離センサと、
前記距離センサにより計測された距離点群に基づいて、前記ロボットと前記対象物とが位置する前記作業空間上の平面における、前記対象物における平面の平面方向、及び、前記平面の法線方向を検出する検出部と、
検出した前記平面方向、及び、前記平面の法線方向に沿う平面マーカの位置及び姿勢を計算するマーカ位置姿勢計算部と、を備え、
前記表示部は、計算した前記平面マーカの位置及び姿勢を示す前記マーカを表示するロボットシステム。 A robot that moves the object in a predetermined direction after gripping the object;
A display unit for displaying a work space including the object and the robot, and a marker indicating an operation direction in which the robot moves the object;
An operation input unit for operating the robot so that the robot moves the object in the movement direction by an input to the marker by a user,
The robot is
A distance sensor for measuring the distance to the object;
Said distance based on the distance point group that has been measured by the sensor, in the plane on the working space between the robot and the object is located, the plane direction of put that flat surface on the object, and the law of the plane A detection unit for detecting a line direction;
Detected before Kitaira surface direction, and, and a marker position and orientation calculation unit to calculate the position and orientation of the plane marker along the normal direction of the plane,
The said display part is a robot system which displays the said marker which shows the position and attitude | position of the calculated said planar marker.
JP2015023465A 2015-02-09 2015-02-09 Robot system Active JP6409605B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015023465A JP6409605B2 (en) 2015-02-09 2015-02-09 Robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015023465A JP6409605B2 (en) 2015-02-09 2015-02-09 Robot system

Publications (2)

Publication Number Publication Date
JP2016144852A JP2016144852A (en) 2016-08-12
JP6409605B2 true JP6409605B2 (en) 2018-10-24

Family

ID=56685754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015023465A Active JP6409605B2 (en) 2015-02-09 2015-02-09 Robot system

Country Status (1)

Country Link
JP (1) JP6409605B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7400217B2 (en) * 2019-05-30 2023-12-19 セイコーエプソン株式会社 Robot system and portable teaching device
JP7403423B2 (en) 2020-09-29 2023-12-22 日立グローバルライフソリューションズ株式会社 robot vacuum cleaner
EP4316747A1 (en) * 2021-03-31 2024-02-07 Honda Motor Co., Ltd. Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4949799B2 (en) * 2006-10-16 2012-06-13 株式会社山武 Work support apparatus and method
JP5246672B2 (en) * 2011-02-17 2013-07-24 独立行政法人科学技術振興機構 Robot system
JP5716769B2 (en) * 2013-02-21 2015-05-13 株式会社安川電機 Robot simulator, robot teaching apparatus, and robot teaching method

Also Published As

Publication number Publication date
JP2016144852A (en) 2016-08-12

Similar Documents

Publication Publication Date Title
JP6788593B2 (en) Manipulator system
CN109313417B (en) Aiding in robot positioning
US11090814B2 (en) Robot control method
US11420330B2 (en) Robot control device, robot, and simulation device
JP6420229B2 (en) A robot system including a video display device that superimposes and displays an image of a virtual object on a video of a robot
JP6450960B2 (en) Robot, robot system and teaching method
US9981380B2 (en) Teaching apparatus and robot system
JP6361213B2 (en) Robot control apparatus, robot, robot system, teaching method, and program
US10807240B2 (en) Robot control device for setting jog coordinate system
US10427298B2 (en) Robot system displaying information for teaching robot
JP2020075354A (en) External input device, robot system, control method for robot system, control program, and recording medium
JP2013184257A (en) Robot apparatus, method for controlling robot apparatus, and computer program
JP2018111155A (en) Robot control device, robot and robot system
JP6409605B2 (en) Robot system
JP2017019068A (en) Teaching device, robot, and robot system
CN111941392A (en) Robot operating device, robot, and robot operating method
JP2015074061A (en) Robot control device, robot system, robot, robot control method and robot control program
JP6488571B2 (en) Teaching apparatus and robot system
JP6379902B2 (en) Robot operation device, robot system, and robot operation program
Wu et al. Kinect-based robotic manipulation: From human hand to end-effector
JP6455869B2 (en) Robot, robot system, control device, and control method
JP2016078142A (en) Method for control of robot device, and robot device
CN111699077B (en) Vision-based operation for robots
JP5862382B2 (en) Work support device
JP6939003B2 (en) Robot system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180910

R151 Written notification of patent or utility model registration

Ref document number: 6409605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151