JP3912584B2 - 遠隔操作装置 - Google Patents
遠隔操作装置 Download PDFInfo
- Publication number
- JP3912584B2 JP3912584B2 JP2001386951A JP2001386951A JP3912584B2 JP 3912584 B2 JP3912584 B2 JP 3912584B2 JP 2001386951 A JP2001386951 A JP 2001386951A JP 2001386951 A JP2001386951 A JP 2001386951A JP 3912584 B2 JP3912584 B2 JP 3912584B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- coordinate system
- visual
- work
- manipulator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
- Control By Computers (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、遠隔操作装置に関し、特にマスタスレイブマニピュレータによる遠隔操作装置に関する。
【０００２】
【従来の技術】
従来の遠隔操作装置として、特開２０００―４２９６０「マニピュレータの遠隔操作装置」に、マニピュレータを遠隔操作する装置が記載されている。
以下、簡単に図面を用いて説明する。図４において、遠隔操作装置は、スレイブマニピュレータ３１による作業空間を撮影するカメラ３２と、カメラ３２により撮影された映像を表示するディスプレイ３３と、操作者３４がディスプレイ３３の映像を見ながら操作するためのマスタマニピュレータ３５と、ロボット制御用計算機３６とを備える。制御計算機３６は、カメラおよび操作者視点の視覚座標系の操作ベクトル３８をスレイブマニピュレータ３１の作業座標系の操作ベクトル３９に変換するための座標変換行列３７を作成し、マスタマニピュレータ３５で入力された視覚座標系の操作ベクトル３８と座標変換行列３７とから作業座標系の操作ベクトル３９を求め、その作業座標系の操作ベクトル３９に従いスレイブマニピュレータ３１を作動させる。
【０００３】
【発明が解決しようとする課題】
上記の遠隔制御装置においては、カメラやスレイブマニピュレータの位置関係に変更があった場合、その位置関係をその都度測定し、座標変換行列を設定する必要があった。つまり、作業に応じて操作者が操作しやすいようにスレーブマニピュレータを撮影するカメラの位置を変更した場合には、その都度、位置関係を測定しなければならなかった。また、カメラを移動体に搭載する場合には、従来の方式では対応できなかった。
また、部品挿入等の組み立て作業を行う場合、部品を挿入する方向には、過度な力が加わらないように、マスタの操作者にスレーブのマニピュレータに生じる力を伝達する必要がある。そのために、マスタの操作者に視覚的な方向性と制御的な方向性を一致させてマスタを力覚制御しないと、操作者に違和感が生じて操作性が低下する。つまり、マスタからの指令を作業座標系の操作ベクトルに座標変換するだけでは、スレーブのマニピュレータが外部との接触などにより力を受けたことをマスタの操作者に伝達することができず、操作性が悪化するという問題があった。
この発明の目的は、カメラ画像から自動的に座標変換行列を算出し、操作者が常にカメラと同じ視点でマスタを操作することが可能なマスタスレイブマニピュレータの遠隔操作装置を提供し、同時に、視覚的な方向性と制御的な方向性をマスタスレイブの各マニピュレータで一致させることにより、作業性と操作性に優れる遠隔操作装置を提供することである。
【０００４】
【課題を解決するための手段】
上記問題を解決するため、本発明の遠隔操作装置は、操作者によって直接操作されるマスタマニピュレータと、前記マスタマニピュレータの動作に追従して動作するスレイブマニピュレータと、前記各マニピュレータの制御計算機と、前記スレイブマニピュレータを撮影するカメラと、前記カメラによって得られた画像を前記操作者に呈示するディスプレイとを有し、前記操作者が前記ディスプレイ上に呈示された前記スレイブマニピュレータを見ながら前記マスタマニピュレータを操作する遠隔操作装置において、前記カメラによって得られた画像から前記スレイブマニピュレータの作業空間内に予め設けられた複数のマーキングを抽出し画像上における各マーキング間の距離を求める画像処理手段と、前記画像上における各マーキング間の距離から前記スレイブマニピュレータに対する前記カメラの撮影方向を算出し、前記撮影方向をもとに、前記カメラおよび前記操作者視点の視覚座標系から前記スレイブマニピュレータの作業座標系への変換を行う座標変換行列を求める座標変換行列算出手段と、前記座標変換行列によって前記操作者が前記マスタマニピュレータへ加える前記視覚座標系における操作ベクトルを前記作業座標系における操作ベクトルに変換する視覚作業ベクトル変換手段と、前記作業座標系におけるベクトルを前記座標変換行列の逆行列によって前記視覚座標系におけるベクトルに変換する作業視覚ベクトル変換手段と、前記視覚作業ベクトル変換手段が出力する前記作業座標系における操作ベクトルを指令ベクトルとして前記スレイブマニピュレータ制御計算機へと出力するとともに、前記スレイブマニピュレータ制御計算機が帰還ベクトルとして出力する前記作業座標系における前記スレイブマニピュレータの位置、速度、加速度、外部から受ける力を前記作業視覚ベクトル変換手段へと出力する操作ベクトル授受手段と、前記操作者が前記マスタマニピュレータに加えた前記視覚座標系における操作ベクトルを前記視覚作業ベクトル変換手段に出力するとともに、前記作業視覚ベクトル変換手段が出力する前記視覚座標系における前記帰還ベクトルに従って前記マスタマニピュレータを力覚制御する視覚座標系制御手段とを備えたことを特徴とする。
【０００５】
【発明の実施の形態】
この発明における実施の形態の遠隔操作装置について図に基づいて説明する。図１は、この発明の実施の形態を示す機能ブロック図である。図１に示すカメラ３は、スレイブマニピュレータ１の作業空間を撮影する。ディスプレイ４を通して操作者５にスレイブマニピュレータ１の動作画像を呈示する。操作者５は、ディスプレイ４に呈示されているマニピュレータを見ながら視覚座標系でマスタマニピュレータ２を操作する。これにより、マスタ制御計算機８の視覚座標系制御手段６に視覚座標系の操作ベクトルが入力される。視覚座標系とは、カメラに固有の座標系であり、図２で示す操作者５が認識する視覚座標系は、カメラが固有に持っている視覚座標系と同一となる。一方、図１の画像処理手段１１は、カメラ３で取得した画像から必要な情報を抽出する。座標変換行列算出手段１２は、画像処理によって得られた情報から、座標変換行列を算出する。この座標変換行列は、図２に示すカメラおよび操作者視点の視覚座標系１００から、マスタマニピュレータの作業座標系１０１への変換を行う行列である。視覚作業ベクトル変換手段９は、座標変換行列によって、視覚座標系の操作ベクトル１１０を作業座標系の操作ベクトル１１１に変換する。その後、作業座標系の操作ベクトル１１１は、図１に示す操作ベクトル授受手段１０を介して、スレイブ制御計算機７へ送信される。スレイブ制御計算機７は、作業座標系の操作ベクトル１１１を指令ベクトルとして受信し、これに従ってスレイブマニピュレータ１を制御する。同時に、スレイブ制御計算機７は、操作ベクトル授受手段１０に帰還ベクトルを送信する。この帰還ベクトルは、スレイブマニピュレータ１の作業座標系における位置、速度、加速度、外部からの力等を表現するベクトルである。作業視覚ベクトル変換手段１３は、この帰還ベクトルと座標変換行列算出手段１２から算出された座標変換行列を使用して、視覚座標系１００に関するフィードバック情報として、マスタマニピュレータ８を制御することで、帰還型のマスタスレイブ動作を行う。
【０００６】
図２に基づいて、座標系設定について説明する。図２に示すように、スレイブマニピュレータ１の作業空間に、実線で示す作業座標系１０１が設定されている。この作業座標系１０１とは、作業空間上に直交する３軸を持つ３次元の座標系である。カメラ３はスレイブマニピュレータ１の作業空間を撮影し、ディスプレイ４を通して操作者にスレイブマニピュレータ１の動作画像を呈示する。このとき、破線で示す視覚座標系１００は、カメラ３の撮影方向と連動しており、ディスプレイを正面から見る操作者の視点はカメラ視点の視覚座標系１００でスレイブマニピュレータ１を見ることになる。したがって、操作者の入力する視覚座標系の操作ベクトル１１０は視覚座標系１００で与えられることになる。この視覚座標系の操作ベクトル１１０を視覚作業ベクトル変換手段９によって、スレイブマニピュレータ１の作業座標系の操作ベクトル１１１に変換し、これに基づきスレイブマニピュレータ１を動作させる。
視覚作業ベクトル変換手段９では、視覚座標系の操作ベクトル１１０をＶcomとし、座標変換行列をＭtransとおくと、作業座標系の操作ベクトル１１１Ｖref
は、
Ｖref ＝ Ｍtrans ・ Ｖcom
として求められる。
また、作業視覚ベクトル変換手段１３では、作業座標系の帰還ベクトルをＶrfbとし、視覚座標系での帰還ベクトルＶvfbは、
Ｖvfb ＝ （Ｍtrans）-1 ・ Ｖrfb
として求められる。
【０００７】
図３に基づいて、座標変換行列算出手段１２の一手法を説明する。スレイブマニピュレータ１の作業空間に、作業座標に固定したマーキングを施しておく。例えば、図３（ａ）に示すように、座標系原点Ｐoと、Ｘ軸Ｙ軸各軸上の原点から等距離の適当な位置Ｐx 、Ｐy に、マーキングを施しておく。マーキングした画像を予め画像処理装置に登録し、カメラから取得した画像をパターンマッチング等の画像処理方法によって処理し、図３（ｂ）のように、各マーキング点間の画像上の水平距離Ｌx とＬy が求められる。視覚座標系と作業座標系の回転角度θは、近似で、θ＝ atan(Ｌx/Ｌy)として求められ、座標変換行列、Ｍtrans は
【０００８】
【数１】
【０００９】
となる。
ここで述べた座標変換行列算出手段は一例である。
この座標変換行列の算出は、カメラ位置を一定時間固定する場合、カメラの位置を変えて固定したときに一度行えば良い。従って、ロボットのハンド部など一点にマーキングを施しておき、マーキングされた部位の位置をロボットの動作で変え、ロボット動作と連動してマーキング位置を複数回認識して検出し、これに基づいて、述べたような座標変換行列の算出を行う方法を取ることもできる。また、カメラ３が移動体に設置されている場合は、カメラ３が画像を取得したのち、座標変換行列算出手段１２により、自動的に座標変換行列を算出すればよい。
【００１０】
以上のように、画像処理によって得られた情報から座標変換行列を算出し、マスタスレイブ各々の制御計算機を機能させることにより、マスタスレイブの両マニピュレータは、カメラおよび操作者視点の視覚座標系に対して同じ相対関係にある作業座標系に基づいて制御を施している。つまり、視覚的な方向性と制御的な方向性がマスタとスレイブで一致しているので、操作者が違和感なくマスタマニピュレータを操作できる。また、カメラから取得した画像から座標変換行列を求めるので、カメラ視点が変わっても、適切な座標変換行列によって作業座標系が設定され、良好な操作性が保たれる。作業座標系制御手段として方向的な制御特性をマニピュレータに与えるインピーダンス制御などを採用して作業に適した操作感覚を操作者に提供し、この場合にも、カメラ視点が変わっても自動的に座標変換が施されるため、操作者の視覚と力覚が一致して、良好な操作性を保つことができる。なお、本実施例では、マスタ制御計算機８に画像処理手段１１と座標変換行列算出手段１２を含んでいないが、マスタ制御８に画像処理手段１１と座標変換行列算出手段１２を含んだ場合も、上記実施例に示した目的を達成することができる。
【００１１】
【発明の効果】
以上述べたように、本発明の遠隔操作装置によれば、作業に応じて操作者が操作しやすい位置に、スレイブマニピュレータを撮影するカメラの位置を変更した場合でも、自動的に座標変換を施すことによって、操作者の視点からの指令とスレイブの動作とを一致させ、良好な操作環境を提供することができる。また、インピーダンス制御などを採用して作業や操作に適した制御的な方向性を設定し、操作性を向上させる場合にも、マスタとスレイブの両マニピュレータの制御的な方向性が操作者視点で一致しているので、操作者に違和感を与えることなく、視覚と力覚が一致した、臨場感のある操作環境を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の機能ブロック図
【図２】視覚座標系と作業座標系の説明図
【図３】画像情報に基づく座標変換行列の一算出手段の説明図
【図４】従来の遠隔操作装置の構成を示す機能ブロック図
【符号の説明】
１：スレイブマニピュレータ
２：マスタマニピュレータ
３：カメラ
４：ディスプレイ
５：操作者
６：視覚座標系制御手段
７：スレイブ制御計算機
８：マスタ制御計算機
９：視覚作業ベクトル変換手段
１０：操作ベクトル授受手段
１１：画像処理手段
１２：座標変換行列算出手段
１３：作業視覚ベクトル変換手段
３１：スレイブマニピュレータ
３２：カメラ
３３：ディスプレイ
３４：マスタマニピュレータ
３５：操作者
３６：制御計算機
３７：座標変換行列
３８：視覚座標系の操作ベクトル
３９：作業座標系の操作ベクトル
１００：視覚座標系
１０１：作業座標系
１１０：視覚座標系の操作ベクトル
１１１：作業座標系の操作ベクトル
【発明の属する技術分野】
この発明は、遠隔操作装置に関し、特にマスタスレイブマニピュレータによる遠隔操作装置に関する。
【０００２】
【従来の技術】
従来の遠隔操作装置として、特開２０００―４２９６０「マニピュレータの遠隔操作装置」に、マニピュレータを遠隔操作する装置が記載されている。
以下、簡単に図面を用いて説明する。図４において、遠隔操作装置は、スレイブマニピュレータ３１による作業空間を撮影するカメラ３２と、カメラ３２により撮影された映像を表示するディスプレイ３３と、操作者３４がディスプレイ３３の映像を見ながら操作するためのマスタマニピュレータ３５と、ロボット制御用計算機３６とを備える。制御計算機３６は、カメラおよび操作者視点の視覚座標系の操作ベクトル３８をスレイブマニピュレータ３１の作業座標系の操作ベクトル３９に変換するための座標変換行列３７を作成し、マスタマニピュレータ３５で入力された視覚座標系の操作ベクトル３８と座標変換行列３７とから作業座標系の操作ベクトル３９を求め、その作業座標系の操作ベクトル３９に従いスレイブマニピュレータ３１を作動させる。
【０００３】
【発明が解決しようとする課題】
上記の遠隔制御装置においては、カメラやスレイブマニピュレータの位置関係に変更があった場合、その位置関係をその都度測定し、座標変換行列を設定する必要があった。つまり、作業に応じて操作者が操作しやすいようにスレーブマニピュレータを撮影するカメラの位置を変更した場合には、その都度、位置関係を測定しなければならなかった。また、カメラを移動体に搭載する場合には、従来の方式では対応できなかった。
また、部品挿入等の組み立て作業を行う場合、部品を挿入する方向には、過度な力が加わらないように、マスタの操作者にスレーブのマニピュレータに生じる力を伝達する必要がある。そのために、マスタの操作者に視覚的な方向性と制御的な方向性を一致させてマスタを力覚制御しないと、操作者に違和感が生じて操作性が低下する。つまり、マスタからの指令を作業座標系の操作ベクトルに座標変換するだけでは、スレーブのマニピュレータが外部との接触などにより力を受けたことをマスタの操作者に伝達することができず、操作性が悪化するという問題があった。
この発明の目的は、カメラ画像から自動的に座標変換行列を算出し、操作者が常にカメラと同じ視点でマスタを操作することが可能なマスタスレイブマニピュレータの遠隔操作装置を提供し、同時に、視覚的な方向性と制御的な方向性をマスタスレイブの各マニピュレータで一致させることにより、作業性と操作性に優れる遠隔操作装置を提供することである。
【０００４】
【課題を解決するための手段】
上記問題を解決するため、本発明の遠隔操作装置は、操作者によって直接操作されるマスタマニピュレータと、前記マスタマニピュレータの動作に追従して動作するスレイブマニピュレータと、前記各マニピュレータの制御計算機と、前記スレイブマニピュレータを撮影するカメラと、前記カメラによって得られた画像を前記操作者に呈示するディスプレイとを有し、前記操作者が前記ディスプレイ上に呈示された前記スレイブマニピュレータを見ながら前記マスタマニピュレータを操作する遠隔操作装置において、前記カメラによって得られた画像から前記スレイブマニピュレータの作業空間内に予め設けられた複数のマーキングを抽出し画像上における各マーキング間の距離を求める画像処理手段と、前記画像上における各マーキング間の距離から前記スレイブマニピュレータに対する前記カメラの撮影方向を算出し、前記撮影方向をもとに、前記カメラおよび前記操作者視点の視覚座標系から前記スレイブマニピュレータの作業座標系への変換を行う座標変換行列を求める座標変換行列算出手段と、前記座標変換行列によって前記操作者が前記マスタマニピュレータへ加える前記視覚座標系における操作ベクトルを前記作業座標系における操作ベクトルに変換する視覚作業ベクトル変換手段と、前記作業座標系におけるベクトルを前記座標変換行列の逆行列によって前記視覚座標系におけるベクトルに変換する作業視覚ベクトル変換手段と、前記視覚作業ベクトル変換手段が出力する前記作業座標系における操作ベクトルを指令ベクトルとして前記スレイブマニピュレータ制御計算機へと出力するとともに、前記スレイブマニピュレータ制御計算機が帰還ベクトルとして出力する前記作業座標系における前記スレイブマニピュレータの位置、速度、加速度、外部から受ける力を前記作業視覚ベクトル変換手段へと出力する操作ベクトル授受手段と、前記操作者が前記マスタマニピュレータに加えた前記視覚座標系における操作ベクトルを前記視覚作業ベクトル変換手段に出力するとともに、前記作業視覚ベクトル変換手段が出力する前記視覚座標系における前記帰還ベクトルに従って前記マスタマニピュレータを力覚制御する視覚座標系制御手段とを備えたことを特徴とする。
【０００５】
【発明の実施の形態】
この発明における実施の形態の遠隔操作装置について図に基づいて説明する。図１は、この発明の実施の形態を示す機能ブロック図である。図１に示すカメラ３は、スレイブマニピュレータ１の作業空間を撮影する。ディスプレイ４を通して操作者５にスレイブマニピュレータ１の動作画像を呈示する。操作者５は、ディスプレイ４に呈示されているマニピュレータを見ながら視覚座標系でマスタマニピュレータ２を操作する。これにより、マスタ制御計算機８の視覚座標系制御手段６に視覚座標系の操作ベクトルが入力される。視覚座標系とは、カメラに固有の座標系であり、図２で示す操作者５が認識する視覚座標系は、カメラが固有に持っている視覚座標系と同一となる。一方、図１の画像処理手段１１は、カメラ３で取得した画像から必要な情報を抽出する。座標変換行列算出手段１２は、画像処理によって得られた情報から、座標変換行列を算出する。この座標変換行列は、図２に示すカメラおよび操作者視点の視覚座標系１００から、マスタマニピュレータの作業座標系１０１への変換を行う行列である。視覚作業ベクトル変換手段９は、座標変換行列によって、視覚座標系の操作ベクトル１１０を作業座標系の操作ベクトル１１１に変換する。その後、作業座標系の操作ベクトル１１１は、図１に示す操作ベクトル授受手段１０を介して、スレイブ制御計算機７へ送信される。スレイブ制御計算機７は、作業座標系の操作ベクトル１１１を指令ベクトルとして受信し、これに従ってスレイブマニピュレータ１を制御する。同時に、スレイブ制御計算機７は、操作ベクトル授受手段１０に帰還ベクトルを送信する。この帰還ベクトルは、スレイブマニピュレータ１の作業座標系における位置、速度、加速度、外部からの力等を表現するベクトルである。作業視覚ベクトル変換手段１３は、この帰還ベクトルと座標変換行列算出手段１２から算出された座標変換行列を使用して、視覚座標系１００に関するフィードバック情報として、マスタマニピュレータ８を制御することで、帰還型のマスタスレイブ動作を行う。
【０００６】
図２に基づいて、座標系設定について説明する。図２に示すように、スレイブマニピュレータ１の作業空間に、実線で示す作業座標系１０１が設定されている。この作業座標系１０１とは、作業空間上に直交する３軸を持つ３次元の座標系である。カメラ３はスレイブマニピュレータ１の作業空間を撮影し、ディスプレイ４を通して操作者にスレイブマニピュレータ１の動作画像を呈示する。このとき、破線で示す視覚座標系１００は、カメラ３の撮影方向と連動しており、ディスプレイを正面から見る操作者の視点はカメラ視点の視覚座標系１００でスレイブマニピュレータ１を見ることになる。したがって、操作者の入力する視覚座標系の操作ベクトル１１０は視覚座標系１００で与えられることになる。この視覚座標系の操作ベクトル１１０を視覚作業ベクトル変換手段９によって、スレイブマニピュレータ１の作業座標系の操作ベクトル１１１に変換し、これに基づきスレイブマニピュレータ１を動作させる。
視覚作業ベクトル変換手段９では、視覚座標系の操作ベクトル１１０をＶcomとし、座標変換行列をＭtransとおくと、作業座標系の操作ベクトル１１１Ｖref
は、
Ｖref ＝ Ｍtrans ・ Ｖcom
として求められる。
また、作業視覚ベクトル変換手段１３では、作業座標系の帰還ベクトルをＶrfbとし、視覚座標系での帰還ベクトルＶvfbは、
Ｖvfb ＝ （Ｍtrans）-1 ・ Ｖrfb
として求められる。
【０００７】
図３に基づいて、座標変換行列算出手段１２の一手法を説明する。スレイブマニピュレータ１の作業空間に、作業座標に固定したマーキングを施しておく。例えば、図３（ａ）に示すように、座標系原点Ｐoと、Ｘ軸Ｙ軸各軸上の原点から等距離の適当な位置Ｐx 、Ｐy に、マーキングを施しておく。マーキングした画像を予め画像処理装置に登録し、カメラから取得した画像をパターンマッチング等の画像処理方法によって処理し、図３（ｂ）のように、各マーキング点間の画像上の水平距離Ｌx とＬy が求められる。視覚座標系と作業座標系の回転角度θは、近似で、θ＝ atan(Ｌx/Ｌy)として求められ、座標変換行列、Ｍtrans は
【０００８】
【数１】
【０００９】
となる。
ここで述べた座標変換行列算出手段は一例である。
この座標変換行列の算出は、カメラ位置を一定時間固定する場合、カメラの位置を変えて固定したときに一度行えば良い。従って、ロボットのハンド部など一点にマーキングを施しておき、マーキングされた部位の位置をロボットの動作で変え、ロボット動作と連動してマーキング位置を複数回認識して検出し、これに基づいて、述べたような座標変換行列の算出を行う方法を取ることもできる。また、カメラ３が移動体に設置されている場合は、カメラ３が画像を取得したのち、座標変換行列算出手段１２により、自動的に座標変換行列を算出すればよい。
【００１０】
以上のように、画像処理によって得られた情報から座標変換行列を算出し、マスタスレイブ各々の制御計算機を機能させることにより、マスタスレイブの両マニピュレータは、カメラおよび操作者視点の視覚座標系に対して同じ相対関係にある作業座標系に基づいて制御を施している。つまり、視覚的な方向性と制御的な方向性がマスタとスレイブで一致しているので、操作者が違和感なくマスタマニピュレータを操作できる。また、カメラから取得した画像から座標変換行列を求めるので、カメラ視点が変わっても、適切な座標変換行列によって作業座標系が設定され、良好な操作性が保たれる。作業座標系制御手段として方向的な制御特性をマニピュレータに与えるインピーダンス制御などを採用して作業に適した操作感覚を操作者に提供し、この場合にも、カメラ視点が変わっても自動的に座標変換が施されるため、操作者の視覚と力覚が一致して、良好な操作性を保つことができる。なお、本実施例では、マスタ制御計算機８に画像処理手段１１と座標変換行列算出手段１２を含んでいないが、マスタ制御８に画像処理手段１１と座標変換行列算出手段１２を含んだ場合も、上記実施例に示した目的を達成することができる。
【００１１】
【発明の効果】
以上述べたように、本発明の遠隔操作装置によれば、作業に応じて操作者が操作しやすい位置に、スレイブマニピュレータを撮影するカメラの位置を変更した場合でも、自動的に座標変換を施すことによって、操作者の視点からの指令とスレイブの動作とを一致させ、良好な操作環境を提供することができる。また、インピーダンス制御などを採用して作業や操作に適した制御的な方向性を設定し、操作性を向上させる場合にも、マスタとスレイブの両マニピュレータの制御的な方向性が操作者視点で一致しているので、操作者に違和感を与えることなく、視覚と力覚が一致した、臨場感のある操作環境を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の機能ブロック図
【図２】視覚座標系と作業座標系の説明図
【図３】画像情報に基づく座標変換行列の一算出手段の説明図
【図４】従来の遠隔操作装置の構成を示す機能ブロック図
【符号の説明】
１：スレイブマニピュレータ
２：マスタマニピュレータ
３：カメラ
４：ディスプレイ
５：操作者
６：視覚座標系制御手段
７：スレイブ制御計算機
８：マスタ制御計算機
９：視覚作業ベクトル変換手段
１０：操作ベクトル授受手段
１１：画像処理手段
１２：座標変換行列算出手段
１３：作業視覚ベクトル変換手段
３１：スレイブマニピュレータ
３２：カメラ
３３：ディスプレイ
３４：マスタマニピュレータ
３５：操作者
３６：制御計算機
３７：座標変換行列
３８：視覚座標系の操作ベクトル
３９：作業座標系の操作ベクトル
１００：視覚座標系
１０１：作業座標系
１１０：視覚座標系の操作ベクトル
１１１：作業座標系の操作ベクトル
Claims (1)
- 操作者によって直接操作されるマスタマニピュレータと、
前記マスタマニピュレータの動作に追従して動作するスレイブマニピュレータと、
前記各マニピュレータの制御計算機と、
前記スレイブマニピュレータを撮影するカメラと、
前記カメラによって得られた画像を前記操作者に呈示するディスプレイとを有し、
前記操作者が前記ディスプレイ上に呈示された前記スレイブマニピュレータを見ながら前記マスタマニピュレータを操作する遠隔操作装置において、
前記カメラによって得られた画像から前記スレイブマニピュレータの作業空間内に予め設けられた複数のマーキングを抽出し画像上における各マーキング間の距離を求める画像処理手段と、
前記画像上における各マーキング間の距離から前記スレイブマニピュレータに対する前記カメラの撮影方向を算出し、前記撮影方向をもとに、前記カメラおよび前記操作者視点の視覚座標系から前記スレイブマニピュレータの作業座標系への変換を行う座標変換行列を求める座標変換行列算出手段と、
前記座標変換行列によって前記操作者が前記マスタマニピュレータへ加える前記視覚座標系における操作ベクトルを前記作業座標系における操作ベクトルに変換する視覚作業ベクトル変換手段と、
前記作業座標系におけるベクトルを前記座標変換行列の逆行列によって前記視覚座標系におけるベクトルに変換する作業視覚ベクトル変換手段と、
前記視覚作業ベクトル変換手段が出力する前記作業座標系における操作ベクトルを指令ベクトルとして前記スレイブマニピュレータ制御計算機へと出力するとともに、前記スレイブマニピュレータ制御計算機が帰還ベクトルとして出力する前記作業座標系における前記スレイブマニピュレータの位置、速度、加速度、外部から受ける力を前記作業視覚ベクトル変換手段へと出力する操作ベクトル授受手段と、
前記操作者が前記マスタマニピュレータに加えた前記視覚座標系における操作ベクトルを前記視覚作業ベクトル変換手段に出力するとともに、前記作業視覚ベクトル変換手段が出力する前記視覚座標系における前記帰還ベクトルに従って前記マスタマニピュレータを力覚制御する視覚座標系制御手段とを備えたことを特徴とする遠隔操作装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001386951A JP3912584B2 (ja) | 2001-12-20 | 2001-12-20 | 遠隔操作装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001386951A JP3912584B2 (ja) | 2001-12-20 | 2001-12-20 | 遠隔操作装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003181785A JP2003181785A (ja) | 2003-07-02 |
| JP3912584B2 true JP3912584B2 (ja) | 2007-05-09 |
Family
ID=27595928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001386951A Expired - Fee Related JP3912584B2 (ja) | 2001-12-20 | 2001-12-20 | 遠隔操作装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3912584B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109048897A (zh) * | 2018-08-14 | 2018-12-21 | 清华大学深圳研究生院 | 一种主从机器人遥操作的方法 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5449112B2 (ja) * | 2010-11-18 | 2014-03-19 | 株式会社神戸製鋼所 | 溶接状況監視方法及び溶接状況監視装置 |
| KR102283176B1 (ko) | 2013-03-15 | 2021-07-29 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 로봇 수술 시스템에서의 수술 중 도구의 교환 |
| CN103170961B (zh) * | 2013-04-19 | 2016-02-03 | 国家电网公司 | 模块化主从操作机械臂控制主手 |
| JP6331335B2 (ja) * | 2013-10-31 | 2018-05-30 | セイコーエプソン株式会社 | 制御装置、ロボット、ロボットシステム及び制御方法 |
| KR101497320B1 (ko) * | 2013-12-20 | 2015-03-02 | 삼성중공업 주식회사 | 로봇팔 분할 조종장치 |
| CN104440864B (zh) * | 2014-12-04 | 2017-08-11 | 深圳先进技术研究院 | 一种主从式遥操作工业机器人系统及其控制方法 |
| CN104626139A (zh) * | 2014-12-22 | 2015-05-20 | 湖南省金函数科技有限公司 | 一种组态机器人 |
| CN106113043B (zh) * | 2016-08-06 | 2018-09-21 | 上海新时达电气股份有限公司 | 机器人控制系统及方法 |
| WO2018150489A1 (ja) * | 2017-02-15 | 2018-08-23 | 株式会社メディカロイド | 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム |
| JP7277340B2 (ja) * | 2019-11-15 | 2023-05-18 | 川崎重工業株式会社 | マスタスレーブシステム、制御方法及び制御装置 |
| CN114211493B (zh) * | 2021-12-23 | 2023-10-27 | 武汉联影智融医疗科技有限公司 | 机械臂的远程控制系统和方法 |
| WO2024070398A1 (ja) * | 2022-09-26 | 2024-04-04 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06143161A (ja) * | 1992-10-29 | 1994-05-24 | Kobe Steel Ltd | マニピュレータの制御方法及びその装置 |
-
2001
- 2001-12-20 JP JP2001386951A patent/JP3912584B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109048897A (zh) * | 2018-08-14 | 2018-12-21 | 清华大学深圳研究生院 | 一种主从机器人遥操作的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003181785A (ja) | 2003-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3912584B2 (ja) | 遠隔操作装置 | |
| JP6420229B2 (ja) | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム | |
| JP5022868B2 (ja) | 情報処理装置、情報処理方法 | |
| JP4167954B2 (ja) | ロボット及びロボット移動方法 | |
| JP4506685B2 (ja) | 移動型ロボット | |
| JP7111114B2 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
| JP6445092B2 (ja) | ロボットの教示のための情報を表示するロボットシステム | |
| US20190061167A1 (en) | Robot system | |
| JP5974668B2 (ja) | マニピュレーションシステム | |
| CN110385694B (zh) | 机器人的动作示教装置、机器人系统以及机器人控制装置 | |
| JP2004213673A (ja) | 強化現実システム及び方法 | |
| CN113103230A (zh) | 一种基于处置机器人遥操作的人机交互系统及方法 | |
| JP2019209392A (ja) | 力覚視覚化装置、ロボットおよび力覚視覚化プログラム | |
| JP3742879B2 (ja) | ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム | |
| JP2006224291A (ja) | ロボットシステム | |
| CN113479635A (zh) | 一种基于ar技术的工程搬运机器人及控制方法 | |
| JPH0421105A (ja) | マニピユレータの立体教示装置 | |
| WO2019106862A1 (ja) | 操作案内システム | |
| JP7366264B2 (ja) | ロボット教示方法及びロボット作業方法 | |
| JP3657854B2 (ja) | 遠隔地観測装置 | |
| JP3376029B2 (ja) | ロボットの遠隔操作装置 | |
| WO2021192271A1 (ja) | ロボット制御システム、ロボット制御方法、およびロボット制御プログラム | |
| JPH0646479A (ja) | 遠隔操作システム | |
| JPH02205494A (ja) | マニピュレータ画像追従方法及び装置並びに該装置を備えたマニピュレータ装置 | |
| JPH03287394A (ja) | 遠隔ハンドリング装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060612 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070124 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |