JP3937000B2 - 遠隔操作装置 - Google Patents
遠隔操作装置 Download PDFInfo
- Publication number
- JP3937000B2 JP3937000B2 JP24692297A JP24692297A JP3937000B2 JP 3937000 B2 JP3937000 B2 JP 3937000B2 JP 24692297 A JP24692297 A JP 24692297A JP 24692297 A JP24692297 A JP 24692297A JP 3937000 B2 JP3937000 B2 JP 3937000B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- data
- control
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Manipulator (AREA)
- Control Of Position Or Direction (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、作業環境に配置されたスレーブ・アーム等の作業実行装置を操縦環境に配置されたマスター・アーム等の操縦装置で遠隔操作する遠隔操作装置に係り、特に操縦環境と作業環境との間のデータ伝送に通常の電話回線網の使用を可能とし、応用範囲の拡大を図れるようにした遠隔操作装置に関する。
【０００２】
【従来の技術】
情報通信網の拡大とコンピューター・ネットワーク技術の発達は、マルチメディア技術の進展に大きな影響を与えているだけではなく、ロボットの遠隔操作にも新たな可能性を与えつつある。
【０００３】
たとえば、最近では、マスター・アームとスレーブ・アームとを大容量光ファイバ通信ケーブル、イサーネット、インターネットなどの通信回線を介して接続することで、数ｋｍ以上離れた場所に配置されているスレーブ・アームを遠隔操作する試みもなされている。
【０００４】
このような技術が利用可能となれば、原子力関連プラン卜や宇宙、海洋などのように人間が直接作業するには危険な環境で作業するロボットはもとより、商用回線を利用する遠隔操作システムを想定することで、人間の生活空間とその動作範囲が直接交わるいわゆる人間共存型ロボットにも応用でき、医療や福祉の分野においても応用可能となる。
【０００５】
ところで、上述したマスター・アームとスレーブ・アームとの間の信号授受に利用可能な通信回線にはさまざまなものがある。
【０００６】
たとえば、次世代のネットワークとして期待されている広帯域ＩＳＤＮ（Broadband ISDN：B-ISDN）は、１５０Mbps以上の通信容量を持つので、通信による時間遅れや通信容量の制限に関する問題は生じない。しかし、現時点では、このようなネットワークは普及しておらず、ネットワークの広域性という利点を生かすことができない。
【０００７】
コンピューター・ネットワークとして最も一般的になったインターネットは、ワールド・ワイド・ウェブ（World Wide Web ：WWW ）とブラウザ（Browser ）のインターフェースを利用することで、遠隔操作においても、直感的で容易に操作できるインターフェースを実現できる。しかし、インターネットでは、情報の消失や通信速度の不安定さなどが問題となる。
【０００８】
一方、ＩＳＤＮ（サービス統合ディジタル通信網：Integrated Services Digital Network ） は、マルチメディアを含めた多目的の情報伝達手段として普及しつつある。
【０００９】
しかし、このＩＳＤＮは、一次群速度インターフェースについては１．５Mbps程度の通信容量を持つものの光ファイバーケーブルを敷設する必要があるばかりか、通信料金が割高であるなどの問題がある。
【００１０】
このようなことから、通信コストの安価な既存の電話網設備（電話用ペア導線）を遠隔操作装置の信号伝送路として利用できれば、極めて都合がよい。
【００１１】
しかし、既存の電話網は１２８kbps以下の通信容量しかない。このため、操作性を低下させることなく、上述した低通信容量を克服できる遠隔操作技術の出現が望まれているのが実情である。
【００１２】
【発明が解決しようとする課題】
上述の如く、遠隔操作を行うための信号伝送路としてどのような通信回線を用いても通信容量が制限され、操作性の低下を招くおそれがある。
【００１３】
そこで本発明は、制限された通信容量の条件下で、マスター・アームなどの操縦装置を使ってスレーブ・アームなどの作業実行装置を安定に、かつ操作性よく遠隔操作できる遠隔操作装置を提供することを目的としている。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る遠隔操作装置は、作業環境に配置されて作業を実行する作業実行装置と、操縦環境に配置されて前記作業実行装置を遠隔操作する操縦装置と、前記作業環境に配置されて前記作業実行装置の作業状態を画像として捉える画像取得装置と、前記操縦環境に配置されて前記画像取得装置が取得した画像を提示する画像提示装置と、前記作業実行装置及び画像取得装置と前記操縦装置及び画像提示装置との間に設けられて上記作業実行装置の操縦に必要な制御・観測情報と上記画像提示装置への画像提示に必要な画像情報とを伝送するデータ伝送装置と、前記作業実行装置が実行している作業形態を判定する作業形態判定手段と、この作業形態判定手段で判定された作業形態に応じて前記データ伝送装置を介して伝送するデータの形式又は内容を変形させる伝送データ変形手段とを備えている。
【００１５】
ここで、前記作業形態判定手段は、前記作業実行装置の位置・姿勢データと前記操縦装置の位置・姿勢データとの間のずれ量が所定値以下のときには空間移動の作業形態であると判定し、所定値より大きいときには拘束運動の作業形態であると判定するか、あるいは前記作業実行装置における先端の力・モーメントデータが所定値以下のときには空間移動の作業形態であると判定し、所定値より大きいときには拘束運動の作業形態であると判定する。
【００１６】
また、前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、一度に送受信するデータ中に占める前記制御・観測情報の領域の大きさと前記画像情報のための領域の大きさとを変えるものでもよいし、前記作業形態判定手段で判定された作業形態に応じて、一度に送受信するデータ全体の大きさを変えて前記画像情報のための領域の大きさを変えるものでもよい。
【００１７】
さらに、前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、一度に送受信するデータ中の前記制御・観測情報の項目を選択することにより、前記画像情報のための領域の大きさを変えるものでもよい。
【００１８】
さらにまた、前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、前記画像取得装置が取得した画像のサイズを変えることで、１枚の画像のための画像データの大きさを変えるものでもよいし、また前記作業形態判定手段で判定された作業形態に応じて、前記画像取得装置が取得した画像に対するデータ圧縮率を変えることで、１枚の画像のための画像データの大きさを変えるものでもよい。
【００１９】
本発明に係る遠隔操作装置では、作業実行装置が実行している作業形態を判定する作業形態判定手段を設け、データ伝送装置を介して伝送するデータの形式又は内容を作業形態判定手段で判定された作業形態に応じて変形させる伝送データ変形手段を設けている。
【００２０】
作業実行装置が行う作業形態は幾つかに分けられる。本発明では、一例として、空間移動と拘束運動とに分けている。
【００２１】
空間移動とは、３次元自由空間内である軌道に沿って物体を運搬することを指す。この空間移動作業を実行する場合、作業実行装置の先端の運動精度はそれほど要求されない。すなわち、この空間移動作業の場合には、作業実行装置の先端運動情報より、運搬物体が現在どこを移動しているかの画像情報が必要となる。したがって、この空間移動作業時に、良好な操作性を実現するには、作業実行装置と操縦装置との間の制御・観測周期は長くてもよいが、画像更新周期を短くすることが重要となる。
【００２２】
一方、拘束運動とは、運搬物体が外的環境により拘束されている状態を指す。このような状態の代表的な例として、穴へ棒を挿入する作業やパズルの組立などを挙げることができる。この拘束運動作業においては、物体と外的環境の間に作用する相互力を制御する必要がある。すなわち、作業実行装置によって運搬される物体と外的環境との相互力を操縦装置を操る操作者に臨場感を持って伝達することが必要となる。したがって、この拘束運動作業時に、良好な操作性を実現するには、画像更新周期は長くてもよいが、作業実行装置と操縦装置の間の制御・観測周期を短くすることが重要となる。
【００２３】
このような観点から、本発明に係る遠隔操作装置では、作業実行装置が実行している作業形態を判定する作業形態判定手段を設け、この作業形態判定手段の判定結果を伝送データ変形手段に導入し、この変形手段でデータ伝送装置を介して伝送するデータの形式又は内容をダイナミックに変化させることで、通信回線の限られた通信容量を有効に利用しながら、安定で操作性の良好な遠隔操作系を実現しているのである。
【００２４】
ここで、作業環境と操縦環境との間で送受信するデータ（以下、ユーザー・データと称す）の形式や内容を変化させるということは、制御・観測周期と画像更新周期とを調整していることを意味している。
【００２５】
画像更新周期を短くするとき、具体的には以下の方法の何れかが採用される。
(1) 制御・観測情報の有効数字の桁数を抑えることで、一度に送受信するユーザー・データ中の画像情報のための領域を大きくする。
【００２６】
(2) ユーザー・データ全体のサイズを大きくすることで、一度に送受信するユーザー・データ中の画像情報のための領域を大きくする。
【００２７】
(3) 制御・観測情報を複数に分割し、ユーザー・データを複数回数送受信して１制御周期とすることで、一度に送受信するユーザー・データ中の画像情報のための領域を大きくする。
【００２８】
(4) 画像取得装置で得られる画像１枚のビデオサイズを小さくすることで、送受信する画像データのサイズを小さくする。
【００２９】
(5) 画像取得装置で得られる画像１枚分の画像圧縮率を上げることで、送受信する画像データのサイズを小さくする。
【００３０】
また、作業実行装置の作業形態の判定は、操縦装置を操る操作者の動作や作業実行装置の挙動より認識している。
【００３１】
具体的には、たとえば、以下の方法の何れかが採用される。
【００３２】
(1) 操縦装置の目標位置と作業実行装置の観測位置との間の位置ずれ量の大きさに閾値を設定し、閾値以下のときには空間移動と判定し、閾値を超えているときには拘束運動と判定する。
【００３３】
(2) 作業実行装置における先端の力・モーメントデータが所定値以下のときには空間移動と判定し、所定値より大きいときには拘束運動と判定する。
【００３４】
【発明の実施の形態】
以下、図面を参照しながら発明の実施形態を説明する。
【００３５】
図１には本発明の一実施形態に係る遠隔操作装置の概念図が示されている。
同図において、２点鎖線１で囲まれた部分は作業環境を示している。この作業環境１には、作業実行装置としてのスレーブ・アーム２及びスレーブ・アーム２の作業状態を画像として捉える画像取得装置としてのビデオカメラ３が配置されている。また、作業環境１には、データ伝送装置を含み、スレーブ・アーム２をたとえば力帰還型で制御するのに必要な制御データ及び観測データを入出力するとともにビデオカメラ３で得られた画像信号を処理するスレーブ側制御装置４も配置されている。
【００３６】
一方、図１において、２点鎖線５で囲まれた部分は作業環境１とは遠く離れた位置に設定された操縦環境を示している。この操縦環境５には、スレーブ・アーム２を操縦するための操縦装置としてのマスター・アーム６及びビデオカメラ３で取得した画像を操縦者に提示する画像提示装置としてのビデオモニタ７が配置されている。また、操縦環境５には、データ伝送装置を含み、スレーブ・アーム２を力帰還型で制御するのに必要な制御データ及び観測データを入出力するとともにビデオモニタ７を制御するマスター側制御装置８が配置されている。
【００３７】
そして、スレーブ側制御装置４に内蔵されたデータ伝送装置とマスター側制御装置８に内蔵されたデータ伝送装置とは、既存の通信ネットワーク、この例ではＩＳＤＮ(Integrated Services Digital Network) ９で接続されている。
【００３８】
上記構成から判るように、この例に係る遠隔操作装置は、ＩＳＤＮ９を信号伝送路として用い、ビデオモニタ７を見ながらマスター・アーム６を操作する力帰還型のマスター・スレーブマニピュレータによって構成されている。すなわち、マスター側では、マス夕ー・アーム６の出力をスレーブ・アーム２の制御データ（目標値）として与え、スレーブ・アーム２の観測データ（現在値）およびビデオカメラ３の画像データを受け取るようにしている。
【００３９】
このとき、マスター側とスレーブ側との間で送受信可能なデータ、つまりユーザー・データの大きさは限られているので、この例では送受信するデータの形式と内容とに工夫を施している。すなわち、制御・観測データについては、常に最新情報を送受信することでマスター・スレーブ操作に必要な制御周期を確保している。また、画像データについては、ビデオカメラ３によって得られた画像を静止画とし、これをＪＰＥＧ(Joint Photographic Coding Experts Group) 形式で圧縮したものを画像データとする。そして、この画像データ１枚分を複数に分割し、少しずつ送受信することで、たとえば数秒毎にモニタ画像を更新するようにしている。
【００４０】
図２にはスレーブ側制御装置４とマスター側制御装置８との間で送受信するデータの内容が示されている。この例では、図３にも示すように、１つのユーザー・データ１０に、制御・観測データ１１と画像データ１２とを混在させ、それをマスター・スレーブ間で送受信するようにしている。
【００４１】
図４(a) 及び(b) には、標準的な仕様とみなすユーザー・データの一例が示されている。データの大きさは１００byteで、初めの８０byteを制御・観測データのための領域として割り当て、終わりの２０byteを画像データのための領域として割り当てている。
【００４２】
ユーザー・データの内容は次のようなものである。すなわち、制御・観測データは、ＩＤ、Ｓ１、Ｓ２、θ１、θ２、θ３、θ４、θ５、θ６、θ７またはＩＤ、Ｓ１、Ｓ２、Ｐｘ、Ｐｙ、Ｐｚ、Ｄｘ、Ｄｙ、Ｄｚからなり、それぞれの間はスペースで区切られている。
【００４３】
ＩＤはデータのヘッダで、ユーザー・データに関する情報を表わす。具体的には１枚の画像データのための分割番号を示し、先頭は０００、最後は９９９、その他は１枚の画像データを分割した何番目のデータであるかを示す。マスター側ではこのＩＤ情報を読み取って、スレーブ側から送られてくる画像の先頭と最後を検出してデータの再構成を行なう。整数をアスキー・コードで記述し、大きさは３byteである。
【００４４】
Ｓ１は情報識別子(1) である。具体的には、制御・観測情報が指先情報であるか、関節情報であるか、位置情報であるか、速度情報であるか、力情報であるかなどを示している。整数をアスキー・コードで記述し、大きさはｌbyteである。Ｓ２は情報識別子(2) である。具体的には、スレーブ・アームの先端グリッパの開閉のための制御・観測情報を示している。整数をアスキー・コードで記述し、大きさはｌbyteである。
【００４５】
θ１、θ２、θ３、θ４、θ５、θ６、θ７またはＰｘ、Ｐｙ、Ｐｚ、Ｄｘ、Ｄｙ、Ｄｚは制御・観測情報である。先端情報か関節情報かで、またそれが位置情報か速度情報か力情報かで、７byteの浮動小数点の７データ分を確保している。アスキー・コードで記述し、各数値の間はスペースで区切られている。大きさは５６byteである。
【００４６】
画像データは、スレーブ側においてＪＰＥＧ形式で圧縮された１枚分の画像データのうちのユーザー・データ内の画像データのための領域で分割したデータ分である。マスター側ではこれらを集めて再構成し、伸長して画像としてビデオモニタ７に表示する。
【００４７】
１００byteのユーザー・データは、ＩＳＤＮを介して、たとえば茨城県筑波市と神奈川県川崎市との間を約９２ミリ秒で往復できる。すなわち、マスター・スレーブ間で約１１Ｈｚの制御周期を確保できることになる。一方、画像については、今、１枚の画像を表示するための画像データが４０００byteであるとすると、ユーザー・データが１往復する毎に２０byteずつ送受信するので、２００回の送受信、すなわち、約１８ミリ秒毎にビデオモニタ７に表示される画像が更新される。
【００４８】
ところで、マスター・アーム６に追従させてスレーブ・アーム２に所定の作業を行わせる場合、スレーブ・アーム２が行う作業形態は幾つかに分けられる。たとえば、図５に示すように、穴１４に棒１５を挿入する作業をスレーブ・アーム２で行わせる場合を例にとると、図５(a) に示すように３次元自由空間内である軌道に沿って物体を目標位置の近傍まで運搬する作業や、図５(c) に示すように単に目標位置から離れる作業は、空間移動作業と呼ぶことができる。
【００４９】
この空間移動作業の場合は、スレーブ・アーム２の先端の運動精度はそれほど要求されず、むしろ運搬物体やアーム先端が現在どこを移動しているかを知るために画像情報が重要となる。つまり、この空間移動作業において、良好な操作性を実現するには、マスター・スレーブ間の制御・観測周期は長くてもよいが、画像更新周期を短くすることが好ましい。これを一定のユーザー・データ長条件で実現するには、ユーザー・データ長に占める画像データ領域の割合を大きくすればよいことになる。
【００５０】
一方、図５(b) に示すように、スレーブ・アーム２で棒１５を穴１４に挿入している作業は、運搬物体、つまり棒１５が外的環境により拘束されているので、拘束運動作業と呼ぶことができる。
【００５１】
このような拘束運動作業においては、物体と外的環境の間に作用する相互力を制御する必要がある。すなわち、この拘束運動作業において、良好な操作性を実現するには、スレーブ・アーム２によって運搬される物体と外的環境との相互力をマスター・アーム６を操る操作者に臨場感を持って伝達することが重要となる。
【００５２】
したがって、この拘束運動作業時には、画像更新周期は長くても、マスター・スレーブ間の制御・観測周期を短くすることが好ましい。これを一定のユーザー・データ長条件で実現するには、ユーザー・データ長に占める制御・観測データ領域の割合を大きくすればよいことになる。
【００５３】
このような観点から、この例に係る遠隔操作装置では、図２(a) に示されるスレーブ側の制御器１６に現在、スレーブ・アーム２が実行している作業形態を判定する作業形態判定機能及びデータ変形機能を持たせ、判定結果に応じてユーザー・データ１０の形式又は内容を変化させている。
【００５４】
作業形態の判定は、たとえばマスター・アーム６の目標位置とスレーブ・アーム２の観測位置との間の位置ずれ量の大きさに閾値を設定し、閾値以下のときには空間移動と判定し、閾値を超えているときには拘束運動と判定している。また別の判定方法として、スレーブ・アーム２における先端の力・モーメントデータが所定値以下のときには空間移動と判定し、所定値より大きいときには拘束運動と判定する方法を採用することもできる。
【００５５】
そして、この例において、作業形態が拘束運動作業と判定されたときには、図４(a) 示すように、データ長が１００byteで標準的なユーザー・データ構成を用いている。また、作業形態が空間移動作業と判定されたときには、図６に示すように、データ長は１００byteであるが、標準的なユーザー・データ構成に比べて、制御・観測データの有効桁数を７桁から５桁に抑え、その分だけ画像データの占める割合を増加させたユーザー・データ構成を用いている。この例では、拘束運動作業時に、画像データ領域を３５byteに増加させている。
【００５６】
このように、この例では、スレーブ・アーム２が現在実行している作業形態が拘束運動作業か、空間移動作業か判定し、拘束運動作業の場合にはデータ長が１００byteで標準的なユーザー・データ構成を用い、空間移動作業の場合にはデータ長は１００byteであるが、標準的なユーザー・データ構成に比べて、画像データの占める割合を増加させたユーザー・データ構成を用いている。
【００５７】
したがって、空間移動作業時には、スレーブ・アーム２の軌道を制御するための精度は落ちるが、マスター・スレーブ間の制御周期は約１１Ｈｚのままに確保される。一方、画像データ領域が２０byteから３５byteに増加するので、１枚の画像に必要な４０００byte分の画像データを１１５回の送受信で転送することができ、画像更新周期を約１８秒毎から約１１秒毎へと短縮することができる。
【００５８】
したがって、ユーザー・データ長を増すことなく、空間移動作業時の操作性を向上させることができる。
【００５９】
なお、図１に示した例では、作業形態判定手段でスレーブ・アーム２が現在実行している作業形態が拘束運動作業か、空間移動作業かを判定させているが、マスター・アーム６を操作している操作者が必要に応じて作業形態を判定し、スイッチを操作するなどの方法で伝送するデータの形式または内容を変形させることができるようにしてもよい。
【００６０】
また、図１に示した例では、空間移動作業時に、ユーザー・データ長を増すことなく、ユーザー・データ領域に占める画像データ領域の割合を増加させることによって操作性を向上させているが、必ずしもこの方式に限られるものではない。
【００６１】
たとえば、図７に示すように、空間移動作業時にユーザー・データ全体のサイズを大きくし、大きくなった分を画像データのために利用してもよい。
【００６２】
図７の例では、空間移動作業時に、ユーザー・データの大きさを、標準的な仕様の１００byteから１２０byteへと大きくし、画像データに割り当てる領域を２０byteから４０byteに広げている。
【００６３】
空間移動作業時に、上述したユーザー・データ構成を採用すると、１枚の画像に必要な４０００byte分の画像データを１００回の送受信で転送することができ、画像更新周期を約１８秒毎から約９．２秒毎へと短縮することができる。
【００６４】
なお、１２０byteのユーザー・データは、筑波と川崎との間を約１０８ミリ秒で往復するので、マスター・スレーブ間の制御周期は約１１Ｈｚから約９．３Ｈｚに減少してしまうが、物体の運搬などの自由空間での作業においては問題とはならない。
【００６５】
また、図８に示すように、空間移動作業時に、制御・観測データを２分割し、ユーザー・データを２回送受信することで１制御周期とする構成も有効である。この図８に示す例では、ユーザー・データ長は標準的な１００byteであるが、第１のユーザー・データ２０で、ＩＤ、Ｓ１、制御・観測データの前半を送受信し、第２のユーザー・データ２１で、ＩＤ、Ｓ２、制御・観測データの後半を送受信している。これによって、制御・観測データのために必要な領域を８０byteから５０byteへと小さくし、１ユーザー・データ当たりの画像データに割り当てる領域を２０byteから５０byteへと広げるようにしている。
【００６６】
空間移動作業時に、上述したユーザー・データ構成を採用すると、１枚の画像に必要な４０００byte分の画像データを８０回の送受信で転送することができ、画像更新周期を約１８秒毎から約７．４秒毎へと倍以上の速度に上げることができる。
【００６７】
ただし、制御・観測データは２ユーザー・データの送受信で更新されるので、マスター・スレーブ間の制御周期は約１１Ｈｚから約５．４Ｈｚに半減する。しかし、物体の運搬などの自由空間での作業においては問題にはならない。
【００６８】
上述した各例では、モニタテレビ３が取得した画像データには加工を加えていないが、空間移動作業時に、１画像当たりのドット数を小さくすることで画像データのサイズを小さくすることも有効である。
【００６９】
図９(a) にはある同一の画像をＪＰＥＧ形式で圧縮したときに、ビデオサイズと圧縮率の違いにより、その画像ファイルの大きさがどのように変化するかが示されている。また、図９(b) にはこれを標準的な仕様のユーザー・データで送受信したときに画像が更新されるまでの時間が示されている。
【００７０】
たとえば、スレーブ・アーム２が拘束運動作業を行っているときには、ビデオサイズ３２０×２４０、圧縮率約１／４０の画像データを用いていたとすると、図９(b) から判るように、約１３．１秒毎に画像が更新される。そして、空間移動作業状態に変化したときに、画像データのビデオサイズを２４０×１８０に切り換えれば、マスター・スレーブ間の制御周期は約１１Ｈｚに保持されたままで、画像更新周期を約８．８秒毎へと上げることができる。このようなデータ変形方式を採用してもよい。
【００７１】
また、ビデオカメラ３で取得された画像に対するＪＰＥＧ圧縮率を変化させることも有効である。
【００７２】
たとえば、スレーブ・アーム２で拘束運動作業を実行しているときには、ビデオサイズ２４０×１８０、圧縮率約１／２５の画像データを用いていたとすると、図９(b) から判るように、約１４．５秒毎に画像が更新される。そして、空間運動作業に変化したと同時に、画像データの圧縮率を約１／４０に切り換えれば、マスター・スレーブ間の制御周期は約１１Ｈｚに保持されたままで、画像更新周期を約８．８秒毎へと上げることができる。
【００７３】
また、図１０に示すように、空間移動作業及び拘束運動作業に対応させてビデオサイズ、ユーザー・データサイズの両方を変えることも有効である。
【００７４】
たとえば、拘束運動作業へと変化したときには、ビデオサイズ及びユーザー・データサイズを共に小さくする。このようにすることによって、画像更新周期を極端に落とさずに、拘束運動作業時における制御・観測周期を上げることができ、拘束運動作業時における力制御を向上させることができる。
【００７５】
【発明の効果】
以上説明したように、本発明によれば、通信回線の限られた通信容量を有効に利用しながら、安定に制御できる制御・観測周期や、容易に操作できる画像更新周期を確保した遠隔操作を実現できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る遠隔操作装置の概念図
【図２】同遠隔操作装置のスレーブ側及びマスター側におけるデータ内容を示す図
【図３】同遠隔操作装置のスレーブ側とマスター側との間におけるデータの流れを示す図
【図４】同遠隔操作装置において拘束運動作業時に用いられるユーザー・データの内容を示す図
【図５】拘束運動作業および空間移動作業の定義を説明するための図
【図６】同遠隔操作装置において空間移動作業時に用いられるユーザー・データの内容を示す図
【図７】空間移動作業時に用いられるユーザー・データの変形例を示す図
【図８】空間移動作業時に用いられるユーザー・データの別の変形例を示す図
【図９】ビデオサイズとＪＰＥＧ形式の圧縮率と画像データファイルの大きさとの関係およびビデオサイズとＪＰＥＧ形式の圧縮率と画像更新時間との関係を示す図
【図１０】空間移動作業時及び拘束運動作業時にビデオサイズと圧縮率との両方を変化させるようにした例を説明するための図
【符号の説明】
１…作業環境
２…スレーブ・アーム
３…モニタテレビ
４…スレーブ側制御装置
５…操縦環境
６…マスター・アーム
７…ビデオモニタ
８…マスター側制御装置
９…ＩＳＤＮ
１０…ユーザー・データ
１１…観測データ
１２…画像データ
１４…孔
１５…棒
１６…制御器
２０…第１のユーザー・データ
２１…第２のユーザー・データ
【発明の属する技術分野】
本発明は、作業環境に配置されたスレーブ・アーム等の作業実行装置を操縦環境に配置されたマスター・アーム等の操縦装置で遠隔操作する遠隔操作装置に係り、特に操縦環境と作業環境との間のデータ伝送に通常の電話回線網の使用を可能とし、応用範囲の拡大を図れるようにした遠隔操作装置に関する。
【０００２】
【従来の技術】
情報通信網の拡大とコンピューター・ネットワーク技術の発達は、マルチメディア技術の進展に大きな影響を与えているだけではなく、ロボットの遠隔操作にも新たな可能性を与えつつある。
【０００３】
たとえば、最近では、マスター・アームとスレーブ・アームとを大容量光ファイバ通信ケーブル、イサーネット、インターネットなどの通信回線を介して接続することで、数ｋｍ以上離れた場所に配置されているスレーブ・アームを遠隔操作する試みもなされている。
【０００４】
このような技術が利用可能となれば、原子力関連プラン卜や宇宙、海洋などのように人間が直接作業するには危険な環境で作業するロボットはもとより、商用回線を利用する遠隔操作システムを想定することで、人間の生活空間とその動作範囲が直接交わるいわゆる人間共存型ロボットにも応用でき、医療や福祉の分野においても応用可能となる。
【０００５】
ところで、上述したマスター・アームとスレーブ・アームとの間の信号授受に利用可能な通信回線にはさまざまなものがある。
【０００６】
たとえば、次世代のネットワークとして期待されている広帯域ＩＳＤＮ（Broadband ISDN：B-ISDN）は、１５０Mbps以上の通信容量を持つので、通信による時間遅れや通信容量の制限に関する問題は生じない。しかし、現時点では、このようなネットワークは普及しておらず、ネットワークの広域性という利点を生かすことができない。
【０００７】
コンピューター・ネットワークとして最も一般的になったインターネットは、ワールド・ワイド・ウェブ（World Wide Web ：WWW ）とブラウザ（Browser ）のインターフェースを利用することで、遠隔操作においても、直感的で容易に操作できるインターフェースを実現できる。しかし、インターネットでは、情報の消失や通信速度の不安定さなどが問題となる。
【０００８】
一方、ＩＳＤＮ（サービス統合ディジタル通信網：Integrated Services Digital Network ） は、マルチメディアを含めた多目的の情報伝達手段として普及しつつある。
【０００９】
しかし、このＩＳＤＮは、一次群速度インターフェースについては１．５Mbps程度の通信容量を持つものの光ファイバーケーブルを敷設する必要があるばかりか、通信料金が割高であるなどの問題がある。
【００１０】
このようなことから、通信コストの安価な既存の電話網設備（電話用ペア導線）を遠隔操作装置の信号伝送路として利用できれば、極めて都合がよい。
【００１１】
しかし、既存の電話網は１２８kbps以下の通信容量しかない。このため、操作性を低下させることなく、上述した低通信容量を克服できる遠隔操作技術の出現が望まれているのが実情である。
【００１２】
【発明が解決しようとする課題】
上述の如く、遠隔操作を行うための信号伝送路としてどのような通信回線を用いても通信容量が制限され、操作性の低下を招くおそれがある。
【００１３】
そこで本発明は、制限された通信容量の条件下で、マスター・アームなどの操縦装置を使ってスレーブ・アームなどの作業実行装置を安定に、かつ操作性よく遠隔操作できる遠隔操作装置を提供することを目的としている。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る遠隔操作装置は、作業環境に配置されて作業を実行する作業実行装置と、操縦環境に配置されて前記作業実行装置を遠隔操作する操縦装置と、前記作業環境に配置されて前記作業実行装置の作業状態を画像として捉える画像取得装置と、前記操縦環境に配置されて前記画像取得装置が取得した画像を提示する画像提示装置と、前記作業実行装置及び画像取得装置と前記操縦装置及び画像提示装置との間に設けられて上記作業実行装置の操縦に必要な制御・観測情報と上記画像提示装置への画像提示に必要な画像情報とを伝送するデータ伝送装置と、前記作業実行装置が実行している作業形態を判定する作業形態判定手段と、この作業形態判定手段で判定された作業形態に応じて前記データ伝送装置を介して伝送するデータの形式又は内容を変形させる伝送データ変形手段とを備えている。
【００１５】
ここで、前記作業形態判定手段は、前記作業実行装置の位置・姿勢データと前記操縦装置の位置・姿勢データとの間のずれ量が所定値以下のときには空間移動の作業形態であると判定し、所定値より大きいときには拘束運動の作業形態であると判定するか、あるいは前記作業実行装置における先端の力・モーメントデータが所定値以下のときには空間移動の作業形態であると判定し、所定値より大きいときには拘束運動の作業形態であると判定する。
【００１６】
また、前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、一度に送受信するデータ中に占める前記制御・観測情報の領域の大きさと前記画像情報のための領域の大きさとを変えるものでもよいし、前記作業形態判定手段で判定された作業形態に応じて、一度に送受信するデータ全体の大きさを変えて前記画像情報のための領域の大きさを変えるものでもよい。
【００１７】
さらに、前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、一度に送受信するデータ中の前記制御・観測情報の項目を選択することにより、前記画像情報のための領域の大きさを変えるものでもよい。
【００１８】
さらにまた、前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、前記画像取得装置が取得した画像のサイズを変えることで、１枚の画像のための画像データの大きさを変えるものでもよいし、また前記作業形態判定手段で判定された作業形態に応じて、前記画像取得装置が取得した画像に対するデータ圧縮率を変えることで、１枚の画像のための画像データの大きさを変えるものでもよい。
【００１９】
本発明に係る遠隔操作装置では、作業実行装置が実行している作業形態を判定する作業形態判定手段を設け、データ伝送装置を介して伝送するデータの形式又は内容を作業形態判定手段で判定された作業形態に応じて変形させる伝送データ変形手段を設けている。
【００２０】
作業実行装置が行う作業形態は幾つかに分けられる。本発明では、一例として、空間移動と拘束運動とに分けている。
【００２１】
空間移動とは、３次元自由空間内である軌道に沿って物体を運搬することを指す。この空間移動作業を実行する場合、作業実行装置の先端の運動精度はそれほど要求されない。すなわち、この空間移動作業の場合には、作業実行装置の先端運動情報より、運搬物体が現在どこを移動しているかの画像情報が必要となる。したがって、この空間移動作業時に、良好な操作性を実現するには、作業実行装置と操縦装置との間の制御・観測周期は長くてもよいが、画像更新周期を短くすることが重要となる。
【００２２】
一方、拘束運動とは、運搬物体が外的環境により拘束されている状態を指す。このような状態の代表的な例として、穴へ棒を挿入する作業やパズルの組立などを挙げることができる。この拘束運動作業においては、物体と外的環境の間に作用する相互力を制御する必要がある。すなわち、作業実行装置によって運搬される物体と外的環境との相互力を操縦装置を操る操作者に臨場感を持って伝達することが必要となる。したがって、この拘束運動作業時に、良好な操作性を実現するには、画像更新周期は長くてもよいが、作業実行装置と操縦装置の間の制御・観測周期を短くすることが重要となる。
【００２３】
このような観点から、本発明に係る遠隔操作装置では、作業実行装置が実行している作業形態を判定する作業形態判定手段を設け、この作業形態判定手段の判定結果を伝送データ変形手段に導入し、この変形手段でデータ伝送装置を介して伝送するデータの形式又は内容をダイナミックに変化させることで、通信回線の限られた通信容量を有効に利用しながら、安定で操作性の良好な遠隔操作系を実現しているのである。
【００２４】
ここで、作業環境と操縦環境との間で送受信するデータ（以下、ユーザー・データと称す）の形式や内容を変化させるということは、制御・観測周期と画像更新周期とを調整していることを意味している。
【００２５】
画像更新周期を短くするとき、具体的には以下の方法の何れかが採用される。
(1) 制御・観測情報の有効数字の桁数を抑えることで、一度に送受信するユーザー・データ中の画像情報のための領域を大きくする。
【００２６】
(2) ユーザー・データ全体のサイズを大きくすることで、一度に送受信するユーザー・データ中の画像情報のための領域を大きくする。
【００２７】
(3) 制御・観測情報を複数に分割し、ユーザー・データを複数回数送受信して１制御周期とすることで、一度に送受信するユーザー・データ中の画像情報のための領域を大きくする。
【００２８】
(4) 画像取得装置で得られる画像１枚のビデオサイズを小さくすることで、送受信する画像データのサイズを小さくする。
【００２９】
(5) 画像取得装置で得られる画像１枚分の画像圧縮率を上げることで、送受信する画像データのサイズを小さくする。
【００３０】
また、作業実行装置の作業形態の判定は、操縦装置を操る操作者の動作や作業実行装置の挙動より認識している。
【００３１】
具体的には、たとえば、以下の方法の何れかが採用される。
【００３２】
(1) 操縦装置の目標位置と作業実行装置の観測位置との間の位置ずれ量の大きさに閾値を設定し、閾値以下のときには空間移動と判定し、閾値を超えているときには拘束運動と判定する。
【００３３】
(2) 作業実行装置における先端の力・モーメントデータが所定値以下のときには空間移動と判定し、所定値より大きいときには拘束運動と判定する。
【００３４】
【発明の実施の形態】
以下、図面を参照しながら発明の実施形態を説明する。
【００３５】
図１には本発明の一実施形態に係る遠隔操作装置の概念図が示されている。
同図において、２点鎖線１で囲まれた部分は作業環境を示している。この作業環境１には、作業実行装置としてのスレーブ・アーム２及びスレーブ・アーム２の作業状態を画像として捉える画像取得装置としてのビデオカメラ３が配置されている。また、作業環境１には、データ伝送装置を含み、スレーブ・アーム２をたとえば力帰還型で制御するのに必要な制御データ及び観測データを入出力するとともにビデオカメラ３で得られた画像信号を処理するスレーブ側制御装置４も配置されている。
【００３６】
一方、図１において、２点鎖線５で囲まれた部分は作業環境１とは遠く離れた位置に設定された操縦環境を示している。この操縦環境５には、スレーブ・アーム２を操縦するための操縦装置としてのマスター・アーム６及びビデオカメラ３で取得した画像を操縦者に提示する画像提示装置としてのビデオモニタ７が配置されている。また、操縦環境５には、データ伝送装置を含み、スレーブ・アーム２を力帰還型で制御するのに必要な制御データ及び観測データを入出力するとともにビデオモニタ７を制御するマスター側制御装置８が配置されている。
【００３７】
そして、スレーブ側制御装置４に内蔵されたデータ伝送装置とマスター側制御装置８に内蔵されたデータ伝送装置とは、既存の通信ネットワーク、この例ではＩＳＤＮ(Integrated Services Digital Network) ９で接続されている。
【００３８】
上記構成から判るように、この例に係る遠隔操作装置は、ＩＳＤＮ９を信号伝送路として用い、ビデオモニタ７を見ながらマスター・アーム６を操作する力帰還型のマスター・スレーブマニピュレータによって構成されている。すなわち、マスター側では、マス夕ー・アーム６の出力をスレーブ・アーム２の制御データ（目標値）として与え、スレーブ・アーム２の観測データ（現在値）およびビデオカメラ３の画像データを受け取るようにしている。
【００３９】
このとき、マスター側とスレーブ側との間で送受信可能なデータ、つまりユーザー・データの大きさは限られているので、この例では送受信するデータの形式と内容とに工夫を施している。すなわち、制御・観測データについては、常に最新情報を送受信することでマスター・スレーブ操作に必要な制御周期を確保している。また、画像データについては、ビデオカメラ３によって得られた画像を静止画とし、これをＪＰＥＧ(Joint Photographic Coding Experts Group) 形式で圧縮したものを画像データとする。そして、この画像データ１枚分を複数に分割し、少しずつ送受信することで、たとえば数秒毎にモニタ画像を更新するようにしている。
【００４０】
図２にはスレーブ側制御装置４とマスター側制御装置８との間で送受信するデータの内容が示されている。この例では、図３にも示すように、１つのユーザー・データ１０に、制御・観測データ１１と画像データ１２とを混在させ、それをマスター・スレーブ間で送受信するようにしている。
【００４１】
図４(a) 及び(b) には、標準的な仕様とみなすユーザー・データの一例が示されている。データの大きさは１００byteで、初めの８０byteを制御・観測データのための領域として割り当て、終わりの２０byteを画像データのための領域として割り当てている。
【００４２】
ユーザー・データの内容は次のようなものである。すなわち、制御・観測データは、ＩＤ、Ｓ１、Ｓ２、θ１、θ２、θ３、θ４、θ５、θ６、θ７またはＩＤ、Ｓ１、Ｓ２、Ｐｘ、Ｐｙ、Ｐｚ、Ｄｘ、Ｄｙ、Ｄｚからなり、それぞれの間はスペースで区切られている。
【００４３】
ＩＤはデータのヘッダで、ユーザー・データに関する情報を表わす。具体的には１枚の画像データのための分割番号を示し、先頭は０００、最後は９９９、その他は１枚の画像データを分割した何番目のデータであるかを示す。マスター側ではこのＩＤ情報を読み取って、スレーブ側から送られてくる画像の先頭と最後を検出してデータの再構成を行なう。整数をアスキー・コードで記述し、大きさは３byteである。
【００４４】
Ｓ１は情報識別子(1) である。具体的には、制御・観測情報が指先情報であるか、関節情報であるか、位置情報であるか、速度情報であるか、力情報であるかなどを示している。整数をアスキー・コードで記述し、大きさはｌbyteである。Ｓ２は情報識別子(2) である。具体的には、スレーブ・アームの先端グリッパの開閉のための制御・観測情報を示している。整数をアスキー・コードで記述し、大きさはｌbyteである。
【００４５】
θ１、θ２、θ３、θ４、θ５、θ６、θ７またはＰｘ、Ｐｙ、Ｐｚ、Ｄｘ、Ｄｙ、Ｄｚは制御・観測情報である。先端情報か関節情報かで、またそれが位置情報か速度情報か力情報かで、７byteの浮動小数点の７データ分を確保している。アスキー・コードで記述し、各数値の間はスペースで区切られている。大きさは５６byteである。
【００４６】
画像データは、スレーブ側においてＪＰＥＧ形式で圧縮された１枚分の画像データのうちのユーザー・データ内の画像データのための領域で分割したデータ分である。マスター側ではこれらを集めて再構成し、伸長して画像としてビデオモニタ７に表示する。
【００４７】
１００byteのユーザー・データは、ＩＳＤＮを介して、たとえば茨城県筑波市と神奈川県川崎市との間を約９２ミリ秒で往復できる。すなわち、マスター・スレーブ間で約１１Ｈｚの制御周期を確保できることになる。一方、画像については、今、１枚の画像を表示するための画像データが４０００byteであるとすると、ユーザー・データが１往復する毎に２０byteずつ送受信するので、２００回の送受信、すなわち、約１８ミリ秒毎にビデオモニタ７に表示される画像が更新される。
【００４８】
ところで、マスター・アーム６に追従させてスレーブ・アーム２に所定の作業を行わせる場合、スレーブ・アーム２が行う作業形態は幾つかに分けられる。たとえば、図５に示すように、穴１４に棒１５を挿入する作業をスレーブ・アーム２で行わせる場合を例にとると、図５(a) に示すように３次元自由空間内である軌道に沿って物体を目標位置の近傍まで運搬する作業や、図５(c) に示すように単に目標位置から離れる作業は、空間移動作業と呼ぶことができる。
【００４９】
この空間移動作業の場合は、スレーブ・アーム２の先端の運動精度はそれほど要求されず、むしろ運搬物体やアーム先端が現在どこを移動しているかを知るために画像情報が重要となる。つまり、この空間移動作業において、良好な操作性を実現するには、マスター・スレーブ間の制御・観測周期は長くてもよいが、画像更新周期を短くすることが好ましい。これを一定のユーザー・データ長条件で実現するには、ユーザー・データ長に占める画像データ領域の割合を大きくすればよいことになる。
【００５０】
一方、図５(b) に示すように、スレーブ・アーム２で棒１５を穴１４に挿入している作業は、運搬物体、つまり棒１５が外的環境により拘束されているので、拘束運動作業と呼ぶことができる。
【００５１】
このような拘束運動作業においては、物体と外的環境の間に作用する相互力を制御する必要がある。すなわち、この拘束運動作業において、良好な操作性を実現するには、スレーブ・アーム２によって運搬される物体と外的環境との相互力をマスター・アーム６を操る操作者に臨場感を持って伝達することが重要となる。
【００５２】
したがって、この拘束運動作業時には、画像更新周期は長くても、マスター・スレーブ間の制御・観測周期を短くすることが好ましい。これを一定のユーザー・データ長条件で実現するには、ユーザー・データ長に占める制御・観測データ領域の割合を大きくすればよいことになる。
【００５３】
このような観点から、この例に係る遠隔操作装置では、図２(a) に示されるスレーブ側の制御器１６に現在、スレーブ・アーム２が実行している作業形態を判定する作業形態判定機能及びデータ変形機能を持たせ、判定結果に応じてユーザー・データ１０の形式又は内容を変化させている。
【００５４】
作業形態の判定は、たとえばマスター・アーム６の目標位置とスレーブ・アーム２の観測位置との間の位置ずれ量の大きさに閾値を設定し、閾値以下のときには空間移動と判定し、閾値を超えているときには拘束運動と判定している。また別の判定方法として、スレーブ・アーム２における先端の力・モーメントデータが所定値以下のときには空間移動と判定し、所定値より大きいときには拘束運動と判定する方法を採用することもできる。
【００５５】
そして、この例において、作業形態が拘束運動作業と判定されたときには、図４(a) 示すように、データ長が１００byteで標準的なユーザー・データ構成を用いている。また、作業形態が空間移動作業と判定されたときには、図６に示すように、データ長は１００byteであるが、標準的なユーザー・データ構成に比べて、制御・観測データの有効桁数を７桁から５桁に抑え、その分だけ画像データの占める割合を増加させたユーザー・データ構成を用いている。この例では、拘束運動作業時に、画像データ領域を３５byteに増加させている。
【００５６】
このように、この例では、スレーブ・アーム２が現在実行している作業形態が拘束運動作業か、空間移動作業か判定し、拘束運動作業の場合にはデータ長が１００byteで標準的なユーザー・データ構成を用い、空間移動作業の場合にはデータ長は１００byteであるが、標準的なユーザー・データ構成に比べて、画像データの占める割合を増加させたユーザー・データ構成を用いている。
【００５７】
したがって、空間移動作業時には、スレーブ・アーム２の軌道を制御するための精度は落ちるが、マスター・スレーブ間の制御周期は約１１Ｈｚのままに確保される。一方、画像データ領域が２０byteから３５byteに増加するので、１枚の画像に必要な４０００byte分の画像データを１１５回の送受信で転送することができ、画像更新周期を約１８秒毎から約１１秒毎へと短縮することができる。
【００５８】
したがって、ユーザー・データ長を増すことなく、空間移動作業時の操作性を向上させることができる。
【００５９】
なお、図１に示した例では、作業形態判定手段でスレーブ・アーム２が現在実行している作業形態が拘束運動作業か、空間移動作業かを判定させているが、マスター・アーム６を操作している操作者が必要に応じて作業形態を判定し、スイッチを操作するなどの方法で伝送するデータの形式または内容を変形させることができるようにしてもよい。
【００６０】
また、図１に示した例では、空間移動作業時に、ユーザー・データ長を増すことなく、ユーザー・データ領域に占める画像データ領域の割合を増加させることによって操作性を向上させているが、必ずしもこの方式に限られるものではない。
【００６１】
たとえば、図７に示すように、空間移動作業時にユーザー・データ全体のサイズを大きくし、大きくなった分を画像データのために利用してもよい。
【００６２】
図７の例では、空間移動作業時に、ユーザー・データの大きさを、標準的な仕様の１００byteから１２０byteへと大きくし、画像データに割り当てる領域を２０byteから４０byteに広げている。
【００６３】
空間移動作業時に、上述したユーザー・データ構成を採用すると、１枚の画像に必要な４０００byte分の画像データを１００回の送受信で転送することができ、画像更新周期を約１８秒毎から約９．２秒毎へと短縮することができる。
【００６４】
なお、１２０byteのユーザー・データは、筑波と川崎との間を約１０８ミリ秒で往復するので、マスター・スレーブ間の制御周期は約１１Ｈｚから約９．３Ｈｚに減少してしまうが、物体の運搬などの自由空間での作業においては問題とはならない。
【００６５】
また、図８に示すように、空間移動作業時に、制御・観測データを２分割し、ユーザー・データを２回送受信することで１制御周期とする構成も有効である。この図８に示す例では、ユーザー・データ長は標準的な１００byteであるが、第１のユーザー・データ２０で、ＩＤ、Ｓ１、制御・観測データの前半を送受信し、第２のユーザー・データ２１で、ＩＤ、Ｓ２、制御・観測データの後半を送受信している。これによって、制御・観測データのために必要な領域を８０byteから５０byteへと小さくし、１ユーザー・データ当たりの画像データに割り当てる領域を２０byteから５０byteへと広げるようにしている。
【００６６】
空間移動作業時に、上述したユーザー・データ構成を採用すると、１枚の画像に必要な４０００byte分の画像データを８０回の送受信で転送することができ、画像更新周期を約１８秒毎から約７．４秒毎へと倍以上の速度に上げることができる。
【００６７】
ただし、制御・観測データは２ユーザー・データの送受信で更新されるので、マスター・スレーブ間の制御周期は約１１Ｈｚから約５．４Ｈｚに半減する。しかし、物体の運搬などの自由空間での作業においては問題にはならない。
【００６８】
上述した各例では、モニタテレビ３が取得した画像データには加工を加えていないが、空間移動作業時に、１画像当たりのドット数を小さくすることで画像データのサイズを小さくすることも有効である。
【００６９】
図９(a) にはある同一の画像をＪＰＥＧ形式で圧縮したときに、ビデオサイズと圧縮率の違いにより、その画像ファイルの大きさがどのように変化するかが示されている。また、図９(b) にはこれを標準的な仕様のユーザー・データで送受信したときに画像が更新されるまでの時間が示されている。
【００７０】
たとえば、スレーブ・アーム２が拘束運動作業を行っているときには、ビデオサイズ３２０×２４０、圧縮率約１／４０の画像データを用いていたとすると、図９(b) から判るように、約１３．１秒毎に画像が更新される。そして、空間移動作業状態に変化したときに、画像データのビデオサイズを２４０×１８０に切り換えれば、マスター・スレーブ間の制御周期は約１１Ｈｚに保持されたままで、画像更新周期を約８．８秒毎へと上げることができる。このようなデータ変形方式を採用してもよい。
【００７１】
また、ビデオカメラ３で取得された画像に対するＪＰＥＧ圧縮率を変化させることも有効である。
【００７２】
たとえば、スレーブ・アーム２で拘束運動作業を実行しているときには、ビデオサイズ２４０×１８０、圧縮率約１／２５の画像データを用いていたとすると、図９(b) から判るように、約１４．５秒毎に画像が更新される。そして、空間運動作業に変化したと同時に、画像データの圧縮率を約１／４０に切り換えれば、マスター・スレーブ間の制御周期は約１１Ｈｚに保持されたままで、画像更新周期を約８．８秒毎へと上げることができる。
【００７３】
また、図１０に示すように、空間移動作業及び拘束運動作業に対応させてビデオサイズ、ユーザー・データサイズの両方を変えることも有効である。
【００７４】
たとえば、拘束運動作業へと変化したときには、ビデオサイズ及びユーザー・データサイズを共に小さくする。このようにすることによって、画像更新周期を極端に落とさずに、拘束運動作業時における制御・観測周期を上げることができ、拘束運動作業時における力制御を向上させることができる。
【００７５】
【発明の効果】
以上説明したように、本発明によれば、通信回線の限られた通信容量を有効に利用しながら、安定に制御できる制御・観測周期や、容易に操作できる画像更新周期を確保した遠隔操作を実現できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る遠隔操作装置の概念図
【図２】同遠隔操作装置のスレーブ側及びマスター側におけるデータ内容を示す図
【図３】同遠隔操作装置のスレーブ側とマスター側との間におけるデータの流れを示す図
【図４】同遠隔操作装置において拘束運動作業時に用いられるユーザー・データの内容を示す図
【図５】拘束運動作業および空間移動作業の定義を説明するための図
【図６】同遠隔操作装置において空間移動作業時に用いられるユーザー・データの内容を示す図
【図７】空間移動作業時に用いられるユーザー・データの変形例を示す図
【図８】空間移動作業時に用いられるユーザー・データの別の変形例を示す図
【図９】ビデオサイズとＪＰＥＧ形式の圧縮率と画像データファイルの大きさとの関係およびビデオサイズとＪＰＥＧ形式の圧縮率と画像更新時間との関係を示す図
【図１０】空間移動作業時及び拘束運動作業時にビデオサイズと圧縮率との両方を変化させるようにした例を説明するための図
【符号の説明】
１…作業環境
２…スレーブ・アーム
３…モニタテレビ
４…スレーブ側制御装置
５…操縦環境
６…マスター・アーム
７…ビデオモニタ
８…マスター側制御装置
９…ＩＳＤＮ
１０…ユーザー・データ
１１…観測データ
１２…画像データ
１４…孔
１５…棒
１６…制御器
２０…第１のユーザー・データ
２１…第２のユーザー・データ
Claims (7)
- 作業環境に配置されて作業を実行する作業実行装置と、
操縦環境に配置されて前記作業実行装置を遠隔操作する操縦装置と、
前記作業環境に配置されて前記作業実行装置の作業状態を画像として捉える画像取得装置と、
前記操縦環境に配置されて前記画像取得装置が取得した画像を提示する画像提示装置と、
前記作業実行装置及び画像取得装置と前記操縦装置及び画像提示装置との間に設けられて上記作業実行装置の操縦に必要な制御・観測情報と上記画像提示装置への画像提示に必要な画像情報とを伝送するデータ伝送装置と、
前記作業実行装置が実行している作業形態を判定する作業形態判定手段と、
前記作業形態判定手段で判定された作業形態に応じて前記データ伝送装置を介して伝送するデータの形式又は内容を変形させる伝送データ変形手段とを具備し、
前記作業形態判定手段は、前記作業実行装置の位置・姿勢データと前記操縦装置の位置・姿勢データとの間のずれ量が所定値以下のときには空間移動の作業形態であると判定し、所定値より大きいときには拘束運動の作業形態であると判定することを特徴とする遠隔操作装置。 - 作業環境に配置されて作業を実行する作業実行装置と、
操縦環境に配置されて前記作業実行装置を遠隔操作する操縦装置と、
前記作業環境に配置されて前記作業実行装置の作業状態を画像として捉える画像取得装置と、
前記操縦環境に配置されて前記画像取得装置が取得した画像を提示する画像提示装置と、
前記作業実行装置及び画像取得装置と前記操縦装置及び画像提示装置との間に設けられて上記作業実行装置の操縦に必要な制御・観測情報と上記画像提示装置への画像提示に必要な画像情報とを伝送するデータ伝送装置と、
前記作業実行装置が実行している作業形態を判定する作業形態判定手段と、
前記作業形態判定手段で判定された作業形態に応じて前記データ伝送装置を介して伝送するデータの形式又は内容を変形させる伝送データ変形手段とを具備し、
前記作業形態判定手段は、前記作業実行装置における先端の力・モーメントデータが所定値以下のときには空間移動の作業形態であると判定し、所定値より大きいときには拘束運動の作業形態であると判定することを特徴とする遠隔操作装置。 - 前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、一度に送受信するデータ中に占める前記制御・観測情報の領域の大きさと前記画像情報のための領域の大きさとを変えることを特徴とする請求項１または２のいずれか１項に記載の遠隔操作装置。
- 前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、一度に送受信するデータ全体の大きさを変えて前記画像情報のための領域の大きさを変えることを特徴とする請求項１または２のいずれか１項に記載の遠隔操作装置。
- 前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、一度に送受信するデータ中の前記制御・観測情報の項目を選択することにより、前記画像情報のための領域の大きさを変えることを特徴とする請求項１または２のいずれか１項に記載の遠隔操作装置。
- 前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、前記画像取得装置が取得した画像のサイズを変えることで、１枚の画像のための画像データの大きさを変えることを特徴とする請求項１または２のいずれか１項に記載の遠隔操作装置。
- 前記伝送データ変形手段は、前記作業形態判定手段で判定された作業形態に応じて、前記画像取得装置が取得した画像に対するデータ圧縮率を変えることで、１枚の画像のための画像データの大きさを変えることを特徴とする請求項１または２のいずれか１項に記載の遠隔操作装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24692297A JP3937000B2 (ja) | 1997-09-11 | 1997-09-11 | 遠隔操作装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24692297A JP3937000B2 (ja) | 1997-09-11 | 1997-09-11 | 遠隔操作装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1190872A JPH1190872A (ja) | 1999-04-06 |
| JP3937000B2 true JP3937000B2 (ja) | 2007-06-27 |
Family
ID=17155761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24692297A Expired - Lifetime JP3937000B2 (ja) | 1997-09-11 | 1997-09-11 | 遠隔操作装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3937000B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4387454B2 (ja) * | 1998-08-25 | 2009-12-16 | 株式会社ミツトヨ | 遠隔操作式測定システム |
| JP4386979B2 (ja) * | 1998-08-25 | 2009-12-16 | 株式会社ミツトヨ | 遠隔操作式測定システム |
| JP6760654B2 (ja) * | 2017-08-04 | 2020-09-23 | H2L株式会社 | 遠隔操作システム及び管理サーバ |
-
1997
- 1997-09-11 JP JP24692297A patent/JP3937000B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1190872A (ja) | 1999-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9721539B2 (en) | Image display system, image display apparatus, and control method thereof | |
| CA2471569C (en) | Method and system for guiding a remote vehicle via lagged communication channel | |
| EP1059615A2 (en) | Transmitter-receiver of three-dimensional skeleton structure motions and method thereof | |
| JP6038970B2 (ja) | 通信システムおよび方法 | |
| CN110728739A (zh) | 一种基于视频流的虚拟人控制与交互方法 | |
| JP3937000B2 (ja) | 遠隔操作装置 | |
| Chang et al. | KIST teleoperation system for humanoid robot | |
| CN119501953B (zh) | 基于虚拟现实技术的人形机器人远程控制系统及方法 | |
| US7346430B2 (en) | Image transmission device and method, transmitting device and method, receiving device and method, and robot apparatus | |
| KR19990034151A (ko) | 네트워크를 이용한 감시 카메라 원격 제어 장치 및 방법 | |
| US20230269156A1 (en) | Network latency measurement method and apparatus for low latency immersive service | |
| US12093034B2 (en) | Control apparatus and network control method | |
| CN117873148A (zh) | 无人机控制方法、系统、电子设备及计算机可读存储介质 | |
| Xiaohui et al. | Internet based telesurgery with a bone-setting system | |
| CN110069135A (zh) | 一种人机交互设备的数据处理方法及人机交互设备 | |
| CN107376338A (zh) | 游戏手柄控制方法和虚拟现实系统 | |
| KR102875799B1 (ko) | 재사용 발사체 잔여 추진제 배출 및 상태 진단을 위한 로봇팔 원격 제어 시스템 및 방법 | |
| Sequeira et al. | Internet based multimedia interface for the control and navigation of a mobile platform | |
| CN117097878B (zh) | 一种基于超低延迟视频传输技术的云控交互系统 | |
| Karaali et al. | 5G-Enabled Smart Prosthetic Hand: Connectivity Analysis and Assessment | |
| Aust et al. | Haptic Encoder and Data Compression of Multimodal Data Traffic in the Tactile Internet | |
| CN119458316B (zh) | 一种基于无电手持夹爪的遥操作机械臂系统 | |
| CN120663325A (zh) | 机器人控制方法、系统、设备、计算机可读介质和产品 | |
| Jannson et al. | Telementoring and teleparamedic communication platforms and robotic systems for battlefield biomedical applications | |
| JP2025062510A (ja) | ロボット遠隔操作システム、ロボット遠隔操作方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040903 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070301 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |