JP6196563B2 - ロボットの遠隔操作システムと方法 - Google Patents

Description

本発明は、カメラの画像を見ながら遠隔操作するロボットの遠隔操作システムと方法に関する。

遠隔操作システムは、対象物に対し作業を行うためのロボットと遠隔操作装置を備え、ロボットを無線等で遠隔操作するシステムである。
ここで作業とは、例えば、人が近づけない環境（高温環境、低温環境、汚染環境、など）におけるワークの把持、搬送、設置などである。ロボットは、例えばロボットアーム（例えば多関節アーム又はマニピュレータ）を備えた自走式又は固定式の装置である。ロボットは、さらに、遠隔操作装置と通信する通信装置、作業を行うためのツール（例えばハンド）、及び作業状態を監視するためのカメラを有する。遠隔操作装置は、ロボットと通信する通信装置、カメラの画像を表示する表示装置（モニタ）、及び人がロボットアームを操作する操作装置（ジョイスティックなど）を有する。

上述した遠隔操作システムは、例えば特許文献１〜３に開示されている。
特許文献１の「ロボットシステム」は、ハンドにカメラを内蔵し、ハンドの回転軸とカメラの軸をずらすことで、ハンドの回転によって、より広範囲な画像を取得するものである。
特許文献２の「レーザセンサ制御装置及びレーザセンサ制御方法」は、ハンドにレーザセンサを付加し、これを用いて３次元画像を取得するものである。
特許文献３の「マニピュレータの制御装置および操作支援装置」は、ロボットを遠隔操作するにあたって、複数台の移動可能なカメラで作業場所を撮影することで、作業効率を向上させるものである。

特開２０１１‐１０１９１５号公報 特開２０１１‐６２７８６号公報 特開平１０‐２４９７８６号公報

図１は上述した従来の遠隔操作システムの模式図であり、図２はそのモニタ画像の模式図である。この例で、ロボット１は、所定位置に固定されたロボットアーム２（この例では多関節アーム）と、ロボットアーム２の先端部に固定されたカメラ３とツール４（この例ではハンド）を有する。人５（オペレータ）は、モニタ６上のカメラ３の画像（モニタ画像）を見ながら操作装置７（ジョイスティックなど）を操作し、ツール４で対象物８（この例では円筒形のワーク）の把持、搬送、設置などの作業を実行する。

かかる遠隔操作システムで、ロボット１を遠隔操作してワーク８をハンド４で把持するために、人５は、ハンド４の位置と姿勢を遠隔操作して、ハンド４をワーク８の位置と姿勢に合わせる必要がある。位置は、ｘ、ｙ、ｚの３自由度、姿勢は、ｘ軸回り、ｙ軸回り、ｚ軸回りの３自由度を有する。
また先にハンド４でワーク８を把持しており、把持したワーク８を作業場所に設置する場合も、人５はワーク８を作業場所の位置と姿勢に合わせる必要がある。

しかし、モニタ画像は２次元情報なので、モニタ６の縦横方向への位置のずれは容易に視認できるが、図２に示すように、モニタ６の奥行き方向の位置ずれは視認しづらい。また、ハンド４とワーク８の姿勢のずれも視認しづらい。

図３は、従来の遠隔操作システムとモニタ画像の別の模式図である。
図３（Ａ）は、ワーク８の設置面に設置マーク９が設けられており、その設置マーク９の位置にワーク８を設置するような場合を示している。この場合、図３（Ｂ）に示すように設置マーク９の設置面に対してハンド４の姿勢が変化しても、モニタ画像上における設置マーク９の見え方にはほとんど差がないので、設置マーク９の設置面に対してハンド４がどの程度傾いているかわからない。特に、地面や床面など、平坦で広い作業場所にハンド４の位置と姿勢を合わせる場合は困難であった。

本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、ロボットに固定されたカメラの画像を見ながら、遠隔操作装置を操作し、直感的な操作で、ツール（例えばハンド）の姿勢を作業時の姿勢に合わせることができ、また姿勢が合っているかどうかを、瞬時に判断できるロボットの遠隔操作システムと方法を提供することにある。

本発明によれば、対象物に対し作業を行うためのツールと、前記ツールに固定され作業領域を撮影可能なカメラと、前記ツール及びカメラの位置と姿勢を３次元空間内で移動可能なロボットアームと、前記カメラの画像を表示する表示装置と、前記ロボットアームを遠隔操作する遠隔操作装置と、を備えたロボットの遠隔操作システムであって、
前記カメラの視野内に入る位置に固定されたマーカを備え、
前記マーカは、前記カメラの光軸方向に間隔を隔てて位置し、同一の姿勢で互いに相似形の上面と下面を有し、
前記マーカは、画像上においてマーカの上面と下面の輪郭が重なるときに、前記対象物に対し前記ツールが正対するように位置決めされている、ことを特徴とするロボットの遠隔操作システムが提供される。

前記マーカの上面と下面の輪郭が重なるときに、前記対象物に対し前記ツールが正対する姿勢の位置決め誤差が許容範囲となるように、前記上面は前記下面より小さく設定されている。

前記マーカは、上面と下面を連結する連結部を有し、
画像上において、前記上面と下面の輪郭が重なるときに、前記連結部の外周面は、前記上面より内側に位置する。

前記マーカの上面に、前記ツール又はカメラの上下方向を示す位置マーク又は切欠きを有する。

前記遠隔操作装置は、前記対象物に対し前記ツールが正対するときの前記上面の図形を記憶する記憶装置を有し、
前記表示装置は、作業中の前記画像に前記上面の図形を重畳して表示する。

前記ツール又はカメラに固定され、前記ツール又はカメラに正対する対象物の設置面又は前記マーカの上面までの距離を計測可能な距離センサを備える、ことが好ましい。

また、本発明によれば、対象物に対し作業を行うためのツールと、前記ツールに固定され作業領域を撮影可能なカメラと、前記ツール及びカメラの位置と姿勢を３次元空間内で移動可能なロボットアームと、前記カメラの画像を表示する表示装置と、前記ロボットアームを遠隔操作する遠隔操作装置と、前記カメラの光軸方向に間隔を隔てて位置し、同一の姿勢で互いに相似形の上面と下面を有するマーカと、を準備し、
前記カメラの視野内に入る位置に、前記マーカを、画像上においてマーカの上面と下面の輪郭が重なるときに、前記対象物に対し前記ツールが正対するように位置決めし、
前記遠隔操作装置を操作し、画像上において、前記マーカの上面と下面の輪郭を重ねることにより、前記対象物に対し前記ツールを正対させる、ことを特徴とするロボットの遠隔操作方法が提供される。

記憶装置により、前記対象物に対し前記ツールが正対するときの前記上面の図形を記憶し、
前記表示装置により、作業中の前記画像に前記上面の図形を重畳して表示する。

上記本発明の装置と方法によれば、マーカが、カメラの光軸方向に間隔を隔てて固定され、互いに相似形の上面と下面を有している。またこのマーカは、カメラの画像上においてマーカの上面と下面の輪郭が重なるときに、対象物に対しツールが正対するように位置決めされている。
この構成により、遠隔操作装置を操作し、画像上において、マーカの上面と下面の輪郭を重ねることにより、対象物に対しツールを正対させることができる。
従って、遠隔操作装置を操作する人（オペレータ）は、画像上のマーカの上面と下面を視認しながら遠隔操作装置を操作し、直感的な操作で、ハンドの姿勢を作業時の姿勢に合わせることができ、また姿勢が合っているかどうかを、瞬時に判断できる。

従来の遠隔操作システムの模式図である。 従来のモニタ画像の模式図である。 従来の遠隔操作システムとモニタ画像の別の模式図である。 本発明による遠隔操作システムの第１実施形態図である。 マーカの具体例を示す図である。 本発明による作業中のモニタ画像（カメラの画像）の説明図である。 本発明による遠隔操作システムの第２実施形態図である。

以下、本発明の実施形態を添付図面に基づいて詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図４は、本発明による遠隔操作システムの第１実施形態図である。
この図において、本発明の遠隔操作システムは、ロボット１０、遠隔操作装置２０、及びマーカ３０を備える。

この例で、ロボット１０は、ツール１２、カメラ１４、ロボットアーム１６、及び作業側無線装置１８を有する。

ツール１２は、作業を行うためのハンド又は工具である。ここで作業とは、例えば、人が近づけない環境（高温環境、低温環境、汚染環境、など）におけるワークの把持、搬送、設置や、作業車両に対する給油作業などである。
カメラ１４は、ツール１２に固定され作業領域を撮影可能なデジタル式のスチールカメラ又はビデオカメラである。ツール１２及びカメラ１４は、ロボットアーム１６の先端部に固定されている。カメラ１４は、作業中にツール１２及び対象物８（例えばワーク）を同時に撮影可能であることが好ましいが、必須ではない。
ロボットアーム１６は、ツール１２及びカメラ１４の位置と姿勢を３次元空間内で移動可能な多関節アーム又はマニピュレータである。

作業側無線装置１８は、カメラ１４の画像を送信し、ロボットアーム１６に対する動作指令を受信する送受信装置である。
なお、作業側無線装置１８は、必須ではなく、制御線で直接送受信する有線装置であってもよい。さらに、制御線を機械的なワイヤ等に置き換えてもよい。

遠隔操作装置２０は、表示装置２２、操作装置２４、及び操作側無線装置２６を有する。

表示装置２２は、カメラ１４の画像（モニタ画像）を表示するモニタである。
操作装置２４は、例えばジョイスティックであり、ロボットアーム１６を操作する。
操作側無線装置２６は、カメラ１４の画像を受信し、ロボットアーム１６に対する動作指令を送信する送受信装置である。
なお、操作側無線装置２６は、必須ではなく、制御線で直接送受信する有線装置であってもよい。さらに、制御線を機械的なワイヤ等に置き換えてもよい。

マーカ３０は、作業中にカメラ１４の視野内に入る位置（例えば対象物８の設置面１１）に固定される。なお、ツール１２及び対象物８も作業中にカメラ１４の視野内に入ることが好ましいが、これは必須ではない。

マーカ３０は、カメラ１４の光軸方向に間隔を隔てて位置し、同一の姿勢で互いに相似形の上面３０ａと下面３０ｂを有する。
この例で、上面３０ａと下面３０ｂは、連結部３０ｃにより連結されている。
またマーカ３０は、カメラ１４の画像上においてマーカ３０の上面３０ａと下面３０ｂの輪郭が重なるときに、対象物８に対しツール１２が正対するように位置決めされている。

ここで、対象物８に対するツール１２の「正対」とは、対象物８に対しツール１２（例えばハンド）が所定の姿勢となることを意味する。「所定の姿勢」は、そのまま対象物８に対し作業を行なえる作業姿勢であることが好ましいが、これに限定されず、作業前に姿勢を変更してもよい。
また、正対位置（正対する位置）において、対象物８に対するツール１２の相対位置が定まることが好ましいが、これに限定されず、相対位置を別の手段で検出してもよい。
さらに、カメラ１４の画像上においてマーカ３０の上面３０ａと下面３０ｂの輪郭が重なるときに、ツール１２及び対象物８もカメラ１４の画像上に表示されることが好ましいが、これは必須ではない。

図５は、マーカ３０の具体例を示す図である。
図５（Ａ）（Ｂ）において、マーカ３０は、上面３０ａを有する上板３２ａ、下面３０ｂを有する下板３２ｂ、及び上板３２ａと下板３２ｂを連結する連結材３２ｃからなる。
なお、本発明はこの構成に限定されず、マーカ３０の上面３０ａ、下面３０ｂ、及び連結部３０ｃを一体部品として形成してもよい。

図５（Ａ）（Ｂ）において、カメラ１４の画像上においてマーカ３０の上面３０ａと下面３０ｂの輪郭が重なるときに、対象物８に対しツール１２が正対する姿勢の位置決め誤差が許容範囲となるように、カメラ１４の視野角内においてマーカ３０の上面３０ａは下面３０ｂより小さく設定されている。

この場合、下面３０ｂを有する下板３２ｂの外縁を、上面３０ａの輪郭から外側にはみ出さないように、テーパ状に形成することが好ましい。
また、このテーパを省略し、マーカ３０の上面３０ａと下面３０ｂの輪郭が重なるときに、下板３２ｂの外縁が、上面３０ａの外縁からはみ出すようにしてもよい。この構成により、画像上においてマーカ３０の上面３０ａと下面３０ｂの輪郭を重ねることが容易となる。

図５（Ａ）（Ｂ）において、マーカ３０の連結部３０ｃは、画像上において、マーカ３０の上面３０ａと下面３０ｂの輪郭が重なるときに、連結部３０ｃの外周面は、上面３０ａより内側に位置する限りで、任意の形状であってもよい。
すなわち、連結部３０ｃは、図４では棒状部材であるが、円柱、角柱、円錐形、接頭円錐形、その他の形状であってもよい。

図５（Ｃ）（Ｄ）に示すように、マーカ３０の上面３０ａに、ツール１２又はカメラ１４の上下方向を示す位置マーク３４（又は切欠き）を有することが好ましい。
この位置マーク３４（又は切欠き）をツール１２又はカメラ１４の上下方向に合わせることにより、マーカ３０に対するツール１２又はカメラ１４の回転位置を位置決めすることができる。

また、図５（Ｃ）（Ｄ）に示すように、マーカ３０の上面３０ａと下面３０ｂの形状は、互いに相似形であり、かつ向きも同一である限り、円形に限定されず、任意の形状であってもよい。
またこの場合、下面３０ｂの外縁から内側に一定距離の位置に、案内線３６（又は模様）を設けることが好ましい。この案内線３６と下面３０ｂの外縁との間に、マーカ３０の上面３０ａの輪郭を重ねることにより、上面３０ａの外側に下面３０ｂの外縁が目視できるので、画像上においてマーカ３０の上面３０ａと下面３０ｂの輪郭を重ねることが容易となる。
この場合、案内線３６と下面３０ｂの外縁の位置は、対象物８に対しツール１２が正対する姿勢の位置決め誤差が許容範囲となるように、設定するのがよい。

図４において、遠隔操作装置２０は、さらに、記憶装置２８を有する。
記憶装置２８は、対象物８に対しツール１２が正対するときの上面３０ａの図形２７（図６参照、以下、上面図形と呼ぶ）を記憶する。また、表示装置２２は、作業中のカメラ１４の画像に記憶した上面図形２７を重畳して表示する。
上面図形２７は、事前に実施した作業中の画像（モニタ画像）から任意に選択した１又は複数の図形である。例えば作業中において特に位置合わせが必要なとき（組立の中間、完了時、など）のモニタ画像から上面図形２７を記憶するのがよい。
また上面図形２７は、作業中の画像と異なる色（例えば白色）又は半透明の画像として表示するのがよい。

カメラ１４とマーカ３０の位置関係によって、モニタ画像上においてマーカ３０の見え方が変わる。例えば、マーカ３０がモニタ中心付近にある場合には、上面３０ａと下面３０ｂが重なるが、マーカ３０がモニタ端にある場合には、重ならない。このため、表示装置２２（モニタ）に上述した上面図形２７を重畳し、マーカ３０の上面３０ａに上面図形２７が重なるように操作することにより姿勢合わせが容易となる。

本発明の遠隔操作方法は、はじめに上述したロボット１０、遠隔操作装置２０、及びマーカ３０を準備する。
次いで、カメラ１４の視野内に入る位置に、マーカ３０を、カメラ１４の画像上においてマーカ３０の上面３０ａと下面３０ｂの輪郭が重なるときに、対象物８（例えばワーク）に対しツール１２（例えばハンド）が正対するように位置決めする。

また、本発明の遠隔操作方法では、対象物８に対しツール１２が正対するときの上面３０ａの図形を記憶し、表示装置２２により、作業中の画像に上面３０ａの図形を重畳して表示する。
さらに、遠隔操作装置２０を操作し、画像上において、マーカ３０の上面３０ａと下面３０ｂの輪郭を重ねることにより、対象物８に対しツール１２を正対させる。

図６は、本発明による作業中のモニタ画像（カメラ１４の画像）の説明図である。この図において、（Ａ）は対象物８に対しツール１２（この例でハンド）が正対していない場合、（Ｂ）は対象物８に対しツール１２が正対している場合を示している。
図６（Ａ）の正対していない場合は、作業時（正対時）のハンド１２の姿勢と現在のハンド１２の姿勢とにずれがある場合である。この場合、画像上においてマーカ３０の上面３０ａと下面３０ｂの輪郭が重ならないため、上面３０ａから下面３０ｂがはみ出して見える。
図６（Ｂ）の正対している場合は、作業時（正対時）のハンド１２の姿勢と現在のハンド１２の姿勢とが一致する。或いは、現在のハンド１２の姿勢が作業可能な許容差内の姿勢である。この場合、画像上においてマーカ３０の上面３０ａと下面３０ｂの輪郭が重なり、マーカ３０の上面３０ａに下面３０ｂが隠れる。

従って、遠隔操作装置２０を操作し、画像上において、マーカ３０の上面３０ａと下面３０ｂの輪郭を重ねることにより、対象物８に対しツール１２を正対させることができる。
また、作業中のモニタ画像に記憶した上面図形２７を重畳して表示することにより、上面図形２７をマーカ３０の上面３０ａに重ねることで、対象物８に対しツール１２が正対するように容易に位置決めすることができる。

図４において、本発明の遠隔操作システムは、さらに距離センサ１９を備える。距離センサ１９は、例えばレーザレンジセンサであり、ツール１２に固定され、ツール１２に正対する対象物８の設置面１１までの距離を非接触で計測可能に構成されている。

図７は、本発明による遠隔操作システムの第２実施形態図である。
この図において、距離センサ１９は、カメラ１４に固定され、カメラ１４に正対するマーカ３０の上面３０ａまでの距離を計測可能に構成されている。その他の構成は図４と同様である。

上述した遠隔操作システムにおいて、マーカ３０とカメラ１４の相対距離によってカメラ１４の取得した画像の見え方が異なるので、上面３０ａと下面３０ｂの輪郭を重ねる操作が困難になる場合がある。
しかし、上述した距離センサ１９を備えることにより、ある設定した距離においてマーカ３０の上面３０ａと下面３０ｂが重なるようにマーカ３０を設計しておき、操作者は「設定した距離」になるようロボット１０を操作してから、その位置での画像を見て姿勢ずれを判断することができる。
従って、この構成により、上面３０ａと下面３０ｂの輪郭を重ねる操作が容易となる。

上述した本発明の装置と方法によれば、マーカ３０が、カメラ１４の光軸方向に間隔を隔てて固定され、互いに相似形の上面３０ａと下面３０ｂを有している。またこのマーカ３０は、カメラ１４の画像上においてマーカ３０の上面３０ａと下面３０ｂの輪郭が重なるときに、対象物８に対しツール１２が正対するように位置決めされている。
この構成により、遠隔操作装置２０を操作し、画像上において、マーカ３０の上面３０ａと下面３０ｂの輪郭を重ねることにより、対象物８に対しツール１２を正対させることができる。
従って、遠隔操作装置２０を操作する人５（オペレータ）は、画像上のマーカ３０の上面３０ａと下面３０ｂを視認しながら遠隔操作装置２０を操作し、直感的な操作で、ツール１２（例えばハンド）の姿勢を作業時の姿勢に合わせることができ、また姿勢が合っているかどうかを、瞬時に判断できる。

なお、本発明は上述した実施形態に限定されず、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内でのすべての変更を含むものである。

１ ロボット、２ ロボットアーム（多関節アーム）、３ カメラ、
４ ツール（ハンド）、５ 人（オペレータ）、６ モニタ、
７ 操作装置（ジョイスティック）、８ 対象物（ワーク）、
９ 設置マーク、１０ ロボット、１１ 設置面、
１２ ツール（ハンド又は工具）、１４ カメラ、
１６ ロボットアーム、１８ 作業側無線装置、１９ 距離センサ、
２０ 遠隔操作装置、２２ 表示装置（モニタ）、
２４ 操作装置（ジョイスティック）、２６ 操作側無線装置、
２７ 上面図形、２８ 記憶装置、３０ マーカ、３０ａ 上面、
３０ｂ 下面、３０ｃ 連結部、３２ａ 上板、３２ｂ 下板、
３２ｃ 連結材、３４ 位置マーク（切欠き）、３６ 案内線

Claims (8)

1. 対象物に対し作業を行うためのツールと、前記ツールに固定され作業領域を撮影可能なカメラと、前記ツール及びカメラの位置と姿勢を３次元空間内で移動可能なロボットアームと、前記カメラの画像を表示する表示装置と、前記ロボットアームを遠隔操作する遠隔操作装置と、を備えたロボットの遠隔操作システムであって、
   前記カメラの視野内に入る位置に固定されたマーカを備え、
   前記マーカは、前記カメラの光軸方向に間隔を隔てて位置し、同一の姿勢で互いに相似形の上面と下面を有し、
   前記マーカは、画像上においてマーカの上面と下面の輪郭が重なるときに、前記対象物に対し前記ツールが正対するように位置決めされている、ことを特徴とするロボットの遠隔操作システム。
2. 前記マーカの上面と下面の輪郭が重なるときに、前記対象物に対し前記ツールが正対する姿勢の位置決め誤差が許容範囲となるように、前記上面は前記下面より小さく設定されている、ことを特徴とする請求項１に記載のロボットの遠隔操作システム。
3. 前記マーカは、上面と下面を連結する連結部を有し、
   画像上において、前記上面と下面の輪郭が重なるときに、前記連結部の外周面は、前記上面より内側に位置する、ことを特徴とする請求項１に記載のロボットの遠隔操作システム。
4. 前記マーカの上面に、前記ツール又はカメラの上下方向を示す位置マーク又は切欠きを有する、ことを特徴とする請求項１に記載のロボットの遠隔操作システム。
5. 前記遠隔操作装置は、前記対象物に対し前記ツールが正対するときの前記上面の図形を記憶する記憶装置を有し、
   前記表示装置は、作業中の前記画像に前記上面の図形を重畳して表示する、ことを特徴とする請求項１に記載のロボットの遠隔操作システム。
6. 前記ツール又はカメラに固定され、前記ツール又はカメラに正対する対象物の設置面又は前記マーカの上面までの距離を計測可能な距離センサを備える、ことを特徴とする請求項１に記載のロボットの遠隔操作システム。
7. 対象物に対し作業を行うためのツールと、前記ツールに固定され作業領域を撮影可能なカメラと、前記ツール及びカメラの位置と姿勢を３次元空間内で移動可能なロボットアームと、前記カメラの画像を表示する表示装置と、前記ロボットアームを遠隔操作する遠隔操作装置と、前記カメラの光軸方向に間隔を隔てて位置し、同一の姿勢で互いに相似形の上面と下面を有するマーカと、を準備し、
   前記カメラの視野内に入る位置に、前記マーカを、画像上においてマーカの上面と下面の輪郭が重なるときに、前記対象物に対し前記ツールが正対するように位置決めし、
   前記遠隔操作装置を操作し、画像上において、前記マーカの上面と下面の輪郭を重ねることにより、前記対象物に対し前記ツールを正対させる、ことを特徴とするロボットの遠隔操作方法。
8. 記憶装置により、前記対象物に対し前記ツールが正対するときの前記上面の図形を記憶し、
   前記表示装置により、作業中の前記画像に前記上面の図形を重畳して表示する、ことを特徴とする請求項７に記載のロボットの遠隔操作方法。
   

Images