JPS60126985A - 遠隔操作における作業状況表示装置 - Google Patents
遠隔操作における作業状況表示装置Info
- Publication number
- JPS60126985A JPS60126985A JP23477383A JP23477383A JPS60126985A JP S60126985 A JPS60126985 A JP S60126985A JP 23477383 A JP23477383 A JP 23477383A JP 23477383 A JP23477383 A JP 23477383A JP S60126985 A JPS60126985 A JP S60126985A
- Authority
- JP
- Japan
- Prior art keywords
- operator
- work
- image
- working
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
この発明は遠隔操作において、作業環境における作業状
況を操作環境における操作者にフィードバックする装置
に関するものである。
況を操作環境における操作者にフィードバックする装置
に関するものである。
深海や宇宙空間での作業のように人間が直接現場へ行っ
て作業するのが困難であったり、原子炉内の作業のよう
に人間が行うのに危険が伴う状況がいろいろと考えられ
る。このような作業を実現する技術として、人間の行け
ない作業現場（作業環境）に人間の上肢にかわって作業
を行うマニピュレータを送り込み、現場から離れた安全
な地点の操作環境から人間が、それを操作して作業を行
うテレオペレーションが研究されてきている。この方法
では人間の指令に従って自由自在に運動できるマニピュ
レータという機構の開発とともに、遠隔地点の作業ｙＡ
揚の状反を人間に自然に見せる感覚のフィードバック及
びマニピュレータのもつ感覚（触覚など）をフィードバ
ックすることが、操作性を上げるのに重要である。作業
状況のフィードバックとしては、テレビカメラ等による
画像情報を操作者の眼に与える方法が主にとられている
。しかしながら実際の作業状況をテレビカメラで踊影し
た画像をそのまま操作者に与え１＝のでは、操作者は自
分の上肢とは全く異なる異構造のスレーブマニピュレー
タが作業している環境を見ることとなり、違和感が大き
く、作業性を向上させることの障害となっている。
て作業するのが困難であったり、原子炉内の作業のよう
に人間が行うのに危険が伴う状況がいろいろと考えられ
る。このような作業を実現する技術として、人間の行け
ない作業現場（作業環境）に人間の上肢にかわって作業
を行うマニピュレータを送り込み、現場から離れた安全
な地点の操作環境から人間が、それを操作して作業を行
うテレオペレーションが研究されてきている。この方法
では人間の指令に従って自由自在に運動できるマニピュ
レータという機構の開発とともに、遠隔地点の作業ｙＡ
揚の状反を人間に自然に見せる感覚のフィードバック及
びマニピュレータのもつ感覚（触覚など）をフィードバ
ックすることが、操作性を上げるのに重要である。作業
状況のフィードバックとしては、テレビカメラ等による
画像情報を操作者の眼に与える方法が主にとられている
。しかしながら実際の作業状況をテレビカメラで踊影し
た画像をそのまま操作者に与え１＝のでは、操作者は自
分の上肢とは全く異なる異構造のスレーブマニピュレー
タが作業している環境を見ることとなり、違和感が大き
く、作業性を向上させることの障害となっている。
この発明は上記の如き事情に鑑みてなされたものであっ
て、作業現場において、操作者が自分の上肢で作業対象
物に対して作業をしているのと同等の画像を見ることが
でき、一作業に違和感を減らすことができ、したがって
作業性を向上させることができる遠隔操作における作業
状況表示装置を提供することを目的とするものである。
て、作業現場において、操作者が自分の上肢で作業対象
物に対して作業をしているのと同等の画像を見ることが
でき、一作業に違和感を減らすことができ、したがって
作業性を向上させることができる遠隔操作における作業
状況表示装置を提供することを目的とするものである。
この目的に対応して、この発明の遠隔操作における作業
状況表示装置は、操作環境における操作者の操作動作と
相関のある運動を行うスレーブマニピュレータを作業環
境に配置し、基準位置に関するスレーブマニピュレータ
及び作業対象の各点の位置をデータベースに記録して前
記スレーブマニピュレータ及び前記作業対象のモデルを
コンピュータに形成し、かつ操作者の操作動作を計測装
置により８１測して前記コンピュータに入力して前記操
作動作に対応する前記モデルの画像を前記コンピュータ
で構成し、前記モデルの画像を作業環境における費用の
画像にスーパーインポーズして操作環境において可視表
示装置を介して操作者の両眼に立体的に表示するように
構成したことを特徴としている。
状況表示装置は、操作環境における操作者の操作動作と
相関のある運動を行うスレーブマニピュレータを作業環
境に配置し、基準位置に関するスレーブマニピュレータ
及び作業対象の各点の位置をデータベースに記録して前
記スレーブマニピュレータ及び前記作業対象のモデルを
コンピュータに形成し、かつ操作者の操作動作を計測装
置により８１測して前記コンピュータに入力して前記操
作動作に対応する前記モデルの画像を前記コンピュータ
で構成し、前記モデルの画像を作業環境における費用の
画像にスーパーインポーズして操作環境において可視表
示装置を介して操作者の両眼に立体的に表示するように
構成したことを特徴としている。
以下この発明の詳細を一実施例を示す図面について説明
する。
する。
＠１図及び第２図において、１は作業状況表示装置であ
り、作業状況表示装置１は遠隔操作装置２に付随して段
番ノられる。
り、作業状況表示装置１は遠隔操作装置２に付随して段
番ノられる。
操作環境３にはマスタマニピュレータ４が配設され、こ
のマスタマニピュレータ４は操作者５が操作する。マス
タマニピュレータ４の動きは作業環境６に配設されたス
レーブマニピュレータ７に伝達され、スレーブマニピュ
レータ７が作業対象物８に対する実際の作業を行う。こ
の作業を行うにあたっては、作業環境６の状況を時々刻
々、操作者５が知っていることが必要であり、この作業
環境６の状況を操作者５にフィードバックすることを作
業状況表示装置１が行う。
のマスタマニピュレータ４は操作者５が操作する。マス
タマニピュレータ４の動きは作業環境６に配設されたス
レーブマニピュレータ７に伝達され、スレーブマニピュ
レータ７が作業対象物８に対する実際の作業を行う。こ
の作業を行うにあたっては、作業環境６の状況を時々刻
々、操作者５が知っていることが必要であり、この作業
環境６の状況を操作者５にフィードバックすることを作
業状況表示装置１が行う。
作業状況表示装置１は作業環境６内に固定まｔｃは可動
の単数若しくは複数のテレビカメラ１３を備え作業環境
を撮像する。テレビカメラ１３によって撮像された作業
環境６の画像はコンピュータ１５に入力される。
の単数若しくは複数のテレビカメラ１３を備え作業環境
を撮像する。テレビカメラ１３によって撮像された作業
環境６の画像はコンピュータ１５に入力される。
この作業環境６の画像は障害物２０等の背景の画像と、
作業対象物８の画像と、及びスレーブマニピュレータ７
の画像の３種類の画像が含まれるが、このうち、作業対
象物８の画像及びスレーブマニピュレータ７の画像は、
後述するように、モデルのグラフィックディスプレで置
き換えられる。
作業対象物８の画像と、及びスレーブマニピュレータ７
の画像の３種類の画像が含まれるが、このうち、作業対
象物８の画像及びスレーブマニピュレータ７の画像は、
後述するように、モデルのグラフィックディスプレで置
き換えられる。
一方、作業状況表示装置１は計測装置１１を備えている
。計測装置１１ではレーザ光線などで作業対象物８の表
面をスキャンして、それらの表面上の各点の座標を計測
して、その面や稜をめ、或はスレーブマニピュレータ７
の各関節の固有受容や設計情報を利用して、スレーブマ
ニピュレータ７の各点の座標を計測する。これらの座標
情報はコンピュータ１５に入力されデータベースに記録
され、かつ処理され、スレーブマニピュレータ７及び作
業対象物８のモデルが形成され、かつ操作者５の眼瞼の
動きと相関する位置から視認されるべきモデルの画像の
前記作業環境６の画像との相対位置がめられる。操作者
５の眼瞼の動きは操作者測定装置１４によって計測する
。これと同時にコンピュータ１５においてスレーブマニ
ピュレータＴのモデルによる画像情報に基づいてほぼ同
じ相対位置にある人間の上肢の画像情報を形成づる。こ
のにうにして形成された作業対象物８のモデルの画像と
スレーブマニピュレータ７についての人間の上肢の画像
を前記の障害物２０その他の背景の画像にスパーインポ
ーズし、例えば第４図に示すような合成画像を形成して
、可視表示装置１６によって操作者５に与えられる。
。計測装置１１ではレーザ光線などで作業対象物８の表
面をスキャンして、それらの表面上の各点の座標を計測
して、その面や稜をめ、或はスレーブマニピュレータ７
の各関節の固有受容や設計情報を利用して、スレーブマ
ニピュレータ７の各点の座標を計測する。これらの座標
情報はコンピュータ１５に入力されデータベースに記録
され、かつ処理され、スレーブマニピュレータ７及び作
業対象物８のモデルが形成され、かつ操作者５の眼瞼の
動きと相関する位置から視認されるべきモデルの画像の
前記作業環境６の画像との相対位置がめられる。操作者
５の眼瞼の動きは操作者測定装置１４によって計測する
。これと同時にコンピュータ１５においてスレーブマニ
ピュレータＴのモデルによる画像情報に基づいてほぼ同
じ相対位置にある人間の上肢の画像情報を形成づる。こ
のにうにして形成された作業対象物８のモデルの画像と
スレーブマニピュレータ７についての人間の上肢の画像
を前記の障害物２０その他の背景の画像にスパーインポ
ーズし、例えば第４図に示すような合成画像を形成して
、可視表示装置１６によって操作者５に与えられる。
可視表示装置１６は第３図に示すように、光学系１７、
一対のグラフィックディスプレイ１８、グラフイックコ
ントローラ２１とからなっており、コンピュータ１５か
ら出力された座標による画像信号を光信号に変換して操
作者５に視認させる。
一対のグラフィックディスプレイ１８、グラフイックコ
ントローラ２１とからなっており、コンピュータ１５か
ら出力された座標による画像信号を光信号に変換して操
作者５に視認させる。
このように構成された作業状況表示装置においては、テ
レビカメラ等によって撮影した障害物２０その他の背景
の画像Ａにスレーブマニピュレータの位置における人の
上肢の画像Ｂ及び作業対象物８の画像Ｃを重ね書きする
ことで作業状況を違和感なく表現することができ、作業
性の向上を図ることができる。
レビカメラ等によって撮影した障害物２０その他の背景
の画像Ａにスレーブマニピュレータの位置における人の
上肢の画像Ｂ及び作業対象物８の画像Ｃを重ね書きする
ことで作業状況を違和感なく表現することができ、作業
性の向上を図ることができる。
作業環境内のスレーブマニピュレータの表示にあたって
は、操作性を高めるためにも、なるべく現実感をもった
表示が重要であって、操作者が自分で作業をしているよ
うな感覚をフィードバックするためにも、前記のように
人間の上肢と同じようなスレーブマニピュレータを用い
ることは好ましいことである。しかし、通常スレーブマ
ニピュレータの機構的な制約や作業性の問題から人間の
上肢のような自由度配置ではない円筒座標型や極座標型
マニピュレータが用いられているのであるが、これらの
スレーブマニピュレータをそのまま表示するのではなく
、この発明では、そのかわりに人間の上肢のモデルを背
景の画像上にスパーインポーズにより表示する。このと
き、表示する人間の上肢の手先は、スレーブマニピュレ
ータの手先に一致させ、腕の姿勢は操作者の腕の姿勢を
計測し、それに一致するようにする。
は、操作性を高めるためにも、なるべく現実感をもった
表示が重要であって、操作者が自分で作業をしているよ
うな感覚をフィードバックするためにも、前記のように
人間の上肢と同じようなスレーブマニピュレータを用い
ることは好ましいことである。しかし、通常スレーブマ
ニピュレータの機構的な制約や作業性の問題から人間の
上肢のような自由度配置ではない円筒座標型や極座標型
マニピュレータが用いられているのであるが、これらの
スレーブマニピュレータをそのまま表示するのではなく
、この発明では、そのかわりに人間の上肢のモデルを背
景の画像上にスパーインポーズにより表示する。このと
き、表示する人間の上肢の手先は、スレーブマニピュレ
ータの手先に一致させ、腕の姿勢は操作者の腕の姿勢を
計測し、それに一致するようにする。
この様なスーパーインポーズによる合成画像を形成する
プロセスは次の通りである。第５図に示すように、まず
、作業に先だってスレーブマニピュレータ７や作業対象
物８を含まないで、かつ障害物２０等のみを含む背景を
テレビカメラで撮影して予想される操作者の眼瞼の動き
に対応して多数種類の背景の画像Ａをデーターとして記
録しておく（第５図ａ）。次に作業の際に、障害物２０
等の背景の画像Ａと、作業対象物８の画像Ｃと、及びス
レーブマニピュレータ７の画像Ｂを含む作業環境６の画
像をテレビカメラでＩＩＩ影してリアルタイムで作成す
る（第５図ｂ）。この第５図すに示すリアルタイムの画
像から作業対象物８の画像Ｃと、及びスレーブマニピュ
レータ７の画像Ｂを消去する（第５図Ｃ）。次にこの第
５図Ｇに示す一部分欠損した背景の画像Ａを先にデータ
ーベースとした第５図ａの画像にもとすいて補完し、合
成画像による背景の画像へを完成させる（第５図ｄ）。
プロセスは次の通りである。第５図に示すように、まず
、作業に先だってスレーブマニピュレータ７や作業対象
物８を含まないで、かつ障害物２０等のみを含む背景を
テレビカメラで撮影して予想される操作者の眼瞼の動き
に対応して多数種類の背景の画像Ａをデーターとして記
録しておく（第５図ａ）。次に作業の際に、障害物２０
等の背景の画像Ａと、作業対象物８の画像Ｃと、及びス
レーブマニピュレータ７の画像Ｂを含む作業環境６の画
像をテレビカメラでＩＩＩ影してリアルタイムで作成す
る（第５図ｂ）。この第５図すに示すリアルタイムの画
像から作業対象物８の画像Ｃと、及びスレーブマニピュ
レータ７の画像Ｂを消去する（第５図Ｃ）。次にこの第
５図Ｇに示す一部分欠損した背景の画像Ａを先にデータ
ーベースとした第５図ａの画像にもとすいて補完し、合
成画像による背景の画像へを完成させる（第５図ｄ）。
これらの処理操作時に操作者の眼瞼の動きと相関する位
置から視認されるべきスレーブマニピュレータ仁作業対
象物のモデルを利用する。この背景の画像Ａに作業対象
物８のモデルによる画像Ｃ及び人間の１肢のモデルによ
り画像Ｂをスーパーインポーズする（第５図ｅ）。
置から視認されるべきスレーブマニピュレータ仁作業対
象物のモデルを利用する。この背景の画像Ａに作業対象
物８のモデルによる画像Ｃ及び人間の１肢のモデルによ
り画像Ｂをスーパーインポーズする（第５図ｅ）。
こうすることで、操作者は実際には自分の上肢自分の上
肢で作業をしているような感覚をもつことができ、遠隔
作業をより円滑に行うことができる。
肢で作業をしているような感覚をもつことができ、遠隔
作業をより円滑に行うことができる。
さらに、この方式を用いることによって人間の上肢とは
サイズの大きく異なるマニピュレータを謙和感なく操作
丈ることも可能となる。すなわち人間よりも、はるかに
大きく、かつ強い力を必要とするスレーブマニピュレー
タでは、強度的な面、駆動機構から人間の上肢のような
構造はとりにくい。また、顕微鏡をもちいるような微細
の作業で要求され菖スレーブマニピュレータも機構的に
かなり制約されたものとなり、このようなとき、スレー
ブマニピュレータを表示するかわりに、人間の上肢のモ
デルを表示することは、有効である。
サイズの大きく異なるマニピュレータを謙和感なく操作
丈ることも可能となる。すなわち人間よりも、はるかに
大きく、かつ強い力を必要とするスレーブマニピュレー
タでは、強度的な面、駆動機構から人間の上肢のような
構造はとりにくい。また、顕微鏡をもちいるような微細
の作業で要求され菖スレーブマニピュレータも機構的に
かなり制約されたものとなり、このようなとき、スレー
ブマニピュレータを表示するかわりに、人間の上肢のモ
デルを表示することは、有効である。
以上の説明から明らかな通り、この発明によれば、作業
現場において、操作者が自分の上肢で作業対象物に対し
て作業をしているのと同等の画像を見ることができ、作
業に違和感を減らすことができ、したがって作業性を向
上させることができる遠隔操作における作業状況表示装
置を得ることかできる。
現場において、操作者が自分の上肢で作業対象物に対し
て作業をしているのと同等の画像を見ることができ、作
業に違和感を減らすことができ、したがって作業性を向
上させることができる遠隔操作における作業状況表示装
置を得ることかできる。
第１図は遠隔操作装置を示す斜視説明図、第２図は作業
状況表示装置の構成を示すブロック図、第３図は表示装
置の斜視説明図、第４図は合成画像の一例を示す説明図
、及び第５図は合成画像を作成する過程を示す説明図で
ある。 １・・・作業状況表示装置 ２・・・遠隔操作装置３・
・・操作環境 ４・・・マスタマニピュレータ６・・・
作業環境 ７・・・スレーブマニピュレータ８・・・作
業対象物 １１・・・計測装置 １５・・・コンピュー
タ １６・・・可視表示装置 第４図 第５図 （０） （ｄ） （ｂ） （ｅ）
状況表示装置の構成を示すブロック図、第３図は表示装
置の斜視説明図、第４図は合成画像の一例を示す説明図
、及び第５図は合成画像を作成する過程を示す説明図で
ある。 １・・・作業状況表示装置 ２・・・遠隔操作装置３・
・・操作環境 ４・・・マスタマニピュレータ６・・・
作業環境 ７・・・スレーブマニピュレータ８・・・作
業対象物 １１・・・計測装置 １５・・・コンピュー
タ １６・・・可視表示装置 第４図 第５図 （０） （ｄ） （ｂ） （ｅ）
Claims (1)
- 操作環境における操作者の操作動作と相関のある運動を
行うスレーブマニピュレータを作業環境に配置し、基準
位置に関するスレーブマニピュレータ及び作業対象の各
点の位置をデータベースに記録して前記スレーブマニピ
ュレータ及び前記作業対象のモデルをコンピュータに形
成し、かつ操作者の操作動作を計測装置により計測して
前記コンピュータに入力して前記操作動作に対応する前
記モデルの画像を前記コンピュータで’ｔｒｉ ｔｃ
Ｌｙ 、前記モデルの画像を作業環境における背景の画
像にスーパーインポーズして操作環境において可視表示
装置に表示するように構成したことを特徴とする遠隔操
作におけ３作業状況表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23477383A JPS60126985A (ja) | 1983-12-13 | 1983-12-13 | 遠隔操作における作業状況表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23477383A JPS60126985A (ja) | 1983-12-13 | 1983-12-13 | 遠隔操作における作業状況表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS60126985A true JPS60126985A (ja) | 1985-07-06 |
| JPS6411435B2 JPS6411435B2 (ja) | 1989-02-23 |
Family
ID=16976137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23477383A Granted JPS60126985A (ja) | 1983-12-13 | 1983-12-13 | 遠隔操作における作業状況表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS60126985A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02284884A (ja) * | 1989-04-26 | 1990-11-22 | Hitachi Ltd | 複腕作業機システム |
| JPH0360989A (ja) * | 1989-07-27 | 1991-03-15 | Hitachi Ltd | 画像表示方法及び画像表示装置並びに遠隔操作装置 |
| JP2014188600A (ja) * | 2013-03-26 | 2014-10-06 | Toshiba Corp | 遠隔視認装置および遠隔視認操作システム |
| WO2019225548A1 (ja) * | 2018-05-21 | 2019-11-28 | Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 | 遠隔操作システム、情報処理方法、及びプログラム |
-
1983
- 1983-12-13 JP JP23477383A patent/JPS60126985A/ja active Granted
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02284884A (ja) * | 1989-04-26 | 1990-11-22 | Hitachi Ltd | 複腕作業機システム |
| JPH0360989A (ja) * | 1989-07-27 | 1991-03-15 | Hitachi Ltd | 画像表示方法及び画像表示装置並びに遠隔操作装置 |
| JP2014188600A (ja) * | 2013-03-26 | 2014-10-06 | Toshiba Corp | 遠隔視認装置および遠隔視認操作システム |
| WO2019225548A1 (ja) * | 2018-05-21 | 2019-11-28 | Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 | 遠隔操作システム、情報処理方法、及びプログラム |
| US12017351B2 (en) | 2018-05-21 | 2024-06-25 | Telexistence Inc. | Remote control system, information processing method, and non-transitory computer-readable recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JPS6411435B2 (ja) | 1989-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3016539C (en) | Image processing method, display device, and inspection system | |
| Matsas et al. | Design of a virtual reality training system for human–robot collaboration in manufacturing tasks | |
| US7714895B2 (en) | Interactive and shared augmented reality system and method having local and remote access | |
| US20150097777A1 (en) | 3D Motion Interface Systems and Methods | |
| CN116324680A (zh) | 用于操纵环境中的对象的方法 | |
| US20130063560A1 (en) | Combined stereo camera and stereo display interaction | |
| Pan et al. | Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device | |
| Huy et al. | See-through and spatial augmented reality-a novel framework for human-robot interaction | |
| JP2009119579A (ja) | 情報処理装置、情報処理方法 | |
| Su et al. | Mixed reality-integrated 3D/2D vision mapping for intuitive teleoperation of mobile manipulator | |
| JP2017100234A (ja) | ティーチング結果表示システム | |
| WO2023000085A1 (en) | System and apparatus for remote interaction with an object | |
| JPH06131442A (ja) | ３次元虚像造形装置 | |
| JPH0421105A (ja) | マニピユレータの立体教示装置 | |
| JPS60126985A (ja) | 遠隔操作における作業状況表示装置 | |
| WO2017155005A1 (en) | Image processing method, display device, and inspection system | |
| JP3982664B2 (ja) | 画像提示装置 | |
| CN112181135B (zh) | 一种基于增强现实的6-dof视触觉交互方法 | |
| US8307295B2 (en) | Method for controlling a computer generated or physical character based on visual focus | |
| JP2022163836A (ja) | ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム | |
| Rezeck et al. | An Immersion Enhancing Robotic Head-Like Device for Teleoperation. | |
| JP2020175453A (ja) | 遠隔操作装置 | |
| JPH1177568A (ja) | 教示支援方法及び装置 | |
| Plopski et al. | Invisiblerobot: Facilitating robot manipulation through diminished reality | |
| JPS6077588A (ja) | 遠隔操作における作業状況フイ−ドバツク装置 |