JPH05289739A - 立体画像処理装置およびテレオペレーティングシステム - Google Patents
立体画像処理装置およびテレオペレーティングシステムInfo
- Publication number
- JPH05289739A JPH05289739A JP4084108A JP8410892A JPH05289739A JP H05289739 A JPH05289739 A JP H05289739A JP 4084108 A JP4084108 A JP 4084108A JP 8410892 A JP8410892 A JP 8410892A JP H05289739 A JPH05289739 A JP H05289739A
- Authority
- JP
- Japan
- Prior art keywords
- photographing
- worker
- head
- sound
- work site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003128 head Anatomy 0.000 claims abstract description 39
- 210000001508 eye Anatomy 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims description 18
- 210000005252 bulbus oculi Anatomy 0.000 claims description 15
- 230000005236 sound signal Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 5
- 230000001179 pupillary effect Effects 0.000 description 4
- 230000011514 reflex Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/07581—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Image Input (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
(57)【要約】
【目的】 産業用車両テレオペレーティングシステムに
おいて三次元認識が必要となる移動体の微妙な作業を通
信回線から供給される視覚情報と聴覚情報等に応じて、
作業者はあたかも移動体に乗っているような感覚でリモ
ートコントロール可能にするシステムの構築。 【構成】 フォークリフト２に、作業者９の目の高さに
三次元画像入力装置１を設置し、作業者９の視野内に納
まる画像を入力する。その画像は、オペレーティングボ
ックス７に無線で伝送される。作業者９は、頭部位置デ
ータに基づいて動作する頭部装着型三次元画像表示装置
６、および、無線を介して伝送される作業現場の音によ
りリアル感覚で操作を行える。なお、２台のＴＶカメラ
４Ｌ，４Ｒは、頭部位置データに追従して動作する。
おいて三次元認識が必要となる移動体の微妙な作業を通
信回線から供給される視覚情報と聴覚情報等に応じて、
作業者はあたかも移動体に乗っているような感覚でリモ
ートコントロール可能にするシステムの構築。 【構成】 フォークリフト２に、作業者９の目の高さに
三次元画像入力装置１を設置し、作業者９の視野内に納
まる画像を入力する。その画像は、オペレーティングボ
ックス７に無線で伝送される。作業者９は、頭部位置デ
ータに基づいて動作する頭部装着型三次元画像表示装置
６、および、無線を介して伝送される作業現場の音によ
りリアル感覚で操作を行える。なお、２台のＴＶカメラ
４Ｌ，４Ｒは、頭部位置データに追従して動作する。
Description
【０００１】
【産業上の利用分野】この発明は、作業現場から離れた
場所より作業者が指令を発することにより作業が可能な
テレオペレーティングシステムに関する。
場所より作業者が指令を発することにより作業が可能な
テレオペレーティングシステムに関する。
【０００２】
【従来の技術】冷蔵庫内などの人に対して悪環境の場所
で各種作業を行う場合、作業現場から離れた位置で遠隔
操作により作業装置を制御することがよく行われる。
で各種作業を行う場合、作業現場から離れた位置で遠隔
操作により作業装置を制御することがよく行われる。
【０００３】
【発明が解決しようとする課題】ところで、遠隔操作す
る場合、作業現場の映像をオペレータに伝送する必要が
あるが、オペレータに伝送される画像が３次元立体画像
であれば、オペレータは現場にいるような感覚で操作を
行うことができる。ここで、３次元立体画像の撮影およ
び表示を行う装置は、従来から種々開発されているか
ら、これらの装置を用いれば、作業現場の立体画像をオ
ペレータに伝達することができる。
る場合、作業現場の映像をオペレータに伝送する必要が
あるが、オペレータに伝送される画像が３次元立体画像
であれば、オペレータは現場にいるような感覚で操作を
行うことができる。ここで、３次元立体画像の撮影およ
び表示を行う装置は、従来から種々開発されているか
ら、これらの装置を用いれば、作業現場の立体画像をオ
ペレータに伝達することができる。
【０００４】ところで、袋詰めされた荷物などの不定形
なものをフォークリフトで積み上げる場合、荷の状態に
応じて傾きが生じるため、オペレータは傾きを調整しな
がら作業を行う必要がある。したがって、このような作
業においては、オペレータが見たい方向は作業状況に応
じて適宜変化する。しかしながら、上述した立体画像の
伝送装置を単に適用するだけでは、このような要求には
答えることができない。この発明は、上述した事情に鑑
みてなされたもので、オペレータが要求する視野を適切
に伝送することができる立体画像伝送システムおよびオ
ペレーティングを提供することを目的としている。
なものをフォークリフトで積み上げる場合、荷の状態に
応じて傾きが生じるため、オペレータは傾きを調整しな
がら作業を行う必要がある。したがって、このような作
業においては、オペレータが見たい方向は作業状況に応
じて適宜変化する。しかしながら、上述した立体画像の
伝送装置を単に適用するだけでは、このような要求には
答えることができない。この発明は、上述した事情に鑑
みてなされたもので、オペレータが要求する視野を適切
に伝送することができる立体画像伝送システムおよびオ
ペレーティングを提供することを目的としている。
【０００５】
【０００６】
【作用】請求項１に記載の発明にあっては、撮影手段は
作業現場を人の両眼と同様の視差を持って撮影し、その
撮影結果を左および右用の各撮影信号として出力する。
前記作業現場から離れた位置に設置された頭部検出手段
は作業者の頭部の向きを検出する。撮影方向制御手段は
前記撮影手段の撮影方向が前記頭部検出手段の検出結果
に対応するように前記撮影手段の向きを制御する。表示
手段は前記撮影手段が出力する左および右の各撮影信号
に基づく画像を前記作業者の左右の眼に各々表示する。
請求項２に記載の発明にあっては、眼球向検出手段が前
記作業者の眼球の向きを検出するとともに前記撮影方向
制御手段は前記眼球向検出手段の検出結果および前記頭
部検出手段の検出結果の双方に対応するように前記撮影
手段の向きを制御する。請求項３に記載の発明にあって
は、撮影手段が作業現場を人の両眼と同様の視差を持っ
て撮影しその撮影結果を左および右用の各撮影信号とし
て出力する。作業機器または産業用車両は前記作業現場
に配置される。頭部検出手段は前記作業現場から離れた
位置に設置され作業者の頭部の向きを検出する。操作手
段は前記作業者によって操作され操作状況を示す信号を
操作信号として出力する。撮影方向制御手段は、前記撮
影手段の撮影方向が前記頭部検出手段の検出結果に対応
するように前記撮影手段の向きを制御する。表示手段
は、前記撮影手段が出力する左および右の各撮影信号に
基づく画像を前記作業者の左右の眼に各々表示する。作
業機器制御手段は前記操作手段の操作信号に基づいて前
記作業機器を制御する。請求項４に記載の発明にあって
は、第１音響手段は前記作業現場に配置され、周囲の音
を捕捉して音声信号として出力するとともに外部から供
給される音声信号に基づいて発音を行う。第２音響手段
は前記作業者の声を音声信号に変換して前記第１音響手
段に供給するとともに前記第１音響手段が出力する音声
信号に基づいて発音を行う。請求項５に記載の発明にあ
っては、眼球向検出手段は前記作業者の眼球の向きを検
出する。前記撮影方向制御手段は前記眼球向検出手段の
検出結果および前記頭部検手段の検出結果の双方に対応
するように前記撮影手段の向きを制御する。
作業現場を人の両眼と同様の視差を持って撮影し、その
撮影結果を左および右用の各撮影信号として出力する。
前記作業現場から離れた位置に設置された頭部検出手段
は作業者の頭部の向きを検出する。撮影方向制御手段は
前記撮影手段の撮影方向が前記頭部検出手段の検出結果
に対応するように前記撮影手段の向きを制御する。表示
手段は前記撮影手段が出力する左および右の各撮影信号
に基づく画像を前記作業者の左右の眼に各々表示する。
請求項２に記載の発明にあっては、眼球向検出手段が前
記作業者の眼球の向きを検出するとともに前記撮影方向
制御手段は前記眼球向検出手段の検出結果および前記頭
部検出手段の検出結果の双方に対応するように前記撮影
手段の向きを制御する。請求項３に記載の発明にあって
は、撮影手段が作業現場を人の両眼と同様の視差を持っ
て撮影しその撮影結果を左および右用の各撮影信号とし
て出力する。作業機器または産業用車両は前記作業現場
に配置される。頭部検出手段は前記作業現場から離れた
位置に設置され作業者の頭部の向きを検出する。操作手
段は前記作業者によって操作され操作状況を示す信号を
操作信号として出力する。撮影方向制御手段は、前記撮
影手段の撮影方向が前記頭部検出手段の検出結果に対応
するように前記撮影手段の向きを制御する。表示手段
は、前記撮影手段が出力する左および右の各撮影信号に
基づく画像を前記作業者の左右の眼に各々表示する。作
業機器制御手段は前記操作手段の操作信号に基づいて前
記作業機器を制御する。請求項４に記載の発明にあって
は、第１音響手段は前記作業現場に配置され、周囲の音
を捕捉して音声信号として出力するとともに外部から供
給される音声信号に基づいて発音を行う。第２音響手段
は前記作業者の声を音声信号に変換して前記第１音響手
段に供給するとともに前記第１音響手段が出力する音声
信号に基づいて発音を行う。請求項５に記載の発明にあ
っては、眼球向検出手段は前記作業者の眼球の向きを検
出する。前記撮影方向制御手段は前記眼球向検出手段の
検出結果および前記頭部検手段の検出結果の双方に対応
するように前記撮影手段の向きを制御する。
【０００７】
【実施例】次に、この発明の一実施例について説明す
る。 Ａ：実施例の構成 まず、この発明の一実施例である産業用車両テレオペレ
ーティングシステムをフォークリフトに適用した場合の
構成概略について説明する。図１は、本オペレーティン
グシステムで使用するフォークリフト２の斜視図であ
る。この図において、１は三次元画像入力装置であり作
業現場の立体画像を入力するための装置である。３は、
フォークリフト２が荷物の積み下ろし等をするためのア
ームである。
る。 Ａ：実施例の構成 まず、この発明の一実施例である産業用車両テレオペレ
ーティングシステムをフォークリフトに適用した場合の
構成概略について説明する。図１は、本オペレーティン
グシステムで使用するフォークリフト２の斜視図であ
る。この図において、１は三次元画像入力装置であり作
業現場の立体画像を入力するための装置である。３は、
フォークリフト２が荷物の積み下ろし等をするためのア
ームである。
【０００８】次に、図２は、三次元画像入力装置１の拡
大図である。同図に示すように、この三次元画像入力装
置１は２台のＴＶカメラ４Ｌ，４Ｒおよびアクチュエー
タ５から構成されている。また、アクチュエータ５は、
ＴＶカメラ４が任意の方向の作業現場の画像を撮像でき
るように、軸ｘ，ｙおよびｚを回動させるものである。
ここでＴＶカメラ４Ｌ，４Ｒの高さは、一般的作業者が
フォークリフト２に乗り込んだ時の目の位置にくるよう
に設置されている。また、ＴＶカメラ４Ｌと４Ｒの距離
は、人間の左右の目の距離に相当している。このＴＶカ
メラ４Ｌ，４Ｒは、上述したように一般的作業者がフォ
ークリフト２に乗って作業を行う時に視野内に納まる画
像を撮像する。
大図である。同図に示すように、この三次元画像入力装
置１は２台のＴＶカメラ４Ｌ，４Ｒおよびアクチュエー
タ５から構成されている。また、アクチュエータ５は、
ＴＶカメラ４が任意の方向の作業現場の画像を撮像でき
るように、軸ｘ，ｙおよびｚを回動させるものである。
ここでＴＶカメラ４Ｌ，４Ｒの高さは、一般的作業者が
フォークリフト２に乗り込んだ時の目の位置にくるよう
に設置されている。また、ＴＶカメラ４Ｌと４Ｒの距離
は、人間の左右の目の距離に相当している。このＴＶカ
メラ４Ｌ，４Ｒは、上述したように一般的作業者がフォ
ークリフト２に乗って作業を行う時に視野内に納まる画
像を撮像する。
【０００９】次に、図３は、作業現場から離れた位置に
配置されるオペレーティングボックス７の斜視図であ
る。この図において、８は操作子群である。操作子群８
は、作業者９の前方に設けられたハンドルその他種々の
レバー等から成るものであり、フォークリフト２の移動
方向およびそのアーム３の上下運動等を制御する。ま
た、６は頭部装着型三次元画像表示装置であり、三次元
画像入力装置１によって入力された画像を立体画像とし
て作業者９に提供するとともに作業者９の頭部位置デー
タを検出する機能を有する。
配置されるオペレーティングボックス７の斜視図であ
る。この図において、８は操作子群である。操作子群８
は、作業者９の前方に設けられたハンドルその他種々の
レバー等から成るものであり、フォークリフト２の移動
方向およびそのアーム３の上下運動等を制御する。ま
た、６は頭部装着型三次元画像表示装置であり、三次元
画像入力装置１によって入力された画像を立体画像とし
て作業者９に提供するとともに作業者９の頭部位置デー
タを検出する機能を有する。
【００１０】この頭部装着型三次元画像表示装置６の拡
大図を図４に示す。同図に示すように、表示部１４およ
びセンサ１３を有している。表示部１４は、左右の目に
対応した２組の光学系から成り、１つの光学系は表示素
子１０、ミラー１１およびレンズ系１２から構成されて
いる。センサ１３は、頭部位置データを検出する機能を
有しており、例えば、３軸方向のジャイロスコープ等に
よって構成され、作業者９の頭の角度を計測する。
大図を図４に示す。同図に示すように、表示部１４およ
びセンサ１３を有している。表示部１４は、左右の目に
対応した２組の光学系から成り、１つの光学系は表示素
子１０、ミラー１１およびレンズ系１２から構成されて
いる。センサ１３は、頭部位置データを検出する機能を
有しており、例えば、３軸方向のジャイロスコープ等に
よって構成され、作業者９の頭の角度を計測する。
【００１１】次に、この実施例の電機的構成について図
５を参照して説明する。図において、１５および１６は
データ送受信装置である。まず、データ送受信装置１５
は、オペレーティングボックス７のデータ送受信装置１
６との間で種々のデータを送受信する。また、データ送
受信装置１５は三次元画像入力装置１の撮像データを読
み込むとともに、アクチュエータ５を制御する。また、
アーム３の上下動を制御する。１７は、音響機器であ
り、作業現場の音を捕捉してデータ送受信装置１５に出
力するとともに、データ送受信装置１５から供給される
音声信号を発音する。
５を参照して説明する。図において、１５および１６は
データ送受信装置である。まず、データ送受信装置１５
は、オペレーティングボックス７のデータ送受信装置１
６との間で種々のデータを送受信する。また、データ送
受信装置１５は三次元画像入力装置１の撮像データを読
み込むとともに、アクチュエータ５を制御する。また、
アーム３の上下動を制御する。１７は、音響機器であ
り、作業現場の音を捕捉してデータ送受信装置１５に出
力するとともに、データ送受信装置１５から供給される
音声信号を発音する。
【００１２】次に、データ送受信装置１６は、フォーク
リフト２のデータ送受信装置１５との間で種々のデータ
を送受信する。また、データ送受信装置１６は頭部装着
型三次元画像表示装置６に上述した撮像データを供給す
るとともに、センサ１３により検出される頭部位置デー
タを読み込む。また、操作子群８が操作されることによ
って生成される操作データを読み込む。１８は、音響機
器であり、作業者９の声をデータ送受信装置１６に出力
するとともに、データ送受信装置１６から供給される音
声信号を受信し発音する。
リフト２のデータ送受信装置１５との間で種々のデータ
を送受信する。また、データ送受信装置１６は頭部装着
型三次元画像表示装置６に上述した撮像データを供給す
るとともに、センサ１３により検出される頭部位置デー
タを読み込む。また、操作子群８が操作されることによ
って生成される操作データを読み込む。１８は、音響機
器であり、作業者９の声をデータ送受信装置１６に出力
するとともに、データ送受信装置１６から供給される音
声信号を受信し発音する。
【００１３】Ｂ：実施例の動作 実施例の動作について図５を参照して説明する。まず、
頭部装着型三次元画像表示装置６に設けられたセンサ１
３が３軸方向の頭部位置データ（角度に関するデータ）
を検出する。このようにして検出された頭部位置データ
は、データ送受信装置１６に供給される。そして、無線
によりデータ送受信装置１５に伝送される。データ送受
信装置１５は、受信した頭部位置データを三次元画像入
力装置１に出力する。これにより三次元画像入力装置１
内のアクチュエータ５が軸ｘ，ｙおよびｚを頭部位置デ
ータに応じて回動する。
頭部装着型三次元画像表示装置６に設けられたセンサ１
３が３軸方向の頭部位置データ（角度に関するデータ）
を検出する。このようにして検出された頭部位置データ
は、データ送受信装置１６に供給される。そして、無線
によりデータ送受信装置１５に伝送される。データ送受
信装置１５は、受信した頭部位置データを三次元画像入
力装置１に出力する。これにより三次元画像入力装置１
内のアクチュエータ５が軸ｘ，ｙおよびｚを頭部位置デ
ータに応じて回動する。
【００１４】アクチュエータ５の各軸が回動すると、三
次元画像入力装置１のＴＶカメラ４Ｌ，４Ｒの撮像方向
が変化する。この変化方向は作業者９の頭部位置に追従
したものである。次に、三次元画像入力装置１は、ＴＶ
カメラ４Ｌ，４Ｒによって撮影される新たな画像データ
をデータ送受信装置１５に出力する。データ送受信装置
１５は、新たな画像データを無線によって、オペレーテ
ィングボックス７内のデータ送受信装置１６に伝送す
る。データ送受信装置１６は、新たな画像データを頭部
装着型三次元画像表示装置６に出力する。頭部装着型三
次元画像表示装置６の表示部１４は、ＴＶカメラ４Ｌの
撮像データを左目用としＴＶカメラ４Ｒの撮像データを
右目用として表示する。この結果撮像の際の視差（カメ
ラの視差）がそのまま反映され、作業者９はその映し出
されたデータを立体画像として見ることができる。
次元画像入力装置１のＴＶカメラ４Ｌ，４Ｒの撮像方向
が変化する。この変化方向は作業者９の頭部位置に追従
したものである。次に、三次元画像入力装置１は、ＴＶ
カメラ４Ｌ，４Ｒによって撮影される新たな画像データ
をデータ送受信装置１５に出力する。データ送受信装置
１５は、新たな画像データを無線によって、オペレーテ
ィングボックス７内のデータ送受信装置１６に伝送す
る。データ送受信装置１６は、新たな画像データを頭部
装着型三次元画像表示装置６に出力する。頭部装着型三
次元画像表示装置６の表示部１４は、ＴＶカメラ４Ｌの
撮像データを左目用としＴＶカメラ４Ｒの撮像データを
右目用として表示する。この結果撮像の際の視差（カメ
ラの視差）がそのまま反映され、作業者９はその映し出
されたデータを立体画像として見ることができる。
【００１５】作業者９は、その立体画像を見ながら操作
子群８を操作する。すると、その操作データはデータ送
受信装置１６に供給される。データ送受信装置１６は、
供給された操作データをフォークリフト２内のデータ送
受信装置１５に送信する。データ送受信装置１５は、送
信されたデータをフォークリフト２に出力する。すると
フォークリフト２のアーム３や車輪等は操作データに応
じて動作する。例えば、アーム３についての操作データ
であれば上下動が制御され、車輪についての操作データ
であれば走行方向が制御される。そのため、作業者９
は、あたかもフォークリフト２に乗っているような感覚
で作業を行うことができる。
子群８を操作する。すると、その操作データはデータ送
受信装置１６に供給される。データ送受信装置１６は、
供給された操作データをフォークリフト２内のデータ送
受信装置１５に送信する。データ送受信装置１５は、送
信されたデータをフォークリフト２に出力する。すると
フォークリフト２のアーム３や車輪等は操作データに応
じて動作する。例えば、アーム３についての操作データ
であれば上下動が制御され、車輪についての操作データ
であれば走行方向が制御される。そのため、作業者９
は、あたかもフォークリフト２に乗っているような感覚
で作業を行うことができる。
【００１６】また、作業現場の音は音響機器１７によっ
て捕捉される。このようにして捕捉された現場音は、デ
ータ送受信装置１５に供給される。データ送受信装置１
５は、現場音の信号をデータ送受信装置１６に送信す
る。データ送受信装置１６は受信した現場音を音響機器
１８に出力する。音響機器１８はこの現場音信号を発音
する。そのため作業者９は、現場音を聞くことができ
る。そのため、作業者９は、あたかも現場にいるような
感覚で作業を行うことができる。一方、作業者９の声は
音響機器１８が捕捉する。音響機器１８は、この声をデ
ータ送受信装置１６に送信する。データ送受信装置１６
は、この声の信号をデータ送受信装置１５に出力する。
データ送受信装置１５はこの声信号を音響機器１７に出
力する。音響機器１７は、この声信号を発音する。その
ため、作業者９は、作業現場とは離れた場所にいながら
作業現場にいる人に対して指示を与えることができる。
て捕捉される。このようにして捕捉された現場音は、デ
ータ送受信装置１５に供給される。データ送受信装置１
５は、現場音の信号をデータ送受信装置１６に送信す
る。データ送受信装置１６は受信した現場音を音響機器
１８に出力する。音響機器１８はこの現場音信号を発音
する。そのため作業者９は、現場音を聞くことができ
る。そのため、作業者９は、あたかも現場にいるような
感覚で作業を行うことができる。一方、作業者９の声は
音響機器１８が捕捉する。音響機器１８は、この声をデ
ータ送受信装置１６に送信する。データ送受信装置１６
は、この声の信号をデータ送受信装置１５に出力する。
データ送受信装置１５はこの声信号を音響機器１７に出
力する。音響機器１７は、この声信号を発音する。その
ため、作業者９は、作業現場とは離れた場所にいながら
作業現場にいる人に対して指示を与えることができる。
【００１７】Ｃ：他の実施例 まず、上述した実施例で用いたセンサ１３としては３個
のサーチコイルを用いてもよい。この場合には、他に固
定された３個のサーチコイルによって発生される３軸の
磁界によりサーチコイルに誘起される電圧の相関関係を
利用して作業者９の頭部位置を計測する。次に、頭部位
置を検出するためにセンサ１３以外のものを用いる場合
には、頭部装着型三次元画像表示装置６に赤外線、可視
光等の電磁波の発信源を取り付け、作業者９の周辺にそ
れらの受信機を設置することにより、作業者９の頭部位
置を計測すればよい。また、ビデオカメラでオペレータ
の頭部を撮像し、画像処理を施すことにより作業者９の
頭部位置を検出してもよい。さらに、機械的な方法、例
えば、頭部装着型三次元画像表示装置６に３軸方向にゴ
ムや糸等を取り付けることにより、その相関から頭部位
置を検出する仕組にしてもよい。
のサーチコイルを用いてもよい。この場合には、他に固
定された３個のサーチコイルによって発生される３軸の
磁界によりサーチコイルに誘起される電圧の相関関係を
利用して作業者９の頭部位置を計測する。次に、頭部位
置を検出するためにセンサ１３以外のものを用いる場合
には、頭部装着型三次元画像表示装置６に赤外線、可視
光等の電磁波の発信源を取り付け、作業者９の周辺にそ
れらの受信機を設置することにより、作業者９の頭部位
置を計測すればよい。また、ビデオカメラでオペレータ
の頭部を撮像し、画像処理を施すことにより作業者９の
頭部位置を検出してもよい。さらに、機械的な方法、例
えば、頭部装着型三次元画像表示装置６に３軸方向にゴ
ムや糸等を取り付けることにより、その相関から頭部位
置を検出する仕組にしてもよい。
【００１８】また、上述した実施例においては、作業者
９の動きに関するデータのうち頭部位置データのみをフ
ォークリフト２の制御データに利用していたが、左右の
目の動き、すなわち、眼球位置をも検出することによっ
てさらに緻密な制御を施してもよい。この場合、眼球位
置の検出は、瞳孔反射および角膜反射（照射された光が
角膜の表面で反射したものをいう）を検出する凝視点検
出装置を三次元画像表示装置５に取り付けて行ってもよ
い。
９の動きに関するデータのうち頭部位置データのみをフ
ォークリフト２の制御データに利用していたが、左右の
目の動き、すなわち、眼球位置をも検出することによっ
てさらに緻密な制御を施してもよい。この場合、眼球位
置の検出は、瞳孔反射および角膜反射（照射された光が
角膜の表面で反射したものをいう）を検出する凝視点検
出装置を三次元画像表示装置５に取り付けて行ってもよ
い。
【００１９】なお、眼球位置検出（凝視点検出）に係る
技術としてＡＳＬ社のモデル４１００Ｈ頭部装着式光学
系装置が知られている。かかる装置によれば、瞳孔反射
および角膜反射は、近赤外線照射装置によって照射され
ている作業者９の一方の目を凝視線検出装置に備えられ
ている瞳孔カメラによって撮影する。瞳孔カメラの光軸
を三次元画像表示装置５のレンズ系１２の光軸と同軸に
なるように設定することにより、眼球位置データと頭部
位置データの対応関係は容易に図られる。また、この瞳
孔レンズは、網膜から反射された部分的に視準されたビ
ームを捕捉するようになっている。したがって瞳孔カメ
ラのセンサに到着する映像は、後方照射されており明る
いため容易に識別可能である。これにより得られるデー
タを利用することによって瞳孔反射と角膜反射の距離が
測定され、頭部の移動と独立した関係下で凝視線が特定
される。したがって、頭部位置と眼球位置を組み合わせ
ることによって三次元画像入力装置１を制御するデータ
を特定することが可能になる。また、逆に、眼球位置の
みを三次元画像入力装置１を制御するためのデータとし
てもよい。
技術としてＡＳＬ社のモデル４１００Ｈ頭部装着式光学
系装置が知られている。かかる装置によれば、瞳孔反射
および角膜反射は、近赤外線照射装置によって照射され
ている作業者９の一方の目を凝視線検出装置に備えられ
ている瞳孔カメラによって撮影する。瞳孔カメラの光軸
を三次元画像表示装置５のレンズ系１２の光軸と同軸に
なるように設定することにより、眼球位置データと頭部
位置データの対応関係は容易に図られる。また、この瞳
孔レンズは、網膜から反射された部分的に視準されたビ
ームを捕捉するようになっている。したがって瞳孔カメ
ラのセンサに到着する映像は、後方照射されており明る
いため容易に識別可能である。これにより得られるデー
タを利用することによって瞳孔反射と角膜反射の距離が
測定され、頭部の移動と独立した関係下で凝視線が特定
される。したがって、頭部位置と眼球位置を組み合わせ
ることによって三次元画像入力装置１を制御するデータ
を特定することが可能になる。また、逆に、眼球位置の
みを三次元画像入力装置１を制御するためのデータとし
てもよい。
【００２０】
【効果】撮影手段は作業現場を人の両眼と同様の視差を
持って撮影し、その撮影結果を左および右用の各撮影信
号として出力し、表示手段はその各撮影信号に基づく画
像を作業者の左右の眼に各々表示するため、前記作業者
は前記撮影結果を立体画像として見ることができる。操
作手段は前記作業者によって操作され操作状況を示す信
号を操作信号として出力し、撮影方向制御手段は、前記
撮影手段の撮影方向が頭部検出手段の検出結果に対応す
るように前記撮影手段の向きを制御するため、前記作業
者はフォークリフトに乗っているような感覚で作業を行
うことができる。第２音響手段は前記作業者の声を音声
信号に変換して第１音響手段に供給するとともに前記第
１音響手段が出力する音声信号に基づいて発音を行うた
め前記作業者は作業現場の音を聞くことができるため、
あたかも現場にいるような感覚で作業を行うことができ
る。前記第１音響手段は前記作業現場に配置され、周囲
の音を捕捉して音声信号として出力するとともに外部か
ら供給される音声信号に基づいて発音を行うため、前記
作業者は、前記作業現場とは離れた場所にいながら前記
作業現場にいる人に対して指示を与えることができる。
持って撮影し、その撮影結果を左および右用の各撮影信
号として出力し、表示手段はその各撮影信号に基づく画
像を作業者の左右の眼に各々表示するため、前記作業者
は前記撮影結果を立体画像として見ることができる。操
作手段は前記作業者によって操作され操作状況を示す信
号を操作信号として出力し、撮影方向制御手段は、前記
撮影手段の撮影方向が頭部検出手段の検出結果に対応す
るように前記撮影手段の向きを制御するため、前記作業
者はフォークリフトに乗っているような感覚で作業を行
うことができる。第２音響手段は前記作業者の声を音声
信号に変換して第１音響手段に供給するとともに前記第
１音響手段が出力する音声信号に基づいて発音を行うた
め前記作業者は作業現場の音を聞くことができるため、
あたかも現場にいるような感覚で作業を行うことができ
る。前記第１音響手段は前記作業現場に配置され、周囲
の音を捕捉して音声信号として出力するとともに外部か
ら供給される音声信号に基づいて発音を行うため、前記
作業者は、前記作業現場とは離れた場所にいながら前記
作業現場にいる人に対して指示を与えることができる。
【図１】 オペレーティングシステムで使用するフォー
クリフト２を表す図である。
クリフト２を表す図である。
【図２】 三次元画像入力装置１を表す斜視図である。
【図３】 オペレーティングボックス７を表す斜視図で
ある。
ある。
【図４】 頭部装着型三次元画像表示装置６を表す図で
ある。
ある。
【図５】 産業用車両テレオペレーティングシステムの
構成概略図である。
構成概略図である。
１……三次元画像入力装置、２……フォークリフト、３
……アーム、４……ＴＶカメラ、５……アクチュエー
タ、６……頭部装着型三次元画像表示装置、７……オペ
レーティングボックス、８……操作子群、９……作業
者、１０……表示素子、１１……ミラー、１２……レン
ズ系、１３……センサ、１４……表示部、１５，１６…
…データ送受信装置、１７……凝視線検出装置。
……アーム、４……ＴＶカメラ、５……アクチュエー
タ、６……頭部装着型三次元画像表示装置、７……オペ
レーティングボックス、８……操作子群、９……作業
者、１０……表示素子、１１……ミラー、１２……レン
ズ系、１３……センサ、１４……表示部、１５，１６…
…データ送受信装置、１７……凝視線検出装置。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹内 浩一郎 三重県伊勢市竹ヶ鼻町100番地 神鋼電機 株式会社伊勢製作所内
Claims (5)
- 【請求項１】 作業現場を人の両眼と同様の視差を持っ
て撮影し、その撮影結果を左および右用の各撮影信号と
して出力する撮影手段と、 前記作業現場から離れた位置に設置され、作業者の頭部
の向きを検出する頭部検出手段と、 前記撮影手段の撮影方向が前記頭部検出手段の検出結果
に対応するように前記撮影手段の向きを制御する撮影方
向制御手段と、 前記撮影手段が出力する左および右の各撮影信号に基づ
く画像を前記作業者の左右の眼に各々表示する表示手段
とを具備することを特徴とする立体画像処理装置。 - 【請求項２】 前記作業者の眼球の向きを検出する眼球
向検出手段を設けるとともに、前記撮影方向制御手段は
前記眼球向検出手段の検出結果および前記頭部検出手段
の検出結果の双方に対応するように前記撮影手段の向き
を制御することを特徴とする請求項１に記載の立体画像
処理装置。 - 【請求項３】 作業現場を人の両眼と同様の視差を持っ
て撮影し、その撮影結果を左および右用の各撮影信号と
して出力する撮影手段と、 前記作業現場に配置される作業機器または産業用車両
と、 前記作業現場から離れた位置に設置され、作業者の頭部
の向きを検出する頭部検出手段と、 前記作業者によって操作され、操作状況を示す信号を操
作信号として出力する操作手段と、 前記撮影手段の撮影方向が前記頭部検出手段の検出結果
に対応するように前記撮影手段の向きを制御する撮影方
向制御手段と、 前記撮影手段が出力する左および右の各撮影信号に基づ
く画像を前記作業者の左右の眼に各々表示する表示手段
と、 前記操作手段の操作信号に基づいて前記作業機器を制御
する作業機器制御手段とを具備することを特徴とするテ
レオペレーティングシステム。 - 【請求項４】 前記作業現場に配置され、周囲の音を捕
捉して音声信号として出力するとともに、外部から供給
される音声信号に基づいて発音を行う第１音響手段と、 前記作業者の声を音声信号に変換して前記第１音響手段
に供給するとともに、前記第１音響手段が出力する音声
信号に基づいて発音を行う第２音響手段とを具備するこ
とを特徴とする請求項３記載のテレオペレーティングシ
ステム。 - 【請求項５】 前記作業者の眼球の向きを検出する眼球
向検出手段を設けるとともに、前記撮影方向制御手段は
前記眼球向検出手段の検出結果および前記頭部検手段の
検出結果の双方に対応するように前記撮影手段の向きを
制御することを特徴とする請求項３または４に記載のテ
レオペレーティングシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4084108A JPH05289739A (ja) | 1992-04-06 | 1992-04-06 | 立体画像処理装置およびテレオペレーティングシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4084108A JPH05289739A (ja) | 1992-04-06 | 1992-04-06 | 立体画像処理装置およびテレオペレーティングシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05289739A true JPH05289739A (ja) | 1993-11-05 |
Family
ID=13821333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4084108A Pending JPH05289739A (ja) | 1992-04-06 | 1992-04-06 | 立体画像処理装置およびテレオペレーティングシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05289739A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07246183A (ja) * | 1994-03-11 | 1995-09-26 | Olympus Optical Co Ltd | 電子内視鏡システム |
| JPH07296299A (ja) * | 1994-04-20 | 1995-11-10 | Nissan Motor Co Ltd | 画像処理装置およびそれを用いた居眠り警報装置 |
| DE19906244A1 (de) * | 1999-02-15 | 2000-08-24 | Alf Holger Tschersich | Vorrichtung zur elektrischen realen Raumbildvermittlung ferngelenkter selbstbeweglicher Vorrichtungen |
| GB2460326A (en) * | 2008-05-26 | 2009-12-02 | Jungheinrich Ag | Wireless remote control of a floor conveyor |
| EP3216743A1 (de) * | 2016-03-07 | 2017-09-13 | STILL GmbH | Flurförderzeug mit assistenzvorrichtung |
| WO2019208174A1 (ja) * | 2018-04-23 | 2019-10-31 | 株式会社豊田自動織機 | 産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法 |
| JP2020501424A (ja) * | 2016-12-01 | 2020-01-16 | ヴァルヨ テクノロジーズ オーユー | 撮像システム、およびコンテキスト画像とフォーカス画像とを作成する方法 |
| JP2020023373A (ja) * | 2018-08-06 | 2020-02-13 | 株式会社豊田自動織機 | リーチ式フォークリフト用荷役作業支援装置 |
| JP2020031435A (ja) * | 2019-10-31 | 2020-02-27 | ヤンマー株式会社 | 作業機、表示装置および作業機の遠隔操作のための表示システム |
| JP2020033165A (ja) * | 2018-08-31 | 2020-03-05 | 株式会社豊田自動織機 | フォークリフト用遠隔操作システム |
| JP2020083572A (ja) * | 2018-11-28 | 2020-06-04 | 株式会社豊田自動織機 | フォークリフト用運転支援装置 |
-
1992
- 1992-04-06 JP JP4084108A patent/JPH05289739A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07246183A (ja) * | 1994-03-11 | 1995-09-26 | Olympus Optical Co Ltd | 電子内視鏡システム |
| JPH07296299A (ja) * | 1994-04-20 | 1995-11-10 | Nissan Motor Co Ltd | 画像処理装置およびそれを用いた居眠り警報装置 |
| DE19906244A1 (de) * | 1999-02-15 | 2000-08-24 | Alf Holger Tschersich | Vorrichtung zur elektrischen realen Raumbildvermittlung ferngelenkter selbstbeweglicher Vorrichtungen |
| GB2460326A (en) * | 2008-05-26 | 2009-12-02 | Jungheinrich Ag | Wireless remote control of a floor conveyor |
| GB2460326B (en) * | 2008-05-26 | 2012-08-08 | Jungheinrich Ag | System for the remote control of a floor conveyor |
| EP3216743A1 (de) * | 2016-03-07 | 2017-09-13 | STILL GmbH | Flurförderzeug mit assistenzvorrichtung |
| JP2020501424A (ja) * | 2016-12-01 | 2020-01-16 | ヴァルヨ テクノロジーズ オーユー | 撮像システム、およびコンテキスト画像とフォーカス画像とを作成する方法 |
| WO2019208174A1 (ja) * | 2018-04-23 | 2019-10-31 | 株式会社豊田自動織機 | 産業車両用遠隔システム、産業車両、リモート装置、産業車両用遠隔プログラム、及び産業車両用遠隔方法 |
| JP2020023373A (ja) * | 2018-08-06 | 2020-02-13 | 株式会社豊田自動織機 | リーチ式フォークリフト用荷役作業支援装置 |
| JP2020033165A (ja) * | 2018-08-31 | 2020-03-05 | 株式会社豊田自動織機 | フォークリフト用遠隔操作システム |
| JP2020083572A (ja) * | 2018-11-28 | 2020-06-04 | 株式会社豊田自動織機 | フォークリフト用運転支援装置 |
| JP2020031435A (ja) * | 2019-10-31 | 2020-02-27 | ヤンマー株式会社 | 作業機、表示装置および作業機の遠隔操作のための表示システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107223223B (zh) | 一种无人机第一视角飞行的控制方法及系统、智能眼镜 | |
| US6445365B1 (en) | Image display apparatus and image photographing apparatus therefor | |
| JP3717653B2 (ja) | 頭部搭載型画像表示装置 | |
| JPH1073783A (ja) | 映像観察システム | |
| JPH08313843A (ja) | 視線追従方式による広視野高解像度映像提示装置 | |
| JPH0759032A (ja) | 画像ディスプレー装置 | |
| JPH086708A (ja) | 表示装置 | |
| JP2006502675A (ja) | 生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム | |
| JP2006308674A (ja) | 画像表示装置 | |
| JPH05289739A (ja) | 立体画像処理装置およびテレオペレーティングシステム | |
| CN113590070A (zh) | 导航界面的显示方法、装置、终端及存储介质 | |
| CN111283689A (zh) | 一种辅助肢体功能障碍者运动的装置及控制方法 | |
| EP1550895A2 (en) | System for the remote assistance of an operator during a work stage | |
| JP3201589B2 (ja) | 注視機能を付加した遠隔視覚提示装置 | |
| JP2561561B2 (ja) | ロボットハンドの遠隔操作システム | |
| JPH0446570B2 (ja) | ||
| JP2741063B2 (ja) | 広視野表示装置 | |
| JP2936544B2 (ja) | 視覚情報表示装置 | |
| JP3206874B2 (ja) | 遠隔施工支援用の画像システム | |
| KR101896239B1 (ko) | 모션인식을 이용한 드론 제어 시스템 | |
| JP2500747Y2 (ja) | 顔の向き判別装置 | |
| JPH11168755A (ja) | 立体映像撮像装置 | |
| JPH09163192A (ja) | 遠隔監視装置 | |
| JPH04288122A (ja) | 視線表示装置 | |
| JPH07193796A (ja) | 映像通信システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20010508 |