JPH06339153A - 画像処理装置およびテレオペレーティングシステム - Google Patents

Abstract

(57)【要約】 【目的】 作業者に対しあたかも作業現場に居るような
視覚的臨場感を提供することができるとともに、作業者
の負担を軽減することができる画像処理装置およびテレ
オペレーティングシステムを提供することを目的とす
る。 【構成】 データ送受信装置１６がフォークリフト２の
データ送受信装置１５と種々のデータの授受を行うとと
もに、ドーム型表示装置２４に撮像データを供給し、頭
部位置検出センサ２３によって検出される頭部位置デー
タを読み込む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、作業現場から離れた場
所にいる作業者の動作や、当該作業者による操作子の操
作に基づいて処理を行う画像処理装置およびテレオペレ
ーティングシステムに関する。

【０００２】

【従来の技術】産業用車両テレオペレーティングシステ
ムをフォークリフトに適用した技術が特願平４−８４１
０８号に開示されており、以下の構成から成る。図２は
フォークリフト２の斜視図である。この図において、１
は三次元画像入力装置であり、作業現場の立体画像を入
力する。３はアームであり、フォークリフト２が積み降
ろしする荷物が載せられる。

【０００３】次に、図３は三次元画像入力装置１の拡大
図である。この図において、５はアクチュエータであ
り、前記軸ｘ、ｙ、ｚの回動に応じて作業現場の画像を
撮像する。当該ＴＶカメラ４Ｒ、４Ｌはフォークリフト
２に乗り込んだ場合の人の目の位置になる高さで設置さ
れ、これらのＴＶカメラ４ＬとＴＶカメラ４Ｒは、各
々、人の左右の眼に対応し、ＴＶカメラ４Ｒ、４Ｌの間
の距離は人の左右の眼の距離に相当している。

【０００４】次に、図４はオペレーティングボックス７
の斜視図であり、前記作業現場（フォークリフト２のあ
る場所）から離れた位置に配置される。この図におい
て、８は操作子群であり、作業者９の前方に設けられた
ハンドルその他種々のレバー等から構成される。当該操
作子群８が操作されることによりフォークリフト２の移
動方向およびアーム３の上下運動等が遠隔制御される。

【０００５】６は頭部装着型三次元画像表示装置であ
り、三次元画像入力装置１（図３）によって入力された
画像データを立体画像として作業者９に提供し、かつ、
当該作業者９の頭部位置データを検出する。この頭部装
着型三次元画像表示装置６の拡大図を図５に示す。この
図において、１４は表示部であり、人の左右の眼に対応
した２組の光学系から構成される。各々の光学系は表示
素子１０、ミラー１１、レンズ系１２から構成される。
センサ１３は３軸方向のジャイロスコープによって構成
され、作業者９の頭の向きを計測して前記頭部位置デー
タを検出する。

【０００６】次に、図１０は、従来のオペレーティング
システムの構成を示すブロック図である。図に示す三次
元画像入力装置１から出力された画像データはデータ送
受信装置１５から無線で送信され、オペレーティングボ
ックス７のデータ送受信装置１６によって受信される。
データ送受信装置１６は受信したデータを頭部装着型三
次元画像表示装置６へ送り、表示させる。

【０００７】また、頭部装着型三次元画像表示装置６の
センサ１３の出力はデータ送受信装置１６、１５を介し
て三次元画像入力装置１へ送られる。このセンサ１３の
出力に基づいて三次元画像入力装置１の各軸ｘ、ｙ、ｚ
（図３参照）が駆動される。また、操作子群８の出力は
データ送受信装置１６、１５を介してアーム３へ送ら
れ、これによりアーム３が駆動される。また、音響機器
１８の出力はデータ送受信装置１６、１５を介して音響
機器１７へ送られ、同様に音響機器１７の出力はデータ
送受信装置１６、１５を介して音響機器１８へ送られ
る。

【０００８】

【発明が解決しようとする課題】ところで、作業者９が
従来の頭部装着型三次元画像表示装置６を使用してあた
かも作業現場に居るような視覚的臨場感を得るために
は、次のような技術的課題が残されている。

【０００９】 頭部に装着する条件を満たした場合、
少ない面積に対してより多くの画素数の表示素子が必要
になる。 レンズ系を使用することにより大きい視野角で歪み
の無い、より高画質な画像を再生すること。 作業現場の画像と操作部の画像の調和を取り、その
度合いを高めること。

【００１０】また、作業者９は頭部装着型三次元画像表
示装置６を頭部に装着することから生ずる負担を受ける
ことを免れないという問題点がある。

【００１１】本発明は、このような事情に鑑みてなされ
たものであり、作業者に対しあたかも作業現場に居るよ
うな視覚的臨場感を提供することができるとともに、作
業者の負担を軽減することができる画像処理装置および
テレオペレーティングシステムを提供することを目的と
する。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に、請求項１に記載の発明にあっては、作業現場を撮影
し、その撮影結果を撮影信号として出力する撮影手段
と、前記作業現場から離れた位置に設置され、作業者の
頭部の位置を検出する頭部検出手段と、前記撮影手段の
撮影方向が前記頭部検出手段の検出結果に対応する方向
となるように前記撮影手段の向きを制御する撮影方向制
御手段と、前記作業者に対して画像を映し出すスクリー
ンと、前記撮影信号から画像光波を作成して前記スクリ
ーンに投影する投影手段とを具備することを特徴とす
る。

【００１３】また、請求項２に記載の発明にあっては、
作業現場を撮影し、その撮影結果を撮影信号として出力
する撮影手段と、前記作業現場から離れた位置に設置さ
れ、作業者の頭部の位置を検出する頭部検出手段と、前
記撮影手段の撮影方向が前記頭部検出手段の検出結果に
対応する方向となるように前記撮影手段の向きを制御す
る撮影方向制御手段と、偏光を保持できるものであっ
て、前記作業者に対して画像を映し出すスクリーンと、
偏光子が取り付けられたものであって、前記撮影信号か
ら画像光波を作成して前記スクリーンに投影する投影手
段とを具備することを特徴とする。

【００１４】また、請求項３に記載の発明にあっては、
作業現場を人の両眼と同様の視差を持って撮影し、その
撮影結果を左および右用の各撮影信号として出力する撮
影手段と、前記作業現場に配置される作業機器または産
業用車両と、前記作業現場から離れた位置に設置され、
作業者の頭部の位置を検出する頭部検出手段と、前記作
業者によって操作され、操作状況を示す信号を操作信号
として出力する操作手段と、前記撮影手段の撮影方向が
前記頭部検出手段の検出結果に対応する方向となるよう
に前記撮影手段の向きを制御する撮影方向制御手段と、
偏光を保持できるものであって、前記作業者に対して画
像を映し出すドーム状スクリーンと、偏光子が取り付け
られたものであって、前記左および右の各撮影信号から
左および右の各画像光波を作成して前記ドーム状スクリ
ーンに投影する投影手段と、前記左および右の各画像光
波に応じて偏光角を持つ偏光メガネと前記操作手段の操
作信号に基づいて前記作業機器を制御する作業機器制御
手段とを具備することを特徴とする。

【００１５】

【作用】上記構成を取ったため、請求項１に記載の発明
によれば、撮影手段は作業現場を撮影し、その撮影結果
を撮影信号として出力する。頭部検出手段は前記作業現
場から離れた位置に設置され、作業者の頭部の位置を検
出する。撮影方向制御手段は前記撮影手段の撮影方向が
前記頭部検出手段の検出結果に対応する方向となるよう
に前記撮影手段の向きを制御する。ドーム状スクリーン
は前記作業者を覆うように設置されて画像を映し出す。
投影手段は前記撮影信号から画像光波を作成して前記ド
ーム状スクリーンに投影する。

【００１６】また、請求項２に記載の発明によれば、撮
影手段は作業現場を撮影し、その撮影結果を撮影信号と
して出力する。頭部検出手段は前記作業現場から離れた
位置に設置され、作業者の頭部の位置を検出する。撮影
方向制御手段は前記撮影手段の撮影方向が前記頭部検出
手段の検出結果に対応する方向となるように前記撮影手
段の向きを制御する。ドーム状スクリーンは偏光を保持
できるものであって、前記作業者を覆うように設置され
て画像を映し出す。投影手段は偏光子が取り付けられた
ものであって、前記撮影信号から画像光波を作成して前
記ドーム状スクリーンに投影する。

【００１７】また、請求項３に記載の発明によれば、撮
影手段は作業現場を人の両眼と同様の視差を持って撮影
し、その撮影結果を左および右用の各撮影信号として出
力する。作業機器または産業用車両は前記作業現場に配
置される。頭部検出手段は前記作業現場から離れた位置
に設置され、作業者の頭部の位置を検出する。操作手段
は前記作業者によって操作され、操作状況を示す信号を
操作信号として出力する。撮影方向制御手段は前記撮影
手段の撮影方向が前記頭部検出手段の検出結果に対応す
る方向となるように前記撮影手段の向きを制御する。ド
ーム状スクリーンは偏光を保持できるものであって、前
記作業者を覆うように設置されて画像を映し出す。投影
手段は偏光子が取り付けられたものであって、前記左お
よび右の各撮影信号から左および右の各画像光波を作成
して前記ドーム状スクリーンに投影する。偏光メガネ前
記左および右の各画像光波に応じて偏光角を持つ。作業
機器制御手段は前記操作手段の操作信号に基づいて前記
作業機器を制御する。

【００１８】

【実施例】以下、図面を参照して、本発明の一実施例に
ついて説明する。

【００１９】§１．実施例の構成 本実施例が従来の構成と異なるところは、頭部装着型三
次元画像表示装置６に代えて、図１に示すドーム型表示
装置２４を用いたことである。このドーム型表示装置２
４において、２３は頭部位置検出センサであり、例え
ば、３軸方向のジャイロスコープ等によって構成され
る。当該頭部位置検出センサ２３によって検出された作
業者９の頭部位置は頭部位置データとしてデータ送受信
装置１６、１５を介して三次元画像入力装置１に供給さ
れる。

【００２０】２０はドーム状スクリーンであり、プロジ
ェクタ群２１から供給される光（画像）を投影する。こ
のドーム状スクリーン２０の材質は、プロジェクタ群２
１の光の反射光の偏光を保持する性質のもので、例え
ば、金属で乱反射し、しかも、反射効率が良いものが使
用される。また、金属粉を塗ったものでも良い。

【００２１】プロジェクタ群２１はプロジェクタ２１
Ｒ、２１Ｌから構成されている。当該各プロジェクタ２
１Ｒ、２１ＬはＴＶカメラ４Ｒ、４Ｌ（図３）の中心
と、ＴＶカメラ４Ｒ、４Ｌ、各々の、撮像方向の交点と
の距離に対応する視差が付くように配置されている。こ
のプロジェクタ群２１は三次元画像入力装置１からデー
タ送受信装置１５、１６を介して供給される撮影信号を
画像としてドーム状スクリーン２０に対して出力する。

【００２２】２２は偏光メガネであり、左および右の各
レンズは、各々、左眼用の画像、右眼用の画像に対応し
ている。

【００２３】次に、この実施例の構成について図６を参
照して説明する。この図が従来技術を示す図１０と異な
るところは、頭部装着型三次元画像表示装置６に代えて
ドーム型表示装置２４を用いたことである。

【００２４】この構成により、データ送受信装置１６が
フォークリフト２のデータ送受信装置１５と種々のデー
タの授受を行うとともに、ドーム型表示装置２４に前記
撮像データを供給し、前記頭部位置検出センサ２３によ
って検出される頭部位置データを読み込み、プロジェク
タ群２１に出力する。そして、作業者９による操作子群
８の操作によるデータをデータ送受信装置１５へ送信す
る。

【００２５】§２．実施例の動作 実施例の動作について図１０を参照して説明する。ま
ず、ドーム型表示装置２４に設けられた頭部位置検出セ
ンサ２３が３軸方向の頭部位置データ（角度に関するデ
ータ）を検出する。このようにして検出された頭部位置
データは、データ送受信装置１６に供給された後、無線
によりデータ送受信装置１５に伝送される。データ送受
信装置１５は受信した頭部位置データを三次元画像入力
装置１に出力する。これにより当該三次元画像入力装置
１内のアクチュエータ５（図３参照）は軸ｘ、ｙ、ｚを
前記頭部位置データに応じて回動させる。

【００２６】アクチュエータ５の各軸が回動すると、三
次元画像入力装置１のＴＶカメラ４Ｒ、４Ｌの撮像方向
が変化する。この変化方向は作業者９の頭部位置に追従
している。次に、三次元画像入力装置１はＴＶカメラ４
Ｒ、４Ｌによって撮像される新たな画像データをデータ
送受信装置１５に出力する。データ送受信装置１５は新
たな画像データを無線によって、オペレーティングボッ
クス７（図１参照）内のデータ送受信装置１６に伝送す
る。データ送受信装置１６は、新たな画像データをドー
ム型表示装置２４に出力する。

【００２７】ドーム型表示装置２４のプロジェクタ２１
Ｒ、２１Ｌは、各々、ＴＶカメラ４Ｒ、４Ｌ、各々の撮
像データをドーム状スクリーン２０に出力する。また、
上述したように、当該各プロジェクタ２１Ｒ、２１Ｌは
ＴＶカメラ４Ｒと４Ｌの相互の視差が保持されるように
配置されているため、撮像の際の視差がそのまま反映さ
れる。

【００２８】これにより、作業者９はドーム状スクリー
ン２０に映し出された画像を偏光メガネ２２を装着して
立体画像として見ることができる。そして、当該作業者
９は当該立体画像を見ながら操作子群８を操作する。当
該操作に基づいて作成された操作データはデータ送受信
装置１６に供給される。データ送受信装置１６は供給さ
れた該操作データをフォークリフト２内のデータ送受信
装置１５に送信する。

【００２９】データ送受信装置１５は送信された該操作
データをフォークリフト２のアーム３に出力する。これ
により当該フォークリフト２のアーム３や車輪が該操作
データに応じて動作する。例えば、該操作データがアー
ム３についてであれば、該アーム３の上下動が制御さ
れ、車輪についてであれば走行方向が制御される。その
ため、作業者９はあたかもフォークリフト２に乗ってい
るような感覚で作業を行うことができる。すなわち、作
業現場に居るような視覚的臨場感が満足された形で作業
を行うことができる。

【００３０】また、作業現場の音は音響機器１７によっ
て捕捉される。このようにして捕捉された現場音はデー
タ送受信装置１５に供給される。データ送受信装置１５
は当該作業現場の音を現場音信号としてデータ送受信装
置１６に送信する。データ送受信装置１６は受信した当
該現場音信号を音響機器１８に出力する。音響機器１８
は当該現場音信号に応じて発音する。そのため、作業者
９は現場音を聴くことができ、あたかも作業現場にいる
ような感覚で作業を行うことができる。

【００３１】また、作業者の声は音響機器１８によって
捕捉される。音響機器１８は当該声をデータ送受信装置
１６に送信する。データ送受信装置１６は当該声の信号
をデータ送受信装置１５に出力する。データ送受信装置
１５は当該声の信号を音響機器１７に出力する。音響機
器１７は当該声の信号を発音する。そのため、作業者９
は作業現場とは離れた場所にいながら作業現場にいる人
に対して指示を与えることができる。

【００３２】§３．他の変形例 実施例におけるドーム状スクリーン２０および偏光メ
ガネ２２においては、直線偏光フィルタを用いたが、円
偏光フィルタを使用しても良い。円偏光フィルタを使用
した場合について、図７〜図９を参照して説明する。図
７に示すように、プロジェクタ２１Ｒ、２１Ｌの各々
の、出射口には、各々、円偏光フィルタ２６Ｒ、２６Ｌ
が取り付けられており、円偏光フィルタ２６Ｒ、２６Ｌ
は透過した光が右回り円偏光と左回り円偏光となるよう
に配置されている。

【００３３】そして、図８に示すように、プロジェクタ
２１Ｒについては円偏光フィルタ２６Ｒは、直線偏光フ
ィルタである偏光子３０ａと１／４波長板３０ｂとを組
み合わせた構成になっている。両者は右回り円偏光にな
るように配置されている。一方、プロジェクタ２１Ｌに
ついても、同様な構成のフィルタが取り付けられてお
り、こちらの方は逆に、左回り円偏光になるように偏光
子３０ａと１／４波長板３０ｂが配置されている。

【００３４】また、図７に示すように偏光メガネ２２の
右および左の各々のレンズには、各々、右回り円偏光フ
ィルタ２７Ｒ、左回り円偏光フィルタ２７Ｌが取り付け
られている。そして、図８に示すように、右のレンズに
おいて円偏光フィルタ２７Ｒは、直線偏光フィルタであ
る偏光子３１ａと１／４波長板３１ｂとを組み合わせた
構成になっている。両者は右回り円偏光のみを透過させ
るべく配置されている。 一方、左のレンズにおいて
も、同様な構成のフィルタが取り付けられており、こち
らの方は逆に左回り円偏光のみを透過させるように１／
４波長板３１ｂと偏光子３１ａが配置されている。

【００３５】そのため、作業者９は、偏光メガネ２２を
装着することによりドーム状スクリーン２０に投影され
る画像を三次元立体画像として見ることができる。な
お、図７中ＳＲ、ＳＬは、各々、右眼、左眼に対応する
画像光波を示している。また、スクリーンは作業者の前
に位置し、必要な視野を確保できるものであれば良い。
すなわち、必ずしもドーム状である必要はなく、平板状
他の形状でも良い。

【００３６】図９の（イ）に示すように、１台のＴＶ
カメラに、ミラー系によって右映像と左映像とを分離入
力し、再生時は偏光板を介してスクリーンに投影し、そ
れを偏光目がねにより観察するようにすれば、ＴＶカメ
ラ１台でも、システムを構成することができる。また、
図９（ロ）に示すように、液晶シャッタ付きの目がねを
用いて左右の映像を時分割に観察する方法を用いてもよ
い。この場合、例えば、左右映像の交互分離取り込み
は、図９（イ）に示した光学系と同様のものを用い、左
右切換信号とともに行う。ただし、受光面を左用と右用
に分ける必要はなく、共通の受光面となるように光学系
を調整すればよい。再生時は、スクリーンに投影し、液
晶シャッタ目がねの左右の開閉を切り換える。

【００３７】§４．実施例の効果 作業者９は偏光メガネ２２を装着してドーム状スクリー
ン２０に映し出される画像を見るため、従来のようなレ
ンズ系１２は不要になる。また、作業者９の顔面と前記
偏光メガネ２２との間の空隙から、当該作業者９は手元
の操作部を直接見ることが可能になる。

【００３８】また、偏光メガネ２２は重量が軽く、さら
に、脱着も容易なため、従来の頭部装着型三次元画像表
示装置６に比較して作業者９の負担が軽減されるという
効果がある。なお、前記した実施例およびその効果は三
次元立体視を前提にしているが、これを二次元平面視に
置換する（カメラプロジャクタは各１台、偏光メガネ不
要）ことは容易であり、ケースに応じて使い分けるのが
賢明である。

【００３９】

【発明の効果】頭部装着型に比し下記の特徴がある。 ・ディスプレイを大きなスクリーンとしたことで、小面
積で高画素数の表示素子やレンズ系をしなくても視覚的
臨場感が得られる。 ・手元の操作部を直接見ることができる。 ・操作者が見ている方向のある範囲だけを表示すればよ
いのでその部分だけを高画質にすればよく、すでにある
投影装置で視覚的臨場感が得られる。 ・作業者の負担（違和感を含む）が減る。 ・また請求項３では立体視が可能となり、より視覚的臨
場感とハンドリングの正確さが増大する。

【図面の簡単な説明】

【図１】本発明の一実施例におけるドーム型表示装置２
４の斜視図である。

【図２】本発明の一実施例におけるフォークリフト２の
斜視図である。

【図３】本発明の一実施例における三次元画像入力装置
１の斜視図である。

【図４】作業者９が頭部装着型三次元画像表示装置６を
装着してオペレーティングボックス７に乗り込んだ斜視
図である。

【図５】頭部装着型三次元画像表示装置６の拡大図であ
る。

【図６】本発明の一実施例におけるテレオペレーティン
グシステムの構成を示すブロック図である。

【図７】本発明の一実施例におけるプロジェクタ群２１
と偏光メガネ２２を示す図である。

【図８】本発明の一実施例における偏光メガネ２２のフ
ィルタの配置を示す図である。

【図９】本発明の変形例を示す概略構成図である。

【図１０】従来のテレオペレーティングシステムの構成
を示すブロック図である。

【符号の説明】

２０ ドーム状スクリーン ２１ プロジェクタ群 ２２ 偏光メガネ ２３ 頭部位置検出センサ ２４ ドーム型表示装置

Claims (3)

【特許請求の範囲】
1. 【請求項１】 作業現場を撮影し、その撮影結果を撮影
   信号として出力する撮影手段と、 前記作業現場から離れた位置に設置され、作業者の頭部
   の位置を検出する頭部検出手段と、 前記撮影手段の撮影方向が前記頭部検出手段の検出結果
   に対応する方向となるように前記撮影手段の向きを制御
   する撮影方向制御手段と、 前記作業者に対して画像を映し出すスクリーンと、 前記撮影信号から画像光波を作成して前記スクリーンに
   投影する投影手段と、を具備することを特徴とする画像
   処理装置。
2. 【請求項２】 作業現場を撮影し、その撮影結果を撮影
   信号として出力する撮影手段と、 前記作業現場から離れた位置に設置され、作業者の頭部
   の位置を検出する頭部検出手段と、 前記撮影手段の撮影方向が前記頭部検出手段の検出結果
   に対応する方向となるように前記撮影手段の向きを制御
   する撮影方向制御手段と、 偏光を保持できるものであって、前記作業者に対して画
   像を映し出すスクリーンと、 偏光子が取り付けられたものであって、前記撮影信号か
   ら画像光波を作成して前記スクリーンに投影する投影手
   段と、を具備することを特徴とする画像処理装置。
3. 【請求項３】 作業現場を人の両眼と同様の視差を持っ
   て撮影し、その撮影結果を左および右用の各撮影信号と
   して出力する撮影手段と、 前記作業現場に配置される作業機器または産業用車両
   と、 前記作業現場から離れた位置に設置され、作業者の頭部
   の位置を検出する頭部検出手段と、 前記作業者によって操作され、操作状況を示す信号を操
   作信号として出力する操作手段と、 前記撮影手段の撮影方向が前記頭部検出手段の検出結果
   に対応する方向となるように前記撮影手段の向きを制御
   する撮影方向制御手段と、 偏光を保持できるものであって、前記作業者に対して画
   像を映し出すドーム状スクリーンと、 偏光子が取り付けられたものであって、前記左および右
   の各撮影信号から左および右の各画像光波を作成して前
   記ドーム状スクリーンに投影する投影手段と、 前記左および右の各画像光波に応じて偏光角を持つ偏光
   メガネと、 前記操作手段の操作信号に基づいて前記作業機器を制御
   する作業機器制御手段と、を具備することを特徴とする
   テレオペレーティングシステム。