JPH0617444A - 建設機械用遠隔操作装置 - Google Patents

Abstract

(57)【要約】 【目的】 モニタテレビから視線を外すことなく建設機
械の遠隔操作を行うことができる遠隔操作装置を提供す
る。 【構成】 パワーショベルに設けられた操作用のスイッ
チ類と同じ、イグニッションスイッチ２３やレバー２４
乃至２８を、ディスプレイ１１１に表示されたパワーシ
ョベルの作業領域Ａの画像に重ねて表示させ、ディスプ
レイ１１１に表示されたカーソル１７１をマウスの操作
で動かして、イグニッションスイッチ２３やレバー２４
乃至２８をディスプレイ１１１の表示画面上で操作し、
その操作に応じた動作制御用信号を、ホストコンピュー
タからパワーショベルの主制御装置に出力させるように
した。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、建設機械を遠隔地で操
作する際に用いられる遠隔操作装置に関するものであ
る。

【０００２】

【従来の技術】近年、建設現場においては、各種作業の
省力化や作業環境の向上を図るために、パワーショベル
やブルドーザといった建設機械の遠隔操作が推進されて
いる。そして、これらの機械を遠隔操作する場合には、
建設機械側に人間の目の代わりを果たすテレビカメラが
設けられ、遠隔操作地点には、テレビカメラで撮影した
画像を表示するモニタテレビと、操作用スイッチ類等か
らなる操作盤とが設けられる。

【０００３】従って、従来は、遠隔操作地点で建設機械
の遠隔操作を行うオペレータが、一方ではモニタテレビ
を見て現場の状況を把握しながら、他方では操作盤を見
て操作用スイッチ類の操作を行っていた。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
たように従来は、モニタテレビと操作盤とを交互に見な
がら遠隔操作を行わなければならないので、注意力が散
漫になり操作が行いにくくなる不具合があった。また、
従来は、現場の状況を視覚のみによって把握していたの
で、エンジン音の変化によって機械の調子や動作状態を
把握することができない不具合があった。

【０００５】本発明は前記事情に鑑みてなされたもので
あり、第１の目的とするところは、モニタテレビから視
線を外すことなく建設機械の遠隔操作を行うことができ
る遠隔操作装置を提供することにあり、第２の目的とす
るところは、視覚に加えて音声により現場の状況を把握
することができる遠隔操作装置を提供することにある。

【０００６】

【課題を解決するための手段】前記第１の目的を達成す
るために本発明は、建設機械を遠隔地で遠隔操作するた
めの遠隔操作装置であって、前記建設機械の作業領域を
撮影する撮影手段と、前記建設機械の操作用スイッチ類
の画像を生成する操作用画像生成手段と、前記撮影手段
で撮影された画像に前記操作画像生成手段で生成された
画像を合成する画像合成手段と、前記遠隔地に設けら
れ、前記画像合成手段で合成された画像を表示する表示
手段と、前記表示手段の画面上に表示された前記操作用
スイッチ類を該画面上で操作するための操作用入力手段
と、前記操作用入力手段による前記画面上での前記操作
用スイッチ類の操作に連動して前記建設機械の動作を制
御する制御手段とを備えることを特徴とする。また、前
記第１の目的に加えて前記第２の目的を達成するために
本発明は、前記建設機械に設けられた集音マイクと、前
記遠隔地に設けられ前記集音マイクで集音された音声を
出力するスピーカとをさらに備えるものとした。

【０００７】さらに、前記第２の目的を達成するために
本発明は、建設機械を遠隔地で遠隔操作するための遠隔
操作装置であって、前記建設機械の作業領域を撮影する
撮影手段と、前記建設機械に設けられた集音マイクと、
前記遠隔地に設けられ前記撮影手段で撮影された画像を
表示する表示手段と、前記遠隔地に設けられ前記集音マ
イクで集音された音声を出力するスピーカとを備えるこ
とを特徴とする。

【０００８】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明の一実施例による遠隔操作装置を含
むパワーショベルの遠隔操作側の概略装置構成を示す説
明図、図２は遠隔操作されるパワーショベルを示す側面
図、図３は図１に示す遠隔操作装置の要部構成を一部ブ
ロックにて示す説明図である。

【０００９】図２において１は、建設現場２で地山３の
掘削を行うパワーショベル（建設機械に相当）であり、
クローラ１０１と、クローラ１０１に対して水平方向へ
旋回可能に設けられた旋回台１０２と、旋回台１０２に
対して上下方向へ回動可能に設けられたアーム１０３
と、アーム１０３に対して上下方向へ回動可能に設けら
れたブーム１０４と、ブーム１０４に対して上下方向へ
回動可能に設けられたバケット１０５とを備えている。
また、パワーショベル１は、全体制御用の主制御装置
と、クローラ１０１、旋回台１０２、アーム１０３、ブ
ーム１０４、及びバケット１０５の駆動を制御する駆動
制御装置（図示せず）と、ディーゼルエンジンや油圧ポ
ンプからなり駆動制御装置によって制御される駆動源
（図示せず）とを備えている。

【００１０】旋回台１０２内には、パワーショベル１の
作業領域Ａを撮影するテレビカメラ１０６（撮影手段に
相当）と、撮影方向を指向する単一指向性の集音マイク
１０７とが設けられており、アーム１０３の上面には無
指向性のアンテナ１０８が設けられている。テレビカメ
ラ１０６は、図２中では１台のみ示しているが、実際に
は立体的な画像を得るために、旋回台１０２にオペレー
タ（図示せず）が搭乗した際にそのオペレータの左目及
び右目が位置する箇所にそれぞれ１台ずつ設けられてい
る。同様に、集音マイク１０７は、図２中では１本のみ
示しているが、実際には立体的な音場を得るために、旋
回台１０２にオペレータが搭乗した際にそのオペレータ
の左耳及び右耳が位置する箇所にそれぞれ１本ずつ設け
られている。

【００１１】そして、２台のテレビカメラ１０６で撮影
された画像の信号と、２本の集音マイク１０７で集音さ
れた音声の信号とは、不図示の変調器でそれぞれ変調さ
れて、アンテナ１０８から空中に無線で送出される。ま
た、アンテナ１０８で受信された無線信号は、不図示の
復調器で復調された後に前記主制御装置に入力される。

【００１２】一方、図１において５は、建設現場２から
離れた中継点４に立設された支柱であり、その上端には
中継アンテナ６と監視カメラ７とが設けられている。中
継アンテナ６は、パワーショベル１と後述のコントロー
ルルーム８との間で信号の空間伝送を行うためにパワー
ショベル１のアンテナ１０８に対応して設けられたもの
で、監視カメラ７は、パワーショベル１及びその周辺を
撮影するものである。尚、中継アンテナ６及び監視カメ
ラ７の指向方向の変更は、コントロールルーム８側にて
遠隔操作可能とされている。

【００１３】図１において８は、パワーショベル１の遠
隔操作が行われるコントロールルーム（遠隔地に相当）
であり、中継点４の近傍に設けられている。コントロー
ルルーム８には、監視カメラ７で撮影した画像を表示す
る監視モニタ９と、監視モニタ９と向かい合わせに配置
されたデスク１０と、デスク１０の上方に配置された立
体視モニタ装置１１と、立体視モニタ装置１１の両側に
配置された２本のスピーカ１２（図１では１本のみ示し
ている）と、ホストコンピュータ１３及びワイヤレスモ
デム１４とが設けられている。

【００１４】立体視モニタ装置１１はボックス型を呈し
ており、図１には示していないがその内部は、パワーシ
ョベル１の遠隔操作を行うオペレータＯが左目で覗き込
む左ボックス部分と右目で覗き込む右ボックス部分とに
区画されている。図３に示すように、立体視モニタ装置
１１の左右の各ボックス部分内には、ブラウン管等のデ
ィスプレイ１１１（表示手段に相当）と、中継点４の中
継アンテナ６が接続されたチューナ１１２と、チューナ
１１２及び後述のＲＧＢ＝ＮＴＳＣ信号変換用ボード１
５が接続された画像合成装置（画像合成手段に相当）１
１３とが設けられており、チューナ１１２には、図１中
では示していないが、スピーカ１２も接続されている。
尚、各ボックス部分外にはスイッチボックス１１４が設
けられている。

【００１５】ホストコンピュータ１３は、パワーショベ
ル１の動作制御用信号を出力すると共に、パワーショベ
ル１に設けられた操作用スイッチ類（図示せず）と同じ
操作用スイッチ類の画像Ｂ（図４）を生成するもので、
図１に示すように、ホストコンピュータ１３にはワイヤ
レスモデム１４が接続されており、ワイヤレスモデム１
４には中継アンテナ６がワイヤレス接続されている。

【００１６】ホストコンピュータ１３から出力されるパ
ワーショベル１の動作制御用信号は、ワイヤレスモデム
１４で変調されて中継アンテナ６から空中に無線で送出
される。一方、ホストコンピュータ１３で生成された操
作用スイッチ類の画像Ｂは、ホストコンピュータ１３の
外部スロットに挿入されたＲＧＢ＝ＮＴＳＣ信号変換用
ボード１５（図３）を介して、立体視モニタ装置１１の
左右の各ボックス部分に設けられた画像合成装置１１３
に出力される。

【００１７】また、図３に示すようにホストコンピュー
タ１３には、キーボード１６とマウス１７（操作用入力
手段に相当）とが接続されており、マウス１７は、パワ
ーショベル１の遠隔操作の際にデスク１０上で使用され
る。さらに、立体視モニタ装置１１に付設されたスイッ
チボックス１１４の切換状態は、ホストコンピュータ１
３の外部スロットに挿入されたＩ／Ｏボード１８を介し
てホストコンピュータ１３内にて検出される。そして、
ホストコンピュータ１３は、スイッチボックス１１４の
切換状態に応じて、内部で生成された操作用スイッチ類
の画像Ｂを画像合成装置１１３に対して出力し、或はそ
の出力を停止する。

【００１８】尚、本実施例では、操作用画像生成手段及
び制御手段がホストコンピュータ１３で構成されてお
り、このホストコンピュータ１３と、テレビカメラ１０
６、集音アンテナ１０７、アンテナ１０８、中継アンテ
ナ６、立体視モニタ装置１１、スピーカ１２、及びマウ
ス１７で遠隔操作装置が構成されている。

【００１９】次に、上記構成による本実施例の遠隔操作
装置によってパワーショベル１の遠隔操作を行う場合に
ついて説明する。先に述べたように、パワーショベル１
の２台のテレビカメラ１０６で撮影された画像の信号
は、アンテナ１０８から空中に送出されて中継アンテナ
６乃至立体視モニタ装置１１の左右の各ボックス部分に
設けられたチューナ１１２で受信され、画像合成装置１
１３を介してディスプレイ１１１に入力される。

【００２０】このため、立体視モニタ装置１１の左ボッ
クス部分に設けられたディスプレイ１１１には、旋回台
１０２に搭乗した不図示のオペレータの、左目の視界に
応じた作業領域Ａの画像が表示され、一方、右ボックス
部分に設けられたディスプレイ１１１には、不図示のオ
ペレータの左目の視界に応じた作業領域Ａの画像が表示
される。従って、コントロールルーム８のオペレータＯ
は、立体視モニタ装置１１の左右の各ボックス部分を左
右の目でそれぞれ覗き込んで、パワーショベル１の作業
領域Ａの立体的な画像を見ながらパワーショベル１の遠
隔操作を行っている。

【００２１】さて、パワーショベル１の操作に必要な操
作用スイッチ類をディスプレイ１１１に表示させるため
に、オペレータＯがスイッチボックス１１４を切り換え
ると、ホストコンピュータ１３で生成された操作用スイ
ッチ類の画像Ｂが、ＲＧＢ＝ＮＴＳＣ信号変換用ボード
１５でＲＧＢ信号からＮＴＳＣ信号に変換されて、左右
の各ボックス部分に設けられた画像合成装置１１３に入
力される。すると、画像合成装置１１３では、ＮＴＳＣ
信号に変換されたホストコンピュータ１３からの操作用
スイッチ類の画像Ｂが、立体視モニタ装置１１の左右の
各ボックス部分に設けられたディスプレイ１１１に表示
されている、パワーショベル１の２台のテレビカメラ１
０６で撮影された画像に重ねて表示されるように、画像
信号の合成処理が行われる。

【００２２】これに伴い、立体視モニタ装置１１の左右
の各ボックス部分に設けられたディスプレイ１１１に
は、図４に示すように、表示画面の上部にテレビカメラ
１０６で撮影された作業領域Ａの画像が表示され、下部
にホストコンピュータ１３で生成された操作用スイッチ
類の画像Ｂが表示される。ここで、図４に示した、ディ
スプレイ１１１の表示画面の下部に表示される操作用ス
イッチ類の画像Ｂの内容を説明すると、図４中２１はデ
ィーゼルエンジンの回転計、２２は燃料計、２３は押圧
ボタン式のイグニッションスイッチである。また、２４
は前後進レバー、２５は操舵レバー、２６は旋回台１０
２の旋回レバー、２７はアーム１０３の回動レバー、２
８はバケット１０５の回動レバーであり、以後の説明で
はこれらを総称してレバーと称する場合がある。

【００２３】尚、回転計２１及び燃料計２２におけるゲ
ージの表示は、パワーショベル１の主制御装置からホス
トコンピュータ１３へ無線で適宜供給される情報に基づ
いて行われる。

【００２４】そこで、オペレータＯは、デスク１０上で
マウス１７を操作し、ディスプレイ１１１に表示される
矢印型のカーソル１７１の移動動作とクリック動作とに
よって、所望のイグニッションスイッチ２３、又はレバ
ー２４乃至２８をディスプレイ１１１の表示画面上で操
作する。すると、マウス１７の操作がホストコンピュー
タ１３にて検出され、その操作に応じて、ディスプレイ
１１１の表示画面上におけるイグニッションスイッチ２
３の押圧状態やレバー２４乃至２８の位置が変更され
る。また、これと同時に、表示画面上で操作されたイグ
ニッションスイッチ２３又はレバー２４乃至２８とその
操作内容とを示すパワーショベル１の動作制御用信号
が、ホストコンピュータ１３内で生成される。

【００２５】生成されたパワーショベル１の動作制御用
信号は、ワイヤレスモデム１４、中継アンテナ６、及び
アンテナ１０８を介してパワーショベル１の主制御装置
に入力される。そして、この入力された動作制御用信号
に基づいて、ディーゼルエンジンや油圧ポンプ等の駆動
源が駆動制御装置により駆動制御されて、ディスプレイ
１１１の表示画面上で操作されたイグニッションスイッ
チ２３又はレバー２４乃至２８の操作内容に応じた動作
が各駆動部分で行われる。

【００２６】これと共に、パワーショベル１の旋回台１
２に設けられた２本の集音マイク１０７で集音された、
パワーショベル１の周辺の音声の信号が、アンテナ１０
８、及び中継アンテナ６を介してチューナ１１２に入力
される。入力された信号はチューナ１１２で復調され、
立体視モニタ装置１１の両側に配置された２本のスピー
カ１２から音声出力される。

【００２７】このように、本実施例の遠隔操作装置で
は、パワーショベル１に設けられた操作用のスイッチ類
と同じ、イグニッションスイッチ２３やレバー２４乃至
２８を、パワーショベル１に設けたテレビカメラ１０６
による撮影画像の表示を行うディスプレイ１１１に重ね
て表示させ、マウス１７の操作によるディスプレイ１１
１の表示画面上でのイグニッションスイッチ２３やレバ
ー２４乃至２８の操作に応じた動作制御用信号を、ホス
トコンピュータ１３からパワーショベル１の主制御装置
に出力させるようにした。このため、オペレータＯは、
ディスプレイ１１１から視線を外すことなくパワーショ
ベル１の遠隔操作を行うことができ、よって、オペレー
タＯの注意力が散漫になるのを防止して操作を行い易く
することができる。

【００２８】さらに、本実施例の遠隔操作装置では、パ
ワーショベル１の周辺の音声を、旋回台１２に設けられ
た２本の集音マイク１０７で集音して、立体視モニタ装
置１１の両側に配置された２本のスピーカ１２から音声
出力するようにした。このため、オペレータＯは、ディ
スプレイ１１１の目視による視覚的な状況把握に加え、
スピーカ１２から出力される音声を聴くことによる聴覚
的な状況把握を行え、よって、ディスプレイ１１１を見
るだけでは把握することができない、ディーゼルエンジ
ンのエンジン音の変化による機械の調子や動作状態の
良、不良等を把握することができる。

【００２９】尚、本実施例では、操作用入力手段として
マウス１７を用いたが、マウスの代わりにトラックボー
ルやジョイスティック等を用いてもよい。また、テレビ
カメラ、集音マイク、モニタ装置、及びスピーカを各１
つずつとし、通常の平面的画像を表示し、或は、モノラ
ルで音声出力する構成としてもよいが、本実施例のよう
に、パワーショベル１の作業領域Ａの画像を立体的に表
示させ、或は、パワーショベル１の周辺の音声をステレ
オで音声出力させる構成とすれば、実際にパワーショベ
ル１の旋回台１２に搭乗したときの感覚に近い、所謂バ
ーチャルリアリティー的な効果を得ることができる。

【００３０】さらに、本実施例では、ディスプレイ１１
１の表示画面上にイグニッションスイッチ２３やレバー
２４乃至２８を表示させるものとしたが、これらの代わ
りにスイッチ類を表示させ、ディスプレイ１１１にタッ
チセンサを組み込んで、オペレータＯがディスプレイ１
１１の表示画面上に触れてスイッチ類の操作を行うよう
にしてもよく、この場合には、タッチセンサが操作用入
力手段に相当する。

【００３１】また、本実施例では、パワーショベル１の
遠隔操作に必要なスイッチ類をディスプレイ１１１に表
示させ、且つ、パワーショベル１の周辺の音声をスピー
カ１２から音声出力させる構成としたが、これらのいず
れか一方を省略した構成としてもよい。そして、本実施
例では、パワーショベル１の遠隔操作を行う場合につい
て示したが、ブルドーザやその他の建設機械の遠隔操作
にも本発明の遠隔操作装置を適用できることは言うまで
もない。

【００３２】

【発明の効果】以上説明したように本発明によれば、遠
隔地で遠隔操作される建設機械の作業領域を撮影手段で
撮影し、前記建設機械の操作用スイッチ類の画像を操作
用画像生成手段で生成し、前記撮影手段で撮影された画
像に前記操作画像生成手段で生成された画像を合成し
て、遠隔地に設けた表示手段に表示すると共に、前記表
示手段の画面上に表示された前記操作用スイッチ類を操
作用入力手段により画面上で操作し、その操作に連動し
て前記建設機械の動作を制御手段で制御するようにし
た。このため、建設機械の動作状態を表示する表示手段
から視線を外すことなく建設機械の遠隔操作を行うこと
ができ、よって、注意力が散漫になるのを防止して操作
を行い易くすることができる。

【００３３】また、本発明によれば、遠隔地で遠隔操作
される建設機械の作業領域を撮影手段で撮影し、前記撮
影手段で撮影された画像を、遠隔地に設けた表示手段に
表示すると共に、前記建設機械の周辺の音声を集音マイ
クで集音し、集音された音声を、前記遠隔地に設けらた
スピーカから出力させるようにしたので、視覚に加えて
音声により現場の状況を把握することができ、よって、
表示手段を見るだけでは把握することができない、エン
ジン音の変化による機械の調子や動作状態の良、不良等
を把握することができる。

【図面の簡単な説明】

【図１】本発明の一実施例による遠隔操作装置を含むパ
ワーショベルの遠隔操作側の概略装置構成を示す説明図
である。

【図２】図１に示す遠隔操作装置により遠隔操作される
パワーショベルを示す側面図である。

【図３】図１に示す遠隔操作装置の要部構成を一部ブロ
ックにて示す説明図である。

【図４】図３に示すディスプレイの表示画面の一例を示
す説明図である。

【符号の説明】

１ パワーショベル（建設機械） １０６ テレビカメラ（撮影手段） １０７ 集音マイク １１１ ディスプレイ（表示手段） １１３ 画像合成装置（画像合成手段） ８ コントロールルーム（遠隔地） １２ スピーカ １３ ホストコンピュータ（操作用画像生成手段、制御
手段） １７ マウス（操作用入力手段） ２３ イグニッションスイッチ（操作用スイッチ類） ２４ 前後進レバー（操作用スイッチ類） ２５ 操舵レバー（操作用スイッチ類） ２６ 旋回レバー（操作用スイッチ類） ２７，２８ 回動レバー（操作用スイッチ類） Ａ 作業領域 Ｂ 操作用スイッチ類の画像

Claims (3)

【特許請求の範囲】
1. 【請求項１】 建設機械を遠隔地で遠隔操作するための
   遠隔操作装置であって、 前記建設機械の作業領域を撮影する撮影手段と、 前記建設機械の操作用スイッチ類の画像を生成する操作
   用画像生成手段と、 前記撮影手段で撮影された画像に前記操作画像生成手段
   で生成された画像を合成する画像合成手段と、 前記遠隔地に設けられ、前記画像合成手段で合成された
   画像を表示する表示手段と、 前記表示手段の画面上に表示された前記操作用スイッチ
   類を該画面上で操作するための操作用入力手段と、 前記操作用入力手段による前記画面上での前記操作用ス
   イッチ類の操作に連動して前記建設機械の動作を制御す
   る制御手段と、 を備えることを特徴とする建設機械用遠隔操作装置。
2. 【請求項２】 前記建設機械に設けられた集音マイク
   と、前記遠隔地に設けられ前記集音マイクで集音された
   音声を出力するスピーカとをさらに備える請求項１記載
   の建設機械用遠隔操作装置。
3. 【請求項３】 建設機械を遠隔地で遠隔操作するための
   遠隔操作装置であって、 前記建設機械の作業領域を撮影する撮影手段と、 前記建設機械に設けられた集音マイクと、 前記遠隔地に設けられ前記撮影手段で撮影された画像を
   表示する表示手段と、 前記遠隔地に設けられ前記集音マイクで集音された音声
   を出力するスピーカと、 を備えることを特徴とする建設機械用遠隔操作装置。