JP6605241B2 - Remote control system - Google Patents

Remote control system Download PDF

Info

Publication number
JP6605241B2
JP6605241B2 JP2015135981A JP2015135981A JP6605241B2 JP 6605241 B2 JP6605241 B2 JP 6605241B2 JP 2015135981 A JP2015135981 A JP 2015135981A JP 2015135981 A JP2015135981 A JP 2015135981A JP 6605241 B2 JP6605241 B2 JP 6605241B2
Authority
JP
Japan
Prior art keywords
remote control
bucket
control device
arm
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015135981A
Other languages
Japanese (ja)
Other versions
JP2017022433A (en
Inventor
一宏 菅原
和則 星野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2015135981A priority Critical patent/JP6605241B2/en
Publication of JP2017022433A publication Critical patent/JP2017022433A/en
Application granted granted Critical
Publication of JP6605241B2 publication Critical patent/JP6605241B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、遠隔操縦システムに関する。   The present invention relates to a remote control system.

車両に搭載したカメラで周囲を撮影し、ネットワークにより接続された遠隔制御装置を用いて車両に搭載したカメラの映像を見ながら車両を遠隔操縦する遠隔操縦システムが知られている。映像をネットワーク経由で送受信して表示するためには、エンコード処理およびデコード処理が必要であり、遅延の発生が避けられない。
特許文献１には、以下のように走行中の車両を遠隔操縦する際に操作性の低下を補うシステムが開示されている。すなわち、走行中の車両に搭載したカメラの映像が遠隔制御装置に表示されるまでの遅延時間を推定し、推定した遅延時間に応じてカメラの映像に重畳して例えば、車両の旋回操作基準点などを表示するマーカーの位置を調整する。 2. Description of the Related Art A remote control system is known in which a camera mounted on a vehicle captures the surroundings and remotely controls the vehicle while viewing an image of the camera mounted on the vehicle using a remote control device connected via a network. In order to transmit and receive a video via a network and display it, an encoding process and a decoding process are necessary, and a delay is inevitable.
Patent Document 1 discloses a system that compensates for a decrease in operability when remotely driving a traveling vehicle as follows. That is, the delay time until the image of the camera mounted on the traveling vehicle is displayed on the remote control device is estimated, and superimposed on the image of the camera according to the estimated delay time, for example, the turning operation reference point of the vehicle Adjust the position of the marker to display.

特開２０１０−６１３４６号公報JP 2010-61346 A

特許文献１に記載されている発明では、走行中であることが前提となっているため、動作開始時における動作をオペレータが把握できない。   In the invention described in Patent Document 1, since it is assumed that the vehicle is running, the operator cannot grasp the operation at the start of the operation.

本発明は、遠隔制御装置、および前記遠隔制御装置とネットワークにより接続される作業機械を備え、前記作業機械に設けられ、アームおよびバケットを有する被駆動部が、少なくとも前記遠隔制御装置からの操作信号に基づいて操作される遠隔操縦システムにおいて、前記作業機械は、前記アームの回転角度を検出するアーム角検出器と、前記バケットの回転角度を検出するバケット角検出器と、を備え、前記遠隔制御装置は、前記操作信号を生成する信号生成部と、前記作業機械に前記操作信号を送信し、前記アーム角検出器から出力された前記アームの回転角度に比例した電気信号および前記バケット角検出器から出力された前記バケットの回転角度に比例した電気信号、ならびに符号化された前記アームおよび前記バケットそれぞれの映像信号を受信する通信部と、符号化された前記アームおよび前記バケットそれぞれの映像信号を復号化するデコード部と、前記デコード部における復号化処理を経ずに、前記アーム角検出器および前記バケット角検出器それぞれの出力に基づき前記アームおよび前記バケットそれぞれの姿勢を推定し、この推定に基づく推定線画を生成する姿勢推定部と、モニタに映像を出力するモニタ出力部と、を備え、前記モニタ出力部は、前記デコード部が復号化した映像信号に基づく実映像に対して前記姿勢推定部によって推定された推定線画を重畳させて前記モニタに出力する。 This onset Ming, remote control device, and wherein with the work machine is connected by a remote control device and the network, is provided in the working machine, the driven portion having arms and bucket operation at least from the remote control device In the remote control system operated based on a signal, the work machine includes an arm angle detector that detects a rotation angle of the arm, and a bucket angle detector that detects a rotation angle of the bucket. control device includes a signal generator for generating a pre Kimisao operation signal, the working machine to transmit the operation signal, the electrical signal and the bucket proportional to the rotational angle of the arm which is output from said arm angle detector electrical signals proportional to the rotational angle of the bucket that is output from the angular detector, and encoded the arm and the bucket, respectively A communication unit that receives a video signal, a decoding unit for decoding the arm and the bucket, respectively of the video signal marks Goka, without passing through the decoding process in the decoding unit, the arm angle detectors and the the arm and the bucket, respectively of orientation was estimated based on the output of each bucket angle detector, comprising: a posture estimation unit for generating an estimated line drawing based on this estimation, a monitor output unit for outputting an image on the monitor, and the The monitor output unit superimposes the estimated line drawing estimated by the posture estimation unit on the actual video based on the video signal decoded by the decoding unit, and outputs the superimposed image to the monitor .

本発明によれば、映像よりも処理時間が短い作業機械の動作に関する情報を用いるので、動作開始時においても動作をオペレータが把握できる。   According to the present invention, since the information related to the operation of the work machine whose processing time is shorter than that of the video is used, the operator can grasp the operation even when the operation starts.

遠隔操縦システムの構成を示すブロック図Block diagram showing the configuration of the remote control system 遠隔操縦システムの構成を示すブロック図Block diagram showing the configuration of the remote control system 表示属性表の一例を示す図Figure showing an example of the display attribute table 運転室視点モニタの表示例を示す図Figure showing a display example of the cab viewpoint monitor 指令送信プログラムの動作を示すフローチャートFlow chart showing operation of command transmission program 車体操作プログラムの動作を示すフローチャートFlow chart showing the operation of the vehicle body operation program 車体情報送信プログラムの動作を示すフローチャートFlow chart showing operation of vehicle information transmission program 姿勢描画プログラムの動作を示すフローチャートFlow chart showing operation of posture drawing program 第２の実施の形態における遠隔操縦システムの構成を示すブロック図The block diagram which shows the structure of the remote control system in 2nd Embodiment 第２の実施の形態における表示属性表の一例を示す図The figure which shows an example of the display attribute table in 2nd Embodiment 第２の実施の形態における運転室視点モニタの表示例を示す図The figure which shows the example of a display of the cab viewpoint monitor in 2nd Embodiment 第２の実施の形態における姿勢描画プログラムの動作を示すフローチャートThe flowchart which shows operation | movement of the attitude | position drawing program in 2nd Embodiment 第２の実施の形態の変形例１における運転室視点モニタの表示例を示す図The figure which shows the example of a display of the cab viewpoint monitor in the modification 1 of 2nd Embodiment. 第２の実施の形態の変形例２における運転室視点モニタの表示例を示す図The figure which shows the example of a display of the cab viewpoint monitor in the modification 2 of 2nd Embodiment. 第２の実施の形態の変形例３における運転室視点モニタの表示例を示す図The figure which shows the example of a display of the cab viewpoint monitor in the modification 3 of 2nd Embodiment.

（発明の概要）
本発明は、作業機械を遠隔操縦する際、操作指令に対する作業機械の動作を遠隔制御装置側のモニタに表示するシステムに関する。このシステムでは、カメラで撮影して得た作業機械の映像信号を符号化映像信号にエンコードし、通信により遠隔制御装置に送信し、符号化映像信号をデコードしてモニタ表示する。その際、種々の原因で操作指令に対する表示画像に遅延が発生する。そこで、本発明では、遅延の発生が避けられない映像の表示に先駆けて、エンコード・デコード処理が不要なセンサ情報などに基づき作業機械の動作開始などを報知するものである。 (Summary of Invention)
The present invention relates to a system for displaying an operation of a work machine in response to an operation command on a monitor on a remote control device when the work machine is remotely controlled. In this system, a video signal of a work machine obtained by photographing with a camera is encoded into an encoded video signal, transmitted to a remote control device by communication, and the encoded video signal is decoded and displayed on a monitor. At that time, a delay occurs in the display image with respect to the operation command due to various causes. Therefore, in the present invention, prior to the display of a video whose delay is unavoidable, the start of the operation of the work machine is notified based on sensor information that does not require encoding / decoding processing.

（第１の実施の形態）
以下、図１〜８を参照して、本発明による遠隔操縦システムの第１の実施の形態を説明する。
図１および図２は、遠隔操縦システム１の構成を示すブロック図である。遠隔操縦システム１は、地理的に離れた２つの地点、すなわち動作地点と操作地点にある複数の機器から構成される。動作地点とは、図１に示すように遠隔操縦される油圧ショベル１００が動作する地点である。操作地点とは、図２に示すように遠隔制御装置７０が設置される地点である。２つの地点間のデータの授受は通信ネットワーク１５を介して行われる。 (First embodiment)
Hereinafter, with reference to FIGS. 1-8, 1st Embodiment of the remote control system by this invention is described.
1 and 2 are block diagrams showing the configuration of the remote control system 1. The remote control system 1 includes a plurality of devices located at two geographically separated points, that is, an operation point and an operation point. The operating point is a point where the hydraulic excavator 100 that is remotely operated as shown in FIG. 1 operates. The operation point is a point where the remote control device 70 is installed as shown in FIG. Data exchange between the two points is performed via the communication network 15.

本発明の第１実施形態としての遠隔操縦システム１の概略を説明する。動作地点の油圧ショベル１００は操作地点の遠隔制御装置７０で遠隔操縦される。遠隔制御装置７０と油圧ショベル１００は、操作信号、センサ信号等、遠隔操縦に必要な信号や情報を無線通信により授受する。遠隔制御装置７０には、オペレータが油圧ショベルの駆動状況を把握するための表示モニタが搭載されており、遠隔制御装置７０からの操作信号により駆動したブームなどの駆動状況がモニタに表示され、オペレータはモニタ画面で実際の駆動状況を把握しながら油圧ショベル１００を遠隔操作することが可能となる。   An outline of a remote control system 1 as a first embodiment of the present invention will be described. The hydraulic excavator 100 at the operating point is remotely operated by the remote control device 70 at the operating point. The remote control device 70 and the excavator 100 exchange signals and information necessary for remote control such as operation signals and sensor signals by wireless communication. The remote control device 70 is equipped with a display monitor for the operator to grasp the drive status of the hydraulic excavator. The drive status of the boom driven by the operation signal from the remote control device 70 is displayed on the monitor. It is possible to remotely operate the excavator 100 while grasping the actual driving situation on the monitor screen.

通信中継器１３Ｃは、符号化された油圧ショベル１００の映像信号を遠隔制御装置７０に送信する。遠隔制御装置７０の通信部７７は、この符号化された映像信号を受信する。その後、通信部７７が受信した符号化された映像信号はデコードされて、モニタに出力される。以上の一連の流れにおいて、操作指令の出力時刻と、モニタ表示される時刻に時間差が発生する。実施の形態の遠隔操縦システム１はこの時間差による操作性の低下を改善するものである。
以下、図１、図２の順に構成を説明する。 The communication repeater 13 </ b> C transmits the encoded video signal of the excavator 100 to the remote control device 70. The communication unit 77 of the remote control device 70 receives this encoded video signal. Thereafter, the encoded video signal received by the communication unit 77 is decoded and output to the monitor. In the series of flows described above, a time difference occurs between the output time of the operation command and the time displayed on the monitor. The remote control system 1 of the embodiment improves the deterioration of operability due to this time difference.
The configuration will be described below in the order of FIG. 1 and FIG.

図１は、遠隔操縦システム１の動作地点の構成を示すブロック図である。
（油圧ショベルの構成）
油圧ショベル１００は、下部走行体１００Ａと、旋回モータ１０１と、上部旋回体１００Ｂと、ブーム１０２Ａと、アーム１０２Ｂと、バケット１０２Ｃと、車体コントローラ５０と、コントロールバルブ１１０と、比例弁１１１とを備える。下部走行体１００Ａは、走行モータ１０５Ｒおよび走行モータ１０５Ｌを備える。走行モータ１０５Ｒおよび走行モータ１０５Ｌは、下部走行体１００Ａを駆動させる。旋回モータ１０１は、上部旋回体１００Ｂを旋回駆動させる。 FIG. 1 is a block diagram showing a configuration of operating points of the remote control system 1.
(Configuration of hydraulic excavator)
The excavator 100 includes a lower traveling body 100A, a swing motor 101, an upper swing body 100B, a boom 102A, an arm 102B, a bucket 102C, a vehicle body controller 50, a control valve 110, and a proportional valve 111. . The lower traveling body 100A includes a traveling motor 105R and a traveling motor 105L. Traveling motor 105R and traveling motor 105L drive lower traveling body 100A. The turning motor 101 drives the upper turning body 100B to turn.

上部旋回体１００Ｂは、ブームシリンダ１０３Ａ、アームシリンダ１０３Ｂ、およびバケットシリンダ１０３Ｃを備え、これらはそれぞれ、ブーム１０２Ａ、アーム１０２Ｂ、およびバケット１０２Ｃを駆動する。以下では、ブーム１０２Ａ、アーム１０２Ｂ、およびバケット１０２Ｃをまとめて、被駆動部１０２と呼ぶ。
コントロールバルブ１１０は、これらのシリンダ１０３Ａ〜１０３Ｃやモータ１０１、１０５Ｒ、１０５Ｌの駆動を個々に制御する複数のバルブ要素を備える。後述するＤ／Ａ変換器５４からの駆動信号により駆動されるパイロットバルブとしての比例弁１１１は、コントロールバルブ１１０のバルブ要素のそれぞれに駆動信号を与える。 The upper swing body 100B includes a boom cylinder 103A, an arm cylinder 103B, and a bucket cylinder 103C, which drive the boom 102A, the arm 102B, and the bucket 102C, respectively. Hereinafter, the boom 102A, the arm 102B, and the bucket 102C are collectively referred to as a driven unit 102.
The control valve 110 includes a plurality of valve elements that individually control driving of the cylinders 103A to 103C and the motors 101, 105R, and 105L. A proportional valve 111 as a pilot valve driven by a drive signal from a D / A converter 54 described later gives a drive signal to each valve element of the control valve 110.

（センサ）
油圧ショベル１００は、ブーム角検出器１０４Ａと、アーム角検出器１０４Ｂと、バケット角検出器１０４Ｃと、旋回角検出器１０４Ｄとを備える。ブーム角検出器１０４Ａは、ブーム１０２Ａの回転角度を検出してこれに比例した電気信号を出力する。アーム角検出器１０４Ｂは、アーム１０２Ｂの回転角度を検出してこれに比例した電気信号を出力する。バケット角検出器１０４Ｃは、バケット１０２Ｃの回転角度を検出してこれに比例した電気信号を出力する。旋回角検出器１０４Ｄは、上部旋回体１００Ｂの旋回角度を検出してこれに比例した電気信号を出力する。以下では、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、バケット角検出器１０４Ｃ、および旋回角検出器１０４Ｄをまとめて角度検出器１０４と呼ぶ。 (Sensor)
The excavator 100 includes a boom angle detector 104A, an arm angle detector 104B, a bucket angle detector 104C, and a turning angle detector 104D. The boom angle detector 104A detects the rotation angle of the boom 102A and outputs an electrical signal proportional thereto. The arm angle detector 104B detects the rotation angle of the arm 102B and outputs an electric signal proportional to the rotation angle. The bucket angle detector 104C detects the rotation angle of the bucket 102C and outputs an electrical signal proportional to the rotation angle. The turning angle detector 104D detects the turning angle of the upper turning body 100B and outputs an electrical signal proportional thereto. Hereinafter, the boom angle detector 104A, the arm angle detector 104B, the bucket angle detector 104C, and the turning angle detector 104D are collectively referred to as an angle detector 104.

（車体コントローラ）
車体コントローラ５０は、油圧ショベル１００に内蔵され、遠隔制御装置７０から受信する操作信号に基づき比例弁１１１を制御して被駆動部１０２の駆動を制御する。詳細な説明は省くが、油圧ショベル１００の搭載した操作レバーによっても被駆動部１０２が駆動される。車体コントローラ５０は、演算を行うＣＰＵ５１と、演算結果等を記憶するＲＡＭ５２と、ＣＰＵ５１の処理手順を記憶するＲＯＭ５３と、比例弁１１１にアナログ信号を出力するＤ／Ａ変換器５４と、アナログ信号を取得するＡ／Ｄ変換器５５と、車載画像送信部５Ａと、車載通信部５７とを備える。 (Car body controller)
The vehicle body controller 50 is built in the hydraulic excavator 100 and controls the proportional valve 111 based on an operation signal received from the remote control device 70 to control the drive of the driven portion 102. Although not described in detail, the driven portion 102 is also driven by an operation lever mounted on the excavator 100. The vehicle body controller 50 includes a CPU 51 that performs calculation, a RAM 52 that stores calculation results and the like, a ROM 53 that stores a processing procedure of the CPU 51, a D / A converter 54 that outputs an analog signal to the proportional valve 111, and an analog signal. An A / D converter 55 to be acquired, an in-vehicle image transmission unit 5A, and an in-vehicle communication unit 57 are provided.

ＣＰＵ５１は、ＲＯＭ５３に保存されるプログラムをＲＡＭ５２に展開して実行する。ＲＯＭ５３は、後述する車体操作プログラム５３Ａ、および車体情報送信プログラム５３Ｂを保存する。
Ｄ／Ａ変換器５４は、ＣＰＵ５１からの指令に基づき比例弁１１１に動作指令を出力する。すなわち、ＣＰＵ５１を起点として、Ｄ／Ａ変換器５４、比例弁１１１、およびコントロールバルブ１１０が動作することにより、被駆動部１０２が駆動される。しかし、一般の油圧ショベルにおいて、被駆動部１０２の質量が大きいため、Ｄ／Ａ変換器５４が比例弁１１１に動作指令である電気信号を出力してから被駆動部１０２の動作が開始するまでに０．２秒程度の時間を要することが多い。 The CPU 51 develops a program stored in the ROM 53 in the RAM 52 and executes it. The ROM 53 stores a vehicle body operation program 53A and a vehicle body information transmission program 53B which will be described later.
The D / A converter 54 outputs an operation command to the proportional valve 111 based on a command from the CPU 51. That is, the driven part 102 is driven by the D / A converter 54, the proportional valve 111, and the control valve 110 operating from the CPU 51. However, in a general hydraulic excavator, since the mass of the driven part 102 is large, until the operation of the driven part 102 starts after the D / A converter 54 outputs an electric signal as an operation command to the proportional valve 111. It often takes about 0.2 seconds.

Ａ／Ｄ変換器５５は、所定時間ごと、たとえば１０ｍｓごとに角度検出器１０４の出力する電気信号を取り込み、ＣＰＵ５１に出力する。ＣＰＵ５１は、Ａ／Ｄ変換器５５から受信する角度検出器１０４の出力値を遠隔制御装置７０に送信する。角度検出器１０４の応答およびＡ／Ｄ変換器５５の動作は以下で述べるエンコード処理に比べて高速であり、たとえば角度が変化すると０．０１秒以下でＡ／Ｄ変換器５５の出力が変化する。   The A / D converter 55 takes in an electric signal output from the angle detector 104 every predetermined time, for example, every 10 ms, and outputs it to the CPU 51. The CPU 51 transmits the output value of the angle detector 104 received from the A / D converter 55 to the remote control device 70. The response of the angle detector 104 and the operation of the A / D converter 55 are faster than the encoding process described below. For example, when the angle changes, the output of the A / D converter 55 changes in 0.01 seconds or less. .

車載画像送信部５Ａは、後述する車載カメラ４により撮影された映像を符号化、すなわちエンコードし、車載通信部５７を経由して遠隔制御装置７０に送信する。換言すると、車載画像送信部５Ａは、車載カメラ４の出力する映像信号を符号化し、符号化映像信号を出力する。エンコード処理は、車載カメラ４から映像信号が入力されると逐次行われる。エンコード処理は比較的短時間で行われるが、油圧ショベル１００の運転には無視できない時間、たとえば０．５秒程度の時間を要する。たとえば、車載カメラ４が０時０分０秒から１分間にわたって車載画像送信部５Ａに映像信号を出力する場合に、エンコード処理に０．５秒の時間を要する場合は、車載画像送信部５Ａからの符号化映像信号の出力は０時０分０．５秒に開始され、０時１分０．５秒に終了する。
上述したように、車載カメラ４により撮影された映像がエンコードされ、遠隔制御装置７０に送信される時間より角度検出器１０４が検出する角度信号が遠隔制御装置７０に送信される時間の方が短い。 The in-vehicle image transmission unit 5 </ b> A encodes, that is, encodes, an image captured by the in-vehicle camera 4 described later, and transmits the encoded image to the remote control device 70 via the in-vehicle communication unit 57. In other words, the in-vehicle image transmission unit 5A encodes a video signal output from the in-vehicle camera 4 and outputs an encoded video signal. The encoding process is sequentially performed when a video signal is input from the in-vehicle camera 4. Although the encoding process is performed in a relatively short time, the operation of the excavator 100 requires a time that cannot be ignored, for example, about 0.5 seconds. For example, when the in-vehicle camera 4 outputs a video signal to the in-vehicle image transmission unit 5A for one minute from 0:00 to 0 seconds, if the encoding process takes 0.5 seconds, the in-vehicle image transmission unit 5A The encoded video signal output starts at 0: 0: 0.5 and ends at 0: 1: 0.5.
As described above, the time taken for the angle signal detected by the angle detector 104 to be transmitted to the remote control device 70 is shorter than the time taken for the video captured by the in-vehicle camera 4 to be encoded and transmitted to the remote control device 70. .

車載通信部５７は、操作地点に設置された遠隔制御装置７０と通信を行う無線通信ユニットである。車載通信部５７は、操作信号を受信するとＣＰＵ５１に出力する。ＣＰＵ５１は、操作信号を受信するとデータの整合性を確認し、問題がないと判断すると正常に受信した旨の通知、いわゆるＡＣＫ応答を遠隔制御装置７０に返信する。車載通信部５７は、ＣＰＵ５１から入力された情報を遠隔制御装置７０に送信する。車載通信部５７は、車載画像送信部５Ａの出力する符号化映像信号を遠隔制御装置７０に送信する。   The in-vehicle communication unit 57 is a wireless communication unit that communicates with the remote control device 70 installed at the operation point. The vehicle-mounted communication part 57 will output to CPU51, if an operation signal is received. When the CPU 51 receives the operation signal, it confirms the consistency of the data, and when it determines that there is no problem, the CPU 51 returns a notification of normal reception, a so-called ACK response, to the remote control device 70. The in-vehicle communication unit 57 transmits information input from the CPU 51 to the remote control device 70. The in-vehicle communication unit 57 transmits the encoded video signal output from the in-vehicle image transmission unit 5A to the remote control device 70.

（カメラ）
遠隔操縦システム１は、車載カメラ４および外部カメラ２を備える。これらのカメラの視点は、油圧ショベル１００の運転室からの視点、および少し離れた位置から油圧ショベル１００の全体を俯瞰する視点である。
油圧ショベル１００は、バケット１０２Ｃ付近を撮影する車載カメラ４を備える。車載カメラ４は上部旋回体１００Ｂに備えられる運転室の上部に設けられ、車載カメラ４の光軸はバケット１０２Ｃの動作軸と交差する。すなわち、車載カメラ４はバケット１０２Ｃを斜めから観察するので、撮影して得られた映像からバケット１０２Ｃの奥行き方向の位置を容易に把握できる。 (camera)
The remote control system 1 includes an in-vehicle camera 4 and an external camera 2. The viewpoints of these cameras are a viewpoint from the cab of the excavator 100 and a viewpoint from which the entire excavator 100 is viewed from a position slightly apart.
The excavator 100 includes an in-vehicle camera 4 that captures the vicinity of the bucket 102C. The in-vehicle camera 4 is provided in the upper part of the cab provided in the upper swing body 100B, and the optical axis of the in-vehicle camera 4 intersects the operation axis of the bucket 102C. That is, since the in-vehicle camera 4 observes the bucket 102C from an oblique direction, the position in the depth direction of the bucket 102C can be easily grasped from the image obtained by photographing.

遠隔操縦システム１は、油圧ショベル１００及びその周辺を俯瞰する外部カメラ２と、外部カメラ２が出力する映像をエンコードする外部画像送信部５Ｂと、外部画像送信部５Ｂが出力するエンコードされた映像を送信する外部通信部１３Ｂとを油圧ショベル１００の周辺に備える。車載カメラ４から得られる映像だけでは、遠隔操作を行うオペレータが周辺状況を把握することが困難であるため、外部カメラ２により得られる映像も参照して遠隔操縦を行う。特に、車載カメラ４は上部旋回体１００Ｂに備えられるため、油圧ショベル１００が旋回動作を行う際には車載カメラ４よりも外部カメラ２により撮影された映像が遠隔操縦に有用である。   The remote control system 1 includes an external camera 2 that overlooks the excavator 100 and its surroundings, an external image transmission unit 5B that encodes a video output from the external camera 2, and an encoded video that is output from the external image transmission unit 5B. An external communication unit 13B for transmission is provided around the excavator 100. Since it is difficult for the operator who performs the remote operation to grasp the surrounding situation only with the video obtained from the in-vehicle camera 4, remote control is performed with reference to the video obtained by the external camera 2. In particular, since the in-vehicle camera 4 is provided in the upper swing body 100B, when the excavator 100 performs a turning operation, an image captured by the external camera 2 is more useful for remote control than the in-vehicle camera 4.

外部画像送信部５Ｂは、外部カメラ２により撮影された映像を符号化、すなわちエンコードし、外部通信部１３Ｂを経由して操作地点に送信する。エンコード処理は、外部カメラ２から映像が入力されると逐次行われる。エンコード処理は比較的短時間で行われるが無視できない時間、たとえば０．５秒の時間を要する。
車載カメラ４および外部カメラ２は常時撮影を行っており、遠隔制御装置７０からの動作指令にかかわらず、遠隔制御装置７０に撮影して得られた映像を送信する。 The external image transmission unit 5B encodes, that is, encodes, the video captured by the external camera 2, and transmits the encoded video to the operation point via the external communication unit 13B. The encoding process is sequentially performed when a video is input from the external camera 2. The encoding process is performed in a relatively short time, but takes a time that cannot be ignored, for example, 0.5 seconds.
The in-vehicle camera 4 and the external camera 2 always shoot and transmit images obtained by shooting to the remote control device 70 regardless of operation commands from the remote control device 70.

（通信）
遠隔操縦システム１は、操作地点の油圧ショベル１００と通信を行うために、車載通信部５７と、外部通信部１３Ｂと、通信中継器１３Ｃとを備える。車載通信部５７と、外部通信部１３Ｂと、通信中継器１３Ｃとは、それぞれ無線アンテナ１４Ａ〜Ｃを備える。通信中継器１３Ｃは、車載通信部５７、および外部通信部１３Ｂと無線により短距離の通信を行う。
図２に示すように、通信中継器１３Ｃは、通信ネットワーク１５を経由して操作地点の通信中継器１３Ｃと通信を行う。通信ネットワーク１５とは、構内ＬＡＮ、インターネット回線、または専用通信回線である。 (communication)
The remote control system 1 includes an in-vehicle communication unit 57, an external communication unit 13B, and a communication repeater 13C in order to communicate with the hydraulic excavator 100 at the operation point. The in-vehicle communication unit 57, the external communication unit 13B, and the communication repeater 13C include wireless antennas 14A to 14C, respectively. The communication repeater 13C performs short-range communication by radio with the in-vehicle communication unit 57 and the external communication unit 13B.
As shown in FIG. 2, the communication repeater 13 </ b> C communicates with the communication repeater 13 </ b> C at the operation point via the communication network 15. The communication network 15 is a local area LAN, an Internet line, or a dedicated communication line.

車載カメラ４により撮影されエンコードされた符号化映像信号と、角度検出器１０４の出力信号はいずれも、車載通信部５７、通信中継器１３Ｃ、通信ネットワーク１５を経由して遠隔制御装置７０に到達する。１枚の画像を形成する符号化映像信号は、角度検出器１０４の出力信号よりも容量が大きいので、以下の段落で説明する理由により、通信だけに着目しても符号化映像信号は角度検出器１０４の出力信号よりも遅れが生じやすい。   Both the encoded video signal photographed and encoded by the in-vehicle camera 4 and the output signal of the angle detector 104 reach the remote control device 70 via the in-vehicle communication unit 57, the communication repeater 13C, and the communication network 15. . Since the encoded video signal forming one image has a larger capacity than the output signal of the angle detector 104, for the reason described in the following paragraph, the encoded video signal is angle detected even if attention is paid only to communication. Delay is more likely to occur than the output signal of the device 104.

通信ネットワーク上に送信されるデータは、送受信を容易にするために小さいデータの固まり、すなわちパケットに分割して送信される。パケット信号は受信側の遠隔制御装置７０で復元される。パケットの通信経路は、通信経路中に存在するルータのルーティングテーブルの記述にしたがって決定される。ルーティングテーブルは、通信路の負荷などによって時々刻々と更新されるので、あるデータを構成するパケット数が多いほど経路にばらつきが生じ、各パケットが受信側の遠隔制御装置７０に到着するまでの通信に要する時間もばらつきやすい。データを構成する全てのパケットが到着しなければデータを復元できないので、パケット数が多いほど、すなわちデータのサイズが大きいほど通信に要する時間が長くなる傾向にある。   The data transmitted on the communication network is transmitted in small chunks of data, that is, divided into packets to facilitate transmission / reception. The packet signal is restored by the remote control device 70 on the receiving side. The communication path of the packet is determined according to the description of the routing table of the router existing in the communication path. Since the routing table is updated from moment to moment due to the load on the communication path and the like, the larger the number of packets making up certain data, the more the route varies, and the communication until each packet arrives at the remote control device 70 on the receiving side. The time required for this is likely to vary. Since data cannot be restored unless all the packets constituting the data arrive, the time required for communication tends to increase as the number of packets increases, that is, as the data size increases.

（遠隔制御装置）
遠隔制御装置７０は、所要の演算を行うＣＰＵ７１と、ＣＰＵ７１の演算結果等を記憶するＲＡＭ７２と、ＣＰＵ７１の処理手順を記憶するＲＯＭ７３と、スイッチ８１の操作情報入力を取り込むＤＩ７４と、操作レバー８０の信号をディジタル値に変換するＡ／Ｄ変換器７５と、エンコードされた映像信号をデコードする画像受信部７８Ａ，７８Ｂと、運転室視点モニタ８２Ａおよび俯瞰用モニタ８２Ｂに映像を出力するモニタ出力部７６と、操作地点と通信を行う通信部７７とを備える。 (Remote control device)
The remote control device 70 includes a CPU 71 that performs necessary calculations, a RAM 72 that stores calculation results of the CPU 71, a ROM 73 that stores processing procedures of the CPU 71, a DI 74 that captures operation information input of the switch 81, and an operation lever 80. An A / D converter 75 that converts the signal into a digital value, image receiving units 78A and 78B that decode the encoded video signal, and a monitor output unit 76 that outputs video to the cab viewpoint monitor 82A and the overhead monitor 82B. And a communication unit 77 that communicates with the operation point.

ＲＡＭ７２には、油圧ショベル１００に操作指令を送信した最終時刻を表す最終操作時刻ｔｏと、油圧ショベル１００から操作指令を正常に受信した旨の通知、いわゆるＡＣＫ応答を受信した最終時刻を表す最終受信時刻ｔｒとが保存される。
ＲＯＭ７３には、後述する指令送信プログラム７３Ａと、姿勢描画プログラム７３Ｂと、表示属性表７３Ｃとが保存される。指令送信プログラム７３Ａ、および姿勢描画プログラム７３Ｂは、ＲＡＭ７２に展開されてＣＰＵ７１により実行される。 The RAM 72 receives the final operation time to indicating the final time when the operation command is transmitted to the excavator 100, and the final reception indicating the final time when the operation command is normally received from the excavator 100, that is, the so-called ACK response. The time tr is stored.
The ROM 73 stores a command transmission program 73A, a posture drawing program 73B, and a display attribute table 73C, which will be described later. The command transmission program 73A and the posture drawing program 73B are expanded in the RAM 72 and executed by the CPU 71.

画像受信部７８Ａ，７８Ｂは、通信部７７が受信するエンコードされた符号化映像信号を復号化、すなわちデコードし、映像信号をモニタ出力部７６に出力する。デコード処理は、通信部７７から映像信号を受信すると逐次行われる。デコード処理は比較的短時間、たとえば１秒で行われるが、油圧ショベル１００の運転には無視できない。通信部７７が０時１分１秒から１分間にわたって画像受信部７８Ａに符号化映像信号を出力する場合に、デコード処理に１秒の時間を要する場合は、画像受信部７８Ａからの出力は０時１分２秒に開始され、０時２分２秒に終了する。
モニタ出力部７６は、画像受信部７８Ａ，７８Ｂが出力する映像信号に、ＣＰＵ７１が出力する映像を重畳して運転室視点モニタ８２Ａ、および俯瞰用モニタ８２Ｂに出力する。
オペレータは、運転室視点モニタ８２Ａおよび俯瞰用モニタ８２Ｂを見ながら操作レバー８０を操作する。 The image receiving units 78A and 78B decode the encoded video signal received by the communication unit 77, that is, decode the encoded video signal, and output the video signal to the monitor output unit 76. The decoding process is sequentially performed when a video signal is received from the communication unit 77. The decoding process is performed in a relatively short time, for example, 1 second, but cannot be ignored for the operation of the excavator 100. When the communication unit 77 outputs an encoded video signal to the image receiving unit 78A for 1 minute from 0 hour 1 minute 1 second, if the decoding process takes 1 second, the output from the image receiving unit 78A is 0. It starts at 1 hour 2 minutes and ends at 0 hours 2 minutes 2 seconds.
The monitor output unit 76 superimposes the video output from the CPU 71 on the video signals output from the image receiving units 78A and 78B and outputs the video signal to the cab viewpoint monitor 82A and the overhead monitor 82B.
The operator operates the operation lever 80 while looking at the cab viewpoint monitor 82A and the overhead monitor 82B.

（姿勢描画プログラム）
姿勢描画プログラム７３Ｂは、油圧ショベル１００に取り付けられた角度検出器１０４の出力を用いて油圧ショベル１００の姿勢を推定する。姿勢描画プログラム７３Ｂはさらに、車載カメラ４の取付け位置・姿勢に基づき、車載カメラ４に撮影された画像内における被駆動部１０２の位置および姿勢を推定し、その外形を表す線図（以下、「推定線画」とも言う）をモニタ出力部７６に出力する。推定線画の描画に用いられる線種は、後述する表示属性表７３Ｃを用いて決定される。 (Attitude drawing program)
The posture drawing program 73 </ b> B estimates the posture of the excavator 100 using the output of the angle detector 104 attached to the excavator 100. The posture drawing program 73B further estimates the position and posture of the driven unit 102 in the image photographed by the vehicle-mounted camera 4 based on the mounting position / posture of the vehicle-mounted camera 4, and represents a diagram (hereinafter, “ Is also output to the monitor output unit 76. The line type used for drawing the estimated line drawing is determined using a display attribute table 73C described later.

モニタ出力部７６は、画像受信部７８Ａがデコードした映像信号に、姿勢描画プログラム７３Ｂが出力する推定線画を重畳して出力する。
姿勢描画プログラム７３Ｂの演算は短時間、たとえば１ｍｓ以内に終了するため、上述した油圧ショベルの画像が車載カメラ４により撮影し、油圧ショベルの映像が運転室モニタに映し出されるよりも早い。従って、ある瞬間に油圧ショベル１００が動いた場合に、その動きを車載カメラ４が撮影してその映像が運転室視点モニタ８２Ａから出力されるよりも先に、角度検出器１０４の出力に基づく姿勢描画プログラム７３Ｂの推定結果が運転室視点モニタ８２Ａから出力される。 The monitor output unit 76 superimposes and outputs the estimated line drawing output by the posture drawing program 73B on the video signal decoded by the image receiving unit 78A.
Since the calculation of the posture drawing program 73B is completed within a short time, for example, within 1 ms, the above-described image of the excavator is taken by the in-vehicle camera 4, and the image of the excavator is displayed on the cab monitor earlier. Therefore, when the excavator 100 moves at a certain moment, the posture based on the output of the angle detector 104 before the in-vehicle camera 4 captures the movement and the image is output from the cab viewpoint monitor 82A. The estimation result of the drawing program 73B is output from the cab viewpoint monitor 82A.

（表示属性表）
表示属性表７３Ｃは、姿勢描画プログラム７３Ｂが推定した油圧ショベル１００の外形を描画する推定線画の線種の決定に用いられる表である。線種は、表示属性表７３Ｃ、およびＲＡＭ７２に保存される最終操作時刻ｔｏと最終受信時刻ｔｒとから決定される。最終操作時刻ｔｏは、操作信号を最後に出力した時刻であり、最終受信時刻ｔｒは操作信号に対する受信応答ＡＣＫを受信した時刻である。 (Display attribute table)
The display attribute table 73C is a table used for determining the line type of the estimated line drawing for drawing the outer shape of the excavator 100 estimated by the posture drawing program 73B. The line type is determined from the display attribute table 73C and the last operation time to and the last reception time tr stored in the RAM 72. The final operation time to is the time when the operation signal was last output, and the final reception time tr is the time when the reception response ACK for the operation signal was received.

図３は、表示属性表７３Ｃの一例を示す図である。ＣＰＵ７１は、表示属性表７３Ｃを参照する時刻と、最終操作時刻ｔｏとの時間差が時間ｈｏ未満であるか否かにより表示属性表７３Ｃの行を選択する。ＣＰＵ７１は、表示属性表７３Ｃを参照する時刻と、最終受信時刻ｔｒとの時間差が時間ｈｒ未満であるか否かにより表示属性表７３Ｃの列を選択する。以上より、表示属性表７３Ｃを参照する時間と、最終受信時刻ｔ０と、最終操作時間ｔｒとの差に応じて、破線、一点鎖線、二重線、実線のいずれかで、姿勢描画プログラム７３Ｂが推定した油圧ショベル１００の外形が、上述した運転室視点モニタ８２Ａに表示されることとなる。   FIG. 3 is a diagram illustrating an example of the display attribute table 73C. The CPU 71 selects a row of the display attribute table 73C depending on whether or not the time difference between the time referring to the display attribute table 73C and the last operation time to is less than the time ho. The CPU 71 selects a column of the display attribute table 73C according to whether or not the time difference between the time referring to the display attribute table 73C and the last reception time tr is less than the time hr. As described above, the posture drawing program 73B can be any one of the broken line, the alternate long and short dash line, the double line, and the solid line according to the difference between the time for referring to the display attribute table 73C, the final reception time t0, and the final operation time tr. The estimated outer shape of the excavator 100 is displayed on the cab viewpoint monitor 82A described above.

（動作例）
図４を用いて、遠隔操縦システム１の動作例を説明する。
図４（Ａ）〜（Ｆ）は、運転室視点モニタ８２Ａに表示される被駆動部１０２を示す図である。図４（Ｄ）を一例で説明すると、車載カメラ４により撮影されたアーム１０２Ｂとバケット１０２Ｃの実映像は斜線で示すアーム実画像１０２ＢＧとバケット実画像１０２ＣＧで示される。一方、姿勢描画プログラム７３Ｂが推定する被駆動部１０２の位置・姿勢は、破線で示すアーム推定画像１０２ＢＳ、バケット推定線画１０２ＣＳで示される。推定線画１０２ＢＳ，１０２ＣＳの線種は、上述したように、図３に例示した表示属性表７３Ｃを参照して決定される。なお、図４（Ａ）〜（Ｆ）の右上にドットで示す領域はブーム１０２Ａの一部の実映像である。 (Operation example)
An operation example of the remote control system 1 will be described with reference to FIG.
4A to 4F are views showing the driven unit 102 displayed on the cab viewpoint monitor 82A. Referring to FIG. 4D as an example, real images of the arm 102B and the bucket 102C photographed by the in-vehicle camera 4 are indicated by the arm real image 102BG and the bucket real image 102CG indicated by oblique lines. On the other hand, the position / posture of the driven unit 102 estimated by the posture drawing program 73B is indicated by an arm estimation image 102BS and a bucket estimation line drawing 102CS indicated by broken lines. As described above, the line types of the estimated line drawings 102BS and 102CS are determined with reference to the display attribute table 73C illustrated in FIG. In addition, the area | region shown with a dot on the upper right of FIG. 4 (A)-(F) is a one part real image of boom 102A.

遠隔制御装置７０は、油圧ショベル１００から短い時間間隔で角度検出器１０４の出力を受信し、姿勢描画プログラム７３Ｂに入力する。運転室視点モニタ８２Ａには、車載カメラ４により撮影された実映像に、姿勢描画プログラム７３Ｂが推定する被駆動部１０２の位置・姿勢が上述した表示属性表７３Ｃに基づき決定された線種で推定線画として重畳して表示される。 以下の例では、十分に長い時間操作を行わなかった場合、（例えば、最終操作時間ｔ０から、時間ｈ０以上、最終受信時刻ｔｒから時間ｈｒ以上操作を行っていない場合）に、その後オペレータが操作レバー８０を一定時間操作し、操作を終了してから所定時間が経過するまでの運転室視点モニタ８２Ａに表示される映像の遷移を説明する。   The remote control device 70 receives the output of the angle detector 104 from the excavator 100 at short time intervals and inputs it to the posture drawing program 73B. The driver's cab viewpoint monitor 82A estimates the position / orientation of the driven unit 102 estimated by the attitude drawing program 73B based on the line type determined based on the display attribute table 73C described above on the actual video captured by the in-vehicle camera 4. It is displayed as a line drawing superimposed. In the following example, when the operation is not performed for a sufficiently long time (for example, when the operation is not performed for the time h0 or more from the last operation time t0 or for the time hr or more from the last reception time tr), the operator subsequently operates The transition of the image displayed on the driver's cab viewpoint monitor 82A from when the lever 80 is operated for a predetermined time until a predetermined time elapses after the operation is completed will be described.

上述した、オペレータが長時間操作を行わない場合は、最終操作時刻ｔｏから時間ｈｏ以上、最終受信時刻ｔｒから時間ｈｒ以上経過している。そのため、ＣＰＵ７１により表示属性表７３Ｃから、姿勢描画プログラム７３Ｂが推定した油圧ショベル１００の外形を描画する推定線画の線種として「実線」が選択される。また、このとき油圧ショベル１００が長時間動作していないため、車載カメラ４により撮影された実映像の輪郭線は、姿勢描画プログラム７３Ｂが推定する被駆動部１０２の推定線画と一致する。そのため、図４（Ａ）に示すように、被駆動部１０２の推定線画１０２ＢＳ，１０２ＣＳは、車載カメラ４により撮影された実映像の外形と一致して表示される。   As described above, when the operator does not perform the operation for a long time, the time ho or more has elapsed since the last operation time to and the time hr or more has elapsed since the last reception time tr. Therefore, “solid line” is selected from the display attribute table 73C by the CPU 71 as the line type of the estimated line drawing for drawing the outer shape of the excavator 100 estimated by the posture drawing program 73B. Further, at this time, since the excavator 100 has not been operated for a long time, the contour line of the real image captured by the in-vehicle camera 4 matches the estimated line drawing of the driven unit 102 estimated by the posture drawing program 73B. Therefore, as shown in FIG. 4A, the estimated line drawings 102BS and 102CS of the driven unit 102 are displayed in conformity with the outer shape of the actual video photographed by the in-vehicle camera 4.

上述した、オペレータが長時間操作を行わない状態から、オペレータが操作レバー８０を操作すると、油圧ショベル１００にその操作指令が送信されるとともに最終操作時刻ｔｏが更新される。しかし、その瞬間にはまだ油圧ショベル１００からＡＣＫを受信していないので最終受信時刻ｔｒは更新されず、ＣＰＵ７１により表示属性表７３Ｃから「一点鎖線」が選択される。そのため、図４（Ｂ）に示すように、図４（Ａ)と比較して推定線画の線種のみが変更された画像が運転室視点モニタ８２Ａに表示される。なお、これ以後も図４（Ｄ）の映像が表示されるタイミングまでは、オペレータは同じ操作を継続することとする。   When the operator operates the operation lever 80 from the state where the operator does not perform the operation for a long time, the operation command is transmitted to the excavator 100 and the last operation time to is updated. However, since the ACK has not yet been received from the excavator 100 at that moment, the last reception time tr is not updated, and the CPU 71 selects “one-dot chain line” from the display attribute table 73C. Therefore, as shown in FIG. 4B, an image in which only the line type of the estimated line drawing is changed as compared with FIG. 4A is displayed on the cab viewpoint monitor 82A. After that, the operator continues the same operation until the timing at which the video in FIG. 4D is displayed.

そのままオペレータが操作を継続すると最終操作時刻ｔｏは更新され続ける。油圧ショベル１００は、操作指令を受信し遠隔制御装置７０にＡＣＫ信号を送信するとともに、被駆動部１０２を駆動すべくＤ／Ａ変換器５４に動作指令を出力する。ＡＣＫ信号を受信した遠隔制御装置７０は最終受信時刻ｔｒを更新する。従って、表示属性表７３Ｃを参照した時刻と、最終操作時刻ｔ０との差はｈ０未満となり、表示属性表７３Ｃを参照した時刻と、最終受信時刻との差がｈｒ未満となり、ＣＰＵ７１は、表示属性表７３Ｃから推定線画の線種として「破線」を選択する。しかし、まだ油圧ショベル１００は動き始めていないので、角度検出器１０４の出力および車載カメラ４により撮影された実映像に変化はない。そのため、図４（Ｃ）に示すように、図４（Ａ）〜（Ｂ）と比較して推定線画の線種のみが破線に変更された映像が運転室視点モニタ８２Ａに表示される。   If the operator continues the operation as it is, the last operation time to continues to be updated. The excavator 100 receives an operation command, transmits an ACK signal to the remote control device 70, and outputs an operation command to the D / A converter 54 to drive the driven unit 102. The remote control device 70 that has received the ACK signal updates the last reception time tr. Accordingly, the difference between the time referring to the display attribute table 73C and the last operation time t0 is less than h0, the difference between the time referring to the display attribute table 73C and the last reception time is less than hr, and the CPU 71 “Dash line” is selected from Table 73C as the line type of the estimated line drawing. However, since the excavator 100 has not yet started to move, there is no change in the output of the angle detector 104 and the actual image taken by the in-vehicle camera 4. Therefore, as shown in FIG. 4C, an image in which only the line type of the estimated line drawing is changed to a broken line as compared with FIGS. 4A to 4B is displayed on the cab viewpoint monitor 82A.

オペレータの操作レバー８０の操作により被駆動部１０２に対する操作指令が出力された場合、被駆動部１０２が動作を開始し、被駆動部１０２の変位が角度検出器１０４により測定される。ここで、オペレータの操作レバー８０の操作から、１秒経過した状況において説明する。この状況においては、角度検出器１０４の出力は、Ａ／Ｄ変換器５５を経て遠隔制御装置７０に送信され、遠隔制御装置７０の姿勢描画プログラム７３Ｂにより、被駆動部１０２の位置および姿勢が推定され、モニタ出力部７６には、推定線画が出力される。しかし、車載カメラ４によって撮影された、操作指令により動作を開始する被駆動部１０２の映像は処理時間を要するエンコード、およびデコードを経てモニタ出力部７６に出力されるので、まだ車載カメラ４により撮影された映像は変化しない。そのため、図４（Ｄ）に示すように、推定線画１０２ＢＳ，１０２ＣＳのみが移動している映像が運転室視点モニタ８２Ａに表示される。   When an operation command for the driven part 102 is output by the operation of the operation lever 80 by the operator, the driven part 102 starts to operate, and the displacement of the driven part 102 is measured by the angle detector 104. Here, a description will be given in a situation in which one second has elapsed from the operation of the operation lever 80 by the operator. In this situation, the output of the angle detector 104 is transmitted to the remote control device 70 via the A / D converter 55, and the position and posture of the driven unit 102 are estimated by the posture drawing program 73B of the remote control device 70. Then, the estimated line drawing is output to the monitor output unit 76. However, since the video of the driven unit 102 that has been photographed by the in-vehicle camera 4 and starts to operate in response to an operation command is output to the monitor output unit 76 through encoding and decoding that require processing time, it is still photographed by the in-vehicle camera 4. The recorded video does not change. Therefore, as shown in FIG. 4D, an image in which only the estimated line drawings 102BS and 102CS are moving is displayed on the cab viewpoint monitor 82A.

オペレータが操作レバー８０の操作を終了して時間ｈｏが経過すると、ＣＰＵ７１により表示属性表７３Ｃから「二重線」が選択される。動作を開始した被駆動部１０２を車載カメラ４が撮影して得られた映像が、エンコードおよびデコードを経てモニタ出力部７６に出力される。そのため、図４（Ｅ）に示すように、推定線画の線種が二重線に変更され、車載カメラ４が撮影した斜線で示す実映像も移動している動画が運転室視点モニタ８２Ａに表示される。   When the time ho elapses after the operator finishes operating the operation lever 80, the CPU 71 selects “double line” from the display attribute table 73C. An image obtained by the in-vehicle camera 4 photographing the driven unit 102 that has started operation is output to the monitor output unit 76 through encoding and decoding. Therefore, as shown in FIG. 4E, a moving image in which the line type of the estimated line drawing is changed to a double line and the actual video indicated by the oblique line taken by the in-vehicle camera 4 is also displayed on the cab viewpoint monitor 82A. Is done.

さらに十分な時間、少なくとも油圧ショベル１００からＡＣＫ信号を受信してから時間ｈｒが経過すると、ＣＰＵ７１により表示属性表７３Ｃから「実線」が選択される。また、動作を終了した被駆動部１０２の実映像もモニタ出力部７６に出力される。そのため、図４（Ｆ）に示すように、推定線画の線種が実線に変更され、車載カメラ４が撮影した実映像が先に移動した推定線画に重なっているモニタ画像が運転室視点モニタ８２Ａに表示される。   Furthermore, when a time hr has elapsed since at least an ACK signal is received from the excavator 100 for a sufficient time, the CPU 71 selects “solid line” from the display attribute table 73C. In addition, the actual video of the driven unit 102 that has finished the operation is also output to the monitor output unit 76. Therefore, as shown in FIG. 4 (F), the line type of the estimated line drawing is changed to a solid line, and the monitor image in which the real image captured by the in-vehicle camera 4 overlaps the estimated line drawing previously moved is the cab viewpoint monitor 82A. Is displayed.

（フローチャート）
以下、図５〜８を参照して油圧ショベル１００の車体コントローラ５０が実行するプログラム、および遠隔制御装置７０が実行するプログラムの動作を説明する。 (flowchart)
Hereinafter, the operations of the program executed by the vehicle body controller 50 of the excavator 100 and the program executed by the remote control device 70 will be described with reference to FIGS.

（指令送信プログラム）
図５は、遠隔制御装置７０が実行する指令送信プログラム７３Ａの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、遠隔制御装置７０のＣＰＵ７１である。遠隔制御装置７０は、オペレータにより操作レバー８０が操作されると、以下の動作を行う指令送信プログラム７３Ａを実行する。
ステップＳ７００において、遠隔制御装置７０は、Ａ／Ｄ変換器７５からオペレータによる操作レバー８０の操作を電圧値として取得し、ステップＳ７０１に進む。
ステップＳ７０１において、遠隔制御装置７０は、ステップＳ７００において読み込んだ電圧値に対して既知のスケーリング変換を行い、電圧値を操作レバー８０が操作された角度を示す数値に変換してステップＳ７０２に進む。 (Command transmission program)
FIG. 5 is a flowchart showing the processing contents of the command transmission program 73A executed by the remote control device 70. The execution subject of each step described below is the CPU 71 of the remote control device 70. When the operation lever 80 is operated by the operator, the remote control device 70 executes a command transmission program 73A that performs the following operations.
In step S700, the remote control device 70 acquires the operation of the operation lever 80 by the operator from the A / D converter 75 as a voltage value, and proceeds to step S701.
In step S701, the remote control device 70 performs known scaling conversion on the voltage value read in step S700, converts the voltage value into a numerical value indicating the angle at which the operation lever 80 is operated, and proceeds to step S702.

ステップＳ７０２において、遠隔制御装置７０は、ステップＳ７０１において変換した角度を示す数値に基づき、データの整合性を確認する情報を算出する。データの整合性を確認する情報とは、たとえば、パリティビット、ハッシュ、チェックサムなどである。遠隔制御装置７０は、ステップＳ７０１において変換した角度を示す数値と、算出したデータの整合性を確認する情報とを操作データとして油圧ショベル１００に送信し、ステップＳ７０３に進む。ステップＳ７０３では、操作レバーが中立位置に対応するか否かを判断し、操作レバーが中立位置にあると判断する場合は図５により動作が表されるプログラムを終了し、中立以外であると判断する場合はステップＳ７０４に進む。
ステップＳ７０４において、遠隔制御装置７０は、最終操作時刻ｔｏを現在時刻に更新し、ステップＳ７００に戻る。 In step S702, the remote control device 70 calculates information for confirming data consistency based on the numerical value indicating the angle converted in step S701. The information for confirming data consistency is, for example, a parity bit, hash, checksum, and the like. The remote control device 70 transmits the numerical value indicating the angle converted in step S701 and the information for confirming the consistency of the calculated data to the excavator 100 as operation data, and proceeds to step S703. In step S703, it is determined whether or not the operation lever corresponds to the neutral position. If it is determined that the operation lever is in the neutral position, the program whose operation is represented by FIG. 5 is terminated, and it is determined that the operation lever is not in the neutral position. If so, the process proceeds to step S704.
In step S704, the remote control device 70 updates the last operation time to to the current time, and returns to step S700.

（車体操作プログラム）
図６は、油圧ショベル１００の車体コントローラ５０が実行する車体操作プログラム５３Ａの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、車体コントローラ５０のＣＰＵ５１である。車体コントローラ５０は、車載通信部５７が遠隔制御装置７０から操作データを受信するたびに、以下の動作を行う車体情報送信プログラム５３Ｂを実行する。換言すると、図５のステップＳ７０２が実行されるたびに、車体情報送信プログラム５３Ｂが実行される。
ステップＳ５００において、車体コントローラ５０は、車載通信部５７からＣＰＵ５１に操作データを読み込み、ステップＳ５０１に進む。 (Car body operation program)
FIG. 6 is a flowchart showing the processing contents of the vehicle body operation program 53A executed by the vehicle body controller 50 of the excavator 100. The execution subject of each step described below is the CPU 51 of the vehicle body controller 50. The vehicle body controller 50 executes a vehicle body information transmission program 53B that performs the following operations each time the in-vehicle communication unit 57 receives operation data from the remote control device 70. In other words, every time step S702 in FIG. 5 is executed, the vehicle body information transmission program 53B is executed.
In step S500, the vehicle body controller 50 reads operation data from the in-vehicle communication unit 57 to the CPU 51, and proceeds to step S501.

ステップＳ５０１において、車体コントローラ５０は、操作データに含まれるデータの整合性を確認する情報を用いて、受信した操作データにエラーがあるか否かを判断する。エラーがあると判断する場合は、図５により動作が表されるプログラムを終了する。エラーがないと判断する場合はステップＳ５０２に進む。
ステップＳ５０２において、車体コントローラ５０は、受信した角度を示す数値に基づきＤ／Ａ変換器５４に動作指令を出力し、ステップＳ５０３に進む。
ステップＳ５０３において、車体コントローラ５０は、遠隔制御装置７０に操作データを正常に受信したことを知らせるために、ＡＣＫ信号を送信し、図６により動作が表されるプログラムを終了する。 In step S501, the vehicle body controller 50 determines whether there is an error in the received operation data, using information for confirming the consistency of data included in the operation data. If it is determined that there is an error, the program whose operation is represented by FIG. 5 is terminated. If it is determined that there is no error, the process proceeds to step S502.
In step S502, the vehicle body controller 50 outputs an operation command to the D / A converter 54 based on the received numerical value indicating the angle, and proceeds to step S503.
In step S503, the vehicle body controller 50 transmits an ACK signal to notify the remote control device 70 that the operation data has been normally received, and ends the program whose operation is represented by FIG.

（車体情報送信プログラム）
図７は、油圧ショベル１００の車体コントローラ５０が実行する車体情報送信プログラム５３Ｂの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、車体コントローラ５０のＣＰＵ５１である。車体コントローラ５０は、短い時間間隔ごと、たとえば０．０１秒ごとに以下の動作を行う車体情報送信プログラム５３Ｂを実行する。
ステップＳ５１０において、車体コントローラ５０は、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、バケット角検出器１０４Ｃ、および旋回角検出器１０４Ｄから角度を表す検出信号を電圧値として読み込み、ステップＳ５１１に進む。 (Body information transmission program)
FIG. 7 is a flowchart showing the processing contents of the vehicle body information transmission program 53B executed by the vehicle body controller 50 of the excavator 100. The execution subject of each step described below is the CPU 51 of the vehicle body controller 50. The vehicle body controller 50 executes a vehicle body information transmission program 53B that performs the following operation every short time interval, for example, every 0.01 seconds.
In step S510, the vehicle body controller 50 reads a detection signal representing an angle from the boom angle detector 104A, the arm angle detector 104B, the bucket angle detector 104C, and the turning angle detector 104D as a voltage value, and proceeds to step S511.

ステップＳ５１１において、車体コントローラ５０は、ステップＳ５１０において読み込んだ電圧値に対して既知のスケーリング変換を行い、電圧値を角度に変換してステップＳ５１２に進む。
ステップＳ５１２において、車体コントローラ５０は、ステップＳ５１１において変換した４つの角度を車体情報として遠隔制御装置７０に送信し、図７により動作が表されるプログラムを終了する。 In step S511, the vehicle body controller 50 performs known scaling conversion on the voltage value read in step S510, converts the voltage value into an angle, and proceeds to step S512.
In step S512, the vehicle body controller 50 transmits the four angles converted in step S511 as vehicle body information to the remote control device 70, and ends the program whose operation is represented by FIG.

（姿勢描画プログラム）
図８は、遠隔制御装置７０が実行する姿勢描画プログラム７３Ｂの処理内容を示すフローチャートである。以下で説明する各ステップの実行主体は、遠隔制御装置７０のＣＰＵ７１である。遠隔制御装置７０は、油圧ショベル１００から車体情報またはＡＣＫ信号を受信すると図８により動作が表されるプログラムを実行する。
ステップＳ７１０において、遠隔制御装置７０は、受信したデータが、車体情報およびＡＣＫ信号のいずれであるかを判断する。車体情報であると判断する場合はステップＳ７１１に進み、ＡＣＫ信号であると判断する場合はステップＳ７２１に進む。 (Attitude drawing program)
FIG. 8 is a flowchart showing the processing contents of the posture drawing program 73B executed by the remote control device 70. The execution subject of each step described below is the CPU 71 of the remote control device 70. When receiving the vehicle body information or the ACK signal from the excavator 100, the remote control device 70 executes a program whose operation is represented by FIG.
In step S710, remote control device 70 determines whether the received data is vehicle body information or an ACK signal. If it is determined that it is vehicle body information, the process proceeds to step S711, and if it is determined that it is an ACK signal, the process proceeds to step S721.

ステップＳ７１１において、遠隔制御装置７０は、車体情報を用いて油圧ショベル１００の三次元姿勢を算出する。ブームシリンダ１０３Ａ、アームシリンダ１０３Ｂ、およびバケットシリンダ１０３Ｃの自由度はそれぞれ「１」なので、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、およびバケット角検出器１０４Ｃの出力に基づいて油圧ショベル１００の三次元姿勢を算出する。次にステップＳ７１２に進む。   In step S711, the remote control device 70 calculates the three-dimensional posture of the excavator 100 using the vehicle body information. Since the degrees of freedom of the boom cylinder 103A, the arm cylinder 103B, and the bucket cylinder 103C are “1”, the tertiary of the excavator 100 is based on the outputs of the boom angle detector 104A, the arm angle detector 104B, and the bucket angle detector 104C. The original posture is calculated. Next, the process proceeds to step S712.

ステップＳ７１２において、遠隔制御装置７０は、既知である車載カメラ４の取付け位置、および車載カメラ４の撮影方向に基づき、車載カメラ４により撮影されると推定する被駆動部１０２の位置および姿勢に応じた推定線画を算出する。次にステップＳ７１３に進む。
ステップＳ７１３において、遠隔制御装置７０は、表示属性表７３Ｃを参照し、最終操作時刻ｔｏ、および最終受信時刻ｔｒに基づき、推定線画の表示に用いる線種を決定し、ステップＳ７１４に進む。 In step S712, the remote control device 70 responds to the position and orientation of the driven unit 102 estimated to be photographed by the in-vehicle camera 4 based on the known mounting position of the in-vehicle camera 4 and the photographing direction of the in-vehicle camera 4. The estimated line drawing is calculated. Next, the process proceeds to step S713.
In step S713, the remote control device 70 refers to the display attribute table 73C, determines the line type used for displaying the estimated line drawing based on the final operation time to and the final reception time tr, and proceeds to step S714.

ステップＳ７１４において、遠隔制御装置７０は、ステップＳ７１２において算出した被駆動部１０２の推定線画を、ステップＳ７１３において決定した線種により描画してモニタ出力部７６に出力する。図８により動作が表されるプログラムを終了する。
受信したデータがＡＣＫ信号であると判断される場合に実行されるステップＳ７２１において、遠隔制御装置７０は、最終受信時刻ｔｒを現在時刻に更新して図８により動作が表されるプログラムを終了する。 In step S714, the remote control device 70 draws the estimated line drawing of the driven unit 102 calculated in step S712 with the line type determined in step S713, and outputs it to the monitor output unit 76. The program whose operation is represented by FIG. 8 is terminated.
In step S721 executed when it is determined that the received data is an ACK signal, the remote control device 70 updates the last reception time tr to the current time and ends the program whose operation is represented by FIG. .

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）遠隔操縦システム１は、遠隔制御装置７０、および遠隔制御装置７０と通信ネットワーク１５により接続される作業機械、すなわち油圧ショベル１００を備える。油圧ショベル１００の少なくとも被駆動部１０２が遠隔制御装置７０から操作される。遠隔制御装置７０は、油圧ショベル１００の少なくとも被駆動部１０２を操作する操作信号を生成する信号生成部、すなわちＡ／Ｄ変換器７５と、作業機械に操作信号を送信し、作業機械の動作に関する情報、および符号化された被駆動部１０２の映像信号を受信する通信部７７とを備える。遠隔制御装置７０はさらに、符号化された被駆動部１０２の映像信号を復号化するデコード部と、デコード部が復号化した映像信号に基づく実映像を表示する表示部、すなわち運転室視点モニタ８２Ａと、デコード部における処理を経ずに、作業機械の動作に関する情報に基づいて操作信号による作業機械の動作を報知する報知部、すなわち運転室視点モニタ８２Ａとを備える。 According to the first embodiment described above, the following operational effects are obtained.
(1) The remote control system 1 includes a remote control device 70 and a work machine connected to the remote control device 70 via the communication network 15, that is, a hydraulic excavator 100. At least the driven part 102 of the excavator 100 is operated from the remote control device 70. The remote control device 70 transmits an operation signal to a signal generation unit that generates an operation signal for operating at least the driven unit 102 of the excavator 100, that is, the A / D converter 75, and the work machine, and relates to the operation of the work machine. And a communication unit 77 that receives the encoded video signal of the driven unit 102. The remote control device 70 further includes a decoding unit that decodes the encoded video signal of the driven unit 102, and a display unit that displays an actual video based on the video signal decoded by the decoding unit, that is, the cab viewpoint monitor 82A. And a notifying unit that notifies the operation of the work machine based on the operation signal based on the information related to the operation of the work machine without performing the process in the decoding unit, that is, the cab viewpoint monitor 82A.

このように構成された遠隔操縦システム１では、エンコード・デコードなどの遅延を生じさせる処理が不要である作業機械の被駆動部１０２の動作に関する情報に基づいて、作業機械の動作を報知し、動作開始時においても作業機械の動作をオペレータが把握することができる。すなわち、被駆動部１０２に操作指令を与えた時、エンコード・デコードが必要な被駆動部１０２の実映像が更新されるよりも早いタイミングで被駆動部１０２の動作をオペレータに報知することができ、オペレータはカメラ画像の通信遅延の影響を考慮せずに油圧ショベルの遠隔操縦を行うことが可能となり、操作性の低下を補うことができる。また、オペレータは報知よりは遅れるものの被駆動部１０２の映像も得られるため、その映像を見ながら遠隔操縦を行うことができる。さらに、被駆動部１０２の動作遅れと、実映像の更新遅れとを別々に把握することができるため、システムの不具合が予想できたときに的確に原因の推定と対策が可能となる。   In the remote control system 1 configured as described above, the operation of the work machine is notified based on the information related to the operation of the driven unit 102 of the work machine that does not require processing such as encoding / decoding and the like. The operator can grasp the operation of the work machine even at the start. That is, when an operation command is given to the driven unit 102, the operation of the driven unit 102 can be notified to the operator at an earlier timing than the actual video of the driven unit 102 that requires encoding / decoding is updated. The operator can remotely control the hydraulic excavator without considering the influence of the communication delay of the camera image, and can compensate for the decrease in operability. In addition, although the operator can obtain an image of the driven unit 102 although it is delayed from the notification, the operator can perform remote control while viewing the image. Furthermore, since the operation delay of the driven unit 102 and the update delay of the actual video can be grasped separately, it is possible to accurately estimate the cause and take countermeasures when a malfunction of the system can be predicted.

（２）作業機械の動作に関する情報は、作業機械が動作する前兆を示す信号、および作業機械が動作していることを示す信号の少なくとも一方である。
そのため、オペレータは作業機械に操作指令が伝達されたことを映像の更新、すなわち映像の変化に先んじて知ることができる。たとえば、オペレータが入力操作を行ったにもかかわらず被駆動部１０２の実映像が変化しないと、入力操作が受け付けられていないと誤解して過大な入力を行う恐れがある。しかし本システムによれば、入力が伝達されたことが運転室視点モニタ８２Ａに表示される被駆動部１０２の外形線の線種が変化することにより、換言すると推定線画の変化により報知されるので、過大な入力がされる恐れがない。さらに、操作信号が届いているか否かの確認が可能となり、遠隔操縦システム１のトラブルシュートにも有効に機能する。 (2) The information related to the operation of the work machine is at least one of a signal indicating a sign that the work machine is operating and a signal indicating that the work machine is operating.
Therefore, the operator can know that the operation command has been transmitted to the work machine prior to the update of the image, that is, the change of the image. For example, if the actual image of the driven unit 102 does not change even though the operator performs an input operation, there is a possibility that the input operation is not accepted and an excessive input is performed. However, according to this system, since the line type of the outline of the driven part 102 displayed on the cab viewpoint monitor 82A changes that the input has been transmitted, in other words, it is notified by a change in the estimated line drawing. There is no fear of excessive input. Furthermore, it is possible to confirm whether or not an operation signal has arrived, and this effectively functions for troubleshooting the remote control system 1.

（３）作業機械が動作する前兆を示す信号とは、操作信号を作業機械が受信したことを示す信号、すなわちＡＣＫ信号であり、作業機械が動作していることを示す信号とは、当該作業機械の動作を測定するセンサの出力信号、すなわちブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、およびバケット角検出器１０４Ｃの出力信号である。
そのため、ＡＣＫ信号を送信することにより作業機械が動作するのを待たずに迅速な応答が得られる。作業機械が動作したことによる変化をセンサで計測し、計測結果を送信することにより、動作が確実に行われたことを示すことができる。 (3) The signal indicating the sign that the work machine is operating is a signal indicating that the work machine has received the operation signal, that is, the ACK signal, and the signal indicating that the work machine is operating is the work This is an output signal of a sensor that measures the operation of the machine, that is, an output signal of the boom angle detector 104A, the arm angle detector 104B, and the bucket angle detector 104C.
Therefore, a quick response can be obtained without waiting for the work machine to operate by transmitting the ACK signal. By measuring the change caused by the operation of the work machine with the sensor and transmitting the measurement result, it can be shown that the operation has been performed reliably.

（４）作業機械の動作に関する情報は、作業機械に設置されたブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、およびバケット角検出器１０４Ｃの出力を含む情報である。遠隔制御装置７０は、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、およびバケット角検出器１０４Ｃの出力に基づき被駆動部１０２の姿勢を推定し、この推定に基づく推定線画を生成する姿勢推定部、すなわち姿勢描画プログラム７３Ｂを備える。
運転室視点モニタ８２Ａは、実映像および推定線画を表示する。
そのため、被駆動部１０２がこれからどのように動作するかを、撮影した実映像よりも早期に、なおかつ視覚的に報知することができる。 (4) The information regarding the operation of the work machine is information including outputs of the boom angle detector 104A, the arm angle detector 104B, and the bucket angle detector 104C installed in the work machine. The remote control device 70 estimates the attitude of the driven unit 102 based on the outputs of the boom angle detector 104A, arm angle detector 104B, and bucket angle detector 104C, and generates an estimated line drawing based on this estimation. That is, a posture drawing program 73B is provided.
The cab viewpoint monitor 82A displays the actual video and the estimated line drawing.
Therefore, it is possible to visually notify how the driven unit 102 will operate from now on, earlier than the captured actual video.

（５）油圧ショベル１００は、映像信号を生成する撮像部、すなわち車載カメラ４を備える。遠隔制御装置７０の姿勢推定部は、推定した姿勢ならびに車載カメラ４の取付け位置および姿勢に基づき、当該被駆動部１０２が車載カメラ４に撮影されると得られる当該被駆動部１０２の外形を示す推定線画を生成する。運転室視点モニタ８２Ａは、実映像に推定線画を重畳して表示する。
そのため、算出された被駆動部１０２の位置・姿勢は、撮影した被駆動部１０２の実映像に重畳されて表示するので、オペレータは被駆動部１０２の動作方向や動作量を的確に把握できる。 (5) The excavator 100 includes an imaging unit that generates a video signal, that is, the in-vehicle camera 4. The posture estimation unit of the remote control device 70 shows the outer shape of the driven unit 102 obtained when the driven unit 102 is photographed by the vehicle-mounted camera 4 based on the estimated posture and the mounting position and posture of the vehicle-mounted camera 4. Generate an estimated line drawing. The cab viewpoint monitor 82A superimposes and displays the estimated line drawing on the actual video.
Therefore, the calculated position / orientation of the driven unit 102 is displayed superimposed on the captured real image of the driven unit 102, so that the operator can accurately grasp the operation direction and the operation amount of the driven unit 102.

また、作業機械のバケット等の操作箇所を接触させて停止するような操作の場合にも、以下の利点がある。すなわち、撮影した被駆動部１０２の実映像により接触を確認する前に、被駆動部１０２が接触にて停止したことを確認できるため余分に操作することがない。すなわち、オペレータは被駆動部１０２を撮影して得た実映像の情報のみを得る場合に比べて、画像遅延の影響を低減した遠隔操作が可能となる。   In addition, the following advantages are also obtained in the case of an operation in which an operation location such as a bucket of a work machine is brought into contact with and stopped. That is, it is possible to confirm that the driven unit 102 has stopped due to the contact before confirming the contact with the actual image of the driven unit 102 that has been shot. That is, the operator can perform remote operation with reduced influence of image delay compared to the case where only the information of the actual video obtained by photographing the driven unit 102 is obtained.

（６）油圧ショベル１００は、遠隔制御装置７０から動作指令を受信する車載通信部５７と、遠隔制御装置７０からの信号に基づき動作する被駆動部１０２と、少なくとも被駆動部１０２の一部を撮影する車載カメラ４と、車載カメラ４が撮影して得られた映像を符号化するエンコード部、すなわち車載画像送信部５Ａと、当該油圧ショベル１００の動作に関する情報を生成する動作情報生成部、すなわち角度検出器１０４およびＡＣＫ信号を生成するＣＰＵ５１と、を備える。車載通信部５７は、符号化された車載カメラ４の映像および当該油圧ショベル１００の動作に関する情報を遠隔制御装置７０に送信する。
そのため、油圧ショベル１００は、遠隔制御装置７０と協調して動作を行う。 (6) The excavator 100 includes an in-vehicle communication unit 57 that receives an operation command from the remote control device 70, a driven unit 102 that operates based on a signal from the remote control device 70, and at least a part of the driven unit 102. The in-vehicle camera 4 to be imaged, the encoding unit that encodes the video obtained by the in-vehicle camera 4, that is, the in-vehicle image transmission unit 5A, and the operation information generation unit that generates information about the operation of the hydraulic excavator 100, that is, An angle detector 104 and a CPU 51 for generating an ACK signal. The in-vehicle communication unit 57 transmits the encoded video of the in-vehicle camera 4 and information regarding the operation of the hydraulic excavator 100 to the remote control device 70.
Therefore, the excavator 100 operates in cooperation with the remote control device 70.

以上説明した第１の実施の形態は、以下のように変形してもよい。
（１）被駆動部１０２の全体に同一の表示属性を割り当てたが、個別に表示属性を割り当ててもよい。すなわち、ブーム１０２Ａ、アーム１０２Ｂ、バケット１０２Ｃについて個別に最終操作時刻ｔｏ、および最終受信時刻ｔｒを管理する。そして、ブーム１０２Ａ、アーム１０２Ｂ、バケット１０２Ｃについて別々に線種を決定し、運転室視点モニタ８２Ａに表示する。これにより、ブーム１０２Ａ、アーム１０２Ｂ、バケット１０２Ｃそれぞれの応答特性を把握することができる。 The first embodiment described above may be modified as follows.
(1) Although the same display attribute is assigned to the entire driven unit 102, the display attribute may be assigned individually. That is, the final operation time to and the final reception time tr are individually managed for the boom 102A, the arm 102B, and the bucket 102C. Then, the line types are separately determined for the boom 102A, the arm 102B, and the bucket 102C, and displayed on the cab viewpoint monitor 82A. Thereby, the response characteristics of the boom 102A, the arm 102B, and the bucket 102C can be grasped.

（２）表示属性表７３Ｃでは、条件ごとに線種を定義していたが、条件ごとに色を定義してもよいし、条件ごとに線種と色とを定義してもよい。
（３）油圧ショベル１００が実行する車体操作プログラム５３Ａは、操作指令を正常に受信したことを示すＡＣＫ信号に代えて、被駆動部１０２へ駆動指令を出力したことを遠隔制御装置７０に送信してもよい。
（４）車載カメラ４は、遠隔制御装置７０からの指令により動作可能であってもよい。すなわち、車載カメラ４がパン・チルト・ズーム機能を備え、遠隔制御装置７０から操作可能であってもよい。この場合は、車載カメラ４により撮影される被駆動部１０２の位置および姿勢の推定（図８のステップＳ７１２）において、パン・チルト・ズームの設定値を参酌する。 (2) In the display attribute table 73C, the line type is defined for each condition. However, the color may be defined for each condition, or the line type and the color may be defined for each condition.
(3) The vehicle body operation program 53A executed by the excavator 100 transmits to the remote control device 70 that the drive command has been output to the driven unit 102, instead of the ACK signal indicating that the operation command has been normally received. May be.
(4) The in-vehicle camera 4 may be operable by a command from the remote control device 70. That is, the in-vehicle camera 4 may have a pan / tilt / zoom function and can be operated from the remote control device 70. In this case, in the estimation of the position and orientation of the driven unit 102 photographed by the in-vehicle camera 4 (step S712 in FIG. 8), the setting values of pan / tilt / zoom are taken into consideration.

（５）俯瞰用モニタ８２Ｂに表示される油圧ショベル１００の位置・姿勢を、運転室視点モニタ８２Ａに表示される被駆動部１０２の位置・姿勢と同様に推定し、重畳して表示してもよい。特に旋回動作や直進動作を行った場合に、運転室視点モニタ８２Ａに表示される推定した被駆動部１０２の位置・姿勢が変化しないため有用である。
（６）車載通信部５７と、外部通信部１３Ｂと、通信中継器１３Ｃとの通信は、無線に限定されない。いずれか１か所、または複数が有線による通信を行ってもよい。
（７）遠隔操縦システム１は、通信中継器１３Ｃを備えずに、車載通信部５７、および外部通信部１３Ｂが直接に通信部７７と通信を行ってもよい。
（８）遠隔制御装置７０は、油圧ショベル１００を遠隔操縦したが遠隔操縦する対象はこれに限定されない。遠隔制御装置７０が遠隔操縦を行う対象は、ホイールローダーやクレーンなどの、他の作業機械でもよい。 (5) The position / posture of the excavator 100 displayed on the overhead monitor 82B is estimated in the same manner as the position / posture of the driven unit 102 displayed on the cab viewpoint monitor 82A, and may be displayed superimposed. Good. This is particularly useful when a turning operation or a straight traveling operation is performed because the estimated position / posture of the driven unit 102 displayed on the cab viewpoint monitor 82A does not change.
(6) Communication between the in-vehicle communication unit 57, the external communication unit 13B, and the communication repeater 13C is not limited to wireless communication. Any one or more may perform wired communication.
(7) In the remote control system 1, the in-vehicle communication unit 57 and the external communication unit 13B may directly communicate with the communication unit 77 without including the communication repeater 13C.
(8) The remote control device 70 remotely controls the excavator 100, but the object to be remotely controlled is not limited to this. The object to be remotely controlled by the remote control device 70 may be another work machine such as a wheel loader or a crane.

（第２の実施の形態）
図９〜１２を参照して、本発明にかかる遠隔操縦システム１の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、運転室視点モニタ８２Ａに描画する実映像に重畳して表示する情報が第１の実施の形態と異なる。
図９は、第２の実施の形態における遠隔操縦システム１の構成を示すブロック図である。図９は、第１の実施の形態の図２に相当する。
第２に実施の形態における遠隔操縦システム１の構成は、遠隔制御装置７０のＲＯＭ７３にさらに表示色表７３Ｄが保存されている点が第１の実施の形態と主に異なる。また、ＲＯＭ７３に保存されている姿勢描画プログラム７３Ｂの動作も異なる。 (Second Embodiment)
With reference to FIGS. 9-12, 2nd Embodiment of the remote control system 1 concerning this invention is described. In the following description, the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment. In the present embodiment, the information displayed in a superimposed manner on the actual video drawn on the cab viewpoint monitor 82A is mainly different from that in the first embodiment.
FIG. 9 is a block diagram illustrating a configuration of the remote control system 1 according to the second embodiment. FIG. 9 corresponds to FIG. 2 of the first embodiment.
Secondly, the configuration of the remote control system 1 according to the second embodiment is mainly different from the first embodiment in that a display color table 73D is further stored in the ROM 73 of the remote control device 70. The operation of the posture drawing program 73B stored in the ROM 73 is also different.

（表示色表）
図１０は、表示色表７３Ｄの一例を示す図である。角速度の大きさと、それに対応する色および明るさが示されている。たとえば、角速度が０度付近であれば無色が選択され、角速度が大きくなると順に暗い赤、明るい赤へと変化する。角速度が０度から小さくなると、すなわちマイナス方向に大きくなると、暗い青、明るい青へと変化する。このとき、角速度のプラスとマイナスは、予め角度検出器１０４の動作方向に応じて設定する。本実施の形態では、アームやバケットを本体側に巻き込む方向をプラスと設定する。 (Display color table)
FIG. 10 is a diagram illustrating an example of the display color table 73D. The magnitude of angular velocity and the corresponding color and brightness are shown. For example, when the angular velocity is around 0 degrees, colorless is selected, and when the angular velocity increases, the color changes to dark red and bright red in order. When the angular velocity decreases from 0 degree, that is, increases in the minus direction, the color changes from dark blue to light blue. At this time, the positive and negative angular velocities are set in advance according to the operating direction of the angle detector 104. In the present embodiment, the direction in which the arm or bucket is wound on the main body side is set as plus.

（動作の概要）
遠隔制御装置７０は、油圧ショベル１００から受信する車体情報に基づき、運転室視点モニタ８２Ａのモニタ画像として、図１１のような入力操作を示す画像情報を被駆動部１０２の実映像に重畳して表示する。オペレータによる入力操作を示す四方向矢印８００Ｌ、８００Ｒの外枠の線種と、操作方向を示すハッチングの色を以下のように決定する。
遠隔制御装置７０は、第１の実施の形態において推定線画の線種を決定した手法を用いて、入力操作を示す表示の外枠の線種を決定する。すなわち、表示属性表７３Ｃ、およびＲＡＭ７２に保存される最終操作時刻ｔｏと最終受信時刻ｔｒとから線種を決定する。
遠隔制御装置７０は、油圧ショベル１００から受信した角度検出器１０４の検出した角度を対象に微分演算を行い、角速度を求める。遠隔制御装置７０は、図１０の表示色表７３Ｄを参照して算出した微分値より求めた角速度に対応する色および明るさを決定し、操作方向を示すハッチングに用いる。 (Overview of operation)
The remote control device 70 superimposes image information indicating an input operation as shown in FIG. 11 on the actual video of the driven unit 102 as a monitor image of the cab viewpoint monitor 82A based on the vehicle body information received from the excavator 100. indicate. The line types of the outer frames of the four-directional arrows 800L and 800R indicating the input operation by the operator and the hatching color indicating the operation direction are determined as follows.
The remote control device 70 determines the line type of the outer frame of the display indicating the input operation by using the method of determining the line type of the estimated line drawing in the first embodiment. That is, the line type is determined from the last operation time to and the last reception time tr stored in the display attribute table 73C and the RAM 72.
The remote control device 70 performs a differential operation on the angle detected by the angle detector 104 received from the excavator 100 to obtain an angular velocity. The remote control device 70 determines the color and brightness corresponding to the angular velocity obtained from the differential value calculated with reference to the display color table 73D of FIG. 10, and uses it for hatching indicating the operation direction.

（表示例）
図１１は、オペレータがアーム１０２Ｂを伸ばす操作を行っている場合の、運転室視点モニタ８２Ａの表示の一例である。図中の斜線で示すハッチング部は、車載カメラ４により撮影された被駆動部１０２の映像を示している。図中の２つの四方向矢印８００Ｌ、８００Ｒは、姿勢描画プログラム７３Ｂにより作成された、オペレータによる入力操作を示す表示である。２つの四方向矢印８００Ｌ、８００Ｒの外枠は、破線を用いて表示されている。四方向矢印８００Ｌの左方向のみが明るい青によりハッチングされ、四方向矢印８００Ｌの他の方向、および四方向矢印８００Ｒの全ての方向はハッチングされていない。 (Display example)
FIG. 11 is an example of a display on the cab viewpoint monitor 82A when the operator is performing an operation of extending the arm 102B. A hatched portion indicated by hatching in the drawing indicates an image of the driven portion 102 taken by the in-vehicle camera 4. Two four-directional arrows 800L and 800R in the drawing are displays indicating input operations by the operator created by the posture drawing program 73B. The outer frames of the two four-way arrows 800L and 800R are displayed using broken lines. Only the left direction of the four-way arrow 800L is hatched in bright blue, and the other directions of the four-way arrow 800L and all directions of the four-way arrow 800R are not hatched.

操作レバー８０は２本あり、左レバーの上下方向が旋回、左レバーの左右方向がアーム１０２Ｂの伸縮、右レバーの上下方向がブーム１０２Ａの上げ下げ、右レバーの左右方向がバケット１０２Ｃのクラウド・ダンプに対応する。遠隔制御装置７０は、角度検出器１０４が検出した角度を対象に微分演算を行う。遠隔制御装置７０は、アーム１０２Ｂの角度が大きく減少していることから、表示属性表７３Ｃを参照して入力操作を示すハッチングの色として明るい青を選択する。ブーム１０２Ａおよびバケット１０２Ｃの角度変化はなかったため、入力操作を示すハッチングの色として無色を選択する。遠隔制御装置７０は、角度検出器１０４が検出した角度の微分値に基づき、操作レバー８０の左レバーが左方向に入力されていると推定し、ハッチング部分として四方向矢印８００Ｌの左方向を選択する。そのため運転室視点モニタ８２Ａには、四方向矢印８００Ｌの左方向が明るい青によりハッチングされて表示される。   There are two operation levers 80, the left lever up and down turns, the left lever left and right extends and retracts the arm 102B, the right lever up and down raises and lowers the boom 102A, and the right lever left and right is the bucket dump of the bucket 102C. Corresponding to The remote control device 70 performs a differentiation operation on the angle detected by the angle detector 104. Since the angle of the arm 102B is greatly reduced, the remote control device 70 selects bright blue as the hatching color indicating the input operation with reference to the display attribute table 73C. Since there is no change in the angle of the boom 102A and the bucket 102C, colorless is selected as the hatching color indicating the input operation. The remote control device 70 estimates that the left lever of the operation lever 80 is input leftward based on the differential value of the angle detected by the angle detector 104, and selects the left direction of the four-way arrow 800L as the hatched portion. To do. Therefore, the cab viewpoint monitor 82A displays the left direction of the four-way arrow 800L hatched in bright blue.

（フローチャート）
図１２は、第１の実施の形態における図８のフローチャートに代わって、遠隔制御装置７０が実行する姿勢描画プログラム７３Ｂの処理内容を示すフローチャートである。遠隔制御装置７０は、油圧ショベル１００から車体情報またはＡＣＫ信号を受信すると図１２により動作が表されるプログラムを実行する。ここで、車体情報とは、ブーム角検出器１０４Ａ、アーム角検出器１０４Ｂ、バケット角検出器１０４Ｃ、および旋回角検出器１０４Ｄの検出する角度を含む情報である。 (flowchart)
FIG. 12 is a flowchart showing the processing contents of the posture drawing program 73B executed by the remote control device 70, instead of the flowchart of FIG. 8 in the first embodiment. When receiving the vehicle body information or the ACK signal from the excavator 100, the remote control device 70 executes a program whose operation is represented by FIG. Here, the vehicle body information is information including angles detected by the boom angle detector 104A, the arm angle detector 104B, the bucket angle detector 104C, and the turning angle detector 104D.

ステップＳ７１０ａにおいて、遠隔制御装置７０は、受信したデータが、車体情報およびＡＣＫ信号のいずれであるかを判断する。車体情報であると判断する場合はステップＳ７３１に進み、ＡＣＫ信号であると判断する場合はステップＳ７２１に進む。
ステップＳ７３１において、遠隔制御装置７０は、今回受信した角度情報、および過去に受信した角度情報を用いて、ブーム角、アーム角、バケット角、旋回角の微分演算を行いステップＳ７３２に進む。 In step S710a, remote control device 70 determines whether the received data is vehicle body information or an ACK signal. If it is determined that it is vehicle body information, the process proceeds to step S731, and if it is determined that it is an ACK signal, the process proceeds to step S721.
In step S731, the remote control device 70 performs differential calculation of the boom angle, the arm angle, the bucket angle, and the turning angle using the angle information received this time and the angle information received in the past, and proceeds to step S732.

ステップＳ７３２において、遠隔制御装置７０は、表示色表７３Ｄを参照して、ステップＳ７３１における演算結果から表示色、すなわちブーム角、アーム角、バケット角、旋回角の操作表示に用いる色および明るさを決定する。次にステップＳ７１３ａに進む。
ステップＳ７１３ａにおいて、遠隔制御装置７０は、表示属性表７３Ｃを参照し、最終操作時刻ｔｏ、および最終受信時刻ｔｒに基づき、四方向矢印８００Ｌ、８００Ｒの外枠の表示に用いる線種を決定し、ステップＳ７３３に進む。 In step S732, the remote control device 70 refers to the display color table 73D and determines the display color, that is, the color and brightness used for the operation display of the boom angle, arm angle, bucket angle, and turning angle from the calculation result in step S731. decide. Next, the process proceeds to step S713a.
In step S713a, the remote control device 70 refers to the display attribute table 73C, determines the line type used to display the outer frames of the four-directional arrows 800L and 800R based on the final operation time to and the final reception time tr, The process proceeds to step S733.

ステップＳ７３３において、遠隔制御装置７０は、既知である操作レバー８０の操作方向と被駆動部１０２の動作の組み合わせ、およびステップＳ７３１における演算結果から、オペレータによるレバーの入力を推測する。四方向矢印８００Ｌ、８００Ｒの画像に推測したレバー入力をハッチングとして追記し、ステップＳ７３４に進む。
ステップＳ７３４において、遠隔制御装置７０は、ステップＳ７３３において作成した四方向矢印８００Ｌ、８００Ｒの画像をモニタ出力部７６に出力し、図１２により動作が表されるプログラムを終了する。 In step S733, the remote control device 70 estimates the lever input by the operator from the known combination of the operation direction of the operation lever 80 and the operation of the driven unit 102 and the calculation result in step S731. The estimated lever input is added as hatching to the images of the four-directional arrows 800L and 800R, and the process proceeds to step S734.
In step S734, the remote control device 70 outputs the images of the four-directional arrows 800L and 800R created in step S733 to the monitor output unit 76, and ends the program whose operation is represented by FIG.

以上説明した第２の実施の形態では、以下の作用効果を奏する。ただし、第１の実施の形態と共通する作用効果は省略する。
（１）遠隔制御装置７０は、受信した車体情報を用いてオペレータによる操作レバー８０への操作入力を推定し、推定した操作入力を２つの四方向矢印８００Ｌ、８００Ｒとして運転室視点モニタ８２Ａに出力する。
そのため、オペレータは入力が正しく伝達されていることを、視覚的に確認することができる。
（２）遠隔制御装置７０は、受信した車体情報を用いて被駆動部１０２の動作の有無および変化率の大きさを判断し、色および明るさを用いて運転室視点モニタ８２Ａに出力する。
そのため、形状だけでなく色と明るさの多彩な情報を用いて直感的に分かりやすく報知することができる。 The second embodiment described above has the following effects. However, the operational effects common to the first embodiment are omitted.
(1) The remote control device 70 estimates the operation input to the operation lever 80 by the operator using the received vehicle body information, and outputs the estimated operation input to the cab viewpoint monitor 82A as two four-directional arrows 800L and 800R. To do.
Therefore, the operator can visually confirm that the input is correctly transmitted.
(2) The remote control device 70 determines the presence / absence of the operation of the driven unit 102 and the magnitude of the change rate using the received vehicle body information, and outputs it to the cab viewpoint monitor 82A using the color and brightness.
Therefore, it is possible to notify intuitively and easily using a variety of information on not only the shape but also the color and brightness.

上述した第２の実施の形態を以下のように変形してもよい。
（１）操作レバー８０の推定操作表示に代えて、バケット１０２Ｃが移動する方向を表示してもよい。たとえば、図１３に示すように運転室視点モニタ８２Ａに四方向矢印８１０を表示し、車体情報に基づきバケット１０２Ｃが移動する方向の矢印を他と異なる態様で表示してもよい。図１３の例では、バケット１０２Ｃが左に移動することを示している。
（２）操作レバー８０の推定操作表示に代えて、バケット１０２Ｃのクラウド・ダンプ動作を矢印で表示してもよい。たとえば、図１４に示すように運転室視点モニタ８２Ａに、ダンプ動作を示す外向き矢印８２０Ｕと、クラウド動作を示す内向き矢印８２０Ｄを表示可能とする。遠隔制御装置７０は、車体情報に基づきバケット１０２Ｃの動作にあわせて、外向き矢印８２０Ｕまたは内向き矢印８２０Ｄを表示してもよい。 The second embodiment described above may be modified as follows.
(1) Instead of the estimated operation display of the operation lever 80, the direction in which the bucket 102C moves may be displayed. For example, as shown in FIG. 13, a four-way arrow 810 may be displayed on the cab viewpoint monitor 82A, and an arrow indicating the direction in which the bucket 102C moves based on the vehicle body information may be displayed in a different manner. In the example of FIG. 13, the bucket 102C moves to the left.
(2) Instead of the estimated operation display of the operation lever 80, the cloud dump operation of the bucket 102C may be displayed with an arrow. For example, as shown in FIG. 14, an outward arrow 820U indicating a dump operation and an inward arrow 820D indicating a cloud operation can be displayed on the cab viewpoint monitor 82A. The remote control device 70 may display an outward arrow 820U or an inward arrow 820D in accordance with the operation of the bucket 102C based on the vehicle body information.

（３）操作レバー８０の推定操作表示に代えて、動作中であることを表すアイコンや図柄を表示してもよい。たとえば、図１５に示すように運転室視点モニタ８２Ａの一部に動作中であることを示す表示領域８３０を設ける。遠隔制御装置７０は、車体情報に基づき動作中であると判断すると、表示領域８３０に動作中であることを示す表示を行う。たとえば、動作をしていない場合は透明表示を行い、動作中であると判断すると赤い半透明の丸を表示する。
さらに、動作中であることを運転室視点モニタ８２Ａに表示する代わりに、不図示のランプ、ブザー、または振動子を用いてオペレータに報知してもよい。動作しているか否かの判定は各部位の方向や動作速度を判定するシステムに比べて判定処理負荷が小さいが、動きだしの判定や衝突判定には有効であり、画像遅延の影響を低減した遠隔操作が可能となる。 (3) Instead of the estimated operation display of the operation lever 80, an icon or a symbol indicating that the operation is being performed may be displayed. For example, as shown in FIG. 15, a display area 830 indicating that the operation is being performed is provided in a part of the cab viewpoint monitor 82A. When the remote control device 70 determines that it is operating based on the vehicle body information, it displays in the display area 830 that it is operating. For example, a transparent display is performed when no operation is performed, and a red translucent circle is displayed when it is determined that the operation is in progress.
Furthermore, instead of displaying that it is operating on the cab viewpoint monitor 82A, the operator may be notified using a lamp, buzzer, or vibrator (not shown). The determination of whether or not it is moving requires a smaller determination processing load than the system that determines the direction and movement speed of each part, but it is effective for the determination of movement start and collision determination, and is a remote that reduces the effects of image delay. Operation becomes possible.

（４）油圧ショベル１００は、ブーム角、アーム角、バケット角、および旋回角を検出する角度センサを備えたが、角度センサに代えて、角速度センサ、または加速度センサを備えてもよい。角速度センサおよび加速度センサを用いても、第２の実施の形態と同様の作用効果を得ることができる。
（５）四方向矢印８００Ｌ、８００Ｒの外枠の線種は、最終操作時刻ｔｏと最終受信時刻ｔｒからの経過時間によらず一定の表示としてもよい。たとえば、常に四方向矢印８００Ｌ、８００Ｒの外枠の線種は破線として、ハッチング表示を行う四方向矢印８００Ｌ、８００Ｒの個所、およびハッチングの色・明るさを変化させてもよい。 (4) The hydraulic excavator 100 includes the angle sensor that detects the boom angle, the arm angle, the bucket angle, and the turning angle, but may include an angular velocity sensor or an acceleration sensor instead of the angle sensor. Even if the angular velocity sensor and the acceleration sensor are used, the same effect as that of the second embodiment can be obtained.
(5) The line type of the outer frame of the four-directional arrows 800L and 800R may be a constant display regardless of the elapsed time from the last operation time to and the last reception time tr. For example, the line type of the outer frames of the four-directional arrows 800L and 800R may be always set as a broken line, and the portions of the four-directional arrows 800L and 800R that perform hatching display and the color and brightness of the hatching may be changed.

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 The above-described embodiments and modifications may be combined.
Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.

１ … 遠隔操縦システム
７０ … 遠隔制御装置
７７ … 通信部
７８Ａ … 画像受信部（デコード部）
８２Ａ … 運転室視点モニタ（報知部、表示部）
１００ … 油圧ショベル（作業機械）
１０２ … 被駆動部
１０２Ａ … ブーム（被駆動部）
１０２Ｂ … アーム（被駆動部）
１０２Ｃ … バケット（被駆動部）
１０４ … 角度検出器（センサ）
１０４Ａ … ブーム角検出器（センサ）
１０４Ｂ … アーム角検出器（センサ）
１０４Ｃ … バケット角検出器（センサ）

DESCRIPTION OF SYMBOLS 1 ... Remote control system 70 ... Remote control apparatus 77 ... Communication part 78A ... Image receiving part (decoding part)
82A ... Driver's cab viewpoint monitor (notification unit, display unit)
100… hydraulic excavator (work machine)
102 ... driven part 102A ... boom (driven part)
102B ... Arm (driven part)
102C ... Bucket (driven part)
104 ... Angle detector (sensor)
104A ... Boom angle detector (sensor)
104B ... Arm angle detector (sensor)
104C ... Bucket angle detector (sensor)

Claims (2)

遠隔制御装置、および前記遠隔制御装置とネットワークにより接続される作業機械を備え、前記作業機械に設けられ、アームおよびバケットを有する被駆動部が、少なくとも前記遠隔制御装置からの操作信号に基づいて操作される遠隔操縦システムにおいて、
前記作業機械は、
前記アームの回転角度を検出するアーム角検出器と、
前記バケットの回転角度を検出するバケット角検出器と、を備え、
前記遠隔制御装置は、
前記操作信号を生成する信号生成部と、
前記作業機械に前記操作信号を送信し、前記アーム角検出器から出力された前記アームの回転角度に比例した電気信号および前記バケット角検出器から出力された前記バケットの回転角度に比例した電気信号、ならびに符号化された前記アームおよび前記バケットそれぞれの映像信号を受信する通信部と、
符号化された前記アームおよび前記バケットそれぞれの映像信号を復号化するデコード部と、
前記デコード部における復号化処理を経ずに、前記アーム角検出器および前記バケット角検出器それぞれの出力に基づき前記アームおよび前記バケットそれぞれの姿勢を推定し、この推定に基づく推定線画を生成する姿勢推定部と、
モニタに映像を出力するモニタ出力部と、を備え、
前記モニタ出力部は、前記デコード部が復号化した映像信号に基づく実映像に対して前記姿勢推定部によって推定された推定線画を重畳させて前記モニタに出力する
遠隔操縦システム。 A remote control device, and a work machine connected to the remote control device via a network , the driven unit having an arm and a bucket provided on the work machine is operated based on at least an operation signal from the remote control device Remote control system
The work machine is
An arm angle detector for detecting the rotation angle of the arm;
A bucket angle detector for detecting a rotation angle of the bucket,
The remote control device is:
And a signal generator for generating a pre-Kimisao operation signal,
An electric signal proportional to the rotation angle of the arm output from the arm angle detector and an electric signal proportional to the rotation angle of the bucket output from the bucket angle detector. and a communication unit that receives the arm and the bucket, respectively of the video signal encoded,
A decoding unit for decoding the arm and the bucket, respectively of the video signal marks Goka,
Posture which estimates the posture of each of the arm and the bucket based on the output of each of the arm angle detector and the bucket angle detector without generating a decoding process in the decoding unit, and generates an estimated line drawing based on this estimation An estimation unit;
A monitor output unit for outputting video to a monitor ,
The remote control system, wherein the monitor output unit superimposes the estimated line drawing estimated by the posture estimation unit on an actual video based on the video signal decoded by the decoding unit and outputs the superimposed image to the monitor . 請求項１に記載の遠隔操縦システムにおいて、
前記作業機械は、前記アームおよび前記バケットを撮影する撮像部を備え、
前記遠隔制御装置の前記姿勢推定部は、推定した前記アームおよび前記バケットそれぞれの姿勢ならびに前記撮像部の取付け位置および姿勢に基づき、前記撮像部で撮影された画像内における前記アームおよび前記バケットそれぞれの位置および姿勢を推定し、推定した前記アームおよび前記バケットそれぞれの外形を示す推定線画を生成する
遠隔操縦システム。 The remote control system according to claim 1 , wherein
The work machine includes an imaging unit that photographs the arm and the bucket ,
The posture estimation unit of the remote control device, based on the estimated postures of the arms and the buckets and the mounting positions and postures of the imaging units, for the arms and the buckets in an image captured by the imaging unit. estimating the position and orientation, that the estimated line drawing showing the arm and the bucket respective outer estimated forming raw remote control system.
JP2015135981A 2015-07-07 2015-07-07 Remote control system Active JP6605241B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015135981A JP6605241B2 (en) 2015-07-07 2015-07-07 Remote control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015135981A JP6605241B2 (en) 2015-07-07 2015-07-07 Remote control system

Publications (2)

Publication Number Publication Date
JP2017022433A JP2017022433A (en) 2017-01-26
JP6605241B2 true JP6605241B2 (en) 2019-11-13

Family

ID=57889916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015135981A Active JP6605241B2 (en) 2015-07-07 2015-07-07 Remote control system

Country Status (1)

Country Link
JP (1) JP6605241B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107119739A (en) * 2017-05-24 2017-09-01 成都跟驰科技有限公司 Excavator long-range control method based on VR equipment
JP6824856B2 (en) * 2017-09-29 2021-02-03 株式会社小松製作所 Display control device and display control method
JP6933545B2 (en) * 2017-10-04 2021-09-08 株式会社小松製作所 Work vehicle, control device, and work vehicle control method
JP7063036B2 (en) * 2018-03-23 2022-05-09 コベルコ建機株式会社 Construction machinery
JP6965852B2 (en) * 2018-08-31 2021-11-10 株式会社豊田自動織機 Remote control system for industrial vehicles
WO2020090985A1 (en) 2018-10-31 2020-05-07 株式会社小松製作所 Display control system and display control method
JP7159797B2 (en) * 2018-11-09 2022-10-25 コベルコ建機株式会社 Work selection system and work selection method
KR102090409B1 (en) * 2018-12-27 2020-03-17 한양대학교 에리카산학협력단 Apparatus and method of controlling a remote-controlled excavator for preventing overload
JP7206956B2 (en) * 2019-01-28 2023-01-18 コベルコ建機株式会社 working machine
JP7287045B2 (en) * 2019-03-26 2023-06-06 コベルコ建機株式会社 remote control system
WO2021124858A1 (en) * 2019-12-19 2021-06-24 コベルコ建機株式会社 Remote control device and remote control system
JP7376440B2 (en) 2019-12-19 2023-11-08 コベルコ建機株式会社 Remote control device and remote control system
EP4115307A4 (en) * 2020-03-04 2024-04-03 Fort Robotics Inc Secure wireless communication of robotic safety state information

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4830809B2 (en) * 2006-11-24 2011-12-07 ソニー株式会社 Remote control device and remote control method
JP2008144379A (en) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd Image processing system of remote controlled working machine
JP5950607B2 (en) * 2012-02-15 2016-07-13 株式会社フジタ Remote control system
RU2646360C2 (en) * 2012-11-13 2018-03-02 Сони Корпорейшн Imaging device and method, mobile device, imaging system and computer programme

Also Published As

Publication number Publication date
JP2017022433A (en) 2017-01-26

Similar Documents

Publication Publication Date Title
JP6605241B2 (en) Remote control system
JP4977667B2 (en) Visual aid for work machine
JP5868681B2 (en) Remote control vehicle system
US10721397B2 (en) Image processing system using predefined stitching configurations
JP6972692B2 (en) Work machine surrounding monitoring system
WO2021124654A1 (en) Work assist server, work assist method, and work assist system
JP2020175890A (en) Work vehicle
AU2018201213B2 (en) Command for underground
JP2012065225A (en) In-vehicle image processing apparatus, periphery monitoring apparatus, and vehicle
JP2020002709A (en) Work machine
CN115210434A (en) Work support server and work support method
WO2020170526A1 (en) Display system for work machine
JP4300060B2 (en) Monitoring system and monitoring terminal
CN113039094A (en) Periphery monitoring device for construction machine
JP6824856B2 (en) Display control device and display control method
JP7376440B2 (en) Remote control device and remote control system
WO2021153187A1 (en) Work assisting server and work assisting system
WO2021106278A1 (en) Work assistance server, work assistance method, and work assistance system
US20220412049A1 (en) Work assisting server and method for selecting imaging device
WO2020202426A1 (en) Control unit and automatic operation system
WO2021124858A1 (en) Remote control device and remote control system
JP2006173999A (en) Camera device and remote device
WO2023100533A1 (en) Image display system, remote operation assistance system, and image display method
JP7351478B2 (en) Display system, remote control system, and display method
JP2019075712A (en) Work vehicle

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160914

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191016

R150 Certificate of patent or registration of utility model

Ref document number: 6605241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150