JP7060093B2 - 遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システム - Google Patents

遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システム Download PDF

Info

Publication number
JP7060093B2
JP7060093B2 JP2020521046A JP2020521046A JP7060093B2 JP 7060093 B2 JP7060093 B2 JP 7060093B2 JP 2020521046 A JP2020521046 A JP 2020521046A JP 2020521046 A JP2020521046 A JP 2020521046A JP 7060093 B2 JP7060093 B2 JP 7060093B2
Authority
JP
Japan
Prior art keywords
remote control
work machine
control device
speed
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020521046A
Other languages
English (en)
Other versions
JPWO2019225118A1 (ja
Inventor
達也 吉本
裕志 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019225118A1 publication Critical patent/JPWO2019225118A1/ja
Application granted granted Critical
Publication of JP7060093B2 publication Critical patent/JP7060093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18109Braking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021Determination of steering angle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/223Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/226Communication links with the remote-control arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、遠隔操作装置、遠隔操作方法、非一時的なコンピュータ可読媒体、及び、遠隔操作システムに関する。
近年、土木や建築等の建設現場における労働者不足解消や作業安全性向上を目的に、建設機械等の作業機械を遠隔操作して施工を行う遠隔施工が普及している。一般に、遠隔施工においては、作業機械に搭載されたカメラやセンサによって取得された情報に基づいて、操作者が遠隔操作装置を手動で操作し、作業機械を遠隔操作する。例えば、操作者は、映像モニタを見て現場の作業範囲やその周辺を確認し、スピーカーから現場の作業音を確認し、リモートコントローラのレバーを操作することにより現場の作業機械を遠隔で操作する。
遠隔操作装置は、Wi-Fi、4Gキャリア回線、インターネット回線等の通信ネットワークを介して遠隔操作対象である作業機械と接続している。そして、遠隔操作装置は、作業機械との間で、操作コマンドや映像情報、センサ情報等の送受信を行うことによって、作業機械を遠隔操作する。しかし、Wi-Fi等の無線通信は、通信端末間の距離に依存した電波減衰、ローカルネットワーク上の他の通信端末との電波干渉、クロストラヒック、天候や遮断物によるノイズの影響を受ける。そのため、Wi-Fi等の無線通信においては、通信時間の遅延や遅延の変動、データパケットの損失が発生することがある。これにより、例えば、作業機械に搭載されたカメラから遠隔操作装置へ送信される映像の遅延・乱れ・途絶が発生する。また、さらに、操作コマンドの作業機械への到達遅延・欠落が発生する。
その結果、操作者が正確に作業機械を操作できず、有人施工や有視界施工と比較して作業効率が低下する。例えば、操作者が作業機械を所望の位置に停止させる場合、通信ネットワークの遅延により停止コマンドが作業機械に遅延して到達する。そのため、作業機械が所望位置を超えて停止してしまう(以下、当該現象を「オーバーシュート」と称する)。そして、当該オーバーシュートによって、作業機械が障害物と衝突したり、作業機械の施工面がずれたりして作業精度が低下してしまう。また、オーバーシュートした位置から所望位置へ作業機械を戻すための操作が必要となり、作業時間の増加してしまう。
そのため、遠隔施工に限らず、通信遅延や遅延変動が発生する通信ネットワーク上における無人移動体等の機器の遠隔操作をより安定的、効率的に実現する技術が望まれている。
例えば、特許文献1には、無人移動体に搭載されたカメラが取得した映像データを蓄積するバッファを備え、遠隔操縦装置と無人移動体との間の通信遅延時間を推定し、通信遅延時間に基づいてバッファ遅延時間を算出することが記載されている。これにより、特許文献1では、通信遅延に起因する急激な映像の変化を抑制することを意図している。
特許文献2には、無人移動体の移動速度が低速である場合に遠隔操作を行い、当該移動速度が高速である場合に自動制御に切り替えることが記載されている。
特許第5393240号公報 特許第5187757号公報
しかしながら、特許文献1では、映像データの送受信の通信遅延について考慮されているだけであり、操作コマンドの送受信の通信遅延について考慮されていない。そのため、特許文献1では、操作精度は操作者の技能に委ねられ、通信遅延に伴うオーバーシュートを抑制できるとは限らない。
また、特許文献2では、高速移動時に自動制御モードに切り替えることにより、遅延に伴う操作のずれを回避することを意図している。しかし、低速時であっても通信遅延時間によってはオーバーシュートが増大し、操作精度が低下する畏がある。
本開示の目的は、作業機械を高精度に効率よく遠隔操作することができる遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システムを提供することである。
本発明の第1の態様に係る遠隔操作装置は、通信ネットワークを介して作業機械を遠隔操作する遠隔操作装置であって、操作者による操作に応じた操作信号であって、前記作業機械を遠隔操作する操作信号を前記遠隔操作装置に入力する操作入力部と、前記操作信号から、前記操作入力部への操作の大きさを求める操作算出部と、前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を求める操作変化量算出部と、前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間を通信遅延時間として測定する通信遅延時間測定部と、前記操作の大きさと、前記操作変化量と、前記通信遅延時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する速度算出部と、を備える。
本発明の第2の態様に係る遠隔操作方法は、遠隔操作装置が通信ネットワークを介して作業機械を遠隔操作する遠隔操作方法であって、前記遠隔操作装置は、前記遠隔操作装置の操作入力部から入力される前記作業機械を操作する操作信号であって、前記操作者による前記操作入力部の操作に応じた操作信号から前記操作者による前記操作入力部への操作の大きさを算出し、前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を算出し、前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間を通信遅延時間として測定し、前記操作の大きさと、前記操作変化量と、前記通信遅延時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する。
本発明の第3の態様に係る非一時的なコンピュータ可読媒体は、遠隔操作装置に通信ネットワークを介して作業機械を遠隔操作させる遠隔操作プログラムであって、前記遠隔操作装置に、前記遠隔操作装置の操作入力部から入力される前記作業機械を操作する操作信号であって、前記操作者による前記操作入力部の操作に応じた操作信号から前記操作者による前記操作入力部への操作の大きさを求める処理と、前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を求める処理と、前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間を通信遅延時間として測定する処理と、前記操作の大きさと、前記操作変化量と、前記通信遅延時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する処理と、を実行させる遠隔操作プログラムを格納する。
本発明の第4の態様に係る遠隔操作システムは、作業機械と、前記作業機械と通信ネットワークを介して接続される遠隔操作装置と、を備え、前記遠隔操作装置は、操作者による操作に応じた操作信号であって、前記作業機械を遠隔操作する操作信号を前記遠隔操作装置に入力する操作入力部と、前記操作信号から、前記操作入力部への操作の大きさを求める操作算出部と、前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を求める操作変化量算出部と、前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間を通信遅延時間として測定する通信遅延時間測定部と、前記操作の大きさと、前記操作変化量と、前記通信遅延時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する速度算出部と、を備える。
作業機械を高精度に効率よく遠隔操作することができる遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システムを提供することができる。
本発明に係る遠隔操作装置の一例を示すブロック図である。 本発明の実施の形態1に係る遠隔操作装置の一例を示すブロック図である。 本発明の実施の形態1に係る遠隔操作装置の制御部の一例を示すブロック図である。 通信遅延時間と動作速度との関係を示すグラフである。 本発明の実施の形態1に係る速度制御関数の一例を説明するグラフである。 本発明の実施の形態1に係る作業機械の一例を示すブロック図である。 本発明の実施の形態1に係る遠隔操作方法における遠隔操作装置の処理を説明するフローチャートである。 本発明の実施の形態1に係る遠隔操作方法における遠隔操作装置の処理を説明するフローチャートである。 本発明の実施の形態1に係る遠隔操作方法における作業機械の処理を説明するフローチャートである。
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明に係る遠隔操作装置100の一例を示すブロック図である。図1に示すように、遠隔操作装置100は、操作入力部101、操作算出部108、操作変化量算出部109、通信遅延時間測定部110、速度算出部111を備える。
また、遠隔操作装置100は、通信ネットワークNを介して作業機械200と通信可能に接続されている。遠隔操作装置100は、通信ネットワークN、作業機械200とともに遠隔操作システム10を構成する。そして、遠隔操作装置100は、操作者によって操作されることにより、当該作業機械200を遠隔操作する。
操作入力部101は、操作者による操作に応じた操作信号であって、作業機械200を遠隔操作する操作信号を遠隔操作装置100に入力する。
操作算出部108は、操作入力部101から入力された操作信号から操作入力部101への操作の大きさを求める。
操作変化量算出部109は、操作入力部101から入力された操作信号から操作の大きさの変化の程度を表す操作変化量を求める。
通信遅延時間測定部110は、遠隔操作装置100が作業機械200に測定用信号(所定の信号)を送信した時間から、遠隔操作装置100が作業機械200から返信用信号を受信した時間までの経過時間を通信遅延時間として測定する。ここで、当該測定用信号は、当該通信遅延時間を測定に利用する信号である。そして、当該返信用信号は、例えば、作業機械200が当該測定用信号を受信したことを表す信号である。当該測定用信号の送信時刻は、遠隔操作装置100に保持しておいても、或いは、当該測定用信号に含めてもよい。当該測定用信号に送信時刻を含める場合は、当該返信用信号に当該送信時刻を含める必要がある。即ち、通信遅延時間測定部110は、当該測定用信号の送信時刻と、当該返信用信号の到着時刻との差分を算出することにより、通信遅延時間を求める。
但し、当該測定用信号は、当該通信遅延時間を測定するための専用の信号であっても、他の用途に利用される所定の信号であってもよい。例えば、他の用途に利用される所定の信号を当該測定用信号とする例としては、速度算出部111で算出した作業機械200の動作速度情報を含む信号を利用するシステム構成を想定することができる。この場合、この信号に作業機械200への送信時刻を含めるのであれば、作業機械200は、その信号を受信するのに応じて、遠隔操作装置100に対して当該送信時刻を含む返信用信号を送信すれば、通信遅延時間を求めることができる。
速度算出部111は、操作の大きさと、操作変化量と、通信遅延時間とに基づいて、作業機械200を駆動する際の動作速度を算出する。速度算出部111による動作速度の算出の詳細については、後述する。
以上に説明した本発明に係る遠隔操作装置100によれば、作業機械200の動作速度が、操作算出部108によって算出された操作の大きさと、操作変化量算出部109によって算出された操作変化量と、通信遅延時間測定部110によって測定された通信遅延時間とに基づいて算出される。そのため、遠隔操作装置100は、通信遅延の発生する通信ネットワークNを介しても、作業機械200の動作速度を適切に調整することができる。これにより、通信ネットワークNを介しても作業機械200を高精度に効率よく遠隔操作することができる遠隔操作装置100を提供できる。
実施の形態1
本発明の実施の形態1に係る遠隔操作装置100について説明する。図2は、実施の形態1に係る遠隔操作装置100の一例を示すブロック図である。実施の形態1に係る遠隔操作装置100は、例えば、土木工事現場にある建設機械等の作業機械200を遠隔操作室等から遠隔操作するための通信・制御装置である。
図2に示すように、遠隔操作装置100は、操作入力部101と、センサ部102と、制御部103と、通信部104と、記憶部105と、表示部106と、を備える。また、制御部103は、操作算出部108と、操作変化量算出部109と、通信遅延時間測定部110と、速度算出部111と、を備える。また、遠隔操作装置100は、通信ネットワークNと接続されている。また、遠隔操作装置100は、通信ネットワークNを介して作業機械200と通信可能に接続されている。そして、遠隔操作装置100は、操作者によって操作されることにより、当該作業機械200を遠隔操作する。
通信ネットワークNは、例えば、特定小電力無線や無線LAN(Wi-Fi)等の局所通信方式、4G・5G等のキャリア回線、インターネットを経由したIP通信(Internet Protocol)等である。これにより、遠隔操作装置100は、数十キロ~数百キロメートル程度の超遠距離通信を介して、作業機械200を遠隔操作することができる。なお、以降の実施形態では、遠隔操作装置100と作業機械200はIP通信によりデータ通信を行うとする。
また、作業機械200は、図示しないカメラ等の映像取得部を備えており、当該映像取得部によって取得された映像は、カメラエンコーダによって映像データとして処理され、通信ネットワークNを介して遠隔操作装置100に送信される。遠隔操作装置100が受信した映像データはデコーダにより復元され、表示部106に表示される。これにより、操作者は作業現場の状況を認識することができる。なお、1台の作業機械200に対して複数台のカメラが搭載されてもよく、俯瞰カメラが搭載されてもよい。
操作入力部101は、操作者が作業機械200を手動操作するための入力インターフェース(図示省略)を備え、操作者による当該入力インターフェースの操作を操作入力情報として取得する。入力インターフェースは、例えば、リモートコントローラにおけるジョイスティックレバー(以下、レバーと称する。)等である。また、リモートコントローラにレバーが複数個搭載されていてもよい。操作入力部101は、通常の作業機械200の運転席に設けられている各種操作レバーを模したものであってもよい。
センサ部102は、操作入力部101によって取得された操作入力情報を操作信号として取得する。センサ部102によって取得される操作信号は、例えば、シリアルデータ等であり、制御部103に送信される。また、リモートコントローラにレバーが複数個搭載されている場合、1つのレバーが例えば直交する2軸方向に傾斜可能であり、それぞれの軸方向の操作によって作業機械200の2つの駆動機構が操作されてもよい。例えば、作業機械200がバックホウである場合、操作者がリモートコントローラに備えられた右手レバーを操作することによりバケットとブームが操作され、左手レバーを操作することによりアームの操作と旋回操作が行われてもよい。すなわち、センサ部102が取得する操作信号には、各レバーの軸方向毎の傾斜角度(以下、操舵角度と称する。)が含まれている。なお、センサ部102は、当該操作信号を所定時間毎に取得し、逐次最新の値を取得する。
制御部103は、図3に示すように、CPU103Aと、主記憶装置103Bと、補助記憶装置103Cと、外部インターフェース103Dと、を備える。CPU103Aが遠隔操作プログラムを実行することにより、遠隔操作装置100の各部の処理が実現する。また、遠隔操作プログラムは、例えば、補助記憶装置103Cに記憶されている。CPU103Aは、プログラムを補助記憶装置103Cから読み出して主記憶装置103Bに展開し、当該プログラムに従って処理を実行する。CPU103Aが遠隔操作プログラムを実行することにより、制御部103は、操作算出部108、操作変化量算出部109、通信遅延時間測定部110、速度算出部111等として機能する。なお、操作算出部108、操作変化量算出部109、通信遅延時間測定部110、速度算出部111は別々のハードウェアによって実現されてもよい。
補助記憶装置103Cは、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、外部インターフェース103Dを介して接続される磁気ディスク、光磁気ディスク、CD-ROM(Compact Disk Read Only Memory )、DVD-ROM(Digital Versatile Disk Read Only Memory )、半導体メモリ等が挙げられる。また、このプログラムが通信回線によって制御部103に配信される場合、配信を受けた制御部103がそのプログラムを主記憶装置103Bに展開し、上記の処理を実行してもよい。
また、プログラムは、遠隔操作装置100における処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置103Cに既に記憶されている他のプログラムと組み合わせられることによって遠隔操作装置100における処理を実現する差分プログラムであってもよい。
また、遠隔操作装置100の各構成要素の一部または全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
通信部104は、通信ネットワークNと接続されている作業機械200に搭載されたカメラ等の映像取得部(図示省略)と所定のデータを送受信する。作業機械200との通信では、通信遅延時間測定部110より作成される測定用信号の送信、作業機械200からのACK信号の受信、速度算出部111が算出した動作速度情報の送信を行う。また、作業機械200に搭載された映像取得部との通信では、カメラ映像情報の受信を行う。なお、通信部104が扱う通信データの種類は遠隔施工の形態や使用する通信機器によって決定され、特に限定されない。
記憶部105は、CPU103Aの処理結果を記憶する。また、記憶部105は、後述する、操作算出部108によって算出された操作の大きさ(操舵角度情報)、操作変化量算出部109によって算出された操作変化量(操舵角速度情報)、通信遅延時間測定部110によって測定された通信遅延時間、速度算出部111によって算出された動作速度を記憶する。
表示部106は、ディスプレイ等の出力インターフェースである。そして、表示部106は、作業機械200に搭載された車載カメラや作業機械200付近に設置された俯瞰カメラ等、1つ又は複数のカメラから通信ネットワークNを介して通信部104に送信された映像情報を取得し、表示する。
操作算出部108は、センサ部102が取得した操作信号から、操作入力部101のレバーが操作される軸方向毎の操舵角度に関する情報(以下、操舵角度情報と称する。)を算出し、当該操舵角度情報をデジタルデータに変換し、記憶部105に保存する。すなわち。当該操舵角度情報は、操作者による操作入力部101のレバーの操作の大きさを表す。なお、操舵角度情報は所定時間毎に算出され、その算出頻度はセンサ部102による操作信号取得頻度以下である。また、操舵角度情報は、操作入力部101に備えられるレバー毎に算出される。また、操舵角度情報は、当該レバーが操作される軸方向毎の操舵角度に関する情報であり、センサ部102が操作信号を取得した時刻である取得時刻情報を含む。
操作変化量算出部109は、センサ部102が取得した操作信号から、レバーの傾斜角速度である操舵角速度に関する情報(以下、操舵角速度情報と称する。)を、操作入力部101のレバーが操作される軸方向毎に算出し、デジタルデータに変換し、記憶部105に保存する。すなわち、当該操舵角速度情報は、操作入力部101のレバーの操作の大きさの変化の程度を表す。なお、操舵角速度情報は所定時間毎に算出され、その算出頻度はセンサ部102による操作信号取得頻度以下である。また、操舵角速度情報は、操作入力部101に備えられるレバー毎に算出される。また、操舵角速度情報は、当該レバーが操作される軸方向毎の操舵角速度に関する情報であり、センサ部102が操作信号を取得した時刻である取得時刻情報を含む。
通信遅延時間測定部110は、操作対象となる作業機械200とのデータ通信に要する通信遅延時間を測定する。具体的には、通信遅延時間測定部110は、遠隔操作装置100が作業機械200に測定用信号を送信した時間から、遠隔操作装置100が作業機械200から返信用信号を受信した時間までの経過時間を通信遅延時間として測定する。より具体的には、通信遅延時間測定部110は、まず、通信部104を介して作業機械200に測定用信号を送信する。次に、通信遅延時間測定部110は、通信部104を介して作業機械200から返信用信号としてのACK(Acknowledgement)信号を受信する。そして、通信遅延時間測定部110は、遠隔操作装置100から作業機械200に測定用信号を送信してから、遠隔操作装置100が作業機械200からACK信号を受信するまでの往復通信時間RTT(Round Trip Time)を通信遅延時間として測定する。なお、通信遅延時間測定部110は、所定時間毎に通信遅延時間を測定し、当該通信遅延時間は記憶部105に保存される。
速度算出部111は、操作の大きさとしての操舵角度情報と、操作変化量としての操舵角速度情報と、通信遅延時間とに基づいて、作業機械200を駆動する際の動作速度を算出する。具体的には、速度算出部111は、記憶部105に保存された最新の操舵角度情報、最新の操舵角速度情報、及び、最新の通信遅延時間情報を取得し、作業機械200の動作速度を算出する。また、速度算出部111は、算出した動作速度を記憶部105に保存する。なお、速度算出部111は、所定時間毎に動作速度を算出することにより当該動作速度を更新する。また、動作速度の更新頻度は、センサ部102による操作信号の取得頻度、操作算出部108による操舵角度情報の算出頻度、操作変化量算出部109による操舵角速度情報の算出頻度、通信遅延時間測定部110による通信遅延時間の測定頻度以下である。
速度算出部111は、以下のように作業機械200の動作速度を算出する。
まずは、レバーの操舵角度(操作の大きさ)と作業機械200の動作速度との関係を表す式を定義する。レバーのある軸方向に対する操舵角度をθとし、当該操舵角度θに対応する作業機械200の駆動部203の動作速度をVとする。作業機械200が、油圧駆動型、電気駆動型等の一般的な駆動方法によって駆動される駆動部203を備える場合、作業機械200の動作速度Vは、レバー操舵角度θに単調増加比例する。そのため、レバーの操舵角度(操作の大きさ)と作業機械200の動作速度との関係を表す式は、以下の式(1)及び式(2)によって表される。
V = F(θ) ・・・・・(1)
∂F/∂θ > 0 ・・・・・(2)
なお、式(2)の記号「/」は除算を表し、左辺は変数θの関数F(θ)の微文値を表す。また、レバーの操舵角度と、駆動部203の動作速度の関係を表す関数F(θ)は、作業機械200に搭載される油圧駆動装置や電気駆動装置の特性により決定される。また、当該式(1)及び式(2)は、通信ネットワークNを介さず、作業機械200を例えば作業機械200に備えられた運転席の操作レバーで作業機械200を手動操縦する場合のレバーの操舵角度(操作の大きさ)と作業機械200の動作速度との関係を表す式に相当する。すなわち、当該式(1)及び式(2)では、通信ネットワークNにおける通信遅延時間が考慮されていない。すなわち、当該式(1)及び式(2)は、遠隔操作装置100の操作入力部101における操作の大きさに従って動作する作業機械200の駆動部203の所望する動作速度と、作業機械200の駆動部203の実際の動作速度とが一致する場合における関係式である。
次に、通信ネットワークNにおける通信遅延時間を考慮した、作業機械200の動作速度の算出方法を説明する。速度算出部111が、通信ネットワークNにおける通信遅延時間を考慮して動作速度を算出することにより、例えば、作業機械200が所望位置を超えて停止する現象(以下、オーバーシュートと称する)の発生を抑制することができる。これにより、遠隔操作装置100は、作業機械200を高精度に効率よく遠隔操作することができる。
遠隔操作装置100において操作者がモニタ映像等で建機の動作状況を認識して、操作入力部101を操作し、動作速度に関する情報が作業機械200に送信されるまでの時間は、通信遅延時間測定部110が測定する往復通信時間(RTT)に相当する。つまり、通信遅延時間が発生する場合、操作者が操作の必要性を認識してから作業機械200において操作者の操作が反映されるまでに遅れが生じる。よって、ある目標位置に作業機械200を停止させようとする場合、操作者が作業機械200の位置を認識してから停止コマンドが作業機械200に送信され、停止するまでに遅れが生じる。これにより、作業機械200が目標位置よりも行き過ぎてしまう現象(オーバーシュート)が生じる。これにより、作業機械200の作業精度が低下する畏がある。そのため、速度算出部111が、通信遅延時間を考慮して動作速度を算出することにより、オーバーシュートを所定値以下に抑制することができる。
通信ネットワークNの通信遅延時間をd、作業機械200の動作速度をv、オーバーシュート量をδとした場合、以下の式(3)が成り立つ。
δ = v × d ・・・・・(3)
すなわち、オーバーシュート量をある所定値δr以下に抑制したい場合、動作速度は、以下の式(4)を満たせばよい。
v ≦ δr/d ・・・・・(4)
図4は、通信遅延時間dと動作速度vの関係を示すグラフである。図4のように、動作速度vの上限値は通信遅延時間dの反比例関数F1で表される。また、動作速度vを反比例関数F1よりも小さい値、すなわち、斜線領域R1内の値とすることにより、オーバーシュート量を所定値δr以内に抑制することができる。
上記のように、オーバーシュートを抑制するためには、通信遅延時間dが長くなるにつれて動作速度vを抑制する必要がある。すなわち、通信ネットワークNを介した遠隔操作におけるオーバーシュートを抑制するために、速度算出部111は、以下の式(5)、式(6)を用いて、作業機械200の動作速度Vを算出できる。
V = G(θ,d) = F(θ)/(βd+1) ・・・・・(5)
β > 0 ・・・・・(6)
なお、係数βは正の定数であり、オーバーシュートの許容量に応じて決定される。
次に、通信遅延時間dに加えて、レバー操舵角速度を考慮した、作業機械200の動作速度の算出方法を説明する。速度算出部111が、通信遅延時間dに加えて、レバー操舵角速度を考慮して作業機械200の動作速度を算出することにより、作業機械200は、高精度に効率よく作業することができる。
上記のように、オーバーシュートの抑制のみを目的として動作速度を算出した場合、作業機械200の動作速度は通信遅延時間dに応じて常時動作速度を抑制する必要性があり、全体の作業時間が増大する畏がある。そのため、次に、レバーの操舵角速度から作業状況を判断し、当該作業状況に応じて動作速度の抑制量を緩和することにより、作業時間を短縮する動作速度算出方法を示す。
一般的に、オーバーシュートを考慮しなければならない状況として、作業機械200が目標停止位置付近を移動する場面や、精度が要求される微細な操作が必要な場面が挙げられる。具体的には、例えば、バックホウによる法面施工、ダンプへの土砂積込、グラップル式バックホウによるブロックの掌握、等が考えられる。これらの状況においては、バケットを目標位置に正確に停止させる必要性がある。そのため、慎重な操作により作業機械200を急加速させない傾向がある。つまり、レバーの操舵角速度は所定の閾値ωr以下に抑えられると想定される。
一方で、作業機械200が目標停止位置まで十分に距離があり停止操作を必要としない場合においては、通信遅延によるオーバーシュートが発生しない。そのため、速度抑制を緩和してもよい。この状況においては、操作者は作業機械200を十分に加速させるため、レバーの操舵角速度は所定の閾値ωrを超えると想定される。
以上を鑑みて、速度算出部111は、レバーの操舵角度θ、通信遅延時間d、レバーの操舵角速度ωに応じて、以下の式(7)、式(8)、及び、式(9)を用いて、作業機械200の動作速度Vを算出する。
V = G(θ,d)×γ(d,ω) ・・・・・(7)
γ(d,ω) = 1 (ω ≦ ωr) ・・・・・(8)
1 < γ(d,ω) ≦ βd+1 (ω > ωr) ・・・・・(9)
関数γはレバーの操舵角速度ωに応じて速度抑制量を調整する速度制御関数であり、式(8)、(9)で表される制約に従う。図5に示すように、レバーの操舵角速度ωが所定の閾値ωr以下の場合、γ=1となる。すなわち、作業機械200の動作速度Vは、関数G(θ,d)によって規定され、通信遅延時間dに応じてオーバーシュートが抑制される値となる。一方で、レバーの操舵角速度ωが所定の閾値ωrを超えた場合、関数γの値は1を超え、動作速度Vの抑制が緩和される。これにより、作業機械200の動作速度Vを増加させ、作業効率の向上を実現される。なお、関数γの値の最大値はβd+1とし、作業機械200の動作速度Vは関数F(θ)の値を超えない。すなわち、作業機械200の本来の動作速度Vよりも高速化することはないため、安全性を担保することもできる。なお、図5は関数γの一例を表しており、関数γは、図5に示す関数に限定されるものではない。
動作速度Vは、通信遅延時間dに反比例するように算出される。そのため、通信遅延時間dの変動量によっては経過時間毎の動作速度Vの変動が激しく、操作性を損なう可能性がある。そこで、速度算出部111は、式(7)、(8)、(9)に従って算出した最新の動作速度Vと、記憶部105に保存した過去の動作速度Vとを用い、当該最新の動作速度値Vを平滑化処理する。これにより、遠隔操作の操作性を改善できる。なお、平滑化処理において、移動平均フィルタ、ガウシアンフィルタ等を用いることができるが、平滑化処理の方法は、これらの方法に限定されない。
速度算出部111は、上記の算出方法に従って、操作入力部101に備えられるレバー毎に、レバーの各軸方向に対応して、作業機械200の動作速度を算出する。また、速度算出部111によって算出された動作速度Vに関する情報は、通信部104を介して作業機械200に送信される。
作業機械200は、例えば、バックホウ、ブルドーザー、ダンプカー等の建設機械である。具体的には、作業機械200は、図6に示すように、通信部201、変換部202、駆動部203等を備える。また、作業機械200は、通信ネットワークNと接続されている。そして、作業機械200は、通信ネットワークNを介して、遠隔操作装置100と通信可能に接続されている。なお、作業機械200は、図示しないCPU、図示しない記憶部等を備え、CPUが記憶部に格納されたプログラムを実行することにより、作業機械200における全ての処理が実現してもよい。この場合、作業機械200のそれぞれの記憶部に格納されるプログラムは、CPUに実行されることにより、作業機械200の構成要素のそれぞれにおける処理を実現するためのコードを含む。なお、記憶部は、例えば、このプログラムや、CPUにおける処理に利用される各種情報を格納することができる任意の記憶装置を含んで構成される。記憶装置は、例えば、メモリ等である。
通信部201は、通信ネットワークNを介して接続されている遠隔操作装置100と所定のデータを送受信する。具体的には、通信部201は、遠隔操作装置100の通信部104から送信される通信遅延時間を測定するための測定用信号を受信し、ACK信号を返信し、作業機械200の動作速度Vに関する情報を受信する。
変換部202は、通信部201が受信した作業機械200の動作速度Vに関する情報を駆動信号に変換する。駆動信号は作業機械200を制御する駆動装置に応じて異なるが、操縦席外付け型レバー制御装置のシリンダーや作業機械200の内部の油圧制御弁を制御するモータの電流値等である。
駆動部203は、作業機械200に備えられるシリンダーや油圧制御弁を制御するモータ等の駆動装置である。そして、駆動部203は、変換部202から入力される駆動信号(電流値等)に従って動作することにより、作業機械200の各駆動機構(バックホウにおけるバケット、アーム、ブーム、旋回等)を動作速度Vで動作させる。
次に、本実施の形態1に係る遠隔操作装置100における遠隔操作方法について、図7及び図8に示すフローチャートを参照しながら説明する。
まず、操作入力部101は、操作者による当該操作入力部101のレバーの操作を操作入力情報として取得する(ステップS101)。
次に、センサ部102は、ステップS101において取得された操作入力情報を操作信号として取得する(ステップS102)。センサ部102によって取得される操作信号は、例えば、シリアルデータ等であり、制御部103に送信される。なお、レバーは複数の軸方向に傾斜可能であってもよく、操作入力部101に複数のレバーが備えられていてもよい。そのため、操作信号は、レバー毎に取得されるとともに、それぞれのレバーの操作信号は、軸方向毎の傾斜角度(操舵角度)を含む。なお、センサ部102は、当該操作信号を所定時間毎に取得し、逐次最新の値を取得する。また、センサ部102は、操作信号として、レバーの軸方向毎の操舵角度を実質的に同時に取得する。
次に、操作算出部108は、ステップS102において取得した操作信号から、操作入力部101のレバーの操舵角度に関する情報(操舵角度情報)を軸方向毎に算出する(ステップS103)。さらに、操作算出部108は、当該操舵角度情報をデジタルデータに変換し、最新データとして記憶部105に保存する(ステップS104)。なお、操舵角度情報は所定時間毎に算出され、その算出頻度はセンサ部102による操作信号取得頻度以下である。また、操舵角度情報は、操作入力部101に備えられるレバー毎に算出される。また、操舵角度情報は、センサ部102が操作信号を取得した時刻である取得時刻情報を含む。
次に、操作変化量算出部109は、ステップS102において取得した操作信号から、レバーの傾斜角速度である操舵角速度に関する情報(操舵角速度情報)を、操作入力部101のレバーが操作される軸方向毎に算出する(ステップS105)。さらに、それらをデジタルデータに変換し、最新データとして記憶部105に保存する(ステップS106)。なお、操舵角速度情報は所定時間毎に算出され、その算出頻度はセンサ部102による操作信号取得頻度以下である。また、操舵角速度情報は、操作入力部101に備えられるレバー毎に算出される。また、操舵角速度情報は、センサ部102が操作信号を取得した時刻である取得時刻情報を含む。
次に、通信遅延時間測定部110は、作業機械200に測定用信号を送信し、遠隔操作装置100と作業機械200との間の通信遅延時間を測定する(ステップS107)。通信遅延時間は、遠隔操作装置100から作業機械200に測定用信号を送信してから、作業機械200からの返信用信号(ACK)を受信するまでの経過時間により測定される。さらに、通信遅延時間測定部110は、ステップS107において測定した、最新の測定値(通信遅延時間)を記憶部105に保存する(ステップS108)。なお、通信遅延時間測定部110は、所定時間毎に通信遅延時間を測定する。
次に、速度算出部111は、ステップS104において記憶部105に保存された最新のレバー操舵角度θ(操舵角度情報)、ステップS106において記憶部105に保存された最新のレバー操舵角速度ω(操舵角速度情報)、及び、ステップS108において記憶部105に保存された最新の通信遅延時間dを取得し、作業機械200の動作速度Vを式(7)、(8)、(9)に従って算出する(ステップS109)。
なお、速度算出部111は、ステップS109において算出した最新の動作速度Vと、記憶部105に保存した過去の動作速度Vとを用い、当該最新の動作速度値Vを平滑化処理してもよい。
次に、通信部104は、ステップS109において算出された動作速度に関する情報を作業機械200に通信ネットワークNを介して送信する(ステップS110)。
上記の遠隔操作装置100における一連の処理ステップは、所定時間毎に継続的に実行される。すなわち、操作者による所定作業が完了しなければ、再びステップS101に戻る。一方で、操作者が所定作業を完了し、停止処理(リモートコントローラの電源オフ、等)を行うことにより遠隔操作装置100の上記処理ステップが終了する。
次に、本実施の形態1に係る遠隔操作方法における作業機械200の動作について、図9に示すフローチャートを参照しながら説明する。
まず、通信部201は、遠隔操作装置100から通信ネットワークNを介して送信される作業機械200の動作速度に関する情報を取得する(ステップS201)。
次に、変換部202は、ステップS201において取得された作業機械200の動作速度に関する情報を駆動信号に変換する(ステップS202)。駆動信号は作業機械200を制御する駆動装置に応じて異なり、例えば、作業機械200に設けられたシリンダーや油圧制御弁を制御するモータの電流値等である。また、変換部202は、当該駆動信号を作業機械200の機体内の電子回路を通じて駆動部203に入力する。
駆動部203は、変換部202から入力される駆動信号(電流値等)に従って動作することにより、作業機械200の各駆動機構を動作速度Vで動作させる。(ステップS203)。駆動部203によって制御される作業機械200の駆動機構の例として、バックホウにおけるバケット、アーム、ブーム、旋回等が挙げられる。このように、作業機械200の駆動機構は複数存在し、各駆動機構に対して異なる駆動信号が伝達され、それぞれ独立に制御されてもよい。
上記の作業機械200における一連の処理ステップは、所定時間毎に継続的に実行される。すなわち、操作者による所定作業が完了しなければ、再びステップS201に戻る。一方で、操作者が所定作業を完了し、停止処理(エンジンの電源オフ、等)を行うことにより作業機械200の処理ステップが終了する。
以上に説明した実施の形態1に係る遠隔操作装置100によれば、作業機械200の動作速度が、操作算出部108によって算出された操作の大きさと、操作変化量算出部109によって算出された操作変化量と、通信遅延時間測定部110によって測定された通信遅延時間とに基づいて算出される。そのため、遠隔操作装置100は、通信遅延の発生する通信ネットワークNを介しても、作業機械200の動作速度を適切に調整することができる。これにより、通信ネットワークNを介しても、作業機械200を高精度に効率よく遠隔操作することができる遠隔操作装置100、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システム10を提供することができる。
また、速度算出部111は、通信遅延時間dが長くなるにつれて動作速度Vが抑制され、操作変化量(レバーの操舵角速度ω)が所定の閾値ωrより大きくなると動作速度Vの抑制が緩和されるように、動作速度Vを算出する。そのため、オーバーシュートの発生を防止することができるとともに、作業機械200の作業効率の向上を実現できる。
また、速度算出部111における動作速度の算出において、操作入力部101のレバーの操舵角速度ωに応じて速度抑制量を調整する速度制御関数γの値の最大値を所定の値(βd+1)とする。これにより、作業機械200の動作速度Vが、作業機械200に備えられた運転席の操作レバーで作業機械200を手動操縦する場合の作業機械200の動作速度の値(関数F(θ))を超えないように調整することができる。これにより、作業機械200の本来の動作速度Vよりも高速化することはないため、安全性を担保することもできる。
また、速度算出部111は、算出した最新の動作速度Vと、記憶部105に保存した過去の動作速度Vとを用い、当該最新の動作速度値Vを平滑化処理する。これにより、通信遅延時間dの変動量によって経過時間毎の動作速度Vの変動が激しくなることを防ぐことができ、遠隔操作の操作性を改善できる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、作業機械200には運転席が設けられていてもよい。また、当該運転席には、遠隔操作装置100の操作入力部101と同様に各種操作レバーが設けられていてもよい。具体的には、本発明に係る作業機械200は、通常の運転席を有する作業機械に、作業機械の周囲を撮像するカメラ等の映像取得部、遠隔操作装置100と通信するための通信モジュール等が後付けで搭載されてものであってもよい。このような場合、遠隔操作装置100の操作入力部101のレバーの操舵される軸方向、操舵角度、及び、操舵角速度と同じ軸方向、操舵角度、及び、操舵角速度で、作業機械200の運転席の操作レバーも傾斜してもよい。また、遠隔操作装置100の操作入力部101への操作の大きさ(操舵される軸方向、操舵角度)及び操作変化量(操舵角速度)と、作業機械200の運転席の操作レバーへの操作の大きさ及び操作変化量とは、同じであってもよい。また、作業機械200の駆動部(バックホウのバケット等)が動作する際の動作速度と、作業機械200の運転席の操作レバーへの操作の大きさとが比例関係等の所定の関係を有する場合には、遠隔操作装置100の操作入力部101への操作の大きさ(操舵される軸方向、操舵角度)及び操作変化量(操舵角速度)と、作業機械200の運転席の操作レバーへの操作の大きさ及び操作変化量とは、異なっていてもよい。
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、図7乃至図9のフローチャートに記載の処理手順を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。 また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
通信ネットワークを介して作業機械を遠隔操作する遠隔操作装置であって、
操作者による操作に応じた操作信号であって、前記作業機械を遠隔操作する操作信号を前記遠隔操作装置に入力する操作入力部と、
前記操作信号から、前記操作入力部への操作の大きさを求める操作算出部と、
前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を求める操作変化量算出部と、
前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間を通信遅延時間として測定する通信遅延時間測定部と、
前記操作の大きさと、前記操作変化量と、前記通信遅延時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する速度算出部と、
を備える遠隔操作装置。
(付記2)
前記速度算出部は、
前記通信遅延時間が長くなるにつれて前記動作速度が抑制され、前記操作変化量が所定の値より大きくなると前記動作速度の抑制が緩和されるように、前記動作速度を算出する、付記1に記載の遠隔操作装置。
(付記3)
前記速度算出部が算出した前記動作速度を格納する記憶部を備え、
前記速度算出部は、
算出した最新の前記動作速度を、前記記憶部に格納済みの前記動作速度を用いて平滑化処理する、付記1又は2に記載の遠隔操作装置。
(付記4)
遠隔操作装置が通信ネットワークを介して作業機械を遠隔操作する遠隔操作方法であって、
前記遠隔操作装置は、
前記遠隔操作装置の操作入力部から入力される前記作業機械を操作する操作信号であって、操作者による前記操作入力部の操作に応じた操作信号から前記操作入力部への操作の大きさを算出し、
前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を算出し、
前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間を通信遅延時間として測定し、
前記操作の大きさと、前記操作変化量と、前記通信遅延時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する、
遠隔操作方法。
(付記5)
前記遠隔操作装置は、
前記通信遅延時間が長くなるにつれて前記動作速度が抑制され、前記操作変化量が所定の値より大きくなると前記動作速度の抑制が緩和されるように、前記動作速度を算出する、付記4に記載の遠隔操作方法。
(付記6)
前記遠隔操作装置は、
算出した前記動作速度を格納し、
算出した最新の前記動作速度を、格納済みの前記動作速度を用いて平滑化処理する、付記4又は5に記載の遠隔操作方法。
(付記7)
前記遠隔操作装置は、前記通信ネットワークを介して、前記動作速度に関する情報を前記作業機械に送信し、
前記作業機械は、受信した前記動作速度に関する情報を前記作業機械の駆動部を駆動するための駆動信号に変換し、
前記駆動部は、前記駆動信号に基づいた速度で前記作業機械の駆動機構を駆動する、付記4乃至6の何れか1つに記載の遠隔操作方法。
(付記8)
遠隔操作装置に通信ネットワークを介して作業機械を遠隔操作させる遠隔操作プログラムであって、
前記遠隔操作装置に、
前記遠隔操作装置の操作入力部から入力される前記作業機械を操作する操作信号であって、操作者による前記操作入力部の操作に応じた操作信号から前記操作入力部への操作の大きさを求める処理と、
前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を求める処理と、
前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間を通信遅延時間として測定する処理と、
前記操作の大きさと、前記操作変化量と、前記通信遅延時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する処理と、
を実行させる、遠隔操作プログラム。
(付記9)
前記遠隔操作装置に、
前記通信遅延時間が長くなるにつれて前記動作速度が抑制され、前記操作変化量が所定の値より大きくなると前記動作速度の抑制が緩和されるように、前記動作速度を算出する処理を実行させる、付記8に記載の遠隔操作プログラム。
(付記10)
前記遠隔操作装置に、
算出した前記動作速度を格納する処理と、
算出した最新の前記動作速度を、格納済みの前記動作速度を用いて平滑化処理する処理と、
を実行させる、付記8又は9に記載の遠隔操作プログラム。
(付記11)
前記遠隔操作装置に、前記通信ネットワークを介して、前記動作速度に関する情報を前記作業機械に送信する処理を実行させ、
前記作業機械に、
受信した前記動作速度に関する情報を前記作業機械の駆動部を駆動するための駆動信号に変換する処理を実行させ、
前記駆動部に、前記駆動信号に基づいた速度で前記作業機械の駆動機構を駆動する処理を実行させる、付記8乃至10の何れか1つに記載の遠隔操作プログラム。
(付記12)
作業機械と、前記作業機械と通信ネットワークを介して接続される遠隔操作装置と、を備える遠隔操作システムであって、
前記遠隔操作装置は、
操作者による操作に応じた操作信号であって、前記作業機械を遠隔操作する操作信号を前記遠隔操作装置に入力する操作入力部と、
前記操作信号から、前記操作入力部への操作の大きさを求める操作算出部と、
前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を求める操作変化量算出部と、
前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間を通信遅延時間として測定する通信遅延時間測定部と、
前記操作の大きさと、前記操作変化量と、前記通信遅延時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する速度算出部と、
を備える遠隔操作システム。
(付記13)
前記速度算出部は、
前記通信遅延時間が長くなるにつれて前記動作速度が抑制され、前記操作変化量が所定の値より大きくなると前記動作速度の抑制が緩和されるように、前記動作速度を算出する、付記12に記載の遠隔操作システム。
(付記14)
前記速度算出部が算出した前記動作速度を格納する記憶部を備え、
前記速度算出部は、
算出した最新の前記動作速度を、前記記憶部に格納済みの前記動作速度を用いて平滑化処理する、付記12又は13に記載の遠隔操作システム。
(付記15)
前記遠隔操作装置は、前記通信ネットワークを介して、前記動作速度に関する情報を前記作業機械に送信し、
前記作業機械は、受信した前記動作速度に関する情報を前記作業機械の駆動部を駆動するための駆動信号に変換し、
前記駆動部は、前記駆動信号に基づいた速度で前記作業機械の駆動機構を駆動する、付記12乃至14の何れか1つに記載の遠隔操作システム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2018年5月22日に出願された日本出願特願2018-098095を基礎とする優先権を主張し、その開示の全てをここに取り込む。
作業機械を高精度に効率よく遠隔操作することができる遠隔操作装置、遠隔操作方法、非一時的なコンピュータ可読媒体、及び、遠隔操作システムを提供することができる。
10 遠隔操作システム
100 遠隔操作装置
101 操作入力部
102 センサ部
103 制御部
103A CPU
103B 主記憶装置
103C 補助記憶装置
103D 外部インターフェース
104 通信部
105 記憶部
106 表示部
108 操作算出部
109 操作変化量算出部
110 通信遅延時間測定部
111 速度算出部
200 作業機械
201 通信部
202 変換部
203 駆動部
N 通信ネットワーク

Claims (10)

  1. 通信ネットワークを介して作業機械を遠隔操作する遠隔操作装置であって、
    前記作業機械を遠隔操作する操作入力情報の入力を受け付ける操作入力部と、
    前記操作入力情報から取得される操作信号から、前記操作入力部への操作の大きさを求める操作算出部と、
    前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を求める操作変化量算出部と、
    前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間測定する経過時間測定部と、
    前記操作変化量に応じて前記作業機械の状況を判定し、前記判定した状況と、前記操作の大きさと、前記操作変化量と、前記経過時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する速度算出部と、
    を備える
    遠隔操作装置。
  2. 前記速度算出部は、
    前記経過時間が長くなるにつれて前記動作速度が抑制され、前記操作変化量が所定の値より大きくなると前記動作速度の抑制が緩和されるように、前記動作速度を算出する、請求項1に記載の遠隔操作装置。
  3. 前記速度算出部が算出した前記動作速度を格納する記憶部を備え、
    前記速度算出部は、
    算出した最新の前記動作速度を、前記記憶部に格納済みの前記動作速度を用いて平滑化処理する、請求項1又は2に記載の遠隔操作装置。
  4. 遠隔操作装置が通信ネットワークを介して作業機械を遠隔操作する遠隔操作方法であって、
    前記遠隔操作装置は、
    前記遠隔操作装置の操作入力部によって受け付けられる操作入力情報であって前記作業機械を遠隔操作する前記操作入力情報から取得される操作信号から前記操作入力部への操作の大きさを算出し、
    前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を算出し、
    前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間測定し、
    前記操作変化量に応じて前記作業機械の状況を判定し、前記判定した状況と、前記操作の大きさと、前記操作変化量と、前記経過時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する、
    遠隔操作方法。
  5. 前記遠隔操作装置は、
    前記経過時間が長くなるにつれて前記動作速度が抑制され、前記操作変化量が所定の値より大きくなると前記動作速度の抑制が緩和されるように、前記動作速度を算出する、請求項4に記載の遠隔操作方法。
  6. 前記遠隔操作装置は、
    算出した前記動作速度を格納し、
    算出した最新の前記動作速度を、格納済みの前記動作速度を用いて平滑化処理する、請求項4又は5に記載の遠隔操作方法。
  7. 遠隔操作装置に通信ネットワークを介して作業機械を遠隔操作させる遠隔操作プログラムであって、
    前記遠隔操作装置に、
    前記遠隔操作装置の操作入力部によって受け付けられる操作入力情報であって前記作業機械を遠隔操作する前記操作入力情報から取得される操作信号から前記操作入力部への操作の大きさを求める処理と、
    前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を求める処理と、
    前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間測定する処理と、
    前記操作変化量に応じて前記作業機械の状況を判定し、前記判定した状況と、前記操作の大きさと、前記操作変化量と、前記経過時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する処理と、
    を実行させる、遠隔操作プログラム。
  8. 前記遠隔操作装置に、
    前記経過時間が長くなるにつれて前記動作速度が抑制され、前記操作変化量が所定の値より大きくなると前記動作速度の抑制が緩和されるように、前記動作速度を算出する処理を実行させる、請求項7に記載の遠隔操作プログラム。
  9. 作業機械と、前記作業機械と通信ネットワークを介して接続される遠隔操作装置と、を備える遠隔操作システムであって、
    前記遠隔操作装置は、
    前記作業機械を遠隔操作する操作入力情報の入力を受け付ける操作入力部と、
    前記操作入力情報から取得される操作信号から、前記操作入力部への操作の大きさを求める操作算出部と、
    前記操作信号から、前記操作の大きさの変化の程度を表す操作変化量を求める操作変化量算出部と、
    前記遠隔操作装置が前記作業機械に所定の信号を送信した時間から、前記遠隔操作装置が前記作業機械から前記所定の信号を受信したことを表す返信用信号を受信した時間までの経過時間測定する経過時間測定部と、
    前記操作変化量に応じて前記作業機械の状況を判定し、前記判定した状況と、前記操作の大きさと、前記操作変化量と、前記経過時間とに基づいて、前記作業機械を駆動する際の動作速度を算出する速度算出部と、
    を備える
    遠隔操作システム。
  10. 前記速度算出部は、
    前記経過時間が長くなるにつれて前記動作速度が抑制され、前記操作変化量が所定の値より大きくなると前記動作速度の抑制が緩和されるように、前記動作速度を算出する、請求項9に記載の遠隔操作システム。
JP2020521046A 2018-05-22 2019-03-08 遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システム Active JP7060093B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018098095 2018-05-22
JP2018098095 2018-05-22
PCT/JP2019/009331 WO2019225118A1 (ja) 2018-05-22 2019-03-08 遠隔操作装置、遠隔操作方法、非一時的なコンピュータ可読媒体、及び、遠隔操作システム

Publications (2)

Publication Number Publication Date
JPWO2019225118A1 JPWO2019225118A1 (ja) 2021-05-27
JP7060093B2 true JP7060093B2 (ja) 2022-04-26

Family

ID=68616146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020521046A Active JP7060093B2 (ja) 2018-05-22 2019-03-08 遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システム

Country Status (3)

Country Link
US (1) US11977377B2 (ja)
JP (1) JP7060093B2 (ja)
WO (1) WO2019225118A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114787453B (zh) * 2019-12-19 2023-07-25 神钢建机株式会社 远程操作装置及远程操作系统
US20210394785A1 (en) * 2020-06-18 2021-12-23 Caterpillar Paving Products Inc. Remote manual and autonomous work machine control
CN115107858B (zh) * 2022-07-26 2023-08-29 山东临工工程机械有限公司 一种装载机转向控制方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184469A (ja) 1998-12-17 2000-06-30 Minolta Co Ltd 制御装置
WO2012111193A1 (ja) 2011-02-14 2012-08-23 村田機械株式会社 搬送台車システム及び搬送台車の走行制御方法
US20140156073A1 (en) 2012-11-30 2014-06-05 Abb Technology Ag Teleoperated industrial robots
US20150291180A1 (en) 2014-04-14 2015-10-15 Caterpillar Inc. System for Remotely Controlling a Machine

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5187757B2 (ja) 2008-12-26 2013-04-24 株式会社Ihiエアロスペース 無人移動体システム
JP5393240B2 (ja) 2009-05-07 2014-01-22 株式会社Ihi 遠隔操縦システム
JP5366702B2 (ja) 2009-08-19 2013-12-11 株式会社Ihiエアロスペース 無人車両遠隔操作システム
JP2017050797A (ja) * 2015-09-04 2017-03-09 Kddi株式会社 移動装置、通信システム及び通信制御方法
JP6943143B2 (ja) * 2017-10-31 2021-09-29 株式会社豊田自動織機 産業車両用遠隔操作システム、産業車両、産業車両用遠隔操作プログラム及び産業車両用遠隔操作方法
SE542531C2 (en) * 2017-12-22 2020-06-02 Epiroc Rock Drills Ab Controlling communication of a mining and / or construction machine
JP7121531B2 (ja) * 2018-04-27 2022-08-18 株式会社小松製作所 積込機械の制御装置および制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184469A (ja) 1998-12-17 2000-06-30 Minolta Co Ltd 制御装置
WO2012111193A1 (ja) 2011-02-14 2012-08-23 村田機械株式会社 搬送台車システム及び搬送台車の走行制御方法
US20140156073A1 (en) 2012-11-30 2014-06-05 Abb Technology Ag Teleoperated industrial robots
US20150291180A1 (en) 2014-04-14 2015-10-15 Caterpillar Inc. System for Remotely Controlling a Machine

Also Published As

Publication number Publication date
WO2019225118A1 (ja) 2019-11-28
JPWO2019225118A1 (ja) 2021-05-27
US11977377B2 (en) 2024-05-07
US20210247759A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
JP7060093B2 (ja) 遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システム
EP3004800B1 (en) Method and apparatus for offboard navigation of a robotic device
JP6787112B2 (ja) 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
WO2014196925A1 (en) Method and apparatus for offboard navigation of a robotic device
JP2017022433A (ja) 遠隔操縦システム
JP6939896B2 (ja) 遠隔制御装置、システム、方法、及びプログラム
CN112073287B (zh) 数据传输装置、控制方法、传输方法和tcp服务装置
WO2019239697A1 (ja) 制御対象装置、制御方法、非一時的なコンピュータ可読媒体、及び、遠隔制御システム
JP2017050797A (ja) 移動装置、通信システム及び通信制御方法
US11537144B2 (en) Display control device and display control method
CA3062612A1 (en) Work vehicle, control device, and method for controlling work vehicle
JP2020002709A (ja) 作業機械
US11814071B2 (en) Vehicle, apparatus for a vehicle, computer program, and method for processing information for communication in a tele-operated driving session
JP7108311B2 (ja) 通信装置、通信方法及びプログラム
CN112771790B (zh) 用于操作车辆天线阵列的方法
Yasuda et al. Dynamic optimization of a remote control cycle for better responsiveness
JP2021156030A (ja) 作業機械の遠隔操縦システム
JP7452522B2 (ja) 制御方法、制御装置、及び制御プログラム
WO2022102429A1 (ja) 制御装置、制御システム、および制御方法
US20230305557A1 (en) Methods and apparatus for supporting remote control operation of devices taking into consideration communications latency, environmental conditions, and/or a task to be performed
US20240142976A1 (en) Information processing device
WO2023112217A1 (ja) 映像送信システム、映像送信装置、および映像送信方法
WO2022215466A1 (ja) 作業機械および作業機械システム
JP7276481B2 (ja) 移動端末及び通信品質予測方法
CN114097270A (zh) 信息处理方法、信息处理设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE

Effective date: 20201112

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE

Effective date: 20201112

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R151 Written notification of patent or utility model registration

Ref document number: 7060093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151