JP7247769B2 - 遠隔操作システム - Google Patents

遠隔操作システム Download PDF

Info

Publication number
JP7247769B2
JP7247769B2 JP2019108276A JP2019108276A JP7247769B2 JP 7247769 B2 JP7247769 B2 JP 7247769B2 JP 2019108276 A JP2019108276 A JP 2019108276A JP 2019108276 A JP2019108276 A JP 2019108276A JP 7247769 B2 JP7247769 B2 JP 7247769B2
Authority
JP
Japan
Prior art keywords
remote control
environmental information
information
work machine
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019108276A
Other languages
English (en)
Other versions
JP2020200660A (ja
Inventor
佑介 船原
均 佐々木
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2019108276A priority Critical patent/JP7247769B2/ja
Priority to US17/611,688 priority patent/US20220316181A1/en
Priority to CN202080041900.4A priority patent/CN113994052B/zh
Priority to EP20821983.2A priority patent/EP3951094B1/en
Priority to PCT/JP2020/016056 priority patent/WO2020250558A1/ja
Publication of JP2020200660A publication Critical patent/JP2020200660A/ja
Application granted granted Critical
Publication of JP7247769B2 publication Critical patent/JP7247769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、作業機械等を遠隔操作するためのシステムに関する。
建設機械等の作業機械の遠隔操作に際して、作業機械による円滑な作業のためには通信を途絶させないことが必須である。オペレータによる作業機械の遠隔操作の意思がないと推察される状態(例えば、乗降遮断レバーが上がっている状態)において、当該オペレータに対して提供される映像の情報量が制限され、あるいは、作業機械を基準とする複数の異なる方位の映像のうち作業機械の上部旋回体の旋回方向に応じた方位の映像のみが選択的に提供される方法が提案されている(例えば、特許文献1参照)。
特開2017-092908号公報
しかし、前記のような状態で、映像の情報量の制限または特定方位の映像が選択的に出力されるだけではオペレータによる作業機械の環境の把握が困難になる可能性がある。
そこで、本発明は、環境情報出力のためのデータ通信負荷の低減を図りながらも、複数のオペレータのそれぞれの遠隔操作スキル等に応じて当該複数のオペレータのそれぞれが作業機械の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうるシステム等を提供することを目的とする。
本発明の遠隔操作システムは、
複数の作業機械と、当該複数の作業機械のうち遠隔操作対象となる一の作業機械を遠隔操作するための複数の遠隔操作装置と、により構成されている遠隔操作システムであって、
前記複数の作業機械のそれぞれは、環境情報を取得する環境認識装置を備え、
前記複数の遠隔操作装置のそれぞれは、情報出力装置を備えており、前記一の作業機械の前記環境認識装置により取得された環境情報を受信し、受信した環境情報に応じた環境データを前記情報出力装置に出力するよう構成され、
前記複数の遠隔操作装置のそれぞれのオペレータの遠隔操作スキルの高低に基づいて前記複数の遠隔操作装置のそれぞれに対して前記一の作業機械との相互通信のための通信資源を割り当てる通信資源割当処理を実行し、割り当てられた通信資源の相違に応じて前記一の作業機械の前記環境認識装置により取得された環境情報のデータ量を低減してそれぞれ遠隔操作装置に受信させる環境情報制御処理を実行することを特徴とする。
本発明の遠隔操作システムにおいて、
前記一の作業機械を通じた作業内容の難易度の高低に基づいて前記通信資源割当処理を実行し、割り当てられた通信資源の相違に応じて前記一の作業機械の前記環境認識装置により取得された環境情報のデータ量を低減してそれぞれ遠隔操作装置に受信させるように前記環境情報制御処理を実行することが好ましい
当該構成の遠隔操作システムによれば、複数の遠隔操作装置のそれぞれのオペレータの遠隔操作スキルの高低に応じて、通信資源割当処理が実行される「通信資源割当処理」は、複数の遠隔操作装置のそれぞれに対して、遠隔制御対象となる一の作業機械との相互通信のための通信容量等の通信資源を割り当てるための演算処理である。このため、各オペレータの遠隔操作スキルの高低および作業機械を通じた作業内容の難易度の高低のうち一方または両方に鑑みて、適当な形態で各遠隔操作装置に対して通信資源が割り当てられる。
また、「環境情報制御処理」が実行されることにより、環境情報の情報量を定める複数の環境情報因子のそれぞれが調節される。その結果、環境データのデータ量の低減、ひいては環境データの通信負荷の低減が図られる。さらに、各遠隔操作装置に対する通信資源の割り当て態様の相違に応じて、複数の環境情報因子のそれぞれが異なる態様で調節される。
よって、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータの遠隔操作スキルおよび作業内容の難易度に鑑みて、当該オペレータが作業機械の環境を適当に把握するために適当な形態で環境情報の情報量の過度の低下が回避されうる。
本発明の遠隔操作システムにおいて、
オペレータによる前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて、前記一の作業機械の前記環境認識装置により取得された環境情報のデータ量を、異なる態様で調節してそれぞれ遠隔操作装置に受信させるように前記環境情報制御処理を実行することが好ましい。
当該構成の遠隔操作システムによれば、遠隔操作装置の操作状態または作業機械の動作状態の相違に応じて、複数の環境情報因子のそれぞれが異なる態様で調節されるように環境情報制御処理が実行される。よって、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータの遠隔操作スキルおよび作業内容の難易度に加えて、オペレータによる遠隔操作装置の操作状態または作業機械の動作状態に鑑みて、当該オペレータが作業機械の環境を適当に把握するために適当な形態で環境情報の情報量の過度の低下を回避しうる。
本発明の遠隔操作システムにおいて、
前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて、前記環境情報情報量を定める複数の環境情報因子のそれぞれを高環境情報因子および低環境情報因子を異なる態様で区分し、前記高環境情報因子に応じた前記環境情報の情報量の低下よりも前低環境情報因子に応じた前記環境情報の情報量の低下が大きくなるようにデータ量を低減するように前記環境情報制御処理を実行することが好ましい。
当該構成の遠隔操作システムによれば、操作状態の相違に応じて、複数の環境情報因子の調節態様の幅が拡張されるので、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械の操作状態に応じて当該オペレータが作業機械の環境を適当に把握する観点からさらに緻密に適当な形態で環境情報の情報量の過度の低下を回避しうる。
本発明の遠隔操作システムにおいて、
前記遠隔操作装置および前記作業機械のうち少なくとも一方の通信速度が基準値を下回ったことを要件として、前記環境情報制御処理を実行することが好ましい。
当該構成の遠隔操作システムによれば、環境データの通信負荷の低減を図る必要性が低い状況で当該環境データのデータ量の過度な低減、ひいては環境情報の情報量の過度な低減が回避されうる。
本発明の遠隔操作システムにおいて、
前記複数の遠隔操作装置のそれぞれのオペレータの遠隔操作スキルの高低を出力する指定出力装置と、前記複数の遠隔操作装置のそれぞれに対して前記一の作業機械との相互通信のための通信資源を割り当てる態様が入力される指定入力装置と、を備え、前記指定入力装置に入力された態様を認識することで前記通信資源割当処理を実行することが好ましい。前記指定出力装置は、前記一の作業機械を通じた作業内容の難易度の高低を出力することが好ましい。
当該構成の遠隔操作システムによれば、指定出力装置に出力される複数の遠隔操作装置のそれぞれのオペレータの遠隔操作スキルの高低などにより、複数の遠隔操作装置のそれぞれに対する通信資源の割り当てに関するマネージャ(監督者)による検討および考察が支援されうる。また、指定入力装置を通じて、当該マネージャに当該検討結果に応じた各遠隔操作装置に対する適切な通信資源の割り当てが可能になる。
本発明の一実施形態としての遠隔操作システムの構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作装置の構成に関する説明図。 本発明の一実施形態としての遠隔操作システムの機能に関する説明図。 各遠隔操作装置に対する通信資源の割り当て態様に関する説明図。 各遠隔操作装置に対する通信資源の割り当て態様に関する説明図。 通常状態における環境情報因子の制御態様に関する説明図。 環境情報制御処理に応じた環境情報因子の第1制御態様に関する説明図。 環境情報制御処理に応じた環境情報因子の第2制御態様に関する説明図。 環境情報制御処理に応じた環境情報因子の第3制御態様に関する説明図。 通常状態における環境情報に関する説明図。 環境情報制御処理時における環境情報に関する説明図。 作業機械の作業現場における通信速度の時系列に関する説明図。
(構成)
図1に示されている本発明の一実施形態としての遠隔操作システムは、複数の遠隔操作装置10と、遠隔操作サーバ20と、複数の作業機械40と、を備えている。
(作業機械の構成)
複数の作業機械40のそれぞれは、スレーブ制御装置400と、環境認識装置401と、無線通信機器402と、作動機構440と、を備えている。スレーブ制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、例えばクローラショベル(建設機械)であり、図2に示されているように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、を備えている。上部旋回体420の前方左側部にはキャブ(運転室)422が設けられている。上部旋回体220の前方中央部には作業アタッチメント440が設けられている。複数の作業機械40には、クローラショベルおよびクローラクレーンなど、複数種類の作業機械が含まれていてもよい。
作動機構としての作業アタッチメント440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業アタッチメント440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
環境認識装置401は、例えばキャブ422の内部に設置され、キャブ422のフロントウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する撮像装置により構成されている。環境認識装置401は、マイクロフォンなどにより構成されている音響入力装置を備えていてもよい。
遠隔操作装置10を構成する操作レバー(後述)に対応する実機側操作レバーと、遠隔操作室から各操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットと、がキャブ422に設けられている。
(遠隔操作装置の構成)
複数の遠隔操作装置10のそれぞれは、マスタ制御装置100と、入力インターフェース110と、出力インターフェース120と、を備えている。遠隔操作装置10の少なくとも一部がスマートホン、タブレット端末またはノートPCなどのモバイル端末装置により構成されていてもよい。マスタ制御装置100は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
入力インターフェース110は、操作機構111と、操作状態検知器112と、を備えている。出力インターフェース120は、情報出力装置121と、無線通信機器122と、を備えている。
操作機構111には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、遮断操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、ブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)はアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)はバケットシリンダ446を動かすために操作される。
遮断操作装置の操作レバー(遮断レバー)は、前記した走行レバー等の各操作レバーが操作されても作業機械40が動かないようにロックする一方、当該ロックを解除するために操作される。
操作機構111を構成する各操作レバーは、例えば、図3に示されているように、オペレータが着座するためのシート1100の周囲に配置されている。シート1100は、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。
シート1100の前方に左右のクローラに応じた左右一対の走行レバー1110が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図3に示されているシート1100の右側フレームの前方に設けられている右側操作レバー1111が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図3に示されているシート1100の左側フレームの前方に設けられている左側操作レバー1112が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
シート1100の左側フレームの前方において左側操作レバー1112の下方に設けられている遮断レバー1113は、上げられた場合に各操作レバー1110、1111、1112が操作されても作業機械40が動かないようにロックする一方、下げられた場合に当該ロックを解除するための操作レバーとして機能する。
情報出力装置121は、例えば図3に示されているように、シート1100の右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置1211、前方画像出力装置1212および左斜め前方画像出力装置1213により構成されている。当該情報出力装置121は、シート1100の内部または周囲に配置されたスピーカ(音声出力装置)をさらに備えていてもよい。
操作状態検知器112は、オペレータによる作業機械200を動作させるための操作装置400の操作状態を検知する。例えば、操作レバーを操作量0に対応する元の位置および姿勢に復元させるように作用するばねまたは弾性部材により構成される付勢機構の変形量または変位量に応じた信号を出力するセンサと、当該センサの出力信号に基づいて上部旋回体220を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことなどを推定する演算処理装置と、により操作状態検知器112が構成されている。
操作機構111を構成する少なくとも一の操作レバーに感圧センサまたは接触センサが設けられ、当該センサと、当該少なくとも一の操作レバーがオペレータにより握られていることを推定する演算処理装置と、により操作状態検知器112が構成されていてもよい。シート1100に感圧センサまたは接触センサが設けられ、当該センサと、オペレータが当該シート1100に着座していることを推定する演算処理装置と、により操作状態検知器112が構成されていてもよい。
作業機械40に設けられている実機側操作レバーの操作量に応じたパイロット圧に応じた信号を出力するパイロット圧センサと、当該パイロット圧センサの出力信号に基づいて上部旋回体420を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことなどを推定する演算処理装置と、により操作状態検知器112が構成されていてもよい。
(遠隔操作サーバの構成)
遠隔操作サーバ20は、状態認識要素21と、通信資源割当処理要素22と、環境情報制御処理要素23と、を備えている。状態認識要素21は、遠隔操作装置10、作業機械40と通信可能である。また、遠隔操作サーバ20とは別個にまたは一体的にデータベースサーバを設け、当該データベースサーバと遠隔操作サーバ20とが通信可能に構成されていてもよい。
状態認識要素21は、遠隔操作装置10、作業機械40およびデータベースサーバのうち少なくとも1つとの通信に基づき、複数の遠隔操作装置10のそれぞれのオペレータの遠隔操作スキルの高低および遠隔操作対象である一の作業機械を通じた作業内容の難易度の高低のうち少なくとも一方を表わす指標値を認識する。状態認識要素21は、遠隔操作装置10および作業機械40のうちいずれか一方との通信に基づき、オペレータによる遠隔操作装置10(またはこれを構成する操作機構111)の操作状態および作業機械40の動作状態のうち少なくとも一方を認識する。
通信資源割当処理要素22は、状態認識要素21により認識された指標値に基づき、通信資源割当処理を実行する。「通信資源割当処理」は、複数の遠隔操作装置10のそれぞれに対して一の作業機械40との相互通信のための通信資源を割り当てるための演算処理である。
環境情報制御処理要素23は、通信資源割当処理要素22により複数の遠隔操作装置10のそれぞれに対して割り当てられた通信資源の相違に応じて異なる態様で調節するための環境情報制御処理を実行する。環境情報制御処理要素23は、状態認識要素21により認識された遠隔操作装置10の操作状態または作業機械40の動作状態の相違に応じて異なる態様で環境情報制御処理を実行する。「環境情報制御処理」は、遠隔操作装置10の情報出力装置121において出力される環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように調節するための演算処理である。
(機能)
状態認識要素21により、遠隔操作装置10、作業機械40およびデータベースサーバのうち少なくとも1つとの通信に基づき、複数の遠隔操作装置10のそれぞれのオペレータの遠隔操作スキルの高低および遠隔操作対象である一の作業機械を通じた作業内容の難易度の高低を表わす指標値を認識する(図4/STEP202)。一の遠隔操作装置10との相互通信により、当該一の遠隔操作装置10を操作するオペレータが状態認識要素21により識別されうる。データベースサーバとの通信により、当該データベースに紹介することにより当該オペレータに対して割り当てられている作業内容が状態認識要素21により認識されうる。
各オペレータPi(i=1,2,‥,N)の遠隔操作スキルの高低を表わす指標値xiおよび各作業Tj(j=1,2,‥,M)の難易度の高低を表わす指標値yjは、データベースサーバ、または遠隔操作装置10(マスタ制御装置100)もしくは作業機械40(スレーブ制御装置400)を構成する記憶装置に記憶保持されている。指標値xiは、複数の異なる作業のそれぞれについて遂行回数(遂行回数が多いほどスキルが高い)、複数の異なる作業のそれぞれについての平均遂行時間(平均遂行時間が短いほどスキルが高い)、および、操作ミスの回数(ミスが少ないほどスキルが高い)などの要素に基づき、スコア化されて評価されたものである。指標値yjは、各作業の平均遂行時間(平均遂行時間が長いほど難易度が高い)、および、各オペレータによる操作機構111の操作頻度(頻度が高いほど難易度が高い)などの要素に基づき、スコア化されて評価されたものである。
表1には、スキルxiを有するオペレータPi(i=1~4)のそれぞれが、時間帯t0~t3において遂行する作業内容およびその難易度が示されている。第1オペレータP1は、時間帯t0~t1において作業Q1(難易度y1)を遂行し、続いて時間帯t1~t1において作業Q2(難易度y2)を遂行する。第2オペレータP2は、時間帯t0~t1において作業Q2(難易度y2)を遂行し、続いて時間帯t1~t3において作業Q1(難易度y1)を遂行する。第3オペレータP3は、時間帯t0~t3において一貫して作業Q1(難易度y1)を遂行する。第4オペレータP4は、時間帯t2~t3においてのみ作業Q2(難易度y2)を遂行する。
指標値ziは、スキルxiを主変数とする減少関数である(スキルxiが高いほど指標値ziが小さくなる)一方、作業難易度yiを主変数とする増加関数である(作業難易度yiが高いほど指標値ziが大きくなる)。指標値ziは、例えば、関係式(1)にしたがって評価される。
zi=yi/xi ‥(1)。
Figure 0007247769000001
通信資源割当処理要素22は、状態認識要素21により認識された指標値に基づき、通信資源割当処理を実行する。「通信資源割当処理」は、複数の遠隔操作装置10のそれぞれに対して一の作業機械40との相互通信のための通信資源を割り当てるための演算処理である。
各遠隔操作装置10に対して割り当てられる通信資源Biの合計ΣBiが通信資源の最大値Bmax以下になるように通信資源割当処理が実行される(図4/STEP204)。例えば、オペレータPiが操作する遠隔操作装置10に対して割り当てられる通信資源Biは、指標値zi、同一時点または同一期間において通信資源の割り当て対象になる各オペレータの指標値ziの合計Σziおよび通信資源の最大値Bmaxに基づき、関係式(2)にしたがって設定される。
Bi=Bmax・zi/(Σzi+δ) ‥(2)。
関係式δは調整係数であり、例えば、作業難易度yiの合計値Σyiが基準値以上である場合には「0」に設定され、作業難易度yiの合計値Σyiが基準値を下回る場合には、当該下回り分が大きいほど段階的または連続的に大きくなる正値に設定される。
図5には、表1に示されているように4人のオペレータPiのそれぞれにより、別個の遠隔操作装置10を通じて別個の作業機械40を通じて作業が遂行される場合の、各期間[t0,t1]、[t1,t2]および[t2,t3]における各遠隔操作装置10に対する通信資源Biの割り当て態様が示されている。図6には、通信資源B1の時間変化態様が一点鎖線で示され、通信資源B2の時間変化態様が二点鎖線で示され、通信資源B3の時間変化態様が実線で示され、通信資源B4の時間変化態様が破線で示されている。通信資源Biは、例えば通信速度(単位時間当たりの通信容量)である。
期間[t0,t1]では、B1<B3<B2の大小関係がある。これは、第1オペレータP1および第3オペレータP3のそれぞれが共通の第1作業Q1を遂行するものの、第1オペレータP1のスキルx1が第3オペレータP3のスキルx3よりも高いためである。また、第2オペレータP2のスキルx2が第3オペレータP3のスキルx3よりもやや高い一方で、第1作業Q1の難易度y1が第2作業Q2の難易度y2よりも高いためである。ΣBi=B1+B2+B3が通信資源の最大値Bmaxを下回っているが、これは、作業難易度yiの合計値Σyi=2y1+y2が基準値を下回っている(関係式(2)でδ>0である)ためである。
期間[t1,t2]では、B2<B3<B1の大小関係がある。これは、第2オペレータP2および第3オペレータP3のそれぞれが共通の第1作業Q1を遂行するものの、第2オペレータP2のスキルx2が第3オペレータP3のスキルx3よりも高いためである。また、第1オペレータP1のスキルx2が第3オペレータP3のスキルx3よりも高い一方で、第1作業Q1の難易度y1が第2作業Q2の難易度y2よりも高いためである。ΣBi=B1+B2+B3が通信資源の最大値Bmaxを下回っているが、これは、作業難易度yiの合計値Σyi=y1+2y2が基準値を下回っている(関係式(2)でδ>0である)ためである。通信資源B3は、期間[t0,t1]および期間[t1,t2]において一定に維持されている。
期間[t2,t3]では、B2<B3<B1<B4の大小関係がある。これは、期間[t1,t2]に関する前記理由に加えて、第1オペレータP1および第3オペレータP3のそれぞれが共通の第1作業Q1を遂行するものの、第1オペレータP1のスキルx1が第4オペレータP4のスキルx4よりも高いためである。ΣBi=B1+B2+B3+B4が通信資源の最大値Bmaxと等しいが、これは、作業難易度yiの合計値Σyi=2y1+2y2が基準値以上である(関係式(2)でδ=0である)ためである。通信資源B1、B2およびB3のそれぞれは、期間[t1,t2]よりも期間[t2,t3]において低下しているが、これは、通信資源の一部が第4オペレータP4が操作する遠隔操作装置10に対しても割り当てられたためである。
遠隔操作装置10において、オペレータにより操作機構111が操作され(図4/STEP102)、これに応じて、マスタ制御装置100により、無線通信機器122を通じて、当該操作態様に応じた動作指令が遠隔操作サーバ20に対して送信される(図4/STEP104)。
遠隔操作サーバ20において、状態認識要素21により動作指令が遠隔操作装置10から受信され、かつ、当該動作指令が作業機械40に対して送信される(図4/STEP206)。
作業機械40において、スレーブ制御装置400により無線通信機器402を通じて動作指令が受信される(図4/STEP402)。これに応じて、スレーブ制御装置400により、作業アタッチメント440等の動作が制御される(図4/STEP404)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体410を旋回させたうえでバケット445から土を落とす作業が実行される。
作業機械40において、環境認識装置401により環境情報として撮像画像が取得される(図4/STEP406)。この際、環境情報として音声情報が取得されてもよい。マスタ制御装置100により、無線通信機器122を通じて、遠隔操作装置10から遠隔操作サーバ20を経由して作業機械40に対して操作開始指令が送信されたことが、環境情報の取得開始のトリガとされてもよい。操作開始指令は、例えば、遠隔操作装置10において、入力インターフェース110または操作機構111を構成するボタンまたは操作レバーが所定態様で操作されたことに応じて出力される。環境認識装置401により取得された環境情報は、作業機械40から送信され、遠隔操作サーバ20により受信される。
遠隔操作サーバ20において、環境情報制御処理要素23により環境情報制御処理が実行される(図4/STEP210)。「環境情報制御処理」は、遠隔操作装置10の情報出力装置121において出力される環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように調節するための演算処理である。具体的には、複数の環境情報因子のうち「高環境情報因子」よりも「低環境情報因子」に応じた当該情報量の低下が大きくなるように、複数の環境情報因子を異なる態様で調節するための演算処理である。
環境情報制御処理は、その実行処理の要否を判定し当該判定結果が肯定的である場合に限って、環境情報制御処理要素22により、環境情報制御処理が実行されるようにしてもよい。例えば、動作指令に応じた操作機構111の操作状態が、環境情報制御処理の対象である指定操作状態であるかが判定されてもよい。遠隔操作サーバ20と作業機械40との通信によって当該作業機械40の動作指令に応じた動作状態が認識され、作業機械40の動作状態が、環境情報制御処理の対象である指定動作状態であるか否かが判定されてもよい。環境情報制御処理要素22により、遠隔操作サーバ20と遠隔操作装置10または作業機械40との通信速度が認識されたうえで、当該通信速度が基準値未満であるか否かが判定されてもよい。
遠隔操作装置10に対して割り当てられた通信資源の相違に応じて、異なる態様で環境情報制御処理が実行される。例えば、遠隔操作装置10に対して割り当てられた通信資源が多いほど高環境情報因子に区分される環境情報因子の数が少なくなる一方、例えば、遠隔操作装置10に対して割り当てられた通信資源が少ないほど高環境情報因子に区分される環境情報因子の数が多くなるように、高環境情報因子および低環境情報因子が異なる態様で区分されて環境情報制御処理が実行される。
さらに、遠隔操作装置10からの動作指令および当該動作指令に応じた作業機械40の動作状態のうち少なくとも一方である操作状態の相違に応じて、高環境情報因子および低環境情報因子が異なる態様で区分されて環境情報制御処理が実行される。
図7Aには、通常状態、すなわち、環境情報制御処理が実行されない状態において、環境情報の情報量を定める4つの環境情報因子X1~X4のそれぞれの値が、下限値Q1を基準として正規化された際の基準値Q2である状況が示されている。環境情報が画像である場合、4つの環境情報因子X1~X4は、例えば、解像度、フレームレート、画素値の次元数および出力画像範囲の広さである。環境情報に音声が含まれている場合、例えば、複数の環境情報因子には、サンプリング周波数、量子化ビット数および音の周波数帯のうち少なくとも1つが含まれる。図7B~図7Dのそれぞれには、操作状態が第1~第3指定操作状態のそれぞれである場合における、4つの環境情報因子X1~X4のそれぞれの目標値または指令値が示されている。
第1指定操作状態では、環境情報因子X1およびX2が基準値Q2よりも低減され、環境情報因子X3およびX4が基準値Q2に維持されている(図7B参照)。この場合、環境情報因子X3およびX4が「高環境情報因子」に相当し、環境情報因子X1およびX2が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。
第2指定操作状態では、環境情報因子X3およびX4が基準値Q2よりも低減され、環境情報因子X3のほうが環境情報因子X4よりも当該低下量が大きく、環境情報因子X1およびX2が基準値Q2に維持されている(図7C参照)。この場合、環境情報因子X1およびX2が「高環境情報因子」に相当し、環境情報因子X3およびX4が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。さらに、環境情報因子X4が「高環境情報因子(または1次低環境情報因子)」に相当し、環境情報因子X3が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子(または2次低環境情報因子)」に相当する。
第3指定操作状態では、環境情報因子X2が基準値Q2よりも低減され、環境情報因子X3が基準値Q2よりも増大され、環境情報因子X1およびX4が基準値Q2に維持されている(図7D参照)。この場合、環境情報因子X3が「高環境情報因子」に相当し、環境情報因子X1、X2およびX4が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。さらに、環境情報因子X1およびX4が「高環境情報因子(または1次低環境情報因子)」に相当し、環境情報因子X2が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子(または2次低環境情報因子)」に相当する。
例えば、作業機械40の遠隔操作状態の別に応じて、表2に示されているように複数の環境情報因子のそれぞれが調節されてもよい。
Figure 0007247769000002
表2において、遮断レバー上がり(状態A)は、オペレータによる作業機械40の操作意思がない状態であり、環境情報因子を低減させる。視野を保持するために画像範囲については維持してもよい。
遮断レバー上がり+レバー握り(状態B)は、状態A同様オペレータによる作業機械40の操作意思がない状態であるものの、オペレータが操作レバーを握ることにより環境情報因子の低減を緩和した状態である。例えば、土砂運搬用のトラックが所定位置に移動することを確認するときに調整される環境情報因子の状態である。掘削等の作業を行わないのでフレームレートを落とすことが出来る。
上部旋回体の旋回操作(状態C)を行う際には、解像度を下げている。これは画面が高速で移動することによる画面の見辛さや不快感を低減するためである。一方、画像範囲については増大可能とすることで旋回方向の視界性を確保できるようにしている。
下部走行体の並進操作(状態D)を行う際には、移動方向を主として精度の高い情報が必要であり、環境情報因子を低減させないことが望ましい。通信負荷の低減が強いられる場合には画像範囲の維持を優先することで走行方向の視界性を確保できるようにしている。
粗掘削操作(状態E)は、掘削の計画面から離間した面までを作業速度を重視して掘削する状態である。フレームレートは維持するが、そのほかの環境情報因子を低減しても作業場問題とはならない。旋回等の移動が伴う作業を行う際には画像範囲を低減しないことが望ましい。
仕上げ掘削操作(状態F)は、例えば、粗掘削され掘削の計画面から残った土砂領域を、精度を重視して掘削する状態である。この状態では環境情報因子を低減させないことが望ましい。通信負荷の低減が強いられる場合には、バケット等の稼働時には画像範囲を低減しながらフレームレートを維持することで作業性に影響を与えず環境情報因子を低減させる。また例えばオペレータが作業面を確認するときなどバケット等の稼働が低調な時はフレームレートを低減しながら画像範囲を維持するようにする。
また、上記の状態の組合せとして整地作業操作(状態Dおよび状態Eの組合せ)も想定される。バケットによる均し作業のみを行う際には画像範囲を低減するが、走行操作も行う場合には画像範囲を低減しないことが望ましい。
続いて、遠隔操作サーバ20において、環境情報制御処理要素23により環境情報制御指令が作業機械40に対して送信される(図4/STEP212)。環境情報制御指令には、通常状態または指定操作状態の別(環境情報制御処理の実行有無の別)のほか、複数の因子の調節態様を特定するためのデータが含まれている。
作業機械40において、スレーブ制御装置400により、無線通信機器402を通じて環境情報制御指令が受信される(図4/STEP408)。スレーブ制御装置400により、撮像画像を表わす環境データのデータ量が環境情報制御指令にしたがって調節されたうえで遠隔操作サーバ30に対して送信される(図4/STEP410)。
遠隔操作サーバ20において、環境情報制御処理要素23により環境データが作業機械40から受信され、かつ、当該環境データが遠隔操作装置10に対して送信される(図4/STEP214)。
遠隔操作装置10において、マスタ制御装置100により、無線通信機器122を通じて環境データが受信される(図4/STEP106)。マスタ制御装置100により、環境データに応じた環境情報(撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境情報)が情報出力装置121に出力される(図4/STEP108)。
これにより、通常状態では、例えば図8Aに示されているように、作動機構としての作業アタッチメント440の一部であるブーム441、アーム443、バケット445およびアームシリンダ444が含まれている環境情報が高情報出力装置121および低情報出力装置221のそれぞれに出力される。環境情報因子X1が「通常状態と同じ出力画像範囲」であり、環境情報因子X2が「解像度」である場合、第1指定操作状態(図7B参照)では、環境情報の一部(例えば、中央の矩形状領域)が通常状態と同様の解像度を有し、その他の部分(例えば、当該一部の領域を矩形枠状に取り囲む領域)の解像度が通常状態よりも低い解像度を有する環境情報が情報出力装置121に出力される。また、環境情報因子X1が「出力画像範囲」であり、環境情報因子X2が「解像度」である場合、第1指定操作状態では、環境情報の一部のみが通常状態よりも解像度が低下された状態で情報出力装置121に出力される(図8B参照)。
環境情報因子としての「出力画像範囲(または通常状態と同じ出力画像範囲)」により情報出力装置121における単一の画像領域が指定されてもよく、複数の画像領域が指定されてもよい。環境情報因子としての「出力画像範囲」により情報出力装置121における広がり態様(形状、サイズおよび重心位置などにより特定される。)が時系列的に一定の画像領域が指定されてもよく、バケット445を包含する画像領域等、情報出力装置121における広がり態様が時系列的に変化する画像領域が指定されてもよい。
環境情報因子X3が「画素値の次元数」であり、環境情報因子X4が「フレームレート」である場合、第2指定操作状態(図5C参照)では、例えば、環境情報のフレームレートが低減され(24~30FPS→2~10FPSなど)、かつ、通常状態における色相および輝度値を含む2次元(色相がRGB値などの3次元ベクトルで表現される場合は4次元)の画素値が、輝度値(グレースケール)のみを含む1次元の画素値を有する環境情報が情報出力装置121に出力される。
今回の環境情報の情報量が前回の環境情報の情報量よりも低下する場合、今回の環境情報に加えて前回以前の所定回数分の環境情報が情報出力装置121から出力されてもよい。例えば、環境情報としての今回の環境画像の解像度が前回の環境画像の解像度よりも低下する場合、今回の環境画像に加えて前回または前回以前の複数回分の環境画像が情報出力装置に出力表示されてもよい。
(効果)
当該構成の遠隔操作システムまたはこれを構成する遠隔操作サーバ20によれば、指標値に応じて、通信資源割当処理が実行される(図4/STEP204、図5および図6参照)。「指標値」は、複数の遠隔操作装置10のそれぞれのオペレータの遠隔操作スキルの高低および遠隔制御対象となる一の作業機械を通じた作業内容の難易度の高低のうち少なくとも一方を表わす値である(関係式(1)参照)。このため、各オペレータの遠隔操作スキルの高低および作業機械40を通じた作業内容の難易度の高低のうち一方または両方に鑑みて、適当な形態で各遠隔操作装置に対して通信資源が割り当てられる。
また、「環境情報制御処理」が実行されることにより、環境情報の情報量を定める複数の環境情報因子のそれぞれが調節される。具体的には、一または複数の高環境情報因子の情報低下量(当該環境情報因子の変化による環境情報の情報低下量を意味する。)よりも一または複数の低環境情報因子の情報低下量が大きくなるように環境データのデータ量が低減される(図4/STEP210、図7A~図7D参照)。低環境情報因子の情報低下量が高環境情報因子の情報低下量よりも相対的に大きくなるようにデータ量が調節される分だけ、当該データ量の低減、ひいては環境データの通信負荷の低減が図られる。その一方、高環境情報因子の情報低下量が低環境情報因子の情報低下量よりも相対的に小さくなるようにデータ量が調節される分だけ、当該データ量の過度な低減、ひいては環境情報の情報量の過度な低減が回避されうる。
よって、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータの遠隔操作スキルおよび作業内容の難易度に鑑みて、当該オペレータが作業機械の環境を適当に把握するために適当な形態で環境情報の情報量の過度の低下が回避されうる。
当該環境情報制御処理は、各遠隔操作装置に対する通信資源の割り当て態様の相違に応じて、複数の環境情報因子のそれぞれが異なる態様で調節される。さらに、当該環境情報制御処理は、操作状態(オペレータによる操作機構111の操作状態に応じた動作指令および当該動作指令に応じた作業機械40の動作状態のうち少なくとも一方の状態)の相違に応じて、複数の環境情報因子のそれぞれが異なる態様で調節される。具体的には、当該相違に応じて、高環境情報因子および低環境情報因子を異なる態様で区分して実行される(図7A~図7D参照)。よって、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械40の遠隔操作状態に応じて当該オペレータが作業機械40の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうる(図8A~図8B参照)。
(本発明の他の実施形態)
前記実施形態では、時間帯ごとの作業内容(作業難易度)を認識し(図4/STEP202)通信資源割当処理を実行する(図4/STEP204)ようにしていたが、他の実施形態として作業内容(作業難易度)に対して作業現場における時間帯ごとの通信速度を加味するようにしてもよい。例えば図9のように作業機械40の遠隔操作サーバ20との時間帯ごとの過去30日の通信速度の平均値Aが記録されている。現在の通信速度Bと通信速度の平均値Aを鑑みて作業を行う時間帯の通信速度に余裕があると判定すると通信速度による難易度変化はないと判定する一方、通信速度に余裕がないと判定すると通信速度の低下により作業難易度に対して必要なスキルを多く求める必要があると判定するようにしてもよい。
他の実施形態において、遠隔操作サーバ20を構成する環境情報制御処理要素23によって、作業機械40から環境データが通常状態と同様に受信されたうえで、環境情報制御処理が実行されることにより、遠隔操作装置10に対して送信される環境データのデータ量が増減調節されてもよい。
他の実施形態において、遠隔操作サーバ20または環境情報制御処理要素23がマスタ制御装置100によって構成され、遠隔操作装置10および作業機械40が直接的にまたは無線通信基地局を介して相互通信してもよい。この場合、環境情報制御処理要素23と同様の機能を有するマスタ制御装置100によって環境情報制御処理が実行されることにより、作業機械40から遠隔操作装置10に対して送信される環境データのデータ量が増減調節されてもよい。マスタ制御装置100および遠隔操作サーバ20は、共通のプロセッサにおける通信回路または別個のプロセッサを接続する通信回路を通じて相互に通信することができる。
他の実施形態において、遠隔操作サーバ20または環境情報制御処理要素23がスレーブ制御装置400によって構成され、遠隔操作装置10および作業機械40が直接的にまたは無線通信基地局を介して相互通信してもよい。この場合、環境情報制御処理要素23と同様の機能を有するスレーブ制御装置400によって環境情報制御処理が実行されることにより、作業機械40から遠隔操作装置10に対して送信される環境データのデータ量が増減調節されてもよい。スレーブ制御装置400および遠隔操作サーバ20は、共通のプロセッサにおける通信回路または別個のプロセッサを接続する通信回路を通じて相互に通信することができる。
前記実施形態では、複数の環境情報因子が、高環境情報因子および低環境情報因子に区分されて調節されたが、他の実施形態として、複数の環境情報因子が、遠隔操作装置10の少なくとも一の指定操作状態または作業機械40の少なくとも一の指定動作状態に応じて高環境情報因子および低環境情報因子に区分されずに一様に調節されてもよい。すなわち、複数の環境情報因子のすべてが、基準値Q2からの低下量が同一になるように制御されてもよい。
前記実施形態では、動作指令が遠隔操作装置10から遠隔操作サーバ20を経由して作業機械40に対して送信されたが(図4/STEP104→STEP204→STEP402参照)、他の実施形態として、動作指令が遠隔操作装置10から無線通信基地局を介して作業機械40に対して送信されてもよい。この場合、遠隔操作サーバ20と遠隔操作装置10との通信結果に基づき、環境情報制御処理要素23によって動作指令またはこれに応じた遠隔操作装置10の操作状態が認識されてもよい。あるいは、遠隔操作サーバ20と作業機械40との通信結果に基づき、環境情報制御処理要素23によって動作指令に応じた作業機械40の動作状態が認識されてもよい。
前記実施形態では、環境データが作業機械40から遠隔操作サーバ20を経由して遠隔操作装置10に対して送信されたが(図4/STEP410→STEP214→STEP106参照)、他の実施形態として、環境データが作業機械40から無線通信基地局を介して遠隔操作装置10に対して送信されてもよい。
前記実施形態において、環境情報制御処理が実行された場合の環境情報の情報量の低下態様が情報出力装置121に出力されたうえで、入力インターフェース110を通じて当該環境情報制御処理の実行が容認されたことを要件として、当該環境情報制御処理が実行されてもよい。
通信資源割当処理要素22が、状態認識要素21により認識された指標値zi(またはxiおよびyi)を指定出力装置に出力し、指定入力装置を通じて入力された複数の遠隔操作装置10のそれぞれに対して通信資源を割り当てる態様を認識することで前記通信資源割当処理を実行してもよい。指定出力装置および指定入力装置は、スマートホン、タブレット端末またはノートPCなど、マネージャ(監督者)が管理する端末装置を構成していてもよい。
環境データには、作業機械40の外部環境を表わす「外部環境データ」に加えて、作業機械40の動作状態を表わす「内部環境データ」が含まれていてもよい。この場合、作業アタッチメント440に設けられ、ブームおよびアームの姿勢を表わす角度を検知する角度センサなどにより当該角度を表わすデータが環境データとして取得される。例えば、作業機械40としてのクローラクレーンが吊り作業をしている場合、ブームおよびアームの角度を表わすデータが環境データから省略されることにより、当該環境データのデータ量の低減が図られる。
10‥第1遠隔操作装置、20‥遠隔操作サーバ、21‥環境情報制御処理要素、22‥通信資源割当処理要素、23‥状態認識要素、40‥作業機械、100‥マスタ制御装置、110‥入力インターフェース、111‥操作機構、112‥操作状態検知器、120‥出力インターフェース、121‥情報出力装置、122‥無線通信機器、400‥スレーブ制御装置、401‥環境認識装置、402‥無線通信機器、440‥作業アタッチメント(作動機構)。

Claims (7)

  1. 複数の作業機械と、当該複数の作業機械のうち遠隔操作対象となる一の作業機械を遠隔操作するための複数の遠隔操作装置と、により構成されている遠隔操作システムであって、
    前記複数の作業機械のそれぞれは、環境情報を取得する環境認識装置を備え、
    前記複数の遠隔操作装置のそれぞれは、情報出力装置を備えており、前記一の作業機械の前記環境認識装置により取得された環境情報を受信し、受信した環境情報に応じた環境データを前記情報出力装置に出力するよう構成され、
    前記複数の遠隔操作装置のそれぞれのオペレータの遠隔操作スキルの高低に基づいて前記複数の遠隔操作装置のそれぞれに対して前記一の作業機械との相互通信のための通信資源を割り当てる通信資源割当処理を実行し、割り当てられた通信資源の相違に応じて前記一の作業機械の前記環境認識装置により取得された環境情報のデータ量を低減してそれぞれ遠隔操作装置に受信させる環境情報制御処理を実行することを特徴とする遠隔操作システム
  2. 請求項1記載の遠隔操作システムにおいて、
    前記一の作業機械を通じた作業内容の難易度の高低に基づいて前記通信資源割当処理を実行し、割り当てられた通信資源の相違に応じて前記一の作業機械の前記環境認識装置により取得された環境情報のデータ量を低減してそれぞれ遠隔操作装置に受信させるように前記環境情報制御処理を実行することを特徴とする遠隔操作システム
  3. 請求項1または2記載の遠隔操作システムにおいて、
    オペレータによる前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて、前記一の作業機械の前記環境認識装置により取得された環境情報のデータ量を、異なる態様で調節してそれぞれ遠隔操作装置に受信させるように前記環境情報制御処理を実行することを特徴とする遠隔操作システム
  4. 請求項3記載の遠隔操作システムにおいて、
    前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて、前記環境情報情報量を定める複数の環境情報因子のそれぞれを高環境情報因子および低環境情報因子を異なる態様で区分し、前記高環境情報因子に応じた前記環境情報の情報量の低下よりも前低環境情報因子に応じた前記環境情報の情報量の低下が大きくなるようにデータ量を低減するように前記環境情報制御処理を実行することを特徴とする遠隔操作システム
  5. 請求項1~4のうちいずれか1項に記載の遠隔操作システムにおいて、
    前記遠隔操作装置および前記作業機械のうち少なくとも一方の通信速度が基準値を下回ったことを要件として、前記環境情報制御処理を実行することを特徴とする遠隔操作システム
  6. 請求項1~5のうちいずれか1項に記載の遠隔操作システムにおいて、
    前記複数の遠隔操作装置のそれぞれのオペレータの遠隔操作スキルの高低を出力する指定出力装置と、前記複数の遠隔操作装置のそれぞれに対して前記一の作業機械との相互通信のための通信資源を割り当てる態様が入力される指定入力装置と、を備え、前記指定入力装置に入力された態様を認識することで前記通信資源割当処理を実行することを特徴とする遠隔操作システム
  7. 請求項記載の遠隔操作システムにおいて、
    前記指定出力装置は、前記一の作業機械を通じた作業内容の難易度の高低を出力することを特徴とする遠隔操作システム
JP2019108276A 2019-06-10 2019-06-10 遠隔操作システム Active JP7247769B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019108276A JP7247769B2 (ja) 2019-06-10 2019-06-10 遠隔操作システム
US17/611,688 US20220316181A1 (en) 2019-06-10 2020-04-09 Remote operation system and remote operation server
CN202080041900.4A CN113994052B (zh) 2019-06-10 2020-04-09 远程操作系统及远程操作服务器
EP20821983.2A EP3951094B1 (en) 2019-06-10 2020-04-09 Remote operation system and remote operation server
PCT/JP2020/016056 WO2020250558A1 (ja) 2019-06-10 2020-04-09 遠隔操作システムおよび遠隔操作サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019108276A JP7247769B2 (ja) 2019-06-10 2019-06-10 遠隔操作システム

Publications (2)

Publication Number Publication Date
JP2020200660A JP2020200660A (ja) 2020-12-17
JP7247769B2 true JP7247769B2 (ja) 2023-03-29

Family

ID=73742512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019108276A Active JP7247769B2 (ja) 2019-06-10 2019-06-10 遠隔操作システム

Country Status (5)

Country Link
US (1) US20220316181A1 (ja)
EP (1) EP3951094B1 (ja)
JP (1) JP7247769B2 (ja)
CN (1) CN113994052B (ja)
WO (1) WO2020250558A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022143729A (ja) 2021-03-18 2022-10-03 コベルコ建機株式会社 遠隔操作システム
JP2022152338A (ja) * 2021-03-29 2022-10-12 コベルコ建機株式会社 作業支援システムおよび作業支援複合システム
JP2022154888A (ja) 2021-03-30 2022-10-13 コベルコ建機株式会社 遠隔操作装置
JP2023003680A (ja) 2021-06-24 2023-01-17 コベルコ建機株式会社 表示装置
WO2023112217A1 (ja) * 2021-12-15 2023-06-22 日本電気株式会社 映像送信システム、映像送信装置、および映像送信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (ja) 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd 監視システム
US20020059320A1 (en) 2000-10-12 2002-05-16 Masatake Tamaru Work machine management system
JP2003076978A (ja) 2001-08-31 2003-03-14 Matsushita Electric Works Ltd 画像処理検査システム
JP2017092908A (ja) 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム
WO2019012988A1 (ja) 2017-07-14 2019-01-17 株式会社小松製作所 地形情報送信装置、施工管理システム及び地形情報送信方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070179640A1 (en) * 2006-01-31 2007-08-02 Caterpillar Inc. Environmental monitoring system for a machine environment
JP2008146292A (ja) * 2006-12-08 2008-06-26 Shin Caterpillar Mitsubishi Ltd 訪問計画作成方法
JP5208074B2 (ja) * 2009-08-27 2013-06-12 日立建機株式会社 作業機械の遠隔管理システム
CN102385374A (zh) * 2011-10-24 2012-03-21 三一重工股份有限公司 一种远程控制系统、远程控制方法及工程机械
CN108830453B (zh) * 2018-05-07 2021-10-08 中国科学院力学研究所 一种远程操作效果的评估方法及系统
US11112791B2 (en) * 2019-05-02 2021-09-07 Valeo Schalter Und Sensoren Gmbh Selective compression of image data during teleoperation of a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (ja) 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd 監視システム
US20020059320A1 (en) 2000-10-12 2002-05-16 Masatake Tamaru Work machine management system
JP2003076978A (ja) 2001-08-31 2003-03-14 Matsushita Electric Works Ltd 画像処理検査システム
JP2017092908A (ja) 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム
WO2019012988A1 (ja) 2017-07-14 2019-01-17 株式会社小松製作所 地形情報送信装置、施工管理システム及び地形情報送信方法

Also Published As

Publication number Publication date
CN113994052A (zh) 2022-01-28
EP3951094A1 (en) 2022-02-09
US20220316181A1 (en) 2022-10-06
CN113994052B (zh) 2023-09-05
WO2020250558A1 (ja) 2020-12-17
EP3951094B1 (en) 2023-08-09
JP2020200660A (ja) 2020-12-17
EP3951094A4 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
JP7247769B2 (ja) 遠隔操作システム
JP7358349B2 (ja) 掘削機、情報処理装置
JP7301875B2 (ja) ショベル、ショベルの制御装置
EP3951079A1 (en) Shovel
JP7342018B2 (ja) ショベル
WO2019189920A1 (ja) 作業機械、情報処理装置
JP7310338B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP2023174887A (ja) 作業機械、情報処理装置
US20230142088A1 (en) Remote operation assistance device and remote operation assistance method
CN113423543B (zh) 作业机械用显示系统
JP6964109B2 (ja) 作業機械
WO2021166477A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
DE112021000581T5 (de) Bagger und Fernsteuerungs-Unterstützungsvorrichtung
JP7441733B2 (ja) 実機状態監視システムおよび実機状態監視方法
JP7310595B2 (ja) 作業支援サーバおよび作業支援システム
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
EP4368781A2 (en) Work machine and information processing device
WO2023190843A1 (ja) 支援装置、作業機械、プログラム
JP2022144491A (ja) 撮像機能制御システムおよび撮像機能制御方法
US20230128501A1 (en) Remote operation assistance device and remote operation assistance method
US20220290401A1 (en) Display system, remote operation system, and display method
JP2022144495A (ja) 遠隔操作支援システムおよび遠隔操作支援方法
JP2023083245A (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP2021147978A (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R150 Certificate of patent or registration of utility model

Ref document number: 7247769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150