JP7287047B2 - 遠隔操作システムおよび遠隔操作サーバ - Google Patents
遠隔操作システムおよび遠隔操作サーバ Download PDFInfo
- Publication number
- JP7287047B2 JP7287047B2 JP2019059760A JP2019059760A JP7287047B2 JP 7287047 B2 JP7287047 B2 JP 7287047B2 JP 2019059760 A JP2019059760 A JP 2019059760A JP 2019059760 A JP2019059760 A JP 2019059760A JP 7287047 B2 JP7287047 B2 JP 7287047B2
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- control device
- work machine
- state
- authority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 claims description 28
- 230000007246 mechanism Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000009412 basement excavation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000010720 hydraulic oil Substances 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2054—Fleet management
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
- E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G05D1/224—
-
- G05D1/69—
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/40—Remote control systems using repeaters, converters, gateways
- G08C2201/42—Transmitting or receiving remote control signals via a network
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Selective Calling Equipment (AREA)
- Operation Control Of Excavators (AREA)
- Telephonic Communication Services (AREA)
- Component Parts Of Construction Machinery (AREA)
Description
図1に示されている本発明の一実施形態としての遠隔操作システムは、第1遠隔操作装置10と、第2遠隔操作装置20と、遠隔操作サーバ30と、作業機械40と、を備えている。共通の作業機械40の遠隔操作主体は、遠隔操作サーバ30により第1遠隔操作装置10および第2遠隔操作装置20の間で切り替え可能である。
作業機械40は、作業機械制御装置400と、撮像装置401と、無線通信機器402と、作動機構440と、を備えている。作業機械制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
第1遠隔操作装置10は、第1クライアント制御装置100と、第1入力インターフェース110と、第1出力インターフェース120と、を備えている。第1クライアント制御装置100は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第1入力インターフェース110は、第1操作機構111と、状態検知器112と、を備えている。第1出力インターフェース120は、第1画像出力装置121と、第1無線通信機器122と、を備えている。
第2遠隔操作装置20は、第2クライアント制御装置200と、第2入力インターフェース210と、第2出力インターフェース220と、を備えている。第2クライアント制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第2入力インターフェース210は、第2操作機構211を備えている。第2出力インターフェース220は、第2画像出力装置221と、第2無線通信機器222と、を備えている。
遠隔操作サーバ30は、第1サーバ演算処理要素31と、第2サーバ演算処理要素32と、を備えている。第1サーバ演算処理要素31は、第1通知を受信し、当該第1通知に基づいて複数の遠隔操作装置のうち第1遠隔操作装置10とは異なる第2遠隔操作装置20を選定する。第2サーバ演算処理要素32は、第2遠隔操作装置20に宛てて第1通知に応じた第2通知を送信し、作業機械40の遠隔操作権限を第1遠隔操作装置10から第2遠隔操作装置20に変更するための処理を実行する。
第1遠隔操作装置10において、第1オペレータにより所定の操作が行われる(図4/STEP102)。所定の操作は、例えば、第1入力インターフェース110または第1操作機構111を構成するボタンまたは操作レバーの操作である。これに応じて、第1クライアント制御装置100により、第1無線通信機器122を通じて、第1遠隔操作装置10から遠隔操作サーバ30を経由して作業機械40に対して操作開始指令が送信される(図4/STEP104)。
当該構成の遠隔操作システムによれば、第1遠隔操作装置10を通じて作業機械40が遠隔操作されている際に、当該作業機械40または第1オペレータのうち一方または両方の状態が指定状態になった場合、当該指定状態に応じた第1通知に鑑みて適当な第2遠隔操作装置20が、当該作業機械40の遠隔操作主体として選定されうる(図5参照)。よって、作業機械40の遠隔操作主体の切り替えに際して、当該作業機械40の動作状態の不安定を回避しうる。
前記実施形態では、第1オペレータおよび第2オペレータのそれぞれによる作業機械40の遠隔操作の引継ぎの承認を要件として作業機械40の遠隔操作主体が切り替えられたが(図5/STEP206、STEP122およびSTEP314参照)、他の実施形態として、第1オペレータおよび第2オペレータのうち一方または両方による当該承認がなくても作業機械40の遠隔操作主体が切り替えられてもよい。
Claims (9)
- 作動機構を有している作業機械を遠隔操作するための複数の遠隔操作装置を備えている遠隔操作システムであって、
前記複数の遠隔操作装置のうち第1遠隔操作装置を介して遠隔操作される前記作業機械の状態が指定状態として前記作業機械の動作状態が不安定になる可能性がある状態であると検知された場合、前記複数の遠隔操作装置のうち前記指定状態に応じて遠隔操作権限が付与されている前記第1遠隔操作装置とは異なる適当な第2遠隔操作装置に遠隔操作権限を移行することを特徴とする遠隔操作システム。 - 請求項1記載の遠隔操作システムにおいて、
前記第1遠隔操作装置を介して前記作業機械を遠隔操作する第1オペレータの状態が前記指定状態であると検知された場合に、複数の前記遠隔操作装置のうち前記指定状態に応じて遠隔操作権限が付与されている前記第1遠隔操作装置とは異なる適当な第2遠隔操作装置に遠隔操作権限を移行することを特徴とする遠隔操作システム。 - 請求項1または2記載の遠隔操作システムにおいて、
前記第2遠隔操作装置は、前記複数の遠隔操作装置のうち前記第1遠隔操作装置とは異なるものから選定され、
選定された前記第2遠隔操作装置の出力インターフェースに前記作業機械の遠隔操作権限の移行に関連する通知情報を出力させることを特徴とする遠隔操作システム。 - 請求項3に記載の遠隔操作システムにおいて、
前記出力インターフェースは、前記第2遠隔操作装置との連携機能を有する端末装置の構成要素であることを特徴とする遠隔操作システム。 - 請求項1または2記載の遠隔操作システムにおいて、
前記第2遠隔操作装置は、前記複数の遠隔操作装置のうち前記第1遠隔操作装置とは異なるものから選定され、
選定された前記第2遠隔操作装置の第2オペレータによる前記作業機械の遠隔操作権限を前記第1遠隔操作装置から前記第2遠隔操作装置に変更することの承諾の有無を判定し、判定結果が否定的である場合には前記作業機械の遠隔操作権限を当該選定された第2遠隔操作装置に移行しないことを特徴とする遠隔操作システム。 - 請求項5に記載の遠隔操作システムにおいて、
前記第2遠隔操作装置との連携機能を有する端末装置を介して前記第2オペレータによる承諾の有無が判定されることを特徴とする遠隔操作システム。 - 請求項5または6に記載の遠隔操作システムにおいて、
選定された複数の前記第2遠隔操作装置の前記判定結果に基づき、前記作業機械の遠隔操作権限の前記第1遠隔操作装置からの移行先の候補として前記第2遠隔操作装置の候補を選出することを特徴とする遠隔操作システム。 - 請求項7記載の遠隔操作システムにおいて、
前記候補の中から前記作業機械の遠隔操作権限を取得させる一の前記第2遠隔操作装置を選定し、
前記候補として選出されていた複数の前記第2遠隔操作装置のそれぞれに対して前記遠隔操作権限の移行の有無を通知し、
前記作業機械の遠隔操作権限を前記第1遠隔操作装置から前記一の前記第2遠隔操作装置に移行することを特徴とする遠隔操作システム。 - 作業機械を遠隔操作するための複数の遠隔操作装置のそれぞれと相互通信機能を有する遠隔操作サーバであって、
複数の前記遠隔操作装置のうち第1遠隔操作装置を介して遠隔操作される前記作業機械の状態が前記作業機械の動作状態が不安定になる可能性がある指定状態であることが検知された場合、複数の前記遠隔操作装置のうち前記指定状態に応じて遠隔操作権限が付与されている前記第1遠隔操作装置とは異なる適当な第2遠隔操作装置に遠隔操作権限を移行する処理を実行することを特徴とする遠隔操作サーバ。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019059760A JP7287047B2 (ja) | 2019-03-27 | 2019-03-27 | 遠隔操作システムおよび遠隔操作サーバ |
CN201980094527.6A CN113614317B (zh) | 2019-03-27 | 2019-12-02 | 远程操作系统以及远程操作服务器 |
US17/438,642 US11885101B2 (en) | 2019-03-27 | 2019-12-02 | Remote operation system and remote operation server |
EP19921240.8A EP3922775B1 (en) | 2019-03-27 | 2019-12-02 | Remote operation system and remote operation server |
PCT/JP2019/047071 WO2020194884A1 (ja) | 2019-03-27 | 2019-12-02 | 遠隔操作システムおよび遠隔操作サーバ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019059760A JP7287047B2 (ja) | 2019-03-27 | 2019-03-27 | 遠隔操作システムおよび遠隔操作サーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020161996A JP2020161996A (ja) | 2020-10-01 |
JP7287047B2 true JP7287047B2 (ja) | 2023-06-06 |
Family
ID=72609372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019059760A Active JP7287047B2 (ja) | 2019-03-27 | 2019-03-27 | 遠隔操作システムおよび遠隔操作サーバ |
Country Status (5)
Country | Link |
---|---|
US (1) | US11885101B2 (ja) |
EP (1) | EP3922775B1 (ja) |
JP (1) | JP7287047B2 (ja) |
CN (1) | CN113614317B (ja) |
WO (1) | WO2020194884A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006301723A (ja) | 2005-04-15 | 2006-11-02 | Toyota Motor Corp | 遠隔操作システム |
JP2018501684A (ja) | 2014-11-17 | 2018-01-18 | ヤンマー株式会社 | 作業機の遠隔操作のための表示システム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3364419B2 (ja) * | 1997-10-29 | 2003-01-08 | 新キャタピラー三菱株式会社 | 遠隔無線操縦システム並びに遠隔操縦装置,移動式中継局及び無線移動式作業機械 |
US9715008B1 (en) * | 2013-03-20 | 2017-07-25 | Bentley Systems, Incorporated | Visualization of 3-D GPR data in augmented reality |
KR101632855B1 (ko) * | 2013-12-11 | 2016-06-22 | 가부시키가이샤 고마쓰 세이사쿠쇼 | 작업 기계의 관리 방법, 관리용 컴퓨터 프로그램 및 관리 시스템 |
US10503249B2 (en) * | 2014-07-03 | 2019-12-10 | Topcon Positioning Systems, Inc. | Method and apparatus for construction machine visualization |
KR102250821B1 (ko) * | 2014-08-20 | 2021-05-11 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치 동작 방법 |
JP2016076801A (ja) | 2014-10-03 | 2016-05-12 | ヤンマー株式会社 | 遠隔監視システム |
WO2017043108A1 (ja) * | 2015-09-10 | 2017-03-16 | 富士フイルム株式会社 | 投写型表示装置及び投写制御方法 |
US10242562B2 (en) * | 2017-02-22 | 2019-03-26 | Thames Technology Holdings, Inc. | Control systems with modular configurable devices |
JP6807781B2 (ja) * | 2017-03-13 | 2021-01-06 | 株式会社小松製作所 | 表示システム、表示方法、及び遠隔操作システム |
WO2018228669A1 (en) * | 2017-06-13 | 2018-12-20 | Volvo Construction Equipment Ab | A working machine provided with an image projection arrangement |
EP3779067A4 (en) * | 2018-03-27 | 2021-04-07 | Sumitomo Heavy Industries, Ltd. | EXCAVATOR |
CN112041510A (zh) * | 2018-06-19 | 2020-12-04 | 住友建机株式会社 | 挖掘机、信息处理装置 |
CN112996963B (zh) * | 2018-10-31 | 2022-12-02 | 住友建机株式会社 | 挖土机、挖土机支援系统 |
JPWO2020095945A1 (ja) * | 2018-11-08 | 2021-09-24 | 住友建機株式会社 | ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム |
WO2020175645A1 (ja) * | 2019-02-28 | 2020-09-03 | 住友重機械工業株式会社 | 表示装置、ショベル、情報処理装置 |
-
2019
- 2019-03-27 JP JP2019059760A patent/JP7287047B2/ja active Active
- 2019-12-02 US US17/438,642 patent/US11885101B2/en active Active
- 2019-12-02 WO PCT/JP2019/047071 patent/WO2020194884A1/ja unknown
- 2019-12-02 EP EP19921240.8A patent/EP3922775B1/en active Active
- 2019-12-02 CN CN201980094527.6A patent/CN113614317B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006301723A (ja) | 2005-04-15 | 2006-11-02 | Toyota Motor Corp | 遠隔操作システム |
JP2018501684A (ja) | 2014-11-17 | 2018-01-18 | ヤンマー株式会社 | 作業機の遠隔操作のための表示システム |
Also Published As
Publication number | Publication date |
---|---|
CN113614317A (zh) | 2021-11-05 |
US20220186466A1 (en) | 2022-06-16 |
EP3922775A4 (en) | 2022-04-13 |
JP2020161996A (ja) | 2020-10-01 |
WO2020194884A1 (ja) | 2020-10-01 |
CN113614317B (zh) | 2022-12-09 |
EP3922775B1 (en) | 2023-07-12 |
EP3922775A1 (en) | 2021-12-15 |
US11885101B2 (en) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021111677A1 (ja) | 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム | |
WO2020250558A1 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
JP7287262B2 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
JP7318258B2 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
US20220220706A1 (en) | Remote operation system | |
JP7472578B2 (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
JP7287047B2 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
WO2020250557A1 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
JP7392422B2 (ja) | 作業支援サーバおよび作業支援システム | |
WO2021106281A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP2021119649A (ja) | 作業支援サーバおよび作業支援システム | |
JP7363627B2 (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2021106279A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP7310595B2 (ja) | 作業支援サーバおよび作業支援システム | |
WO2021240957A1 (ja) | 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法 | |
JP2022144491A (ja) | 撮像機能制御システムおよび撮像機能制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7287047 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |