JP7287262B2 - 遠隔操作システムおよび遠隔操作サーバ - Google Patents
遠隔操作システムおよび遠隔操作サーバ Download PDFInfo
- Publication number
- JP7287262B2 JP7287262B2 JP2019228634A JP2019228634A JP7287262B2 JP 7287262 B2 JP7287262 B2 JP 7287262B2 JP 2019228634 A JP2019228634 A JP 2019228634A JP 2019228634 A JP2019228634 A JP 2019228634A JP 7287262 B2 JP7287262 B2 JP 7287262B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- remote control
- machine
- work machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 82
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 57
- 238000003384 imaging method Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 27
- 239000003550 marker Substances 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000010720 hydraulic oil Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2054—Fleet management
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
Landscapes
- Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Selective Calling Equipment (AREA)
- Operation Control Of Excavators (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援サーバに関する。
プラント内を巡回点検中の作業従事者と、その作業現場外に待機している者との間で十分な精度で情報の共有化を図るための遠隔監視支援システム用端末装置が提案されている(例えば、特許文献1参照)。この端末装置は、現場の映像データを入力する映像入力手段と、ペンあるいはマウスタイプの入力操作選択手段と、新規の映像取得の有無を検出する検出手段と、外部とのデータ送受信を無線で行う通信制御手段と、所定のデータを入力する入力画面を表示する入出力画面表示手段と、を備えている。
しかし、撮像装置を通じて取得された撮像画像が遠隔操作装置を構成する出力インターフェース(画像表示装置)に表示され、当該撮像画像に複数の作業機械が映り込んでいる場合、当該表示画像において実際とは異なる作業機械が操作対象であるとオペレータが誤認する可能性がある。これは、特に同一メーカーの同一機種の複数の作業機械が出力インターフェースに同時に表示される場合に顕著となる。この場合、オペレータによる誤認に基づく遠隔操作装置を用いた作業機械の動作態様が、目標とする作業遂行の観点から不適当になる可能性がある。
そこで、本発明は、遠隔操作装置を構成する出力インターフェースに出力されている作業現場俯瞰画像に映り込んでいる作業機械が、当該遠隔操作装置による遠隔操作対象であるか否かのオペレータによる認識を支援することができるサーバおよびシステムを提供することを目的とする。
本発明は、オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援サーバに関する。
本発明の作業支援サーバは、撮像装置を通じて取得された作業現場の撮像画像に応じた作業現場俯瞰画像を、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに出力させ、前記遠隔操作装置の操作対象である前記作業機械としての連携作業機械の実空間位置を認識し、前記作業現場俯瞰画像に作業機械が映り込んでいる場合、当該作業機械の画像座標系における位置および前記連携作業機械の実空間位置に基づき、前記作業機械が前記連携作業機械に該当するか否かを判定する第1支援処理要素と、
前記第1支援処理要素により、前記作業機械が前記連携作業機械に該当すると判定された場合、前記遠隔操作装置との通信に基づき、前記作業現場俯瞰画像に映り込んでいる前記作業機械が連携作業機械に該当することを示す第1標識画像を前記遠隔操作装置の出力インターフェースに出力させる第2支援処理要素と、を備えていることを特徴とする。
前記第1支援処理要素により、前記作業機械が前記連携作業機械に該当すると判定された場合、前記遠隔操作装置との通信に基づき、前記作業現場俯瞰画像に映り込んでいる前記作業機械が連携作業機械に該当することを示す第1標識画像を前記遠隔操作装置の出力インターフェースに出力させる第2支援処理要素と、を備えていることを特徴とする。
本発明の作業支援システムは、本発明の作業支援サーバと、前記遠隔操作装置と、により構成されていることを特徴とする。
当該構成の作業支援サーバおよび作業支援システム(以下、適宜「作業支援サーバ等」という。)によれば、撮像装置により取得された撮像画像に応じて、遠隔操作装置を構成する出力インターフェースに出力される作業現場俯瞰画像に作業機械が映り込んでいる場合、当該作業機械が連携作業機械に該当するか否かが判定される。「連携作業機械」は、当該遠隔操作装置による実際の遠隔操作対象である作業機械を意味する。作業現場俯瞰画像は、撮像画像の少なくとも一部そのもののほか、当該撮像画像に応じて生成された作業現場を疑似的に表わす疑似画像をも含む概念である。そして、当該判定結果が肯定的である場合、作業現場俯瞰画像に映り込んでいる作業機械が連携作業機械に関連付けられて第1標識画像が遠隔操作装置の出力インターフェースに表示される。
この結果、作業現場俯瞰画像に映り込んでいる作業機械が、遠隔操作装置による遠隔操作対象に該当するか否かをオペレータに容易に認識させることができる。したがって、例えば、作業現場俯瞰画像に複数の作業機械が映り込んでいる場合であっても、当該複数の作業機械のうちどれが連携作業機械に該当するか、あるいは、いずれもが連携作業機械に該当しないかをオペレータに容易に認識させることができる。
本発明の作業支援サーバ等において、前記第1演算処理要素により前記連携作業機械に該当すると判定された一の作業機械が前記作業現場俯瞰画像に映り込んでいる場合、前記作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、前記第2支援処理要素が、前記遠隔操作装置の出力インターフェースに前記第1標識画像を強調して出力させることが好ましい。
当該構成の作業支援サーバ等によれば、作業現場俯瞰画像に映り込んでいる一の作業機械が連携作業機械に該当する場合、当該作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、第1標識画像が遠隔装置の出力インターフェースに強調出力される。「強調出力」とは、第1標識画像の形状、サイズ、色彩(輝度、明度、彩度)もしくは模様、またはこれらの任意の組み合わせにより、第1標識画像をより目立たせてまたは視認しやすい形態で出力表示することを意味する。これは、一般的に、作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、他の作業機械を連携作業機械であるとオペレータが誤認する可能性が高いためである。よって、作業現場俯瞰画像に含まれている作業機械が連携作業機械に該当するか否かをオペレータにより明確に認識させることができる。
本発明の作業支援サーバ等において、前記作業現場俯瞰画像に前記連携作業機械を含む複数の作業機械が映り込んでいる場合、前記作業現場俯瞰画像における前記連携作業機械および他の作業機械の間隔が小さいほど、前記第2支援処理要素が、前記遠隔操作装置の出力インターフェースに前記第1標識画像を強調出力させることが好ましい。
当該構成の作業支援サーバ等によれば、作業現場俯瞰画像に連携作業機械を含む複数の作業機械が映り込んでいる場合、作業現場俯瞰画像における連携作業機械および他の作業機械の間隔が小さいほど第1標識画像が遠隔操作装置の出力インターフェースに強調出力される。これは、当該間隔が小さいほど、他の作業機械を連携作業機械であるとオペレータが誤認する可能性が高くなるためである。当該間隔が「0」であることは、作業現場俯瞰画像において連携作業機械および他の作業機械が重なって映り込んでいることを意味する。作業現場俯瞰画像に複数の他の作業機械が映り込んでいる場合、当該間隔は、連携作業機械と当該複数の他の作業機械のそれぞれとの平均間隔または最短間隔を意味する。よって、作業現場俯瞰画像に含まれている作業機械が連携作業機械に該当するか否かをオペレータにより明確に認識させることができる。
本発明の作業支援サーバ等において、前記第1支援処理要素により、前記作業機械が前記連携作業機械に該当しないと判定された場合、前記第2支援処理要素が、前記遠隔操作装置との通信に基づき、前記作業機械が連携作業機械に該当しないことを示す第2標識画像を前記第1標識画像と識別可能な形態で前記遠隔操作装置の出力インターフェースに出力させることが好ましい。
当該構成の作業支援サーバ等によれば、作業現場俯瞰画像に映り込んでいる作業機械が連携作業機械に該当しないと判定された場合、当該作業機械に関連付けられて第2標識画像が遠隔操作装置の出力インターフェースに出力される。この結果、遠隔操作装置を構成する出力インターフェースに表示されている作業機械が、当該遠隔操作装置による遠隔操作対象に該当しないことをオペレータに容易に認識させることができる。
本発明の作業支援サーバ等において、前記第1支援処理装置が、前記連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を認識し、前記第2支援処理要素が、前記遠隔操作装置との通信に基づき、前記第1支援処理要素により認識された前記連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を表わす軌道画像を前記第1標識画像として前記遠隔操作装置の出力インターフェースに出力させることが好ましい。
当該構成の作業支援サーバ等によれば、遠隔操作装置の出力インターフェースに出力される第1標識画像により、作業現場俯瞰画像に映り込んでいる作業機械が連携作業機械に該当するか否かに加えて、当該連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を当該遠隔操作装置のオペレータに認識させることができる。この結果、例えば、オペレータによる遠隔操作装置の操作態様と、第1標識画像としての軌道画像により表わされる連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列との整合性の有無に鑑みて、当該連携作業機械が自ら遠隔操作している作業機械であることをより明確にオペレータに認識させることができる。
本発明の作業支援サーバ等において、前記第2支援処理要素が、前記遠隔操作装置との通信に基づき、前記作業機械の実空間位置と、前記撮像装置の実空間位置および画角と、を表わすマップまたは俯瞰作業現場俯瞰画像を、前記遠隔操作装置の出力インターフェースに出力させることが好ましい。
当該構成の作業支援サーバ等によれば、遠隔操作装置を構成する出力インターフェースに出力されたマップまたは俯瞰作業現場俯瞰画像には、作業現場俯瞰画像に映り込んでいる作業機械の実空間位置と、当該作業現場俯瞰画像を取得した撮像装置の実空間位置および画角とが表わされている。このため、作業現場俯瞰画像に映り込んでいる作業機械と当該作業現場俯瞰画像を取得した撮像装置との実空間における相対位置に鑑みて、作業現場俯瞰画像に映り込んでいる一または複数の作業機械の遠近感が整合しているか否かをオペレータに確認させることができる。これにより、出力インターフェースに出力されている作業機械が、連携作業機械に該当するか否かに加えて、当該作業機械がマップまたは俯瞰作業現場俯瞰画像に示されている作業機械に該当するか否かをオペレータに認識させることができる。
(作業支援システムの構成)
図1に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ10と、複数の作業機械40を遠隔操作するための複数の遠隔操作装置20と、により構成されている。作業支援サーバ10と、遠隔操作装置20と、作業機械40と、は相互にネットワーク通信可能に構成されている。複数の遠隔操作装置20のそれぞれは、作業支援サーバ10との通信ネットワークとは異なるネットワークを通じて相互に通信可能に構成されていてもよい。
図1に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ10と、複数の作業機械40を遠隔操作するための複数の遠隔操作装置20と、により構成されている。作業支援サーバ10と、遠隔操作装置20と、作業機械40と、は相互にネットワーク通信可能に構成されている。複数の遠隔操作装置20のそれぞれは、作業支援サーバ10との通信ネットワークとは異なるネットワークを通じて相互に通信可能に構成されていてもよい。
(作業支援サーバの構成)
作業支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、複数の作業機械40のそれぞれの位置軌道のほか、撮像画像、作業現場俯瞰画像および経路案内画像などを記憶保持する。データベース102は、作業支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
作業支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、複数の作業機械40のそれぞれの位置軌道のほか、撮像画像、作業現場俯瞰画像および経路案内画像などを記憶保持する。データベース102は、作業支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
(遠隔操作装置の構成)
クライアントを構成する遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。
クライアントを構成する遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。
遠隔操作装置20と連携するまたは相互通信機能を有するスマートホンまたはタブレット端末などの携帯端末またはVRゴーグルなどのウェアラブル端末により当該クライアントが構成されていてもよい。当該携帯端末またはウェアラブル端末は、作業支援サーバ10との通信機能を有していてもよい。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体41を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構43を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
遠隔操作機構211を構成する各操作レバーは、例えば、図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータOP2が着座できる任意の形態でもよい。
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一つの 操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図3に示されているシートStの右側フレームの前方に設けられている右側操作レバー2111が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2112が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置221は、例えば図2に示されているように、シートStの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置2211、前方画像出力装置2212および左斜め前方画像出力装置2213により構成されている。当該画像出力装置2211~2213は、スピーカ(音声出力装置)をさらに備えていてもよい。
(作業機械の構成)
作業機械40は、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、作動機構440と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、作動機構440と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、例えばクローラショベル(建設機械)であり、図2に示されているように、クローラ式の下部走行体41と、下部走行体41に旋回機構43を介して旋回可能に搭載されている上部旋回体42と、を備えている。上部旋回体42の前方左側部にはキャブ(運転室)424が設けられている。上部旋回体42の前方中央部には作業アタッチメント44が設けられている。
実機入力インターフェース410は、実機操作機構411と、実機撮像装置412と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。実機撮像装置412は、例えばキャブ424の内部に設置され、キャブ424のフロントウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する。
実機出力インターフェース420は、実機無線通信機器422を備えている。
作動機構としての作業アタッチメント44は、上部旋回体42に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業アタッチメント44には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体42との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
(機能)
前記構成の作業支援システムの機能について図4および図5に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
前記構成の作業支援システムの機能について図4および図5に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
(第1機能(作業機械の遠隔操作))
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた第1指定操作の有無が判定される(図4/STEP200)。第1指定操作は、遠隔操作装置20と連携する作業機械40を選択する操作であり、 例えば、作業現場俯瞰画像(図7参照)において、オペレータが遠隔入力インターフェース210を構成するタッチパネルにおけるタップ、スワイプまたはクリックなどの操作である。図7 には遠隔操作の対象となり得る複数台(4台)の作業機械40の実機画像Q1~Q4が表示され、タッチパネルにおける当該実機画像の表示位置に対して操作がなされたか否かが判定される。遠隔操作装置20は通信ネットワークを介して遠隔操作装置20により遠隔操作の対象となり得る建設機械の候補を取得し、遠隔出力インターフェース220に建設機械の識別子とともに建設機械の位置や機種、稼働状態等の諸情報を表示させるようにしてもよい。第1指定操作が中断されるなど当該判定結果が否定的である場合(図4/STEP200‥NO)、一連の処理が終了する。その一方、当該判定結果が肯定的である場合(図4/STEP200‥YES)、遠隔無線通信機器222を通じて、作業支援サーバ10に対して遠隔操作装置20と連携する作業機械40の操作に必要な撮像画像を要求するための 第1作業環境確認要求が送信される(図4/STEP202)。第1作業環境画像要求には、遠隔操作装置20の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた第1指定操作の有無が判定される(図4/STEP200)。第1指定操作は、遠隔操作装置20と連携する作業機械40を選択する操作であり、 例えば、作業現場俯瞰画像(図7参照)において、オペレータが遠隔入力インターフェース210を構成するタッチパネルにおけるタップ、スワイプまたはクリックなどの操作である。図7 には遠隔操作の対象となり得る複数台(4台)の作業機械40の実機画像Q1~Q4が表示され、タッチパネルにおける当該実機画像の表示位置に対して操作がなされたか否かが判定される。遠隔操作装置20は通信ネットワークを介して遠隔操作装置20により遠隔操作の対象となり得る建設機械の候補を取得し、遠隔出力インターフェース220に建設機械の識別子とともに建設機械の位置や機種、稼働状態等の諸情報を表示させるようにしてもよい。第1指定操作が中断されるなど当該判定結果が否定的である場合(図4/STEP200‥NO)、一連の処理が終了する。その一方、当該判定結果が肯定的である場合(図4/STEP200‥YES)、遠隔無線通信機器222を通じて、作業支援サーバ10に対して遠隔操作装置20と連携する作業機械40の操作に必要な撮像画像を要求するための 第1作業環境確認要求が送信される(図4/STEP202)。第1作業環境画像要求には、遠隔操作装置20の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。
作業支援サーバ10において、第1作業環境確認要求が受信された場合、第1支援処理要素121により当該第1作業環境画像要求が該当する作業機械40に対して送信される(図4/C10)。
作業機械40において、実機無線通信機器422を通じて第1作業環境確認要求が受信された場合(図4/C41)、実機制御装置400が実機撮像装置412を通じて撮像画像を取得する(図4/STEP402)。実機制御装置400により、実機無線通信機器422を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置20に対して送信される(図4/STEP404)。
作業支援サーバ10において、撮像画像データが受信された場合(図4/C11)、撮像画像データに応じた第1作業環境画像データ(撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な第1作業環境画像を表わすデータ)が遠隔操作装置20に対して送信される(図4/STEP112)。後述する作業現場俯瞰画像(図7参照)を表わすデータが第1作業環境画像データとして遠隔操作装置20に対して送信されてもよい。
遠隔操作装置20において、遠隔無線通信機器222を通じて第1作業環境画像データが受信された場合(図4/C21)、第1作業環境画像データに応じた第1作業環境画像が画像出力装置221に出力される(図4/STEP204)。
これにより、例えば図6に示されているように、遠隔操作装置20と連携する作業機械40に搭載された実機撮像装置412により撮像された作動機構としての作業アタッチメント44の一部であるブーム441、アーム443、バケット445およびアームシリンダ444が含まれている作業現場俯瞰画像が画像出力装置221に表示される。
遠隔操作装置20において、遠隔制御装置200により遠隔操作機構211の操作態様が認識され(図4/STEP206)、かつ、遠隔無線通信機器222を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ10に対して送信される(図4/STEP208)。
作業支援サーバ10において、当該遠隔操作指令が受信された場合、第1支援処理要素121により、当該遠隔操作指令が作業機械40に対して送信される(図4/C12)。
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(図4/C42)、作業アタッチメント44等の動作が制御される(図4/STEP406)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体42を旋回させたうえでバケット445から土を落とす作業が実行される。
(第2機能(標識画像出力))
作業支援サーバにおいて、作業現場に設置された撮像装置(図示略)または遠隔操作装置20と連携しない作業機械40に搭載された実機撮像装置412を通じて取得された撮像画像に基づき、作業現場の俯瞰的な様子を表わす俯瞰作業環境(またはこれを表わすデータ)として取得される(図5/STEP120)。これにより、作業現場に設置された撮像装置C(図10参照)を通じて取得された撮像画像に基づき、例えば図7に示されているように、複数台(4台)の作業機械40の実機画像Q1~Q4が存在する当該作業現場の様子を示す画像を表わすデータが、作業現場俯瞰画像を表わすデータとして取得される。
作業支援サーバにおいて、作業現場に設置された撮像装置(図示略)または遠隔操作装置20と連携しない作業機械40に搭載された実機撮像装置412を通じて取得された撮像画像に基づき、作業現場の俯瞰的な様子を表わす俯瞰作業環境(またはこれを表わすデータ)として取得される(図5/STEP120)。これにより、作業現場に設置された撮像装置C(図10参照)を通じて取得された撮像画像に基づき、例えば図7に示されているように、複数台(4台)の作業機械40の実機画像Q1~Q4が存在する当該作業現場の様子を示す画像を表わすデータが、作業現場俯瞰画像を表わすデータとして取得される。
遠隔操作装置20(第1クライアント)において、オペレータによる遠隔入力インターフェース210を通じた第2指定操作の有無が判定される(図5/STEP210)。第2指定操作は、第1指定操作により画像出力装置221に表示される第1作業環境画像とは異なる作業現場俯瞰画像を画像出力装置221に表示させるための操作であり、例えば、遠隔入力インターフェース210を通じたタップなどの操作または遠隔操作機構211の操作である。第1指定操作(図5/STEP200参照)に応じて第1作業環境画像ではなく当該作業現場俯瞰画像が画像出力装置221に出力されてもよく、第2指定操作(図5/STEP210参照)に応じて第1作業環境画像が画像出力装置221に出力されてもよい。第1指定操作および第2指定操作のそれぞれに応じて別個の第2作業環境画像が画像出力装置221に出力されてもよい。
第2指定操作が中断されるなど当該判定結果が否定的である場合(図5/STEP210‥NO)、一連の処理が終了する。当該判定結果が肯定的である場合(図5/STEP210‥YES)、遠隔無線通信機器222を通じて、作業支援サーバ10に対して第2作業環境要求が送信される(図5/STEP212)。第2作業環境要求には、該当する遠隔操作装置20またはこれと連携している作業機械40を識別するための識別子が含まれている。
作業支援サーバ10において、第2作業環境確認要求が受信された場合(図5/C13)、第1支援処理要素121により、遠隔操作装置20の出力インターフェース220に出力されている作業現場俯瞰画像に作業機械40が映り込んでいるか否かが判定される(図5/STEP121)。具体的には、第1支援処理要素121により、作業現場俯瞰画像を対象として画像解析処理が実施され、これにより当該作業現場俯瞰画像に映り込んでいる作業機械40を表わす実機画像Qi(i=1,2,‥,N)の有無が判定される。
当該判定結果が肯定的である場合(図5/STEP121‥YES)、実機画像Qiを区別するための指数iが「1」に設定される(図5/STEP122)。
その上で、第1支援処理要素121により、実機画像Qiが連携作業機械に該当するか否かが判定される(図5/STEP123)。具体的には、実機画像Qiに相当する作業機械40の実空間位置が、データベース102に登録されている連携作業機械の実空間位置と一致するまたは対応するか否かが判定される。
例えば、画像座標系における実機画像Qiの位置(例えば重心位置)が、実空間座標系に座標変換されることにより当該実機画像Qiに相当する作業機械40の実空間位置が求められる。この際、作業現場俯瞰画像における実機画像Qiにサイズの大小に基づき、撮像装置(例えば撮像装置C(図10参照))から作業機械40までの実空間距離が推定される。作業現場俯瞰画像の画素値としてTOFセンサなどの測距センサにより取得された撮像対象物までの距離が含まれている場合、当該画素値に基づいて撮像装置(例えば撮像装置C)から作業機械40までの実空間距離が推定されてもよい。また、当該座標変換に際して、撮像装置座標系における各作業機械40の位置が認識され、実空間座標系における撮像装置の位置および姿勢を表わす座標変換因子(行列またはクォータニオン)が用いられる。座標変換因子は、データベース102に撮像装置の識別子(ひいては画像識別子)と関連付けられて登録されている。
遠隔操作装置20(クライアント)と作業機械40との相互通信が確立された際、遠隔操作装置20(またはそのオペレータ)および作業機械40のそれぞれの識別子と、作業機械40の実空間位置と、が関連付けられてデータベース102に登録される。作業機械40の実空間位置は、当該作業機械40に搭載されているGPS、必要に応じて加速度センサを利用した測位装置により測定される。作業機械40が実空間位置またはその時系列を作業支援サーバ10に対して送信することにより、データベース102に登録されている作業機械40の実空間位置が更新される。これにより、識別子に基づき、連携作業機械の実空間位置がデータベース102から検索または認識されうる。
当該判定結果が肯定的である場合(図5/STEP123‥YES)、第2支援処理要素122により、フラグfが「1」に設定される(図5/STEP124)。当該判定結果が否定的である場合(図5/STEP123‥NO)、第2支援処理要素122により、フラグfが「2」に設定される(図5/STEP125)。
さらに、指数iが、作業現場俯瞰画像に含まれている実機画像Qiの総数Nに等しいか否かが判定される(図5/STEP126)。当該判定結果が否定的である場合(図5/STEP126‥NO)、指数iが1だけ増やされ(図5/STEP127)、実機画像Qiが連携作業機械に該当するか否かの判定処理が繰り返される(図5/STEP123参照)。
当該判定結果が肯定的である場合(図5/STEP126‥YES)、第2支援処理要素122により、作業現場俯瞰画像およびフラグfに基づき、第2作業環境画像が生成される(図5/STEP128)。
具体的には、作業現場俯瞰画像においてフラグfが「1」に設定された画像機械Qiが存在する場合、第1標識画像ID1が含まれた第2作業環境画像が生成される。これにより、例えば図8に示されているように、作業現場俯瞰画像において実機画像Q2に相当する作業機械40が連携作業機械に該当することを表わす吹き出し形状の第1標識画像ID1が含まれている第2作業環境画像が生成される。当該吹き出しは、実機画像Q2またはその近傍を起点としている。第1標識画像ID1の形状、色彩および模様の組み合わせは任意に変更されてもよい。
作業現場俯瞰画像においてフラグfが「2」に設定された画像機械Qiが存在する場合、第2標識画像ID2が含まれた第2作業環境画像が生成される。これにより、例えば図8に示されているように、作業現場俯瞰画像において実機画像Q1、Q3およびQ4のそれぞれに相当する作業機械40が連携作業機械に該当しないことを表わす吹き出し形状の第2標識画像ID2が含まれている第2作業環境画像が生成される。当該吹き出しは、実機画像Q1、Q3およびQ4またはその近傍を起点としている。第2標識画像ID2の形状、色彩および模様の組み合わせは、第1標識画像ID1との識別が可能な範囲で任意に変更されてもよい。第1標識画像ID1のみが含まれ、第2標識画像ID2が含まれていない第2作業環境画像が生成されてもよい。作業機械iが連携作業機械に該当すると判定された場合(図5/STEP123‥YES)、STEP126の判定処理が省略され、直ちに第2作業環境画像が生成されてもよい(図5/STEP128)。
そして、第2支援処理要素122により、遠隔操作装置20に対して第2作業環境画像を表わすデータが送信される(図5/STEP129)。
遠隔操作装置20において、遠隔無線通信機器222を通じて第2作業環境画像データが受信されると(図5/C22)、出力インターフェース220を構成する画像出力装置221を通じて、第2作業環境画像が出力される(図5/STEP214)。これにより、例えば図8に示されているように、実機画像Q2に相当する作業機械40が連携作業機械であることを表わす第1標識画像ID1が含まれ、かつ、実機画像Q1、Q3およびQ4のそれぞれに相当する作業機械40が他の作業機械であることを表わす第2標識画像ID2が含まれている第2作業環境画像が画像出力装置221に出力される。
(効果)
当該構成の作業支援システムおよびこれを構成する作業支援サーバ10によれば、撮像装置Cにより取得された撮像画像に応じて、遠隔操作装置20を構成する出力インターフェース220に出力される作業現場俯瞰画像(図7参照)に作業機械40が映り込んでいる場合、当該作業機械40が連携作業機械に該当するか否かが判定される(図5/STEP121参照)。そして、当該判定結果が肯定的である場合、作業現場俯瞰画像に映り込んでいる作業機械40を表わす実機画像Q2に関連付けられて第1標識画像ID1が遠隔操作装置20の出力インターフェース220に表示される(図5/STEP123‥YES→‥→STEP128→STEP129→C22→STEP214および図8参照)。
当該構成の作業支援システムおよびこれを構成する作業支援サーバ10によれば、撮像装置Cにより取得された撮像画像に応じて、遠隔操作装置20を構成する出力インターフェース220に出力される作業現場俯瞰画像(図7参照)に作業機械40が映り込んでいる場合、当該作業機械40が連携作業機械に該当するか否かが判定される(図5/STEP121参照)。そして、当該判定結果が肯定的である場合、作業現場俯瞰画像に映り込んでいる作業機械40を表わす実機画像Q2に関連付けられて第1標識画像ID1が遠隔操作装置20の出力インターフェース220に表示される(図5/STEP123‥YES→‥→STEP128→STEP129→C22→STEP214および図8参照)。
さらに、作業現場俯瞰画像に映り込んでいる作業機械40が連携作業機械に該当しないと判定された場合、当該作業機械40を表わす実機画像Q1、Q3およびQ4のそれぞれに関連付けられて第2標識画像ID2が遠隔操作装置20の出力インターフェース220に出力される(図5/STEP123‥NO→‥→STEP128→STEP129→C22→STEP214および図8参照)。
この結果、作業現場俯瞰画像に映り込んでいる作業機械40または実機画像Qiが、遠隔操作装置20による遠隔操作対象に該当するか否かをオペレータに容易に認識させることができる。したがって、例えば、作業現場俯瞰画像に複数の作業機械40が映り込んでいる場合であっても(図7参照)、当該複数の作業機械40のうちどれが連携作業機械に該当するか、あるいは、いずれもが連携作業機械に該当しないかをオペレータに容易に認識させることができる。
(本発明の他の実施形態)
前記実施形態では、作業支援サーバ10が、遠隔操作装置20および作業機械40のそれぞれとは別個の一または複数のサーバにより構成されていたが(図1参照)、他の実施形態として、作業支援サーバ10が、遠隔操作装置20または作業機械40の構成要素であってもよい。作業支援サーバ10の各支援処理要素121および122のそれぞれが、遠隔操作装置20および作業機械40のうちの相互通信可能な2つ以上のそれぞれの機器の構成要素であってもよい。
前記実施形態では、作業支援サーバ10が、遠隔操作装置20および作業機械40のそれぞれとは別個の一または複数のサーバにより構成されていたが(図1参照)、他の実施形態として、作業支援サーバ10が、遠隔操作装置20または作業機械40の構成要素であってもよい。作業支援サーバ10の各支援処理要素121および122のそれぞれが、遠隔操作装置20および作業機械40のうちの相互通信可能な2つ以上のそれぞれの機器の構成要素であってもよい。
第1支援処理要素121により連携作業機械に該当すると判定された一の作業機械が作業現場俯瞰画像に映り込んでいる場合、当該作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、第2支援処理要素122が、遠隔操作装置20の出力インターフェース220に第1標識画像ID1を強調して出力させてもよい。
作業現場俯瞰画像に連携作業機械を含む複数の作業機械40が映り込んでいる場合、当該作業現場俯瞰画像における連携作業機械および他の作業機械の間隔が小さいほど、第2支援処理要素122が、遠隔操作装置20の出力インターフェース220に第1標識画像ID1を強調出力させてもよい。
第1支援処理要素121により、作業機械40が連携作業機械に該当しないと判定された場合であっても(図5/STEP123‥NO)、第2支援処理要素122により、第2標識画像ID2が含まれていない第2作業環境画像が生成されてもよい。
第1支援処理要素121により、作業機械40が連携作業機械に該当しないと判定された場合であっても(図5/STEP123‥NO)、第2支援処理要素122により、第2標識画像ID2が含まれていない第2作業環境画像が生成されてもよい。
第1支援処理要素121が、連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を認識し、第2支援処理要素122が、当該連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を表わす軌道画像を第1標識画像IDとして含む第2作業環境画像が生成されてもよい。これにより、例えば、図9に示されているように、実機画像Q2またはこれに相当する作業機械40の位置軌道または動きを示す矢印状の軌道画像が第1標識画像ID1として含まれている第2作業環境画像が生成される。
そして、第2作業環境画像が遠隔操作装置20の遠隔出力インターフェース220に出力され、第1標識画像ID1により、作業現場俯瞰画像に映り込んでいる作業機械40が連携作業機械に該当するか否かに加えて、当該連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を当該遠隔操作装置20のオペレータに認識させることができる。この結果、例えば、オペレータによる遠隔操作装置の操作態様と、第1標識画像ID1としての軌道画像により表わされる連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列との整合性の有無に鑑みて、当該連携作業機械が自ら遠隔操作している作業機械40であることをより明確にオペレータに認識させることができる。
第2支援処理要素122が、遠隔操作装置20との通信に基づき、作業機械40の実空間位置と、撮像装置Cの実空間位置および画角と、を表わすマップまたは作業現場俯瞰画像を、遠隔操作装置20の出力インターフェース220に出力させてもうよい。これにより、例えば図10に示されているように、作業現場に存在する作業機械40を表わす実機画像またはアイコンQ1~Q4に加えて、撮像装置Cの実空間位置および画角R0が示されている鳥瞰撮像画像または鳥瞰マップが画像出力装置221に出力される。鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。
これにより、作業現場俯瞰画像に映り込んでいる作業機械と当該作業現場俯瞰画像を取得した撮像装置との実空間における相対位置に鑑みて、作業現場俯瞰画像に映り込んでいる一または複数の作業機械40の遠近感が整合しているか否かをオペレータに確認させることができる(図7参照)。これにより、遠隔出力インターフェース220に出力されている作業機械40が、連携作業機械に該当するか否かに加えて、当該作業機械40がマップまたは作業現場俯瞰画像に示されている作業機械40に該当するか否かをオペレータに認識させることができる。
第1指定操作により画像出力装置221に出力される画像は、作業現場に設置された撮像装置(図示略)または遠隔操作装置20と連携しない作業機械40に搭載された実機撮像装置412を通じて取得された撮像画像でもよい。この場合、オペレータにより遠隔入力インターフェース210を通じた第1指定操作の判定結果が肯定的である場合(図4/STEP200‥YES)に、遠隔無線通信機器222を通じて、作業支援サーバ10に対して第2作業環境要求が送信される(図5/STEP212)ことにより、遠隔無線通信機器222を通じて第12作業環境画像データが受信され(図5/C22)、出力インターフェース220を構成する画像出力装置221を通じて、第2作業環境画像が出力される(図5/STEP214)。
画像出力装置221には、右斜め前方画像出力装置2211、前方画像出力装置2212および左斜め前方画像出力装置2213のそれぞれ、または各画像出力装置にそれぞれ分割して複数の第1作業環境画像および複数の第2作業環境画像を出力してもよい。この場合、遠隔操作装置20と連携する作業機械40に搭載された実機撮像装置412を含む撮像装置により取得された複数の撮像画像が複数回の第1指定操作によりそれぞれ画像出力装置221にそれぞれ出力される。また、作業現場に設置された撮像装置(図示略)または遠隔操作装置20と連携しない作業機械40に搭載された実機撮像装置412を含む撮像装置により取得された複数の撮像画像が複数回の第2指定操作によりそれぞれ画像出力装置221にそれぞれ出力される。
画像出力装置221に出力される第2作業環境画像は、作業現場俯瞰画像においてフラグfが「1」に設定された画像機械Qiが存在する場合に第1標識画像ID1のみを生成するようにし、第2標識画像ID2は生成しなくてもよい。
10‥作業支援サーバ、20‥遠隔操作装置(クライアント)、40‥作業機械、102‥データベース、121‥第1支援処理要素、122‥第2支援処理要素、210‥遠隔入力インターフェース、220‥遠隔出力インターフェース、410‥実機入力インターフェース、412‥実機撮像装置、420‥実機出力インターフェース、440‥作業アタッチメント(作動機構)。
Claims (7)
- オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援サーバであって、
撮像装置を通じて取得された作業現場の撮像画像に応じた作業現場俯瞰画像を、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに出力させ、前記遠隔操作装置の操作対象である前記作業機械としての連携作業機械の実空間位置を認識し、前記作業現場俯瞰画像に作業機械が映り込んでいる場合、当該作業機械の画像座標系における位置および前記連携作業機械の実空間位置に基づき、前記作業機械が前記連携作業機械に該当するか否かを判定する第1支援処理要素と、
前記第1支援処理要素により、前記作業機械が前記連携作業機械に該当すると判定された場合、前記遠隔操作装置との通信に基づき、前記作業現場俯瞰画像に映り込んでいる前記作業機械が連携作業機械に該当することを示す第1標識画像を前記遠隔操作装置の出力インターフェースに出力させる第2支援処理要素と、を備えていることを特徴とする作業支援サーバ。 - 請求項1に記載の作業支援サーバにおいて、
第1演算処理要素により前記連携作業機械に該当すると判定された一の作業機械が前記作業現場俯瞰画像に映り込んでいる場合、前記作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、前記第2支援処理要素が、前記遠隔操作装置の出力インターフェースに前記第1標識画像を強調して出力させることを特徴とする作業支援サーバ。 - 請求項1または2に記載の作業支援サーバにおいて、
前記作業現場俯瞰画像に前記連携作業機械を含む複数の作業機械が映り込んでいる場合、前記作業現場俯瞰画像における前記連携作業機械および他の作業機械の間隔が小さいほど、前記第2支援処理要素が、前記遠隔操作装置の出力インターフェースに前記第1標識画像を強調出力させることを特徴とする作業支援サーバ。 - 請求項1~3のうちいずれか1項に記載の作業支援サーバにおいて、
前記第1支援処理要素により、前記作業機械が前記連携作業機械に該当しないと判定された場合、前記第2支援処理要素が、前記遠隔操作装置との通信に基づき、前記作業機械が連携作業機械に該当しないことを示す第2標識画像を前記第1標識画像と識別可能な形態で前記遠隔操作装置の出力インターフェースに出力させることを特徴とする作業支援サーバ。 - 請求項1~4のうちいずれか1項に記載の作業支援サーバにおいて、
第1支援処理装置が、前記連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を認識し、
前記第2支援処理要素が、前記遠隔操作装置との通信に基づき、前記第1支援処理要素により認識された前記連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を表わす軌道画像を前記第1標識画像として前記遠隔操作装置の出力インターフェースに出力させることを特徴とする作業支援サーバ。 - 請求項1~5のうちいずれか1項に記載の作業支援サーバにおいて、
前記第2支援処理要素が、前記遠隔操作装置との通信に基づき、前記作業機械の実空間位置と、前記撮像装置の実空間位置および画角と、を表わすマップまたは俯瞰作業現場俯瞰画像を、前記遠隔操作装置の出力インターフェースに出力させることを特徴とする作業支援サーバ。 - 請求項1~6のうちいずれか1項に記載の作業支援サーバと、前記遠隔操作装置と、により構成されていることを特徴とする作業支援システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019228634A JP7287262B2 (ja) | 2019-12-18 | 2019-12-18 | 遠隔操作システムおよび遠隔操作サーバ |
PCT/JP2020/038203 WO2021124654A1 (ja) | 2019-12-18 | 2020-10-08 | 作業支援サーバ、作業支援方法および作業支援システム |
US17/780,795 US20220412048A1 (en) | 2019-12-18 | 2020-10-08 | Work assist server, work assist method, and work assist system |
EP20903456.0A EP4050892A4 (en) | 2019-12-18 | 2020-10-08 | CONSTRUCTION ASSISTANCE SERVER, CONSTRUCTION ASSISTANCE METHOD, AND CONSTRUCTION ASSISTANCE SYSTEM |
CN202080084281.7A CN114747208A (zh) | 2019-12-18 | 2020-10-08 | 作业支援服务器、作业支援方法及作业支援系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019228634A JP7287262B2 (ja) | 2019-12-18 | 2019-12-18 | 遠隔操作システムおよび遠隔操作サーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021097367A JP2021097367A (ja) | 2021-06-24 |
JP7287262B2 true JP7287262B2 (ja) | 2023-06-06 |
Family
ID=76431926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019228634A Active JP7287262B2 (ja) | 2019-12-18 | 2019-12-18 | 遠隔操作システムおよび遠隔操作サーバ |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220412048A1 (ja) |
EP (1) | EP4050892A4 (ja) |
JP (1) | JP7287262B2 (ja) |
CN (1) | CN114747208A (ja) |
WO (1) | WO2021124654A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20185772A1 (fi) * | 2018-09-17 | 2020-03-18 | Cargotec Finland Oy | Etäohjaustyöasema |
JP7452038B2 (ja) * | 2020-01-30 | 2024-03-19 | コベルコ建機株式会社 | 作業支援システム |
CN114863265A (zh) * | 2021-12-14 | 2022-08-05 | 青岛海尔电冰箱有限公司 | 冰箱内物品信息识别方法、冰箱和计算机存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016017367A1 (ja) | 2014-07-30 | 2016-02-04 | ヤンマー株式会社 | 遠隔操作装置 |
WO2016208276A1 (ja) | 2015-06-23 | 2016-12-29 | 株式会社小松製作所 | 施工管理システム及び施工管理方法 |
WO2017131194A1 (ja) | 2016-01-29 | 2017-08-03 | 住友建機株式会社 | ショベル及びショベルの周囲を飛行する自律式飛行体 |
WO2019172424A1 (ja) | 2018-03-08 | 2019-09-12 | 住友重機械工業株式会社 | 作業機械、情報処理装置、情報処理方法、プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005242830A (ja) | 2004-02-27 | 2005-09-08 | Toshiba Corp | 遠隔監視支援システムおよび遠隔監視支援システム用携帯端末装置 |
US8558883B2 (en) * | 2007-07-27 | 2013-10-15 | Sportvision, Inc. | Providing graphics in images depicting aerodynamic flows and forces |
AU2011201189B2 (en) * | 2010-03-16 | 2014-08-28 | The University Of Sydney | Vehicle localization in open-pit mining using GPS and monocular camera |
JP6910245B2 (ja) * | 2017-08-29 | 2021-07-28 | 株式会社小松製作所 | 作業車両の制御システム、方法、及び作業車両 |
-
2019
- 2019-12-18 JP JP2019228634A patent/JP7287262B2/ja active Active
-
2020
- 2020-10-08 WO PCT/JP2020/038203 patent/WO2021124654A1/ja unknown
- 2020-10-08 EP EP20903456.0A patent/EP4050892A4/en active Pending
- 2020-10-08 CN CN202080084281.7A patent/CN114747208A/zh active Pending
- 2020-10-08 US US17/780,795 patent/US20220412048A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016017367A1 (ja) | 2014-07-30 | 2016-02-04 | ヤンマー株式会社 | 遠隔操作装置 |
WO2016208276A1 (ja) | 2015-06-23 | 2016-12-29 | 株式会社小松製作所 | 施工管理システム及び施工管理方法 |
WO2017131194A1 (ja) | 2016-01-29 | 2017-08-03 | 住友建機株式会社 | ショベル及びショベルの周囲を飛行する自律式飛行体 |
WO2019172424A1 (ja) | 2018-03-08 | 2019-09-12 | 住友重機械工業株式会社 | 作業機械、情報処理装置、情報処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN114747208A (zh) | 2022-07-12 |
WO2021124654A1 (ja) | 2021-06-24 |
EP4050892A1 (en) | 2022-08-31 |
JP2021097367A (ja) | 2021-06-24 |
EP4050892A4 (en) | 2022-12-28 |
US20220412048A1 (en) | 2022-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7287262B2 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
WO2021153187A1 (ja) | 作業支援サーバおよび作業支援システム | |
JP7318258B2 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
US20220412049A1 (en) | Work assisting server and method for selecting imaging device | |
JP7338514B2 (ja) | 作業支援サーバ、作業支援方法 | |
JP2022118330A (ja) | 作業支援システムおよび作業支援複合システム | |
WO2021106278A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2021106281A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP7490948B2 (ja) | 作業支援サーバおよび作業支援システム | |
JP7508815B2 (ja) | 作業支援サーバ、作業支援方法 | |
WO2021166475A1 (ja) | 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
EP4417757A1 (en) | Image display system, remote operation assistance system, and image display method | |
JP7528891B2 (ja) | 遠隔操作システム | |
WO2023026568A1 (ja) | 遠隔操作システムおよび遠隔操作複合システム | |
US20220307224A1 (en) | Work support system and work support composite system | |
CN118614057A (zh) | 远程操作支援系统和远程操作支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7287262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |