JP7415480B2 - 作業支援サーバおよび作業支援システム - Google Patents

作業支援サーバおよび作業支援システム Download PDF

Info

Publication number
JP7415480B2
JP7415480B2 JP2019212618A JP2019212618A JP7415480B2 JP 7415480 B2 JP7415480 B2 JP 7415480B2 JP 2019212618 A JP2019212618 A JP 2019212618A JP 2019212618 A JP2019212618 A JP 2019212618A JP 7415480 B2 JP7415480 B2 JP 7415480B2
Authority
JP
Japan
Prior art keywords
work
designated
client
information
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019212618A
Other languages
English (en)
Other versions
JP2021086225A (ja
Inventor
祐介 澤田
均 佐々木
誠司 佐伯
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2019212618A priority Critical patent/JP7415480B2/ja
Priority to EP20893592.4A priority patent/EP4044080B1/en
Priority to PCT/JP2020/030681 priority patent/WO2021106279A1/ja
Priority to US17/774,272 priority patent/US11989674B2/en
Priority to CN202080080963.0A priority patent/CN114730411A/zh
Publication of JP2021086225A publication Critical patent/JP2021086225A/ja
Application granted granted Critical
Publication of JP7415480B2 publication Critical patent/JP7415480B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316Sequencing of tasks or work
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Operation Control Of Excavators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、作業機械の作業員に対して割り当てられたクライアントとの通信により、前記作業員による前記作業機械を用いた作業を支援するための作業支援サーバに関する。
建設作業現場の3次元形状を把握して、丁張りと現況出来形との関係や走行可能範囲や危険範囲などを、建機オペレータに的確に知らせる技術が提案されている(例えば、特許文献1参照)。具体的には、異なる場所のそれぞれに配置された各ステレオカメラから取得された距離画像が統合されて建設作業現場の3次元モデルデータが生成される。そして、建機のオペレータにより指定された仮想視点から建設作業現場を見た画像が、当該3次元モデルデータに基づいて描かれ、それが建機の運転席に表示される。
特開2003-333590号公報
しかし、相互に遠隔している複数の作業箇所のそれぞれにおいて、かつ、異なる時間帯のそれぞれにおいて、作業員が一または複数の作業機械を用いて作業を遂行する場合、円滑な作業遂行のために遂行すべき作業内容等を把握できることが好ましい。
そこで、本発明は、複数の作業箇所のそれぞれにおける作業機械を用いて遂行すべき作業内容等を当該作業機械の作業員に直感的に認識させることができるサーバおよびシステムを提供することを目的とする。
本発明は、作業機械の作業員に対して割り当てられたクライアントとの通信により、前記作業員による前記作業機械を用いた作業を支援するための作業支援サーバに関する。
本発明の作業支援サーバは、作業箇所、作業期間および作業内容の複数の組み合わせを作業情報として記憶保持するデータベースと、前記クライアントとの通信に基づき、前記クライアントの入力インターフェースを通じた指定操作に応じた指定位置を認識し、前記指定位置に適合する前記作業情報を指定作業情報として前記データベースから検索する第1支援処理要素と、前記クライアントとの通信に基づき、前記第1支援処理要素により検索された前記指定作業情報に含まれる指定作業箇所の位置を示す作業環境画像、ならびに、前記指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報を前記クライアントの出力インターフェースに出力させる第2支援処理要素と、を備えていることを特徴とする。
本発明の作業支援システムは、作業支援サーバと、クライアントと、により構成されている。
本発明の作業支援サーバおよび作業支援システム(以下、適宜「作業支援サーバ等」という。)によれば、クライアントの入力インターフェースを通じて指定操作があったことに応じて、当該クライアントの出力インターフェースに指定作業箇所の位置を示す作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報が出力される。指定作業箇所、指定作業期間および指定作業内容は、データベースに登録されている複数の作業情報のうち、当該指定操作に応じた指定位置に適合する作業情報である指定作業情報に含まれている。このため、作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報から、指定位置に適合する、作業機械を用いて遂行すべき作業の概要を当該作業機械の作業員に認識させることができる。
これにより、作業員は、例えば、作業機械を指定作業期間の始期までに、指定作業箇所に移動させ、あるいは、指定作業箇所に存在する作業機械を操作可能な状態を実現することが容易になる。そして、作業員は、指定作業期間にわたり、当該作業機械を用いて指定作業内容に応じた作業を円滑に遂行することができる。
本発明の作業支援サーバ等において、前記第1支援処理要素が、前記指定位置に適合する、時系列的に連続する複数の前記指定作業情報を前記データベースから検索し、前記第2支援処理要素が、前記クライアントとの通信に基づき、前記第1支援処理要素により検索された前記複数の指定作業情報のそれぞれに含まれる複数の指定作業箇所の位置を示す作業環境画像、ならびに、前記複数の指定作業情報のうち少なくとも一の指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報を前記クライアントの出力インターフェースに出力させることが好ましい。
当該構成の作業支援サーバ等によれば、クライアントの出力インターフェースに出力される作業環境画像を通じて、作業員が共通のまたは異なる作業機械を用いて時系列的に連続して遂行すべき複数の作業のそれぞれの作業箇所(指定作業箇所)の位置を当該作業員に認識させることができる。また、クライアントの出力インターフェースに出力される、当該複数の作業のうち少なくとも一の作業に関する作業期間(指定作業期間)および作業内容(指定作業内容)のうち少なくとも一方に関する情報を当該作業員に認識させることができる。
これにより、作業員は、例えば、作業機械を一の指定作業期間の終期からこれに続く他の指定作業期間の始期までに、次の指定作業箇所に移動させ、あるいは、次の指定作業箇所に存在する作業機械を操作可能な状態を実現することが容易になる。そして、作業員は、複数の指定作業期間のそれぞれにわたり、当該作業機械を用いて指定作業内容に応じた作業を円滑に遂行することができる。
本発明の作業支援サーバ等において、前記第1支援処理要素が、前記クライアントまたは前記クライアントと連携している前記作業機械との通信に基づき、当該作業機械の現在位置を前記指定位置として認識し、作業箇所の位置が前記指定位置に一致する前記作業情報を前記複数の指定作業情報のうち一の指定作業情報として前記データベースから検索することが好ましい。
当該構成の作業支援サーバ等によれば、作業員が作業機械を用いて現在遂行中の今回作業に加えて、当該作業員が同一のまたは異なる作業機械を用いて遂行すべき次回以降の作業の概要を認識することができる。
本発明の作業支援サーバ等において、前記第1支援処理要素が、前記クライアントとの通信に基づき、前記クライアントの入力インターフェースを通じた前記指定操作があった際の時刻または前記指定操作により設定された時刻を前記指定時刻として認識し、前記指定位置に加えて前記指定時刻に適合する前記作業情報を指定作業情報として前記データベースから検索することが好ましい。
当該構成の作業支援サーバ等によれば、作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報から、指定位置に加えて指定時刻に適合する、作業機械を用いて遂行すべき作業の概要を当該作業機械の作業員に認識させることができる。
本発明の作業支援サーバ等において、前記第1支援処理要素が、管理用クライアントとの通信に基づき、前記管理用クライアントの入力インターフェースを通じて入力された、新たな作業情報および前記データベースに記憶保持されている作業情報の変更内容のうち少なくとも一方を認識し、当該新たな作業情報および当該変更内容が反映された当該作業情報のうち少なくとも一方を前記データベースに記憶保持させることが好ましい。
当該構成の作業支援サーバ等によれば、作業管理者が、管理用クライアントを用いて入力された新たな作業情報およびデータベースに登録済みの作業情報の内容が少なくとも部分的に変更された後の作業情報がデータベースに登録されうる。これにより、クライアントの出力インターフェースに出力される作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報から、作業管理者が計画または意図した、作業機械を用いて遂行すべき作業の概要を当該作業機械の作業員に認識させることができる。
本発明の一実施形態としての作業支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 作業支援システムの第1機能に関する説明図。 作業支援システムの第2機能に関する説明図。 作業情報に関する説明図。 遠隔操作装置における出力画像の第1例に関する説明図。 遠隔操作装置における出力画像の第2例に関する説明図。
(作業支援システムの構成)
図1に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ10と、作業機械40を遠隔操作するための遠隔操作装置20と、により構成されている。作業支援サーバ10と、遠隔操作装置20と、作業機械40と、管理用クライアント60と、は相互にネットワーク通信可能に構成されている。
(作業支援サーバの構成)
作業支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、作業箇所、作業期間および作業内容の複数の組み合わせを作業情報として記憶保持する。データベース102は、作業支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
(遠隔操作装置の構成)
クライアント(第1クライアント)を構成する遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
遠隔操作機構211を構成する各操作レバーは、例えば、図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータOP2が着座できる任意の形態でもよい。
シートSの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図3に示されているシートStの右側フレームの前方に設けられている右側操作レバー2111が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2112が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置221は、例えば図2に示されているように、シートStの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置2211、前方画像出力装置2212および左斜め前方画像出力装置2213により構成されている。当該画像出力装置2211~2213は、スピーカ(音声出力装置)をさらに備えていてもよい。
(作業機械の構成)
作業機械40は、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、作動機構440と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、例えばクローラショベル(建設機械)であり、図2に示されているように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、を備えている。上部旋回体420の前方左側部にはキャブ(運転室)424が設けられている。上部旋回体220の前方中央部には作業アタッチメント440が設けられている。
実機入力インターフェース410は、実機操作機構411と、撮像装置412と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。撮像装置414は、例えばキャブ424の内部に設置され、キャブ424のフロントウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する。
実機出力インターフェース420は、実機無線通信機器422を備えている。
作動機構としての作業アタッチメント440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業アタッチメント440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
(管理用クライアントの構成)
管理用クライアント60は、スマートホンまたはタブレット端末などの端末装置であり、制御装置600と、管理用入力インターフェース610と、管理用出力インターフェース620と、を備えている。制御装置600は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
管理用入力インターフェース610は、タッチパネル方式のボタンおよびスイッチなどにより構成されている。管理用出力インターフェース620は、画像出力装置と、無線通信機器と、を備えている。
(機能)
(作業情報の登録および登録内容変更)
前記構成の作業支援システムの機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
まず、管理用クライアント60(第2クライアント)において、管理者により管理用入力インターフェース610を通じて、データベース102に新規に登録される作業情報または登録済みの作業情報の変更内容が入力される(図4/STEP610)。
作業情報には、作業箇所、作業期間および作業内容の複数の組み合わせが含まれている。「作業箇所」は、複数階層のエリアに区分されることにより指定されてもよい。例えば図6に示されているように、「作業箇所」が大略作業箇所(東作業場、南作業場、‥など)および詳細作業箇所(砂利エリア、粗砂エリア、‥など)により指定されていてもよい。「作業期間」は、図6に示されているように、当該作業期間の開始時刻(9:00、9:15、‥など)および終了時刻(9:15、9:35、‥など)により指定されていてもよい。「作業内容」は、図6に示されているように、当該作業の種類(土積み込み、山積み、‥など)および作業目標(△△m3、時間まで、‥など)により指定されていてもよい。
管理用クライアント60において、管理用出力インターフェース620を構成する無線通信機器により新規の作業情報または既存の作業情報の変更内容が作業支援サーバ10に対して送信される(図4/STEP610)。
作業支援サーバ10において、管理用クライアント60との通信に基づいて新規の作業情報または既存の作業情報の変更内容が認識された場合(図4/C10)、当該新規の作業情報がデータベース102に登録され、あるいは、データベース102に登録されている作業情報の内容が変更される(図4/STEP102)。
(作業情報の提供)
遠隔操作装置20において、オペレータOPにより遠隔入力インターフェース210を通じた第1指定操作の有無が判定される(図4/STEP202)。「第1指定操作」は、例えば、遠隔入力インターフェース210または遠隔操作機構211を構成するボタンまたは操作レバーの操作である。当該判定結果が否定的である場合(図4/STEP202‥NO)、第1指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合(図4/STEP202‥YES)、遠隔無線通信機器222を通じて、作業支援サーバ10に対して指定作業情報要求が送信される(図4/STEP204)。
当該要求には第1指定操作に応じた指定位置を特定可能な情報が含まれている。例えば、遠隔入力インターフェース210における第1指定操作により指定されたエリアの代表位置が指定位置として特定されてもよい。また、遠隔操作装置20により操作されているまたは操作が予定されている作業機械40のGPS等を用いた測位機能により測定された当該作業機械40の、第1指定操作の時点における位置が指定位置として特定されてもよい。さらに、第1クライアントが遠隔操作装置20ではなく、現場にいる作業員により携帯されている携帯端末により構成されている場合、GPS等を用いた測位機能により測定された当該携帯端末の第1操作の時点における位置が指定位置として特定されてもよい。
作業支援サーバ10において、当該作業情報要求が受信された場合(図4/C11)、第1支援処理要素121により指定位置が認識される(図4/STEP104)。
第1支援処理要素121により、指定位置に適合する作業情報が指定作業情報としてデータベース102から検索される(図4/STEP106)。例えば、オペレータにより指定されたエリアの代表位置が指定位置として認識された場合、当該エリアに含まれる作業箇所において現在時刻または指定時刻以降における実施が予定されている作業に関する作業情報が指定作業情報として検索されてもよい。「指定時刻」は、オペレータOPにより遠隔入力インターフェース210を通じて設定されていてもよい。
また、作業機械40の現在位置が指定位置として認識された場合、作業機械40の現在位置からの距離が指定距離以下である作業箇所において実施される作業に関する作業情報が指定作業情報として検索される。「指定距離」は一定であってもよいが、作業機械40が現在時刻から作業期間の開始時刻までに移動可能な距離のように変化してもよい。第1クライアントとしての携帯端末の現在位置が指定位置として認識された場合、指定距離は当該携帯端末を携帯しているオペレータOPが作業機械40の現在位置までに移動可能な距離であってもよい。
作動機構440の仕様等、作業機械40の諸元に応じて実施可能な作業が相違する場合、遠隔操作されるまたは実機操作される作業機械40の諸元に鑑みて実施可能な作業に関する作業情報が指定作業情報として検索されてもよい。
第2支援処理要素122により、指定作業情報が遠隔操作装置20(第1クライアント)に対して送信される(図4/STEP108)。
遠隔操作装置20において、遠隔無線通信機器222を通じて指定作業情報が受信された場合(図4/C22)、遠隔制御装置200により画像出力装置221に指定作業箇所の位置を示す作業環境画像、ならびに、当該指定作業情報に含まれる指定作業期間および指定作業内容に関する情報が出力される(図4/STEP206)。
これにより、例えば図7Aに示されているように、作業機械40を用いて作業を実施している今回作業箇所Q1の位置に加えて、次回作業箇所Q2の位置が示されている作業現場の鳥観画像または2次元マップが画像出力装置221に出力される。これは、時系列的に連続する複数の指定作業情報がデータベース102から検索された結果である。また、今回作業期間の残り時間および今回作業の内容に関する情報として「残り5分間山積を行ってください」というメッセージが出力される。さらに、次回作業箇所および次回作業期間の開始時刻に関する情報として「9:50までに南作業場砂利エリアに移動してください」というメッセージが出力される。当該メッセージは、作業情報の少なくとも一部として管理用クライアント60において、管理用入力インターフェース610の操作を通じて追加および更新が可能である。この際、作業環境画像が管理用出力インターフェース620を構成する画像出力装置に出力され、管理用入力インターフェース610を構成するタッチパネルおよびタッチキーボードを通じて作業情報がオンタイムで登録または更新されてもよい。
また、図7Bに示されているように、作業現場において作業機械40の前方の様子を示す環境画像に加えて、当該作業現場における局所的な作業箇所Q0の位置に加えて、作業内容に関する「ここの土も山積しておいてください」というメッセージが画像出力装置221に出力されてもよい。当該メッセージは、作業情報の少なくとも一部として管理用クライアント60において、管理用入力インターフェース610の操作を通じて追加および更新が可能である。
(作業機械の遠隔操作)
遠隔操作装置20において、オペレータOPにより遠隔入力インターフェース210を通じた第2指定操作の有無が判定される(図5/STEP208)。「第2指定操作」は、例えば、鳥瞰作業環境画像(図7A参照)において、オペレータOPが遠隔操作を意図する作業機械40を指定するための遠隔入力インターフェース210におけるタップなどの操作である。当該判定結果が否定的である場合(図5/STEP208‥NO)、第1指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合(図5/STEP208‥YES)、遠隔無線通信機器222を通じて、作業支援サーバ10に対して環境確認要求が送信される(図4/STEP210)。
作業支援サーバ10において、環境確認要求が受信された場合、第1支援処理要素121により当該環境確認要求が該当する作業機械40に対して送信される(図5/C12)。
作業機械40において、実機無線通信機器422を通じて環境確認要求が受信された場合(図5/C41)、実機制御装置400が撮像装置412を通じて撮像画像を取得する(図5/STEP402)。実機制御装置400により、実機無線通信機器422を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置10に対して送信される(図5/STEP404)。
作業支援サーバ10において、撮像画像データが受信された場合(図5/C13)、撮像画像データに応じた環境画像データ(撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像を表わすデータ)が遠隔操作装置20に対して送信される(図5/STEP110)。
遠隔操作装置20において、遠隔無線通信機器222を通じて環境画像データが受信された場合(図5/C23)、環境画像データに応じた環境画像が画像出力装置221に出力される(図5/STEP212)。これにより、例えば、作動機構としての作業アタッチメント440の一部であるブーム441、アーム443、バケット445およびアームシリンダ444が含まれている環境画像が画像出力装置221および第2画像出力装置221のそれぞれに表示される(図7B参照)。
遠隔操作装置20において、遠隔制御装置200により遠隔操作機構211の操作態様が認識され(図5/STEP214)、かつ、遠隔無線通信機器222を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ10に対して送信される(図5/STEP216)。
作業支援サーバ10において、当該遠隔操作指令が受信された場合、第1支援処理要素121により、当該遠隔操作指令が作業機械40に対して送信される(図5/C14)。
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(図5/C42)、作業アタッチメント440等の動作が制御される(図5/STEP406)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体410を旋回させたうえでバケット445から土を落とす作業が実行される。
(効果)
当該構成の作業支援システムおよびこれを構成する作業支援サーバ10によれば、遠隔操作装置20(第1クライアント)の遠隔入力インターフェース210を通じて第1指定操作があったことに応じて、当該遠隔操作装置20の遠隔出力インターフェース220に指定作業箇所Q1およびQ2の位置を示す作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報が出力される(図4/STEP202‥YES→‥STEP206、図7Aおよび図7B参照)。指定作業箇所、指定作業期間および指定作業内容は、データベース102に登録されている複数の作業情報のうち、当該第1指定操作に応じた指定位置に適合する作業情報である指定作業情報に含まれている。このため、作業環境画像、ならびに、指定作業期間および指定作業内容のうち少なくとも一方に関する情報から、指定位置に適合する、作業機械40を用いて遂行すべき作業の概要を当該作業機械のオペレータOP(作業員)に認識させることができる。
これにより、作業員は、例えば、作業機械40を指定作業期間の始期までに、指定作業箇所に移動させ、あるいは、指定作業箇所に存在する作業機械40を第2指定操作(図5/STEP208参照)等により遠隔操作可能な状態を実現することが容易になる。そして、作業員は、指定作業期間にわたり、遠隔操作装置20を通じて当該作業機械40を遠隔操作することにより指定作業内容に応じた作業を円滑に遂行することができる。
時系列的に連続する複数の指定作業情報のそれぞれに含まれる複数の指定作業箇所Q1およびQ2の位置を示す作業環境画像、ならびに、複数の指定作業情報のうち少なくとも一の指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報が遠隔出力インターフェース220に出力れる(図7A参照)。この場合、作業環境画像を通じて、オペレータOP(作業員)が共通のまたは異なる作業機械40を遠隔操作または実機操作して時系列的に連続して遂行すべき複数の作業のそれぞれの作業箇所(指定作業箇所)の位置を当該作業員に認識させることができる。また、当該複数の作業のうち少なくとも一の作業に関する作業期間(指定作業期間)および作業内容(指定作業内容)に関する情報を当該作業員に認識させることができる。
これにより、作業員は、例えば、作業機械40を一の指定作業期間の終期からこれに続く他の指定作業期間の始期までに、今回作業箇所Q1から次回作業箇所Q2に移動させ、あるいは、次の指定作業箇所Q2に存在する作業機械40を第2指定操作を通じて操作可能な状態を実現することが容易になる。そして、作業員は、複数の指定作業期間のそれぞれにわたり、当該作業機械40を用いて指定作業内容に応じた作業を円滑に遂行することができる。
(本発明の他の実施形態)
前記実施形態では、作業支援サーバ10が、遠隔操作装置20、作業機械40および管理用クライアント60のそれぞれとは別個の一または複数のサーバにより構成されていたが(図1参照)、他の実施形態として、作業支援サーバ10が、遠隔操作装置20、作業機械40または管理用クライアント60の構成要素であってもよい。作業支援サーバ10の各構成要素110、121および122のそれぞれが、遠隔操作装置20、作業機械40および管理用クライアント60のうちの相互通信可能な2つ以上のそれぞれの構成要素であってもよい。
10‥作業支援サーバ、20‥遠隔操作装置、40‥作業機械、60‥管理用クライアント、102‥データベース、121‥第1支援処理要素、122‥第2支援処理要素、210‥遠隔入力インターフェース、220‥遠隔出力インターフェース、410‥実機入力インターフェース、420‥実機出力インターフェース、440‥作業アタッチメント(作動機構)、610‥管理用入力インターフェース、620‥管理用出力インターフェース。

Claims (6)

  1. 作業機械の作業員に対して割り当てられたクライアントとの通信により、前記作業員による前記作業機械を用いた作業を支援するための作業支援サーバであって、
    作業箇所、作業期間および作業内容の複数の組み合わせを作業情報として記憶保持するデータベースと、
    前記クライアントとの通信に基づき、前記クライアントの入力インターフェースを通じた指定操作に応じた指定位置を認識し、前記指定位置に適合する前記作業情報を指定作業情報として前記データベースから検索する第1支援処理要素と、
    前記クライアントとの通信に基づき、前記第1支援処理要素により検索された前記指定作業情報に含まれる指定作業箇所の位置を示す作業環境画像、ならびに、前記指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報を前記クライアントの出力インターフェースに出力させる第2支援処理要素と、を備えていることを特徴とする作業支援サーバ。
  2. 請求項1記載の作業支援サーバにおいて、
    前記第1支援処理要素が、前記指定位置に適合する、時系列的に連続する複数の前記指定作業情報を前記データベースから検索し、
    前記第2支援処理要素が、前記クライアントとの通信に基づき、前記第1支援処理要素により検索された前記複数の指定作業情報のそれぞれに含まれる複数の指定作業箇所の位置を示す作業環境画像、ならびに、前記複数の指定作業情報のうち少なくとも一の指定作業情報に含まれる指定作業期間および指定作業内容のうち少なくとも一方に関する情報を前記クライアントの出力インターフェースに出力させることを特徴とする作業支援サーバ。
  3. 請求項2記載の作業支援サーバにおいて、
    前記第1支援処理要素が、前記クライアントまたは前記クライアントと連携している前記作業機械との通信に基づき、当該作業機械の現在位置を前記指定位置として認識し、作業箇所の位置が前記指定位置に一致する前記作業情報を前記複数の指定作業情報のうち一の指定作業情報として前記データベースから検索することを特徴とする作業支援サーバ。
  4. 請求項1~3のうちいずれか1項に記載の作業支援サーバにおいて、
    前記第1支援処理要素が、前記クライアントとの通信に基づき、前記クライアントの入力インターフェースを通じた前記指定操作があった際の時刻または前記指定操作により設定された時刻を指定時刻として認識し、前記指定位置に加えて前記指定時刻に適合する前記作業情報を指定作業情報として前記データベースから検索することを特徴とする作業支援サーバ。
  5. 請求項1~4のうちいずれか1項に記載の作業支援サーバにおいて、
    前記第1支援処理要素が、管理用クライアントとの通信に基づき、前記管理用クライアントの入力インターフェースを通じて入力された、新たな作業情報および前記データベースに記憶保持されている作業情報の変更内容のうち少なくとも一方を認識し、当該新たな作業情報および当該変更内容が反映された当該作業情報のうち少なくとも一方を前記データベースに記憶保持させることを特徴とする作業支援サーバ。
  6. 請求項1~5のうちいずれか1項に記載の作業支援サーバと、クライアントと、により構成されていることを特徴とする作業支援システム。

JP2019212618A 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム Active JP7415480B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019212618A JP7415480B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム
EP20893592.4A EP4044080B1 (en) 2019-11-25 2020-08-12 Work assistance server, work assistance method, and work assistance system
PCT/JP2020/030681 WO2021106279A1 (ja) 2019-11-25 2020-08-12 作業支援サーバ、作業支援方法および作業支援システム
US17/774,272 US11989674B2 (en) 2019-11-25 2020-08-12 Work assist server, work assist method, and work assist system
CN202080080963.0A CN114730411A (zh) 2019-11-25 2020-08-12 作业支援服务器、作业支援方法以及作业支援系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019212618A JP7415480B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム

Publications (2)

Publication Number Publication Date
JP2021086225A JP2021086225A (ja) 2021-06-03
JP7415480B2 true JP7415480B2 (ja) 2024-01-17

Family

ID=76087691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212618A Active JP7415480B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム

Country Status (5)

Country Link
US (1) US11989674B2 (ja)
EP (1) EP4044080B1 (ja)
JP (1) JP7415480B2 (ja)
CN (1) CN114730411A (ja)
WO (1) WO2021106279A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017119127A1 (ja) 2016-01-08 2017-07-13 三菱電機株式会社 作業支援装置、作業学習装置及び作業支援システム
JP2017220109A (ja) 2016-06-09 2017-12-14 大和ハウス工業株式会社 情報提供システム及び情報提供方法
JP2019082765A (ja) 2017-10-27 2019-05-30 株式会社日本総合研究所 情報処理システム及びプログラム
US20190236515A1 (en) 2018-01-31 2019-08-01 Microsoft Technology Licensing, Llc Location-Based Task Suggestions

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7002465B2 (en) 2001-04-25 2006-02-21 Hitachi Construction Machinery Security system of construction machine
JP2003333590A (ja) 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
KR20110110648A (ko) * 2010-04-01 2011-10-07 한양대학교 산학협력단 토공 작업을 위한 그래픽 사용자 인터페이스 제공 장치 및 방법
US8706363B2 (en) * 2012-07-30 2014-04-22 Caterpillar Inc. System and method for adjusting a boundary for a machine
EP3171241A4 (en) * 2014-07-16 2017-12-13 Ricoh Company, Ltd. System, machine, control method, and program
US20180027218A1 (en) * 2015-02-16 2018-01-25 Nec Corporation Work assistance device, work assistance system, work assistance method, and recording medium storing work assistance program
US10794047B2 (en) * 2015-07-15 2020-10-06 Komatsu Ltd. Display system and construction machine
DE102015010726A1 (de) * 2015-08-17 2017-02-23 Liebherr-Werk Biberach Gmbh Verfahren zur Baustellenüberwachung, Arbeitsmaschine und System zur Baustellenüberwachung
DE102016000353A1 (de) * 2016-01-14 2017-07-20 Liebherr-Components Biberach Gmbh Kran-, Baumaschinen- oder Flurförderzeug-Simulator
DE102016004382A1 (de) * 2016-04-08 2017-10-12 Liebherr-Werk Biberach Gmbh Verfahren und Vorrichtung zum Planen und/oder Steuern und/oder Simulieren des Betriebs einer Baumaschine
JP7117843B2 (ja) * 2017-12-26 2022-08-15 日立建機株式会社 作業機械

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017119127A1 (ja) 2016-01-08 2017-07-13 三菱電機株式会社 作業支援装置、作業学習装置及び作業支援システム
JP2017220109A (ja) 2016-06-09 2017-12-14 大和ハウス工業株式会社 情報提供システム及び情報提供方法
JP2019082765A (ja) 2017-10-27 2019-05-30 株式会社日本総合研究所 情報処理システム及びプログラム
US20190236515A1 (en) 2018-01-31 2019-08-01 Microsoft Technology Licensing, Llc Location-Based Task Suggestions

Also Published As

Publication number Publication date
WO2021106279A1 (ja) 2021-06-03
US11989674B2 (en) 2024-05-21
EP4044080B1 (en) 2023-11-15
CN114730411A (zh) 2022-07-08
EP4044080A4 (en) 2022-12-21
US20220391811A1 (en) 2022-12-08
JP2021086225A (ja) 2021-06-03
EP4044080A1 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
WO2021111677A1 (ja) 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US20230142088A1 (en) Remote operation assistance device and remote operation assistance method
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
JP7415480B2 (ja) 作業支援サーバおよび作業支援システム
JP7392422B2 (ja) 作業支援サーバおよび作業支援システム
JP7452038B2 (ja) 作業支援システム
WO2021131161A1 (ja) 作業支援サーバ、撮像装置の選択方法
JP7367486B2 (ja) 作業支援サーバおよび作業支援システム
US20220398512A1 (en) Work assist server, work assist method, and work assist system
WO2021131228A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2023120598A1 (ja) 情報処理システム、プログラム、及び情報処理方法
JP2023103876A (ja) 遠隔操作支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7415480

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150