JP7516902B2 - 遠隔操作支援装置および遠隔操作支援システム - Google Patents

遠隔操作支援装置および遠隔操作支援システム Download PDF

Info

Publication number
JP7516902B2
JP7516902B2 JP2020105538A JP2020105538A JP7516902B2 JP 7516902 B2 JP7516902 B2 JP 7516902B2 JP 2020105538 A JP2020105538 A JP 2020105538A JP 2020105538 A JP2020105538 A JP 2020105538A JP 7516902 B2 JP7516902 B2 JP 7516902B2
Authority
JP
Japan
Prior art keywords
work machine
work
remote operation
processing element
support device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020105538A
Other languages
English (en)
Other versions
JP2021197714A (ja
Inventor
涼太 羽馬
真輝 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020105538A priority Critical patent/JP7516902B2/ja
Priority to EP21825744.2A priority patent/EP4142302A4/en
Priority to US18/007,810 priority patent/US20230272596A1/en
Priority to CN202180042645.XA priority patent/CN115699796A/zh
Priority to PCT/JP2021/017099 priority patent/WO2021256104A1/ja
Publication of JP2021197714A publication Critical patent/JP2021197714A/ja
Application granted granted Critical
Publication of JP7516902B2 publication Critical patent/JP7516902B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、オペレータが遠隔操作装置を操作することにより作業機械を操作して行う遠隔作業を支援する遠隔操作支援装置および遠隔操作支援システムに関する。
従来、作業機械の遠隔操作システムにおいて、異常が発生した場合に作業機械を待機状態に制御することを特徴とするものが知られている(例えば、特許文献1参照)。
特開2015-192163号公報
特許文献1のものでは、遠隔操作システムに異常が発生した場合には、作業機械を待機状態に制御するので、オペレータが作業機械を操作するような事態を回避ができる。
ところで、作業機械の遠隔操作システムにおいて、第1の作業機械を遠隔操作の対象として行う第1作業と、遠隔操作の対象を第1作業機械から第2の作業機械に切替えて第2の作業機械を遠隔操作の対象として行う第2作業とを行う場合がある。第2の作業にスムーズに取り掛かるためには、当該第2作業の開始直前の状況に応じて第2の作業機械の位置や姿勢を変更する準備が必要となる。しかし、第1の作業機械の遠隔操作による第1作業を行うオペレータが当該第1作業に加えて第2の作業機械による第2作業の準備を並行して行おうとすると、当該第1作業の作業効率が低下してしまうばかりか第2作業の準備も不十分になってしまう。また、準備なしで第2作業に取り掛かり始めると、第2作業の開始時の作業効率が低下してしまう。
そこで、本発明はかかる背景に鑑みて、遠隔操作の対象を複数の作業機械に選択的に切り替えて作業する際に、予め所定の作業を行うのに適した位置に移動したり、予め作業機械を所定の作業を行うのに適した姿勢に変更したりしておく遠隔操作支援装置を提供することを目的とする。
(1)かかる目的を達成するため本発明は、第1支援処理要素を有する。第1支援処理要素は、第1作業機械が行う作業である第1作業の内容を含む情報であるスケジュール情報を当該スケジュール情報が記憶されているデータベースから取得し、当該スケジュール情報に基づいて、第1作業の準備を当該第1作業機械に開始させるための条件である準備条件が満たされるか否かについて判定を行い、当該判定が肯定的な場合、第1作業の準備を開始させるための制御信号である準備信号を第1作業機械に送信するための処理である第1支援処理を実行することを特徴とする。
(作用効果)
本発明によれば、第1支援処理要素は、スケジュール情報に基づいて、準備条件が満たされるか否かについて判定を行い、当該判定が肯定的な場合、当該作業機械が行うことが予定されている作業の準備を開始させるための制御信号である準備信号を前記作業機械に送信する。これにより、遠隔操作の対象となる作業機械は、予め作業に適した位置に移動したり、予め作業に適した姿勢になったりするための制御が開始されている。従って、オペレータは、予め準備をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
(2)また、本発明においては、前記第1支援処理要素は、現在の時刻が、前記作業機械が行う作業の開始時刻よりも前の時刻である場合に前記準備条件が満たされると前記判定をすることが好ましい。
(作用効果)
かかる構成によれば、第1支援処理要素は、時刻を含むスケジュール情報に基づいて、準備条件が満たされるか否かについて判定を行うので、オペレータが作業を開始する時刻には、すでに作業機械は、作業に適した位置に移動していたり、作業に適した姿勢になったりしている。従って、オペレータは、予め準備をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
(3)また、本発明においては、第1支援処理要素は、データベースに記憶されている第1作業の開始時刻から終了時刻までの時間に、前記データベースに記憶されている第2作業の開始時刻が含まれる場合に前記準備条件が満たされると前記判定をすることが好ましい。
(作用効果)
かかる構成によれば、データベースには、少なくとも、第1作業機械を遠隔操作して行う作業である第1作業の内容と、当該第1作業の開始時刻と、第2作業機械を遠隔操作して行う作業である第2作業の内容と、当該第2作業の開始時刻と、を含むスケジュール情報が記憶されている。当該スケジュール情報に基づいて、第1支援処理要素は、データベースに記憶されている第2作業を行うことが予定されている時間帯が、前記データベースに記憶されている第1作業を行うことが予定されている時間帯に含まれている場合に準備条件が満たされると判定する。これにより、オペレータが第1作業機械を用いて第1作業をしている途中に、第2作業機械を用いて第2作業をすることが必要になった場合においても、第2作業機械は、第2作業開始時刻までに、予め第2作業に適した位置に移動したり、予め第2作業に適した姿勢になったりするための制御が開始されている。従って、オペレータは、予め準備をしていない第2作業機械を操作して作業を行う場合と比較してすぐに第2作業に取り掛かることができるので、第2作業の作業効率を上げることができる。
(4)また、本発明においては、第1支援処理要素は、前記作業機械の下部走行体を駆動させるための信号を含む信号である準備信号を前記作業機械に送信することが好ましい。
(作用効果)
かかる構成によれば、準備条件が満たされる場合、第1支援処理要素は、下部走行体を駆動させるための準備信号を前記作業機械に送信するので、作業機械は、予め作業に適した位置に走行して移動することができる。これにより、遠隔操作の対象となる作業機械は、予め作業に適した位置に移動している。従って、オペレータは、予め移動をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
(5)また、本発明においては、前記作業機械の上部旋回体を旋回させるための信号を含む信号である準備信号を前記作業機械に送信することが好ましい。
(作用効果)
かかる構成によれば、準備条件が満たされる場合、第1支援処理要素は、上部旋回体を旋回させるための準備信号を前記作業機械に送信するので、作業機械は、予め作業に適した方向を向いて待機することができる。これにより、遠隔操作の対象となる作業機械は、予め作業に適した方向を向いて待機している。従って、オペレータは、予め旋回をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
(6)また、本発明においては、前記第1支援処理要素は、前記作業機械の作動機構を作動させるための信号を含む信号である準備信号を前記作業機械に送信することが好ましい。
(作用効果)
かかる構成によれば、準備条件が満たされる場合、第1支援処理要素は、作動機構を作動させるための準備信号を前記作業機械に送信するので、作業機械は、予め作業に適した姿勢となるように作動機構を作動させて待機することができる。これにより、遠隔操作の対象となる作業機械は、予め作業に適した姿勢となって待機している。例えば、より安全な姿勢で待機させたいのであれば、バケットを接地させる姿勢で待機するように準備信号を送信すればよい。また、例えば、より素早く作業に取り掛かりたいのであれば、バケットを上げる姿勢で待機するように準備信号を送信すればよい。従って、オペレータは、予め作業に適した姿勢となっていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
(7)また、本発明においては、前記第1支援処理要素は、前記第1作業機械とは異なる第2作業機械であって、オペレータが前記第1作業機械の遠隔操作を中断してから、遠隔操作の対象とする当該第2作業機械と連携して作業を行う機械である連携作業機械が、前記第2作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと前記判定をすることが好ましい。
(作用効果)
かかる構成によれば、第1支援処理要素は、連携作業機械が、基準エリアの外から内へ移動した場合に準備条件を満たすと判定するので、予定時間外に連携作業機械が第2作業機械に近づいてきた場合であっても、第2作業機械は、予め連携作業に適した位置に移動したり、予め連携作業に適した姿勢になったりするための制御が開始されている。従って、オペレータは、予め準備をしていない第2作業機械を操作して第2作業を行う場合と比較してすぐに第2作業に取り掛かることができるので、作業効率を上げることができる。
(8)また、本発明においては、前記第1支援処理要素は、第1作業の開始時刻から終了時刻までの時間に、前記第2作業機械と連携して作業を行う機械である連携作業機械が、前記第2作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと前記判定をすることが好ましい。
(作用効果)
かかる構成によれば、前記第1支援処理要素は、前記第1作業の開始時刻から終了時刻までの時間に、連携作業機械が、前記第2作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと判定する。これにより、オペレータが第1作業を行っている最中に、連携作業機械が、第2作業機械に近づいてきた場合であっても、オペレータが第1作業を続ける一方で、第2作業機械は、予め第2作業に適した位置に移動したり、予め第2作業に適した姿勢になったりしている。従って、オペレータは第2作業に取り掛かる時点の直前まで第1作業を続けることができる。よって、オペレータは、第2作業に取り掛かる時点の直前まで第1作業を続けてから、準備が整った第2作業機械に操作を切り替えて、第2作業に取り掛かることができるので、オペレータは、作業効率を上げることができる。
これにより、第2作業機械は、第2作業機械開始時点までに第2作業に適した位置に移動することが間に合わない場合であっても、少しでも第2作業に適した位置に移動することができる。また、第2作業機械は、第2作業機械開始時点まで第2作業に適した準備姿勢となるのが間に合わない場合であっても、少しでも第2作業に適した姿勢になることができる。従って、オペレータは、まったく準備をしていない第2作業機械を操作して第2作業を行う場合と比較して、少しだけ早く第2作業に取り掛かることができるので、いくらか作業効率を上げることができる。
(9)また、本発明においては、前記基準エリアは、前記第2作業機械が存在する位置から前記連携作業機械が前記第2作業機械と連携作業をするために出入りする作業現場の出入口に向けて偏心して広がる形状になるように設定されることが好ましい。
(作用効果)
かかる構成によれば、前記基準エリアは、作業現場の出入口に向けて偏心して広がる形状をしているので、作業現場において、連携作業機械が入ってくる可能性が一番高い部分である出入口を確実に基準エリアに含み、且つ、それ以外の部分については基準エリアが狭くなるように設定されるので、合理的な基準エリアを設定することができる。これにより、関係ない作業機械を連携作業機械と誤認する確率を減らせるので、誤認により第2作業機械の準備制御が開始される確率を減らすことができ、作業効率を上げることができる。
(10)また、本発明においては、前記遠隔操作支援装置は、第2支援処理要素を有し、前記第2支援処理要素は、前記作業機械を遠隔操作するために操作された遠隔操作機構の操作態様を認識し、当該操作態様に応じた遠隔操作指令を送信するための処理を実行することが好ましい。
(作用効果)
かかる構成によれば、作業機械は、遠隔操作機構の操作態様に応じた遠隔操作がなされる。これにより、オペレータは、第1支援処理要素の第1支援処理により準備が整った作業機械を実際に遠隔操作することができる。従って、オペレータは、予め準備をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
本発明に係る構成の遠隔操作支援装置の一実施形態としての遠隔操作支援システムの構成に関する説明図。 データベースの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 本発明に係る構成の遠隔操作支援装置の一実施形態としての第1支援処理要素の機能に関する説明図。 本発明に係る構成の遠隔操作支援装置の一実施形態としての第2支援処理要素の機能に関する説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。
(遠隔操作支援システムの構成)
図1に示されている本発明に係る構成の遠隔操作支援装置100の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ10と、作業機械40を遠隔操作するための遠隔操作装置20と、により構成されている。遠隔操作支援サーバ10、遠隔操作装置20、および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10および遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10、作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
また、作業機械40の台数は、1台でもよいし、複数台でもよい。また、作業機械40が複数台存在する場合、オペレータが、主に遠隔操作の対象とする第1作業機械40Aと、当該オペレータが、第1作業機械40Aの遠隔操作を中断し、遠隔操作の対象を第1作業機械40Aから切り替えることにより、遠隔操作の対象となる第2作業機械40Bと、が存在してもよい。第1作業機械40Aと、第2作業機械40Bと、は、同一の作業現場に存在してもよいし、異なる作業現場に存在してもよい。また、作業機械40の種類は、同型の作業機械でもよいし、異なる種類の作業機械でもよい。
例えば、オペレータは、第1作業機械40Aを遠隔操作して、主に法面形成作業を行うことができる。そして、第2作業機械40Bの近くに連携作業機械50であるダンプカーが時々来た場合、当該オペレータは、当該ダンプカーが来るたびに、遠隔操作の対象となる作業機械を第1作業機械40Aから第2作業機械40Bに切り替ることで、土砂を当該ダンプカーに積み込む作業である積込作業を行うことができる。第1作業機械40Aと第2作業機械40Bとは、同一の作業現場に存在してもよい(第1作業機械40Aと第2作業機械40Bとが作業現場A内に存在する)し、異なる作業現場に存在していてもよい(第1作業機械40Aは作業現場A内に存在し、第2作業機械40Bは作業現場Aとは異なる作業現場B内に存在する)。
また、遠隔操作とは、オペレータが、作業機械40に搭乗せずに、作業機械40と離れた位置から作業機械40を操作することを意味する概念である。
また、オペレータとは、遠隔操作装置20を操作して作業機械40の操縦を行う者を指す概念である。
(遠隔操作支援サーバの構成)
遠隔操作支援サーバ10は、遠隔操作支援装置100と、データベース110及びサーバ無線通信機器122と、を備えている。遠隔操作支援装置100は、第1支援処理要素101と、第2支援処理要素102と、を備えている。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
データベース110は、作業機械40の属性、作業機械40の稼働スケジュール、作業機械40が稼働する作業現場の位置情報、当該作業現場において、当該作業機械40が行う作業の対象物である作業対象物が存在するエリアである作業対象エリア80の位置情報、
作業機械40が稼働する作業現場の環境を撮像した撮像画像データ、連携作業機械50の画像データ等を記憶保持する。
また、データベース110は、作業機械40の属性として、作業機械40は、油圧ショベルであるという情報、メーカー名に関する情報、製造番号の情報等を記憶保持してもよい。
また、データベース110は、作業機械40の稼働スケジュールとして、作業機械40が行う作業の内容、作業機械40が行う作業の開始時刻、作業機械40が行う作業の終了時刻、作業機械40を使用しない時刻に関する情報等を記憶保持してもよい。
また、データベース110は、作業機械40の属性と、作業機械40の稼働スケジュール、作業機械40が稼働する作業現場の位置情報、作業機械40が稼働する作業現場の環境を撮像した撮像画像データ等を紐づけて記憶保持してもよい。
また、作業機械40が複数台存在する場合(例えば、第1作業機械40Aと、第2作業機械40Bと、が存在する場合)、データベース110は、各作業機械40の属性、各作業機械40の稼働スケジュール、各作業機械40が稼働する作業現場の位置情報、各作業機械40が稼働する作業現場の環境を撮像した撮像画像データ等を記憶保持する。
例えば、図2に示すように、データベース110は、第1作業機械40Aに関する情報として、第1作業機械40Aを使用するオペレータ名、第1作業機械40Aが使用される作業現場の位置情報、第1作業機械40Aが行う第1作業の作業名(法面形成)、第1作業機械40Aが行う第の1作業の作業名の開始時刻(10時、13時)、第1作業機械40Aが行う第1作業の作業名の終了時刻(12時、18時)、第1作業機械40Aを使用しない時刻(12時乃至13時)に関する情報を紐づけて、記憶保持する。
また、データベース110は、第2作業機械40Bに関する情報として、第2作業機械40Bを使用するオペレータ名、第2作業機械40Bが使用される作業現場の位置情報、第2作業機械40Bが行う第2作業の作業名(積込作業)、第2作業機械40Bが行う第2作業の開始時刻(13時)、第2作業機械40Bが行う第2作業の作業名の終了時刻時刻(18時)、第2作業機械40Bを使用しない時刻(10時乃至13時、)に関する情報を紐づけて、記憶保持する。
これにより、データベース110には、少なくとも第1作業の開始時刻、第2作業の開始時刻に関する情報が記憶保持されているので、第1支援処理要素101は、データベース110から第1作業の開始時刻に関する情報を読み出して、第1作業機械40Aを第1作業の開始時刻までに、第1作業に適した位置に移動させたり、第1作業に適した姿勢になったりするように第1作業機械40Aに指令信号を送信することができる。
また、同様に、第1支援処理要素101は、データベース110から第2作業の開始時刻に関する情報を読み出して、第2作業機械40Bを第2作業の開始時刻までに、第2作業に適した位置に移動させたり、第2作業に適した姿勢になったりするように第2作業機械40Bに指令信号を送信することができる。
(遠隔操作装置の構成)
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、下部走行体450を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
遠隔操作機構211を構成する各操作レバーは、例えば、図3に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる。任意の形態の着座部であってもよい。
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図3に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図3に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置221は、例えば、図3に示されているように、シートStの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212により構成されている。中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のそれぞれの画面(画像表示領域)の形状およびサイズは同じであってもよく相違していてもよい。
図3に示されているように、中央画像出力装置2210の画面および左側画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側画像出力装置2211の右縁が、中央画像出力装置2210の左縁に隣接している。図3に示されているように、中央画像出力装置2210の画面および右側画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側画像出力装置2212の左縁が、中央画像出力装置2210の右縁に隣接している。当該傾斜角度θ1およびθ2は同じであっても相違していてもよい。
中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置2210が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置221(中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212)は、スピーカー(音声出力装置)をさらに備えていてもよい。
(作業機械の構成)
作業機械40とは、作業現場において稼働可能な作業車両をいう。作業機械40は、土砂を押土又は掘削を実施可能な建設機械の少なくとも一方を含む。建設機械は、例えば、バケットを有する油圧ショベル、ブレードを有するブルドーザーである。
作業機械40は、例えば、クローラショベル(建設機械)であり、図4に示されているように、クローラ式の下部走行体450と、下部走行体450に旋回機構430を介して旋回可能に搭載されている上部旋回体460と、を備えている。上部旋回体460の前方左側部にはキャブ424(運転室)が設けられている。上部旋回体460の前方中央部には作動機構440が設けられている。
実機入力インターフェース410は、実機操作機構411と、実機撮像装置412と、実機測位装置414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。実機撮像装置412は、例えばキャブ424の内部に設置され、キャブ424の前側にある左右一対のピラー4240(左右を区別する場合には「L」および「R」を符号に含ませる。)により区画されているフロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機測位装置414は、作業機械40の位置を検出する装置であり、例えば、GNSS受信機(GNNS:Global Navigation Satellite System)により構成される。
実機出力インターフェース420は、実機無線通信機器422を備えている。実機測位装置414により検出される作業機械40の位置に関する情報は、実機無線通信機器422を通じて、遠隔操作支援サーバ10に送信される。
連携測位装置416は、後述する連携作業機械50の位置を特定する機能を有する。連携測位装置416は、例えば、実機撮像装置412および実機撮像装置412の他に作業環境に関する情報を取得可能なカメラやセンサ(測距センサ)により構成することができる。連携測位装置416は、これらのカメラやセンサから連携作業機械50の形状および形状の大きさを検出することにより、作業機械40に対する連携作業機械50の位置を特定する。
作動機構440としての作業アタッチメントは、上部旋回体460に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作動機構440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体460との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
(連携作業機械の構成)
連携作業機械50は、作業機械40と協働する作業機械である。例えば、連携作業機械50は、荷台を備えたダンプカーである。連携作業機械50は、連携制御装置、連携入力インターフェース、連携出力インターフェース、連携作動機構(例えば、荷台)を有する。
また、連携作業機械50は、遠隔操作装置20により作業機械40を遠隔操作するオペレータとは別のオペレータが搭乗することにより操作される。
また、連携作業機械50は、荷台と、荷台を支持する車体と、車体を支持して走行する走行装置とを備える。
荷台は、土砂を積載可能である。連携作業機械50は、例えば、リアダンプ方式であり、荷台の前方を高く上げ荷台を後方に傾けた際に開くゲートを荷台の後部に備えている。
走行装置は、車輪を有しており、車輪が回転することにより、連携作業機械50は走行可能である。
(機能)
前記構成の遠隔操作支援システムの機能について図5及び図6に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
図5に示されているフローチャートを用いて、本実施形態の第1支援処理について説明する。第1支援処理は、作業機械40を予め作業に適した位置に移動させたり、作業機械40を予め作業に適した姿勢にさせたりするために実行される処理である。
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた第1指定操作の有無が判定される(図5/STEP211)。「第1指定操作」は、例えば、画像出力装置221において、オペレータが遠隔操作を意図する作業機械40を指定するための遠隔入力インターフェース210におけるタップ、プッシュ、ピンチ、スワイプなどの操作である。
「第1指定操作」の他の例として、画像出力装置221において、オペレータが意図する作業を指定するための遠隔入力インターフェース210におけるタップ、プッシュ、ピンチ、スワイプなどの操作の例が挙げられる。当該判定結果が否定的である場合(図5/STEP211‥NO)、処理が終了する。その一方、当該判定結果が肯定的である場合(図5/STEP211‥YES)、遠隔無線通信機器222を通じて、遠隔操作支援サーバ10に対して準備要求が送信される(図5/STEP212)。
遠隔操作支援サーバ10において、準備要求が受信された場合(図5/STEP111‥YES)、第1支援処理要素101は、データベース110からスケジュール情報を読み出して取得する(図5/STEP112)。その一方、当該判定結果が否定的である場合(図5/STEP111‥NO)、STEP111の判定処理が繰り返される。
第1支援処理要素101は、取得したスケジュール情報に基づいて、作業機械40に当該作業機械40が行うことが予定されている作業について準備をさせるための条件である準備条件を満たすか否かを判定する(STEP113)。
STEP113において、例えば、第1支援処理要素101は、第1作業機械40Aについて、現在の時刻に関する情報を取得し、現在の時刻が第1作業の開始時刻(例えば、10時)よりも所定時間(例えば、10分)だけ前の時点であるか否かを判定する。
図2に示されるように第1作業(例えば、第1作業機械40Aが午前中に行う法面形成作業)の開始時刻(例えば、10時)に対して、現在の時刻が第1作業の開始時刻よりも所定時間だけ前の時刻t1(例えば、9時50分)である場合、第1支援処理要素101は、準備条件を満たすと判定する。その一方、現在の時刻が、第1作業(例えば、午前中に行う法面形成作業)の開始時刻(例えば、10時)よりも所定時間だけ前の時刻t1よりも前の時点(例えば、9時40分)である場合には、当該判定結果が否定的(図5/STEP113‥NO)となり、第1支援処理要素101は、STEP113の判定処理を繰り返す。
STEP113の他の例として、第1支援処理要素101が、第2作業機械40Bについて、現在の時刻に関する情報を取得し、現在の時刻が第2作業の開始時刻(例えば、13時) よりも所定時間(例えば、10分)だけ前の時点であるか否かを判定する例が挙げられる。現在の時刻が、図2に示したt3の時点(例えば、12時50分)であり、第2作業(例えば、オペレータが第1作業を中断して、随時行う積込作業)の開始時刻(例えば、13時)よりも所定時間(例えば、10分)だけ前の時刻t3(例えば、12時50分)である場合、第1 支援処理要素101は、準備条件を満たすと判定する。その一方、現在の時刻が、第2作業(例えば、オペレータが第1作業を中断して、随時行う積込作業)の開始時刻(例えば、13時)よりも所定時間(例えば、10分)だけ前の時刻である時刻t3よりも前の時点(例えば、12時40分)である場合には、当該判定結果が否定的である場合(図5/STEP113‥NO)となり、第1支援処理要素101は、STEP113の判定処理を繰り返す。
STEP113における判定が肯定的な場合(図5/STEP113‥YES)、第1支援処理要素101は、準備指令を作業機械40に対して送信する(STEP114)。その一方、当該判定結果が否定的である場合(図5/STEP113‥NO)、第1支援処理要素101は、当該判定処理を繰り返す。
上述した、STEP112乃至STEP114の処理が、本実施形態における第1支援処理の概念である
作業機械40において、準備信号が受信された場合(図5/STEP411‥YES)、作業機械40は、当該作業機械40が行うことが予定されている作業の準備を開始するための制御である準備制御を行う(図5/STEP412)。その一方、当該判定結果が否定的である場合(図5/STEP411‥NO)、STEP411の判定処理が繰り返される。
STEP412において、作業機械40は、予め作業に適した位置に移動したり、予め作業に適した姿勢になったりするための制御を開始する。従って、オペレータは、予め準備をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
例えば、STEP412において、作業対象エリア80(例えば、法面80A)付近で待機している第1作業機械40Aが作業対象エリア80(例えば、法面80A)で法面形成作業を行うことが予定されている場合、第1作業機械40Aは、作業現場((北緯XX、東経YY))における作業対象エリア80(例えば、法面80A)((北緯w、東経z))が存在するエリアへ向かって走行を開始する。
準備制御の例として、第1作業機械40Aが、作業対象エリア80(例えば、法面80A)へ向かって走行する例を示したが、準備制御の例は、この例に限られない。他の準備制御の例として、作業対象エリア80(例えば、法面80A)に移動後の第1作業機械40Aが、作業対象エリア80(例えば、法面80A)が存在する方向へ、予め作動機構440Aを向けるために上部旋回体460Aを旋回させる例が挙げられる。
準備制御の例として、第1作業機械40Aが、準備制御を行う例を示したが、準備制御の例は、この例に限られない。例えば、他の準備制御の例として、溝80B付近で待機している第2作業機械40Bについて、溝80Bで掘削作業を行うことが予定されている場合、第2作業機械40Bは、作業現場((北緯AA、東経BB))において、掘削作業の対象となる孔が存在するエリアである溝80B((北緯a、東経b))へ向かって走行を開始する例が挙げられる。
準備制御の例として、第2作業機械40Bが、溝80Bへ向かって移動する例を示したが、準備制御の例は、この例に限られない。他の準備制御の例として、第2作業機械40Bが、溝80Bが存在する方向へ、予め作動機構440Bを向けるために上部旋回体460Bを下部走行体450に対して旋回させる例が挙げられる。
準備制御の例として、第2作業機械40Bが、溝80Bが存在する方向へ、予め作動機構440Bを向けるために上部旋回体460Bを下部走行体450に対して旋回させる例を示したが、準備制御の例は、この例に限られない。準備制御の他の例として、第2作業機械40Bが、溝80Bの長さを延長させるために、溝80Bを第2作業機械40Bが存在する方向へ掘り進める制御例が挙げられる。
この例では、図8Aに示すように、既に溝80Bが掘削された状態において、溝80Bを第2作業機械40Bが存在する方向へ掘り進める作業を行うために、第2作業機械4Bの下部走行体450を稼働させて、第2作業機械40Bを溝80Bの位置付近に移動させる準備制御が行われる。これにより、予め作動機構440Bを溝80Bの基端側に位置させることができる。(なお、溝80Bにおける第2作業機械40Bに近い側の一端を基端側という。)
これにより、オペレータは、遠隔操作の対象が第1作業機械40Aから第2作業機械40Bに切り替わった後、すぐに、溝80Bの基端側について、作動機構440B(バケット445B)を用いて掘削することができる。
また、この場合、上部旋回体460Bを下部走行体450Bに対して旋回させて、作動機構440Bが、確実に溝80Bが存在する方向へ向けられる制御を実行してもよい。
作業機械40は、作業の準備が終了すると、実機無線通信機器422を通じて、遠隔操作支援サーバ10に、作業の準備が完了したことをオペレータに報知するための信号を含む信号である準備終了信号を送信する(図5/STEP413)。
遠隔操作支援サーバ10において、第1支援処理要素101は、準備終了信号を受信すると(図5/STEP115‥YES)、準備終了信号を遠隔操作装置20へ送信する(図5/STEP116)。その一方、当該判定結果が否定的である場合(図5/STEP115‥NO)、第1支援処理要素101は、STEP115の判定処理を繰り返す。
遠隔操作装置20において、遠隔制御装置200は、準備終了信号を受信すると(図5/STEP213‥YES)、作業機械40が行う作業の準備が完了したことに関する情報をオペレータに報知するための制御である報知制御を行う(図5/STEP214)。例えば、遠隔制御装置200は、報知制御として、「作業機械40の準備が終了しました。」というテキストメッセージを画像出力装置221に表示するための制御処理を実行する。勿論、画像出力装置221に表示されるテキストメッセージの例は、この例に限られない。
報知制御の例として、テキストメッセージが画像出力装置221に表示される例を示したが、報知制御の例は、この例に限られない。例えば、他の報知制御の例として、画像出力装置221が備えるスピーカーから、「作業機械40の準備が終了しました。」という音声メッセージを流す例が挙げられる。勿論、画像出力装置221が備えるスピーカーから流される音声メッセージの例は、この例に限られない。
その一方、当該判定結果が否定的である場合(図5/STEP213‥NO)、STEP213の判定処理が繰り返される。
図6に示されているフローチャートを用いて、本実施形態の第2支援処理について説明する。第2支援処理は、オペレータが遠隔操作機構211を用いて作業機械40を実際に遠隔操作することを支援するための処理である。
遠隔操作装置20において、遠隔制御装置200は、オペレータにより遠隔入力インターフェース210を通じた第2指定操作の有無を判定する(図6/STEP221)。「第2指定操作」は、例えば、画像出力装置221において、オペレータが遠隔操作を意図する作業機械40を指定するための遠隔入力インターフェース210におけるタップ、プッシュ、ピンチ、スワイプなどの操作である。当該判定結果が否定的である場合(図6/STEP221‥NO)、遠隔制御装置200は、指定操作の有無の判定以降の処理を繰り返す。その一方、当該判定結果が肯定的である場合(図6/STEP221‥YES)、遠隔制御装置200は、遠隔無線通信機器222を通じて、遠隔操作支援サーバ10に対して環境確認要求を送信する(図6/STEP222)。
遠隔操作支援サーバ10において、環境確認要求が受信された場合、第2支援処理要素102は、当該環境確認要求を該当する作業機械40に対して送信する(図6/C10)。
作業機械40において、実機無線通信機器422を通じて環境確認要求が受信された場合(図6/C40)、実機制御装置400が実機撮像装置412を通じて撮像画像を取得する(図6/STEP421)。実機制御装置400は、実機無線通信機器422を通じて、当該撮像画像を表わす撮像画像データを遠隔操作支援サーバ10に対して送信する(図6/STEP422)。
遠隔操作支援サーバ10において、第2支援処理要素102が撮像画像データを受信した場合(図6/C11)、第2支援処理要素102は、撮像画像データを遠隔操作装置20に対して送信する(図6/STEP121)。第2支援処理要素102は、撮像画像データに代えて、撮像画像に基づいて生成された模擬的な環境画像を表わす環境画像データを遠隔操作装置20に対して送信してもよい。この際、第2支援処理要素102は、撮像画像データを、中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212に分割表示するための指令を遠隔操作装置20に対して送信してもよい。
遠隔操作装置20において、遠隔制御装置200が、遠隔無線通信機器222を通じて撮像画像データを受信した場合(図6/C21)、遠隔制御装置200により、撮像画像データに応じた撮像画像の、中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212における分割表示態様が制御される(図6/STEP223)。
遠隔操作装置20において、遠隔制御装置200は、遠隔操作機構211の操作態様を認識し(図6/STEP224)、かつ、遠隔制御装置200は、遠隔無線通信機器222を通じて、当該操作態様に応じた遠隔操作指令を遠隔操作支援サーバ10に対して送信する(図6/STEP225)。
遠隔操作支援サーバ10において、第2支援処理要素102が当該遠隔操作指令を受信した場合、第2支援処理要素102は、当該遠隔操作指令を作業機械40に対して送信する(図6/C12)。
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(図6/C42)、作動機構440、等の動作が制御される(図6/STEP423)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体460を旋回させたうえでバケット445から土を落とす作業が実行される。
(本発明の他の実施形態)
前記実施形態において、第1支援処理要素101がスケジュール情報(例えば、作業の開始時刻に関する情報)に基づいて、作業機械40に対して準備信号を送信する例を説明したが、そのような例に限定されない。例えば、第1支援処理要素101が、第2作業機械40Bと、連携作業機械50と、の距離に関する情報を取得して、第1支援処理要素101が、準備信号を第2作業機械40Bに送信する例が挙げられる。
当該他の実施形態について、図2および図7を用いて説明する。なお、前記実施形態と同一である処理フローについては、前記実施形態と同一のSTEP番号を付し、適宜説明を省略する。
図2に示したように、データベース110は、作業機械40の稼働スケジュールとして、13時以降において第1作業機械40Aにより行う第1作業(法面形成作業)と第2作業機械40Bにより行う第2作業(例えば、オペレータが第1作業を中断して、随時行う積込作業)とを記憶保持している。
遠隔操作装置20において、第1作業が実行されているか否かが判定される(図7/STEP231)。第1作業が実行されている例としては、現在の時刻が所定の時刻(13時~18 時) であって遠隔操作装置20により第1作業機械40Aの遠隔操作が可能な通信が確立していることが挙げられる。当該判定結果が否定的である場合(図7/STEP231‥NO)、処理が終了する。その一方、当該判定結果が肯定的である場合(図/STEP231‥YES)、遠隔無線通信機器222を通じて、遠隔操作支援サーバ10に対して準備要求が送信される(図/STEP232)。
遠隔操作支援サーバ10において、準備要求が受信された場合(図7/STEP121‥YES)、第1支援処理要素101は、第2作業機械40Bに対して、当該第2作業機械40Bと連携作業機械50との距離に関する情報を要求する(図7/STEP117)。その一方、当該判定結果が否定的である場合(図7/STEP121‥NO)、STEP121の判定処理が繰り返される。
第2作業機械40Bにおいて、距離情報の要求が受信された場合(図7/STEP414‥YES)、実機制御装置400は、当該第2作業機械40Bと、連携作業機械50と、の距離に関する情報(以下、適宜、距離情報などという。)を取得する。その一方、当該判定結果が否定的である場合(図7/STEP414‥NO)、当該判定処理が繰り返される。
ここで、距離情報については、連携測位装置416(例えば、実機撮像装置412等のカメラやセンサ)が、第2作業機械40Bと、連携作業機械50と、の距離を測ることで、実機制御装置400が距離情報を取得する(図7/STEP415)。
また、距離情報が、連携測位装置416(実機撮像装置412等のカメラやセンサ)を用いて取得される例を示したが、距離情報が、取得される例は、この例に限られない。例えば、第2作業機械40Bが存在する作業現場にカメラやセンサが配置されている場合には、第1支援処理要素101が、当該カメラおよび当該センサまたはこれらのうちの一方を使用して、作業機械40および連携作業機械50の位置を特定し、第2作業機械40Bが存在する座標と、連携作業機械50が存在する座標と、の距離を演算することにより、距離情報を取得するができる。
また、連携作業機械50に当該連携作業機械50の位置を検出する測位装置(例えば、GNSS受信機)が搭載されている場合には、第1支援処理要素101は、実機測位装置414が測位した第2作業機械40Bの位置情報と、当該連携作業機械50が有する測位装置が測位した連携作業機械50の位置情報と、に基づいて、第2作業機械40Bが存在する座標と、連携作業機械50が存在する座標と、の距離を演算することにより、距離情報を取得する例が挙げられる。
第2作業機械40Bの位置情報については、実機測位装置414(例えば、GNSS受信機)が、第2作業機械40Bの座標位置(例えば、GNSSにおける世界座標の位置)に関する情報を取得する。そして、実機制御装置400が、当該座標位置に関する情報を、実機無線通信機器422を通じて、遠隔操作支援サーバ10に対して送信する。これにより、遠隔操作支援サーバ10は、第2作業機械40Bの位置情報を取得する。
また、第2作業機械40Bの座標位置に関する情報が、GNSSにおける世界座標の位置を用いて取得される例を示したが、遠隔操作支援サーバ10が、第2作業機械40Bの座標位置に関する情報を取得する例は、この例に限られない。例えば、遠隔操作支援サーバ10が、第2作業機械40Bの位置情報を取得する他の例として、データベース110が、予め第2作業機械40Bの作業現場に関するローカル座標を記憶保持しておき、実機測位装置414が、当該ローカル座標において、第2作業機械40Bがどの座標に位置するかを測位する例が挙げられる。
一方、連携作業機械50の位置情報については、連携測位装置416が、連携作業機械50の座標位置(例えば、GNSSにおける世界座標の位置)に関する情報を取得する。そして、連携制御装置が、当該座標位置に関する情報を、連携無線通信機器を通じて、遠隔操作支援サーバ10に対して送信する。これにより、遠隔操作支援サーバ10は、連携作業機械50の位置情報を取得する。
また、連携作業機械50の座標位置に関する情報が、GNSSにおける世界座標の位置を用いて取得される例を示したが、遠隔操作支援サーバ10が、連携作業機械50の座標位置に関する情報を取得する例は、この例に限られない。例えば、遠隔操作支援サーバ10が、連携作業機械50の位置情報を取得する他の例として、データベース110が、予め連携作業機械50の作業現場に関するローカル座標を記憶保持しておき、連携作業機械50が有する測位装置が、当該ローカル座標において、連携作業機械50がどの座標に位置するかを測位する例が挙げられる。
上述のように、第1支援処理要素101が、第2作業機械40Bの存在する座標と、上述のようにして取得した連携作業機械50の存在する座標と、を照らし合わせて、両座標の距離を演算することで、距離情報が取得してもよい。
作業機械40において、距離情報が取得されると、実機制御装置400は、実機無線通信機器422を通じて距離情報を遠隔操作支援サーバ10に送信する(図7/STEP416)。
遠隔操作支援サーバ10において、第1支援処理要素101が距離情報を取得すると(図7/STEP118‥YES)、第1支援処理要素101は、連携作業機械50が基準エリアに入ったか否かを判定する(図7/STEP119)。その一方、STEP118の判定結果が否定的である場合(図7/STEP118‥NO)、当該判定以前の処理が繰り返される。
STEP119において、第1支援処理要素101は、データベース110からスケジュール情報を読み出して、第1作業機械40Aによる第1作業の開始時刻から終了時刻までの時間に、第2作業機械40Bと連携して作業を行う作業機械である連携作業機械50が、第2作業機械40Bが存在する位置を基準として定まる基準エリアARの外から内へ移動したか否かを判定する。
例えば、図8Aに示すように、第2作業機械40Bが積込作業を行う場合において、連携作業機械50が基準エリアARの外に位置する場合(図7/STEP119‥NO)、第1支援処理要素101は、当該判定処理を繰り返す。
また、この場合、図8Bに示すように、第1支援処理要素101は、第2作業機械40Bが備える実機撮像装置412が撮像した作業現場の環境画像を、中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212に分割表示するための指令を遠隔操作装置20に対して送信してもよい。この場合、第2作業機械40Bは、準備制御(旋回)をしていないので、第2作業機械40Bにおける作業対象エリア80の一部(例えば、砂山80C)は撮影されない。
他方、図9Aに示すように、第2作業機械40Bが積込作業を行う場合において、連携作業機械50が基準エリアARの外から内へ移動した場合(図7/STEP119‥YES)、第1支援処理要素101は、第2作業機械40Bに対して準備信号(例えば、作業対象エリア80(例えば、溝80B)を掘削すべく下部走行体450を駆動させて第2作業機械40Bを後退させたり、溝80Bの掘削を予定している方向へ作動機構440を向けるように、上部旋回体460を旋回させたりするための指令信号)を送信する(図7/STEP124)。
第2作業機械40Bにおいて、実機制御装置400が準備信号を受信すると(図7/STEP431‥YES)、図9Bに示すように、第2作業機械40Bにおいて、準備制御(図7/STEP432)が開始され、第2作業機械40Bは、下部走行体450を駆動させて第2作業機械40Bを後退させたり、溝80Bの掘削を予定している方向へ作動機構440を向けるように、上部旋回体460を旋回させたりする。
また、この場合、図9Bに示すように、第1支援処理要素101は、第2作業機械40Bが備える実機撮像装置412が撮像した作業現場の環境画像を、中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212に分割表示するための指令を遠隔操作装置20に対して送信してもよい。この場合、第2作業機械40Bは、準備制御(旋回)をしているので、溝80Bが撮影され、当該溝80Bが、中央画像出力装置2210に表示される。また、連携作業機械50が左側画像出力装置2211に表示される。
作業機械40は、作業の準備が終了すると、実機無線通信機器422を通じて、遠隔操作支援サーバ10に、作業の準備が完了したことをオペレータに報知するための信号を含む信号である準備終了信号を送信する(図7/STEP413)。
遠隔操作支援サーバ10において、第1支援処理要素101は、準備終了信号を受信すると(図7/STEP125‥YES)、準備終了信号を遠隔操作装置20へ送信する。その一方、当該判定結果が否定的である場合(図7/STEP125‥NO)、STEP215の判定処理が繰り返される。
遠隔操作装置20において、遠隔制御装置200は、準備終了信号を受信すると(図7/STEP233‥YES)、作業機械40が行う作業の準備が終了したことに関する情報をオペレータに報知するための制御である準備終了表示制御を行う(図5/STEP234)。
このようなケースにも、本発明にかかる遠隔操作支援装置100および遠隔操作支援システムを適用することができる。遠隔操作装置20において、報知制御(図5/STEP234)が行われることにより、オペレータが第1作業機械40Aを使用して行う第1作業を中断して、第2作業機械40Bを使用して行う第2作業に取り掛かることができる。図9Bに示すように、報知制御(図5/STEP234)が行われた場合に連携作業機械50が左側画像出力装置2211に表示されるため、オペレータは第2作業機械40Bを使用して行う第2作業に取り掛かるタイミングであることを確実に確認することができる。
また、第2作業機械40Bを使用して行う第2作業(作動機構440を使用して溝80Bを掘削し、掘削した土砂を連携作業機械50に積込する動作)の完了後に、オペレータが第1作業機械40Aを使用して行う第1作業に戻ると、遠隔操作装置20において、再び第1作業が実行されているか否かが判定される(図7/STEP231)。このように、遠隔操作支援装置100は、作業機械40の稼働スケジュールとして、13時以降において第1作業機械40Aを使用して行う第1作業(法面形成作業)と第2作業機械40Bを使用して行う第2作業(例えば、オペレータが第1作業を中断して、随時行う積込作業)とを行うことができる。

しかも、連携作業機械50が基準エリアARの外から内へ移動するまでの間は、第1支援処理要素101が第2作業機械40Bに対して準備信号を送信しないので、第1作業機械40Aを使用して行う第1作業を途中の任意のタイミングで中断し第2作業機械40Bを使用して第2作業以外の作業をする場合には、第2作業機械40Bは前回第2作業を中断したときの位置や姿勢が保たれているので、オペレータは違和感なく操作をすることができる。連携作業機械50が基準エリアARの外から内へ移動した後には、第1支援処理要素101が第2作業機械40Bに対して準備信号を送信することにより第2作業機械40Bを準備姿勢とすることで、オペレータは第2作業機械40Bを使用して行う第2作業にスムーズに取りかかることができる。
前記実施形態において、第1支援処理要素が準備制御を行う例として、連携作業機械50が、基準エリアARの外から内へ移動したか否かを判定し、当該判定が肯定的な場合、準備信号を第2作業機械40Bに送信する例を示したが、第1支援処理要素が準備制御を行う例は、この例に限られない。第1支援処理要素が準備制御を行う例の他の例として、第1支援処理要素が、基準エリアARが、第1基準エリアAR1と、第1基準エリアAR1よりも外側に設定された第2基準エリアAR2と、を含んでおり、連携作業機械50が第2基準エリアAR2から第1基準エリアAR1に進入したか否かを判定し、当該判定が肯定的な場合に、準備信号とは異なる信号である目標準備信号を送信する制御を行う例が挙げられる。
例えば、図10に示すように、第2作業機械40Bが溝80Bの掘削及び掘削した土砂の積込作業を行う場合において、連携作業機械50が、第2基準エリアAR2のエリア内に位置する場合、第2作業機械40Bは、下部走行体450を駆動させて第2作業機械40Bを後退させたり、作業対象エリア80(例えば、溝80B、砂山80C)が位置する方向へ作動機構440を向けるように、上部旋回体460を旋回させたりする。
そして、図11Aに示すように、連携作業機械50が第2基準エリアAR2から第1基準エリアAR1に進入した場合、第1支援処理要素は、第2作業機械40Bに対して、準備信号を送信する。
例えば、準備信号とは、ブーム441、アーム443、バケット445を伸ばして溝80Bの掘削を予定している位置にバケット445を接地させるための制御信号である。
これにより、図11に示すように、第2作業機械40Bは、作動機構440を溝80Bの掘削を予定している位置に向けて待機することで、オペレータは、素早く積込作業に取り掛かることができる。従って、オペレータは、予め準備をしていない第2作業機械40Bを操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
このようなケースにも、本発明にかかる遠隔操作支援装置100および遠隔操作支援システムを適用することができる。
前記実施形態において、基準エリアARが、第2作業機械40Bが存在する位置を基準として円形に定まる例を示したが、基準エリア定め方はこの例に限定されない。
例えば、図12に示すように、基準エリアARの定め方の他の例として、基準エリアARは、第2作業機械40Bが存在する位置から連携作業機械50が第2作業機械40Bと連携作業をするために出入りする作業現場の出入口に向けて偏心して広がる形状になるように設定される例が挙げられる。
かかる構成によれば、基準エリアARは、作業現場の出入口に向けて偏心して広がる形状をしているので、作業現場において、連携作業機械50が入ってくる可能性が一番高い部分である出入口を確実に基準エリアに含み、且つ、それ以外の部分については基準エリアARが狭くなるように設定されるので、合理的な基準エリアARを設定することができる。これにより、準備制御とは関係ない作業機械40を連携作業機械50と誤認する確率を減らせるので、誤認により第2作業機械40Bの準備制御が開始される確率を減らすことができ、作業効率を上げることができる。
前記実施形態において、連携作業機械50が、基準エリアARの外から内へと移動した場合に、第1支援処理要素101が、作業機械40に準備信号を送信する例を示したが、第1支援処理要素101が作業機械40に準備信号を送信する例は、この例に限定されない。
例えば、第1支援処理要素101が作業機械40に準備信号を送信する他の例として、図13に示すように、連携作業機械50が、基準エリアARの内から外へと移動した場合に、第1支援処理要素101が、作業機械40に準備信号を送信する例が挙げられる。
かかる構成によれば、第1支援処理要素101は、連携作業機械50が、基準エリアARの内から外へと移動した場合に、第1支援処理要素101が、作業機械40に準備信号を送信する。これにより、連携作業機械50が荷台に積み込まれた土砂を運搬するために発進した後、作業機械40は、再び掘削作業をするために、溝80Bの方へ作動機構440を向けるように上部旋回体460を旋回させて待機することができる。従って、オペレータは、予め準備をしていない第2作業機械40Bを操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
このようなケースにも、本発明にかかる遠隔操作支援装置100および遠隔操作支援システムを適用することができる。
前記実施形態において、第1支援処理要素101が、第2作業機械40Bと、連携作業機械50と、の距離に応じて、準備信号を第2作業機械40Bに対して送信する例を示したが、第1支援処理要素101が、準備信号を送信する例は、この例に限られない。
例えば、第1支援処理要素101が、第1作業機械40Aと、連携作業機械50と、の距離に応じて、準備信号を第1作業機械40Aに対して送信する例が挙げられる。
このようなケースにも、本発明にかかる遠隔操作支援装置100および遠隔操作支援システムを適用することができる。
前記実施形態において、第2作業機械40Bを使用して行う第2作業として溝80Bを掘削し掘削した土砂を連携作業機械50に積込む作業を示したが、第2作業の例は、この例に限られない。
例えば、第2作業として、連携作業機械50の荷台に搭載されてきた運搬物を積み下ろしする作業の例が挙げられる。運搬物は、例えば土砂であり、バケットを使用して掬われることにより積み下ろしされる。
また、運搬物は、構造物(例えば、鉄筋)でもよい。例えば、鉄筋は、作動機構440の一例であるグラップルを用いて把持されることにより積み下ろしされる。
このようなケースにも、本発明にかかる遠隔操作支援装置100および遠隔操作支援システムを適用することができる。
前記実施形態において、連携作業機械50の荷台に搭載されてきた運搬物の例が、構造物である例を示したが、連携作業機械50の荷台に搭載されてきた運搬物の例は、この例に限られない。
例えば、連携作業機械50の荷台に搭載されてきた運搬物が、木材である例が挙げられる。例えば、この場合、連携作業機械50の荷台に搭載されてきた木材は、作動機構440の一例であるグラップルを使用して把持されつつ運搬されることにより、連携作業機械50の荷台から積み下ろしされる。
このようなケースにも、本発明にかかる遠隔操作支援装置100および遠隔操作支援システムを適用することができる。
10‥遠隔操作支援サーバ、20‥遠隔操作装置、40‥作業機械、40A‥第1作業機械、40B‥第2作業機械、50‥連携作業機械、100‥遠隔操作支援装置、101‥第1支援処理要素、102‥第2支援処理要素、110‥データベース、122‥サーバ無線通信機器。

Claims (10)

  1. オペレータによる遠隔操作の対象となる作業機械である第1作業機械に当該第1作業機械が行う作業の準備を開始させる制御を実行するために用いられる遠隔操作支援装置であって、
    前記遠隔操作支援装置は、第1支援処理要素を有し、
    前記第1支援処理要素は、作業機械が行う作業である第1作業の内容を含む情報であるスケジュール情報を当該スケジュール情報が記憶されているデータベースから取得し、当該スケジュール情報に基づいて、前記第1作業の準備を当該第1作業機械に開始させるための条件である準備条件が満たされるか否かについて判定を行い、当該判定が肯定的な場合、前記第1作業の準備を開始させるための制御信号である準備信号を前記第1作業機械に送信するための処理である第1支援処理を実行する、
    ことを特徴とする遠隔操作支援装置。
  2. 請求項1に記載の遠隔操作支援装置であって、
    前記第1支援処理要素は、現在の時刻が前記第1作業の開始時刻よりも前の時刻である場合に前記準備条件が満たされると前記判定をする、
    ことを特徴とする遠隔操作支援装置。
  3. 請求項1又は請求項2に記載の遠隔操作支援装置であって、
    前記第1支援処理要素は、前記データベースに記憶されている第1作業の開始時刻から終了時刻までの時間に、前記データベースに記憶されている第2作業の開始時刻が含まれる場合に前記準備条件が満たされると前記判定をする、
    ことを特徴とする遠隔操作支援装置。
  4. 請求項1から請求項3の何れか1項に記載の遠隔操作支援装置であって、
    前記第1支援処理要素は、前記第1作業機械の下部走行体を駆動させるための信号を含む信号である準備信号を前記第1作業機械に送信する、
    ことを特徴とする遠隔操作支援装置。
  5. 請求項1から請求項4の何れか1項に記載の遠隔操作支援装置であって、
    前記第1支援処理要素は、前記第1作業機械の上部旋回体を旋回させるための信号を含む信号である準備信号を前記第1作業機械に送信する、
    ことを特徴とする遠隔操作支援装置。
  6. 請求項1から請求項5の何れか1項に記載の遠隔操作支援装置であって、
    前記第1支援処理要素は、前記第1作業機械の作動機構を作動させるための信号を含む信号である準備信号を前記第1作業機械に送信する、
    ことを特徴とする遠隔操作支援装置。
  7. 請求項1に記載の遠隔操作支援装置であって、
    前記第1支援処理要素は、前記第1作業機械とは異なる前記作業機械であって、前記オペレータが前記第1作業機械の遠隔操作を中断してから、遠隔操作の対象とする2作業機械と連携して作業を行う機械である連携作業機械が、前記第2作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと前記判定をする、
    ことを特徴とする遠隔操作支援装置。
  8. 請求項7に記載の遠隔操作支援装置であって、
    前記第1支援処理要素は、第1作業の開始時刻から終了時刻までの時間に、前記第2作業機械と連携して作業を行う機械である連携作業機械が、前記第2作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと前記判定をする、
    ことを特徴とする遠隔操作支援装置。
  9. 請求項7又は請求項8に記載の遠隔操作支援装置であって、
    前記基準エリアは、前記第2作業機械が存在する位置から前記連携作業機械が前記第2作業機械と連携作業をするために出入りする作業現場の出入口に向けて偏心して広がる形状になるように設定される、
    ことを特徴とする遠隔操作支援装置。
  10. 請求項1から請求項9の何れか1項に記載の遠隔操作支援装置であって、
    第2支援処理要素を有し、
    前記第2支援処理要素は、前記オペレータによる遠隔操作の対象として指定された前記作業機械を遠隔操作するために操作された遠隔操作機構の操作態様を認識し、当該操作態様に応じた遠隔操作指令を送信するための処理を実行する
    ことを特徴とする遠隔操作支援装置。
JP2020105538A 2020-06-18 2020-06-18 遠隔操作支援装置および遠隔操作支援システム Active JP7516902B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020105538A JP7516902B2 (ja) 2020-06-18 2020-06-18 遠隔操作支援装置および遠隔操作支援システム
EP21825744.2A EP4142302A4 (en) 2020-06-18 2021-04-28 DEVICE FOR SUPPORTING A REMOTE CONTROL AND METHOD FOR SUPPORTING A REMOTE CONTROL
US18/007,810 US20230272596A1 (en) 2020-06-18 2021-04-28 Remote operation assistance device and remote operation assistance method
CN202180042645.XA CN115699796A (zh) 2020-06-18 2021-04-28 远程操作辅助装置及远程操作辅助方法
PCT/JP2021/017099 WO2021256104A1 (ja) 2020-06-18 2021-04-28 遠隔操作支援装置および遠隔操作支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020105538A JP7516902B2 (ja) 2020-06-18 2020-06-18 遠隔操作支援装置および遠隔操作支援システム

Publications (2)

Publication Number Publication Date
JP2021197714A JP2021197714A (ja) 2021-12-27
JP7516902B2 true JP7516902B2 (ja) 2024-07-17

Family

ID=79196105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020105538A Active JP7516902B2 (ja) 2020-06-18 2020-06-18 遠隔操作支援装置および遠隔操作支援システム

Country Status (5)

Country Link
US (1) US20230272596A1 (ja)
EP (1) EP4142302A4 (ja)
JP (1) JP7516902B2 (ja)
CN (1) CN115699796A (ja)
WO (1) WO2021256104A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005307483A (ja) 2004-04-19 2005-11-04 Hitachi Constr Mach Co Ltd 建設機械の表示装置
JP2018135679A (ja) 2017-02-21 2018-08-30 株式会社小松製作所 作業車両および作業車両の制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6027996B2 (ja) 2014-03-27 2016-11-16 日立建機株式会社 作業機械の遠隔操縦システム
KR101610122B1 (ko) * 2014-09-16 2016-04-08 현대자동차 주식회사 차량 텔레매틱스 장치의 원격제어 방법 및 그 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005307483A (ja) 2004-04-19 2005-11-04 Hitachi Constr Mach Co Ltd 建設機械の表示装置
JP2018135679A (ja) 2017-02-21 2018-08-30 株式会社小松製作所 作業車両および作業車両の制御方法

Also Published As

Publication number Publication date
CN115699796A (zh) 2023-02-03
EP4142302A1 (en) 2023-03-01
JP2021197714A (ja) 2021-12-27
US20230272596A1 (en) 2023-08-31
EP4142302A4 (en) 2023-10-04
WO2021256104A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
CN112639210B (zh) 装载机械的控制装置及控制方法
US20210254312A1 (en) Control device and control method for work machine
CN118007731A (zh) 挖土机及挖土机的管理系统
JP7290165B2 (ja) 掘削システム、制御装置及び制御方法
CN111788358B (zh) 挖土机
JP2016194237A (ja) 作業機械
JP7484401B2 (ja) 作業機械の遠隔操作支援システム
JP2016079677A (ja) 領域制限掘削制御装置及び建設機械
CN115516175B (zh) 远程操作支援装置及远程操作支援方法
WO2021131161A1 (ja) 作業支援サーバ、撮像装置の選択方法
JP7516902B2 (ja) 遠隔操作支援装置および遠隔操作支援システム
CN114829710A (zh) 挖土机、远程操作支援装置
WO2022230980A1 (ja) 積込機械の制御装置及び制御方法
JP7453128B2 (ja) 施工支援システムおよび施工支援方法
JP7528539B2 (ja) 遠隔操作支援システム
JP7516068B2 (ja) 作業機械の遠隔操作システム
JP2021144274A (ja) 運搬車両を制御するためのシステム及び方法
WO2024190914A1 (ja) 作業機械の制御装置、遠隔操作システムおよび制御方法
WO2024157918A1 (ja) 積込機械の制御装置、積込機械の制御方法および積込機械の制御システム
WO2024106536A1 (ja) 積込機械の制御装置、遠隔制御装置および制御方法
JP7390991B2 (ja) 作業機械および施工支援システム
WO2023136326A1 (ja) 作業機械
WO2024176643A1 (ja) 作業機械の制御システム、作業機械、作業機械の制御方法、及び作業機械の遠隔操作システム
CN112204198B (zh) 作业机械的显示系统及其控制方法
JP2024144799A (ja) 制御装置、制御方法および作業機械

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240617

R150 Certificate of patent or registration of utility model

Ref document number: 7516902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150