JP2024066602A - 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 - Google Patents

作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 Download PDF

Info

Publication number
JP2024066602A
JP2024066602A JP2022176070A JP2022176070A JP2024066602A JP 2024066602 A JP2024066602 A JP 2024066602A JP 2022176070 A JP2022176070 A JP 2022176070A JP 2022176070 A JP2022176070 A JP 2022176070A JP 2024066602 A JP2024066602 A JP 2024066602A
Authority
JP
Japan
Prior art keywords
work machine
display
image
area
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022176070A
Other languages
English (en)
Inventor
将志 段口
剛 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Holdings Co Ltd
Original Assignee
Yanmar Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Holdings Co Ltd filed Critical Yanmar Holdings Co Ltd
Priority to JP2022176070A priority Critical patent/JP2024066602A/ja
Priority to KR1020230131464A priority patent/KR20240062944A/ko
Priority to US18/379,087 priority patent/US20240141622A1/en
Priority to EP23205230.8A priority patent/EP4365377A1/en
Priority to CN202311437810.9A priority patent/CN117988414A/zh
Publication of JP2024066602A publication Critical patent/JP2024066602A/ja
Pending legal-status Critical Current

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

【課題】作業機械の操作に関する種々の情報をオペレータが直感的に把握しやすい、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供する。【解決手段】作業機械の制御方法は、作業機械の周囲の監視エリアの撮像画像を取得することと、撮像画像に基づく俯瞰画像Im100を、第1表示領域R11に表示させることと、第2表示領域R12に、特定画像Im200の少なくとも一部を表示させることと、を有する。第1表示領域R11は、表示装置に表示される表示画面Dp1のうち、平面視において作業機械に相当する自機基準位置P1から見た周方向の一部が切欠領域R13として切り欠かれた形状の領域である。第2表示領域R12は、表示画面Dp1のうち、切欠領域R13内に配置される領域である。【選択図】図7

Description

本発明は、周囲の監視エリアにおける検知対象物を検知する機能を有する作業機械に用いられる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械に関する。
関連技術として、上部旋回体に搭載されるカメラが撮像した複数の入力画像に基づいて出力画像を生成する作業機械(ショベル)が知られている(例えば、特許文献1参照)。関連技術に係る作業機械は、上部旋回体の三方向を撮像するように上部旋回体の左部、右部、及び後部の三箇所に搭載されるカメラ(撮像装置)を備える。この作業機械では、運転室内に設置される表示装置(表示部)に、下部走行体の向きとは無関係に、少なくとも作業機械の左方、右方及び後方の領域を映し出し、作業機械を上空から見下ろした画像(俯瞰画像)を出力画像として生成する。
特開2018-035669号公報
上記関連技術では、単に俯瞰画像が表示装置に表示されるだけであって、作業機械の操作に関する種々の情報をオペレータが直感的に把握しにくい場合がある。
本発明の目的は、作業機械の操作に関する種々の情報をオペレータが直感的に把握しやすい、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することにある。
本発明の一態様に係る作業機械の制御方法は、作業機械の周囲の監視エリアの撮像画像を取得することと、前記撮像画像に基づく俯瞰画像を、第1表示領域に表示させることと、第2表示領域に、特定画像の少なくとも一部を表示させることと、を有する。前記第1表示領域は、表示装置に表示される表示画面のうち、平面視において前記作業機械に相当する自機基準位置から見た周方向の一部が切欠領域として切り欠かれた形状の領域である。前記第2表示領域は、前記表示画面のうち、前記切欠領域内に配置される領域である。
本発明の一態様に係る作業機械用制御プログラムは、前記作業機械の制御方法を、1以上のプロセッサに実行させるためのプログラムである。
本発明の一態様に係る作業機械用制御システムは、画像取得部と、第1表示処理部と、第2表示処理部と、を備える。前記画像取得部は、作業機械の周囲の監視エリアの撮像画像を取得する。前記第1表示処理部は、前記撮像画像に基づく俯瞰画像を、表示装置に表示される表示画面のうち、平面視において前記作業機械に相当する自機基準位置から見た周方向の一部が切欠領域として切り欠かれた形状の第1表示領域に表示させる。前記第2表示処理部は、前記表示画面のうち、前記切欠領域内に配置される第2表示領域に、特定画像の少なくとも一部を表示させる。
本発明の一態様に係る作業機械は、前記作業機械用制御システムと、前記表示装置が搭載される機体と、を備える。
本発明によれば、作業機械の操作に関する種々の情報をオペレータが直感的に把握しやすい、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することができる。
図1は、実施形態1に係る作業機械の全体構成を示す概略斜視図である。 図2は、実施形態1に係る作業機械の油圧回路等を示す概略図である。 図3は、実施形態1に係る作業機械を上方から見て、作業機械の周囲に設定された監視エリア等を模式的に表す概略平面図である。 図4は、実施形態1に係る作業機械用制御システムにより表示画面が表示される表示装置の概略外観図である。 図5は、実施形態1に係る作業機械用制御システムにより表示される表示画面の一例を示す図である。 図6は、実施形態1に係る作業機械用制御システムにより表示される表示画面中の第2領域の表示例を示す図である。 図7は、実施形態1に係る作業機械用制御システムにより表示される俯瞰画像の表示例を示す図である。 図8は、実施形態1に係る作業機械用制御システムにより表示される俯瞰画像の表示例を示す図である。 図9は、実施形態1に係る作業機械用制御システムの動作例を示すフローチャートである。 図10は、実施形態2に係る作業機械用制御システムにより表示される俯瞰画像の表示例を示す図である。 図11は、実施形態2に係る作業機械用制御システムにより表示される俯瞰画像の表示例を示す図である。
以下、添付図面を参照しながら、本発明の実施形態について説明する。以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する趣旨ではない。
(実施形態1)
[1]全体構成
本実施形態に係る作業機械3は、図1に示すように、走行部31と、旋回部32と、作業部33と、を機体30に備えている。また、作業機械3は、図2に示すように、作業機械用制御システム1(以下、単に「制御システム1」ともいう)を更に備えている。その他、機体30は、表示装置2及び操作装置等を更に備えている。
本開示でいう「作業機械」は、各種の作業用の機械を意味し、一例として、バックホー(油圧ショベル、ミニショベル等を含む)、ホイルローダー及びキャリア等の作業車両である。作業機械3は、少なくとも吊り作業を含む1つ以上の作業を実行可能に構成された作業部33を備えている。作業機械3は、「車両」に限らず、例えば、作業用船舶、ドローン又はマルチコプター等の作業飛翔体等であってもよい。さらに、作業機械3は建設機械(建機)に限らず、例えば、田植機、トラクタ又はコンバイン等の農業機械(農機)であってもよい。本実施形態では、特に断りが無い限り、作業機械3が吊り機能付き(クレーン機能付き)のバックホーであって、吊り作業の他に、掘削作業、整地作業、溝掘削作業又は積込作業等を作業として実行可能である場合を例に挙げて説明する。
また、本実施形態では、説明の便宜上、作業機械3が使用可能な状態での鉛直方向を上下方向D1と定義する。さらに、旋回部32の非旋回状態において、作業機械3(の運転部321)に搭乗したユーザ(オペレータ)から見た方向を基準として、前後方向D2及び左右方向D3を定義する。言い換えれば、本実施形態で用いられる各方向は、いずれも作業機械3の機体30を基準として規定される方向であって、作業機械3の前進時に機体30が移動する方向が「前方」、作業機械3の後退時に機体30が移動する方向が「後方」となる。同様に、作業機械3の右旋回時に機体30の前端部が移動する方向が「右方」、作業機械3の左旋回時に機体30の前端部が移動する方向が「左方」となる。ただし、これらの方向は、作業機械3の使用方向(使用時の方向)を限定する趣旨ではない。
作業機械3は、動力源となるエンジンを備えている。作業機械3においては、例えば、エンジンによって油圧ポンプ41(図2参照)が駆動され、油圧ポンプ41から機体30の各部の油圧アクチュエータ(油圧モータ43及び油圧シリンダ44等を含む)に作動油が供給されることで、機体30が駆動する。また、作業機械3は、例えば、機体30の運転部321に搭乗したユーザ(オペレータ)が、操作装置の操作レバー等を操作することにより制御される。
本実施形態では、上述したように作業機械3が乗用タイプのバックホーである場合を想定しているので、作業部33は、運転部321に搭乗したユーザ(オペレータ)の操作に従って駆動され、掘削作業等の作業を実行する。ユーザが搭乗する運転部321は、旋回部32に設けられている。
走行部31は、走行機能を有し、地面を走行(旋回を含む)可能に構成されている。走行部31は、例えば、左右一対のクローラ311及びブレード312等を有している。走行部31は、クローラ311を駆動するための走行用の油圧モータ43(油圧アクチュエータ)等を更に有する。
旋回部32は、走行部31の上方に位置し、走行部31に対して、鉛直方向に沿った回転軸を中心に旋回可能に構成されている。旋回部32は、旋回用の油圧モータ(油圧アクチュエータ)等を有している。旋回部32には、運転部321の他、エンジン及び油圧ポンプ41等が搭載されている。さらに、旋回部32の前端部には、作業部33が取り付けられるブームブラケット322が設けられている。
作業部33は、吊り作業を含む作業を実行可能に構成されている。作業部33は、旋回部32のブームブラケット322に支持されており、作業を実行する。作業部33は、バケット331、ブーム332及びアーム333等を有している。作業部33は、各部を駆動するための油圧アクチュエータ(油圧シリンダ44及び油圧モータ等を含む)を更に有する。
バケット331は、作業機械3の機体30に取り付けられるアタッチメント(作業具)の一種であって、複数種類のアタッチメントの中から作業の内容に応じて選択される任意の器具からなる。バケット331は、一例として、機体30に対して取り外し可能に取り付けられ、作業の内容に応じて交換される。作業機械3用のアタッチメントとしては、例えば、バケット331の他に、ブレーカ、オーガ、クラッシャ、フォーク、フォーククロー、鉄骨カッタ、アスファルト切削機、草刈機、リッパ、マルチャ、チルトローテータ及びタンパ等の種々の器具がある。作業部33は、駆動装置からの動力により、バケット331を駆動することで作業を実行する。
ブーム332は、旋回部32のブームブラケット322にて、回転可能に支持されている。具体的には、ブーム332は、ブームブラケット322にて、水平方向に沿った回転軸を中心に回転可能に支持されている。ブーム332は、ブームブラケット322に支持される基端部から上方に延びる形状を有している。アーム333は、ブーム332の先端に連結されている。アーム333は、ブーム332に対して、水平方向に沿った回転軸を中心に回転可能に支持されている。アーム333の先端には、バケット331が取り付けられる。
作業部33は、動力源としてのエンジンからの動力を受けて動作する。具体的には、エンジンによって油圧ポンプ41が駆動され、作業部33の油圧アクチュエータ(油圧シリンダ44等)に油圧ポンプ41から作動油が供給されることで、作業部33の各部(バケット331、ブーム332及びアーム333)が動作する。
本実施形態では特に、作業部33は、ブーム332及びアーム333が個別に回転可能に構成された多関節型の構造を有している。つまり、ブーム332及びアーム333の各々が、水平方向に沿った回転軸を中心に回転することにより、例えば、ブーム332及びアーム333を含む多関節型の作業部33は、全体として伸ばしたり、折りたたんだりする動作が可能である。
走行部31及び旋回部32の各々についても、作業部33と同様に、動力源としてのエンジンからの動力を受けて動作する。つまり、走行部31の油圧モータ43及び旋回部32の油圧モータ等に、油圧ポンプ41から作動油が供給されることで、旋回部32及び走行部31が動作する。
エンジンは、上述したように各部に動力を供給する動力源として機能する。ここで、エンジンは、油圧ポンプ41等と共に旋回部32に搭載されている。本実施形態では一例として、エンジンはディーゼルエンジンである。エンジンは、燃料タンクから燃料(ここでは軽油)が供給されることにより駆動する。
ここで、機体30には、機体30の周辺を撮像するカメラ等、作業機械3の周囲の監視エリアA1(図3参照)における検知対象物Ob1(図3参照)を検知するための各種のセンサ類(カメラを含む)が備わっている。本実施形態では一例として、図3に示すように、左方カメラ341、右方カメラ342及び後方カメラ343を含む複数(ここでは3つ)のカメラが、機体30の旋回部32に搭載されている。左方カメラ341、右方カメラ342及び後方カメラ343は、制御システム1に接続されており、各々で撮像された画像を制御システム1に出力する。図3は、作業機械3を上方から見た平面図であって、作業機械3の周囲に設定された監視エリアA1、検知対象物Ob1、並びに作業機械3の機体30(左方カメラ341、右方カメラ342及び後方カメラ343を含む)を模式的に表している。
左方カメラ341、右方カメラ342及び後方カメラ343は、それぞれ旋回部32の運転部321に搭乗したオペレータから見て、左方、右方及び後方となる監視エリアA1を撮像できるように、運転部321を基準に左方、右方及び後方に向けて設置される。つまり、監視エリアA1は、図3に示すように、複数(ここでは3つ)の小エリアA11,A12,A13を含み、左方カメラ341は、このうち運転部321に搭乗したオペレータから見て左方となる小エリアA11(左方エリア)を撮像する。同様に、右方カメラ342は、運転部321に搭乗したオペレータから見て右方となる小エリアA12(右方エリア)を撮像し、後方カメラ343は、運転部321に搭乗したオペレータから見て後方となる小エリアA13(後方エリア)を撮像する。これにより、オペレータにとって死角となりやすい、側方(左方及び右方)並びに後方を、左方カメラ341、右方カメラ342及び後方カメラ343でカバーすることが可能となる。
図2では、本実施形態に係る作業機械3の油圧回路及び電気回路(電気的な接続関係)を模式的に示す。図2では、実線が高圧の(作動油用の)油路、点線が低圧の(パイロット油用の)油路、一点鎖線の矢印が電気信号の経路を示す。
図2に示すように、作業機械3は、油圧ポンプ41、油圧モータ43(図2では図示を省略)及び油圧シリンダ44に加えて、パイロットポンプ42、リモコン弁45、制御弁46及び方向切換弁(コントロールバルブ)47等を備えている。
エンジンにより駆動される油圧ポンプ41からの作動油は、走行部31の油圧モータ43、旋回部32の油圧モータ、及び作業部33の油圧シリンダ44等に供給される。これにより、油圧モータ43及び油圧シリンダ44等の油圧アクチュエータが駆動される。
油圧モータ43及び油圧シリンダ44等の油圧アクチュエータには、油圧ポンプ41からの作動油の方向及び流量を切換可能なパイロット式の方向切換弁47が設けられている。方向切換弁47は、パイロットポンプ42から入力指令となるパイロット油が供給されて駆動される。
ここで、例えば、作業部33の油圧シリンダ44に対応する方向切換弁47へのパイロット油の供給路には、リモコン弁45が設けられている。リモコン弁45は、操作レバーの操作に応じて作業部33の作業操作指令を出力する。作業操作指令は、作業部33の展開動作及び縮小動作等を指示する。また、リモコン弁45と、パイロットポンプ42との間には、電磁式の制御弁46(電磁弁)が挿入されている。制御弁46は、カットオフリレー352及びカットオフスイッチ353を介して電源351に接続されており、電源351からの供給電流に応じて動作する。
同様に、走行部31の油圧モータ43に対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作レバーの操作に応じて走行部31の走行操作指令を出力する。走行操作指令は、走行部31の走行動作(前進又は後退等)を指示する。さらに、旋回部32の油圧モータに対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作レバーの操作に応じて旋回部32の旋回操作指令を出力する。旋回操作指令は、旋回部32の旋回動作(左旋回又は右旋回等)を指示する。そして、これらのリモコン弁と、パイロットポンプ42との間にも、電磁式の制御弁46(電磁弁)が挿入されている。制御弁46は、カットオフリレー352及びカットオフスイッチ353を介して電源351に接続されており、電源351からの供給電流に応じて動作する。
制御弁46は、通電状態、つまり電流が供給されている状態で、パイロットポンプ42からリモコン弁45へのパイロット油の流路を開放し、非通電状態、つまり供給電流が遮断されている状態で、パイロット油の流路を遮断する。そのため、制御弁46への供給電流が遮断されることで、リモコン弁45に対応する油圧アクチュエータが駆動不能となり、操作レバーの操作によらずに、油圧アクチュエータの出力が強制的に停止する。
ここで、カットオフリレー352は、制御システム1に接続されており、制御システム1からの制御信号(電気信号)に応じてオン/オフが切り替わる。カットオフスイッチ353は、カットオフレバーの操作に応じてオン/オフが切り替わり、例えば、カットオフレバーが下方に操作された状態でオンになる。したがって、カットオフリレー352とカットオフスイッチ353との両方がオンのとき、制御弁46は通電状態となり、パイロットポンプ42からリモコン弁45へのパイロット油の流路が開放されるので、操作レバーの操作に応じて油圧アクチュエータが駆動する。これに対して、カットオフリレー352とカットオフスイッチ353との少なくとも一方がオフの状態では、制御弁46は非通電状態となり、パイロット油の流路が遮断されるので、油圧アクチュエータが駆動不能となる。
例えば、旋回部32の油圧モータに対応するリモコン弁とパイロットポンプ42との間に挿入された制御弁46につながるカットオフリレー352とカットオフスイッチ353との少なくとも一方がオフの状態では、旋回部32の油圧モータが駆動不能となる。この状態では、操作レバーの操作によらずに、油圧アクチュエータ(旋回部32の油圧モータ)の出力が強制的に停止するため、旋回部32の旋回動作が禁止されることになる。
制御システム1は、CPU(Central Processing Unit)等の1以上のプロセッサと、ROM(Read Only Memory)及びRAM(Random Access Memory)等の1以上のメモリとを有するコンピュータシステムを主構成とし、種々の処理(情報処理)を実行する。本実施形態では、制御システム1は、作業機械3全体の制御を行う統合コントローラであって、例えば、電子制御ユニット(ECU:Electronic Control Unit)からなる。ただし、制御システム1は、統合コントローラと別に設けられていてもよい。制御システム1について詳しくは「[2]制御システムの構成」の欄で説明する。
表示装置2は、機体30の運転部321に配置されており、ユーザ(オペレータ)による操作入力を受け付け、ユーザに種々の情報を出力するためのユーザインターフェースである。表示装置2は、例えば、ユーザの操作に応じた電気信号を出力することにより、ユーザによる各種の操作を受け付ける。これにより、ユーザ(オペレータ)は、表示装置2に表示される表示画面Dp1(図4参照)を視認でき、また、必要に応じて表示装置2を操作することが可能である。
表示装置2は、図2に示すように、制御部21と、操作部22と、表示部23と、を備えている。表示装置2は、制御システム1と通信可能に構成されており、制御システム1との間でデータの授受が可能である。本実施形態では一例として、表示装置2は作業機械3に用いられる専用のデバイスである。
制御部21は、制御システム1からのデータに従って、表示装置2を制御する。具体的には、制御部21は、操作部22で受け付けたユーザの操作に応じた電気信号を出力したり、制御システム1で生成される表示画面Dp1を表示部23に表示したりする。
操作部22は、表示部23に表示される表示画面Dp1に対するユーザ(オペレータ)による操作入力を受け付けるためのユーザインターフェースである。操作部22は、例えば、ユーザU1(図4参照)の操作に応じた電気信号を出力することにより、ユーザU1による各種の操作を受け付ける。本実施形態では一例として、操作部22は、図4に示すように、機械式の複数(ここでは6つ)の押釦スイッチ221~226を含む。これら複数の押釦スイッチ221~226は、表示部23の表示領域の周縁に沿うように、表示領域に近接して(図4の例では下方に)配置されている。これら複数の押釦スイッチ221~226は、後述する表示画面Dp1に表示される項目に対応付けられており、複数の押釦スイッチ221~226のいずれかが操作されることにより、表示画面Dp1のいずれかの項目が操作(選択)される。
また、操作部22は、タッチパネル及び操作ダイヤル等を含んでいてもよい。この場合においても、操作部22に対する操作により、表示画面Dp1のいずれかの項目が操作(選択)されることになる。
表示部23は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイのような、ユーザU1(オペレータ)に情報を提示するためのユーザインターフェースである。表示部23は、ユーザに対して各種の情報を表示により提示する。本実施形態では一例として、表示部23は、バックライト付きのフルカラーの液晶ディスプレイであって、図4に示すように、横方向に長い「横長」の表示領域を有している。
表示装置2は、作業機械3を操作するユーザU1(オペレータ)に向けて表示画面Dp1にて種々の情報を提示する。つまり、作業機械3を操作するユーザU1は、表示装置2に表示される表示画面Dp1を見ることで、作業機械3に関連する種々の情報を視覚的に得ることが可能である。一例として、表示装置2に、冷却水温及び作動油温等の作業機械3の稼働状態に関する情報が表示されることで、ユーザU1は、作業機械3の操作に必要な作業機械3の稼働状態に関する情報を、表示装置2で確認することができる。また、表示装置2は、左方カメラ341、右方カメラ342及び後方カメラ343にて撮像される作業機械3の周辺画像(監視エリアA1の画像)についても、表示画面Dp1に表示することができる。これにより、ユーザU1(オペレータ)は、作業機械3を操作する際に、例えば、運転部321からの死角となりやすい作業機械3の側方及び後方等の状況を、表示装置2に表示される表示画面Dp1にて確認することができる。
さらに、表示装置2は、ユーザU1(オペレータ)に対して音(音声を含む)を出力する機能を有していてもよい。この場合、表示装置2は、制御システム1からの音制御信号に応じて、ビープ音又は音声等の音を出力する。
また、機体30は、上述した構成に加えて、操作レバー、カットオフレバー、通信端末、燃料タンク及びバッテリ等を更に備えている。さらには、機体30には、冷却水温センサ、作動油温センサ、エンジンの回転数を計測する回転数計、及び稼働時間を計測するアワーメータ等、機体30の稼働状態を監視するためのセンサ類が備わっている。その他、カットオフレバー及びスタータキースイッチ等の状態等を検出するセンサも、機体30に備わっている。
[2]制御システムの構成
次に、本実施形態に係る制御システム1の構成について、図2を参照して説明する。制御システム1は、表示装置2を制御することにより、表示装置2に表示画面Dp1を表示させる。本実施形態では、表示装置2は、上述したように作業機械3の機体30に搭載されている。制御システム1は、作業機械3の構成要素であって、機体30等と共に作業機械3を構成する。言い換えれば、本実施形態に係る作業機械3は、少なくとも制御システム1と、表示装置2が搭載される機体30(走行部31、旋回部32及び作業部33を含む)と、を備えている。
本開示でいう表示画面Dp1等の「画面」は、表示装置2にて表示される映像(画像)を意味し、図像、図形、写真、テキスト及び動画等を含む。すなわち、制御システム1は、例えば、冷却水温及び作動油温等の作業機械3の稼働状態に関する情報を表す図像等を含む表示画面Dp1を、表示装置2に表示させることが可能である。ここで、表示画面Dp1が動画等を含む場合には、表示画面Dp1は一定の映像ではなく、刻一刻と変化する映像を含む。
制御システム1は、図2に示すように、表示処理部11と、画像取得部12と、検知部13と、牽制処理部14と、を備えている。本実施形態では一例として、制御システム1は1以上のプロセッサを有するコンピュータシステムを主構成とするので、1以上のプロセッサが作業機械用制御プログラムを実行することにより、これら複数の機能部(表示処理部11等)が実現される。制御システム1に含まれる、これら複数の機能部は、複数の筐体に分散して設けられていてもよいし、1つの筐体に設けられていてもよい。
制御システム1は、機体30の各部に設けられたデバイスと通信可能に構成されている。つまり、制御システム1には、少なくとも表示装置2、カットオフリレー352、左方カメラ341、右方カメラ342及び後方カメラ343等が接続されている。これにより、制御システム1は、表示装置2等を制御したり、カットオフリレー352を制御して制御弁46を制御したり、左方カメラ341、右方カメラ342及び後方カメラ343等の撮像画像を取得したりすることが可能である。ここで、制御システム1は、各種の情報(データ)の授受を、各デバイスと直接的に行ってもよいし、中継器等を介して間接的に行ってもよい。
表示処理部11は、少なくとも表示画面Dp1を表示装置2に表示させる表示処理を実行する。具体的には、表示処理部11は、画像取得部12で取得されるデータ等に基づいて表示画面Dp1を生成し、表示装置2を制御することによって、表示画面Dp1を表示装置2の表示部23に表示させる。さらに、表示処理部11は、表示装置2の操作部22が受け付けた操作に応じて動作する。表示処理部11は、例えば、左方カメラ341、右方カメラ342及び後方カメラ343で撮像される撮像画像Im11,Im12,Im13(図5参照)を表示画面Dp1に表示させる。つまり、表示処理部11は、画像取得部12は、作業機械3の周囲の監視エリアA1(各小エリアA11,A12,A13)の画像を表示装置2に表示させる。
また、表示処理部11は、表示画面Dp1の第2領域R2(図5参照)を全画面(拡大)表示する全画面モードを有している。さらに、表示処理部11は、少なくとも全画面モードにおいて、撮像画像Im11,Im12,Im13に基づいて生成される俯瞰画像Im100(図7参照)と、俯瞰画像Im100とは別の特定画像Im200(図7参照)の少なくとも一部とを、表示画面Dp1に表示させることが可能である。
ここで、表示処理部11は、第1表示処理部111と、第2表示処理部112と、を有している。詳しくは後述するが、第1表示処理部111は、撮像画像Im11,Im12,Im13に基づいて生成される俯瞰画像Im100を、表示装置2に表示される表示画面Dp1の第1表示領域R11(図7参照)に表示させる第1表示処理を実行する。第2表示処理部112は、特定画像Im200の少なくとも一部を、表示装置2に表示される表示画面Dp1の第2表示領域R12(図7参照)に表示させる第2表示処理を実行する。
さらに、表示処理部11は、撮像画像Im11,Im12,Im13、俯瞰画像Im100及び特定画像Im200等に加えて、検知部13による監視エリアA1における検知対象物Ob1の存否(有無)の検知結果を表す検知オブジェクト等を表示画面Dp1に表示する。検知オブジェクトは、検知部13の検知結果に応じてその表示態様が変化する。そのため、監視エリアA1に検知対象物Ob1が存在する場合と存在しない場合とで、表示画面Dp1における検知オブジェクトの表示態様は異なる。
本開示でいう検知オブジェクト等の「オブジェクト」は、表示画面Dp1中に表示されるマーク、図像、図形、写真、テキスト若しくは動画等、又はこれらの組み合わせを含む。また、本開示でいう「表示態様」は、(オブジェクトの)表示色、サイズ(大きさ、線の太さ等を含む)、形状、動作状態(アニメーション、回転/静止等を含む)、表示の有無若しくは表示パターン(点滅パターン等を含む)等、又はこれらの組み合わせを含む。要するに、表示処理部11は、検知部13の検知結果に応じて検知オブジェクトの表示色等の表示態様を変化させる。
画像取得部12は、作業機械3の周囲の監視エリアA1の撮像画像を取得する画像取得処理を実行する。本実施形態では、画像取得部12は、左方カメラ341、右方カメラ342及び後方カメラ343の出力を、左方カメラ341、右方カメラ342及び後方カメラ343から定期的又は不定期に取得する。つまり、画像取得部12は、作業機械3の周囲の監視エリアA1(各小エリアA11,A12,A13)の画像データ(撮像画像)を取得する。画像取得部12で取得されたデータは、例えば、メモリ等に記憶される。
検知部13は、作業機械3の周囲の監視エリアA1における検知対象物Ob1を検知する検知処理を実行する。つまり、検知部13は、監視エリアA1における検知対象物Ob1の存否(有無)を判断し、監視エリアA1に検知対象物Ob1が存在するか否かを表す検知結果を出力する。本実施形態では一例として、検知対象物Ob1は「人」である。つまり、作業機械3が移動し、又は作業機械3の周囲の「人」が移動した結果、作業機械3の周囲の監視エリアA1に「人」が侵入した場合、検知部13は当該「人」を検知対象物Ob1として検知する。監視エリアA1に複数の検知対象物Ob1が存在する場合には、検知部13は、検知対象物Ob1の数(人数)も含めて検知してもよい。
本実施形態では、検知部13は、左方カメラ341、右方カメラ342及び後方カメラ343の出力(画像データ)に基づいて、監視エリアA1における検知対象物Ob1を検知する。具体的には、検知部13は、画像取得部12で取得された画像データに対して、画像処理を施すことにより、画像中の特徴量を抽出し、当該特徴量に基づいて、画像に検知対象物Ob1(本実施形態では「人」)が写り込んでいるか否かを判断する。ここで、画像に検知対象物Ob1が写り込んでいる場合、検知部13は、左方カメラ341、右方カメラ342及び後方カメラ343のいずれで撮像された画像に検知対象物Ob1が写り込んでいるかを判断する。つまり、検知部13は、左方カメラ341で撮像される小エリアA11、右方カメラ342で撮像される小エリアA12、及び後方カメラ343で撮像される小エリアA13のいずれに検知対象物Ob1が存在するかを区別して、検知対象物Ob1の検知を行う。
牽制処理部14は、検知部13の検知結果に基づいて、作業機械3の動作を牽制する牽制処理を実行する。本実施形態では、検知部13の検知結果が、監視エリアA1に検知対象物Ob1(ここでは人)の存在を示す結果である場合に、牽制処理部14は牽制処理を実行する。本開示でいう「牽制処理」は、作業機械3の動作に関し、何かしら抑制する方向に作用する処理を意味する。一例として、牽制処理は、表示装置2を制御することによって、作業機械3を操作するユーザU1(オペレータ)に対して、音又は光(表示を含む)により警告を行うことで、作業機械3の動作を間接的に牽制する処理を含む。さらに、牽制処理は、作業機械3の走行部31、旋回部32及び作業部33等を制御することで、作業機械3の動作を直接的に牽制する処理を含む。
具体的に、本実施形態では一例として、牽制処理部14は、監視エリアA1に検知対象物Ob1が存在する場合に、カットオフリレー352をオフにする。これにより、カットオフリレー352を介して電源351に接続されている制御弁46が非通電状態となり、制御弁46に対応する油圧アクチュエータの出力が強制的に停止する。すなわち、本実施形態では、牽制処理は、作業機械3の動作を制限する制限処理を含む。本開示でいう「制限処理」は、作業機械3の動作に関し、何かしら制限する方向に作用する処理を意味する。一例として、制限処理は、走行部31の走行動作を禁止する(走行動作不能とする)処理、旋回部32の旋回動作を禁止する(旋回動作不能とする)処理、及び作業部33の動作を禁止する(作業不能とする)処理等を含む。これにより、ユーザU1(オペレータ)の操作によらずに、作業機械3の動作を強制的に制限することができる。つまり、作業機械3が動作することによる機体30と検知対象物Ob1との接触を回避できる。
ところで、検知部13は、制御システム1に必須の構成ではない。例えば、制御システム1は、外部の検知部の検知結果を取得し、当該検知結果に基づいて牽制処理部14が牽制処理を実行するように構成されていてもよい。
[3]作業機械の制御方法
以下、図5~図9を参照しつつ、主として制御システム1によって実行される作業機械3の制御方法(以下、単に「制御方法」という)の一例について説明する。
本実施形態に係る制御方法は、コンピュータシステムを主構成とする制御システム1にて実行されるので、言い換えれば、作業機械用制御プログラム(以下、単に「制御プログラム」という)にて具現化される。つまり、本実施形態に係る制御プログラムは、制御方法に係る各処理を1以上のプロセッサに実行させるためのコンピュータプログラムである。このような制御プログラムは、例えば、制御システム1及び表示装置2によって協働して実行されてもよい。
ここで、制御システム1は、制御プログラムを実行させるための予め設定された特定の開始操作が行われた場合に、制御方法に係る下記の各種処理を実行する。開始操作は、例えば、作業機械3のエンジンの起動操作等である。一方、制御システム1は、予め設定された特定の終了操作が行われた場合に、制御方法に係る下記の各種処理を終了する。終了操作は、例えば、作業機械3のエンジンの停止操作等である。
[3.1]表示画面
ここではまず、本実施形態に係る制御方法によって表示装置2の表示部23に表示される表示画面Dp1の構成について説明する。図5等の表示装置2の表示部23に表示される表示画面Dp1を示す図面において、領域を表す一点鎖線、引出線及び参照符号は、いずれも説明のために付しているに過ぎず、実際に表示装置2に表示される訳ではない。
図5に示す表示画面Dp1は、制御方法によって最初に表示されるホーム画面Dp11である。つまり、制御システム1の表示処理部11は、例えば図5に示すような表示画面Dp1を生成し、表示装置2(の表示部23)に表示させる表示処理を実行する。ホーム画面Dp11は、作業機械3の稼働中に、まずは表示装置2に表示されることになる基本的な表示画面Dp1である。表示画面Dp1は、ホーム画面Dp11から、操作部22に対する操作に従って、メニュー画面、クレーン画面、モード画面及びPTO画面等を含む様々な表示画面Dp1への遷移が可能である。
ホーム画面Dp11としての表示画面Dp1は、図5に示すように、第1領域R1、第2領域R2、第3領域R3、第4領域R4、第5領域R5、第6領域R6、第7領域R7、第8領域R8、第9領域R9及び第10領域R10を含む。本実施形態に係る制御方法では、一例として、表示画面Dp1の大部分を占める第2領域R2に、監視エリアA1(各小エリアA11,A12,A13)の撮像画像Im11,Im12,Im13等を表示する。
具体的には、表示画面Dp1は、縦方向(上下方向)に4つの領域に分割されている。そして、上から3つの領域は、それぞれ更に横方向(左右方向)に3つの領域に分割されている。これにより、表示画面Dp1は、計10個の領域に分割される。そして、上から2段目の領域は、左から順に、第1領域R1、第2領域R2、第3領域R3となる。最下段の領域は第4領域R4となる。さらに、上から3段目の領域は、左から順に、第5領域R5、第6領域R6、第7領域R7となり、最上段の領域は、左から順に、第8領域R8、第9領域R9、第10領域R10となる。縦方向のサイズは、縦方向に分割された4つの領域の中では、上から2段目の領域(第1領域R1、第2領域R2、第3領域R3)が最も広い。横方向のサイズは、横方向に分割された3つの領域の中では、真ん中の領域(第2領域R2、第6領域R6、第9領域R9)が最も広い。
ただし、これらの各領域の配置及びサイズは一例に過ぎず、適宜変更可能である。また、各領域が境界線によって明確に分割されていることは必須ではない。例えば、図5の例でも、第2領域R2と第3領域R3とは境界線によって明確に分割されているのに対して、第1領域R1と第2領域R2との間には境界線は存在しない。もちろん、第1領域R1と第2領域R2とが境界線によって明確に分割されていてもよい。
第1領域R1は、縦方向に長い矩形状の領域である。第1領域R1には、例えば、エンジンの燃料(例えば軽油)の残量に関する残量情報G1が表示される。表示処理部11は、残量センサの出力(センサ信号)等に基づいて、表示画面Dp1中の残量情報G1を生成する。
第2領域R2は、横方向に長い矩形状の領域であって、上述したように、第2領域R2には撮像画像Im11,Im12,Im13等が表示される。撮像画像Im11は、左方カメラ341で撮像される運転部321の左方となる小エリアA11の画像であって、撮像画像Im12は、右方カメラ342で撮像される運転部321の右方となる小エリアA12の画像である。撮像画像Im13は、後方カメラ343で撮像される運転部321の後方となる小エリアA13の画像である。表示処理部11は、画像取得部12で取得される撮像画像Im11,Im12,Im13をリアルタイムで表示させる。
さらに、第2領域R2の中央部には、上方から見た機体30を模したアイコンIm10が表示されている。アイコンIm10は、機体30から見た左方カメラ341、右方カメラ342及び後方カメラ343の撮像範囲(小エリアA11,A12,A13)の位置関係を、模式的に表している。本実施形態では、撮像画像Im11,Im12,Im13は、第2領域R2の中央部が矩形状に切り欠かれた形状である。そのため、第2領域R2の中央部に表示されるアイコンIm10は、撮像画像Im11,Im12,Im13の切欠部位に嵌るように配置されることになる。
第3領域R3は、縦方向に長い矩形状の領域である。第3領域R3には、作業機械3の各部の稼働状態に応じた図像(アイコン)Im1が表示される。第3領域R3には、複数の図像Im1を表示可能であって、個々の図像Im1のデザイン(絵柄)によって、例えば、バッテリ、シートベルト、冷却水温、作動油温等の、いずれの状態を表すかを示す。ここで、各図像Im1は、例えば、表示色又はサイズ等の表示態様によって、稼働状態を示す。表示処理部11は、作業機械3の各部の稼働状態を検知する種々のセンサ(冷却水温センサ及び作動油温センサを含む)の出力を用いて、作業機械3の各部の状態を判断する。そして、表示処理部11は、いずれかの部位で異常値が検知された場合には、その部位の図像Im1の表示色等の表示態様を変化させる等により、警告表示を行う。
第4領域R4は、表示画面Dp1の全幅にわたって延びる帯状の領域である。第4領域R4には、表示画面Dp1に対する操作のための各項目が表示される。図5では一例として、第4領域R4には、「メニュー」、「クレーン」、「モード」、「カメラ」、「PTO」、「切替」の6つの項目が、この順で左から並べて配置されている。これら6つの項目には、その真下に位置する操作部22の6つの押釦スイッチ221~226がそれぞれ対応付けられている。例えば、「メニュー」の項目には押釦スイッチ221が、「クレーン」の項目には押釦スイッチ222が、それぞれ対応付けられている。そのため、例えば、「カメラ」の項目に対応する押釦スイッチ224がユーザU1(図4参照)により操作されると、「カメラ」の項目が操作(選択)されることになる。
さらに、本実施形態では、操作部22の操作ダイヤル(又はカーソルキー)等の操作にも対応するように、第4領域R4においては、いずれかの項目がハイライト表示される。図5の例では「メニュー」の項目がハイライト表示されており、操作ダイヤル(又はカーソルキー)等の操作により、ハイライト表示される項目が切り替わる。ユーザU1においては、所望の項目をハイライト表示させた状態で決定ボタンを操作することにより、所望の項目を選択することが可能である。そのため、例えば、「カメラ」の項目にハイライト表示を移動させた状態で決定ボタンが操作されると、「カメラ」の項目が操作(選択)されることになる。また、操作部22がタッチパネルを含む場合には、ユーザU1は、表示画面Dp1上の所望の項目をタッチする操作により、所望の項目を選択することが可能である。
第5領域R5には、種々のセンサ(冷却水温センサ及び作動油温センサを含む)にて異常値が検知されていることを示す、警告表示用の図像(アイコン)が表示される。第6領域R6には、例えば、作業機械3において稼働中の作業部33に関する情報が表示される。第7領域R7には、例えば、エンジンの回転数等、作業機械3の稼働状態に関する情報が表示される。第8領域R8には、例えば、現在時刻が表示される。第9領域R9には、例えば、現在表示されている表示画面Dp1が属する項目を示す情報が表示される。第10領域R10には、例えば、作業機械3の稼働時間(アワーメータ)に関する情報が表示される。
ところで、本実施形態では、表示処理部11は、上述したようなホーム画面Dp11と、図7に示すような拡大画面Dp12と、を含む複数の画面間で、表示装置2に表示させる表示画面Dp1を切り替える。つまり、表示装置2に表示される表示画面Dp1は、上述したホーム画面Dp11から、図7に示すような拡大画面Dp12へと切替可能である。
図7に示す拡大画面Dp12は、ホーム画面Dp11に比較して、第2領域R2を拡大することで、表示画面Dp1の第2領域R2を全画面表示した画面である。つまり、表示処理部11は、ホーム画面Dp11を表示する通常モードから、全画面モードに切り替えられることによって、表示装置2の表示部23に、第2領域R2を全画面表示した拡大画面Dp12を表示させる。
図7の例では、拡大画面Dp12は、第2領域R2のみを含み、画面の全体が第2領域R2となる。つまり、拡大画面Dp12においては、第1領域R1、及び第3領域R3~第10領域R10が非表示となり、第2領域R2が拡大表示される。
そのため、拡大画面Dp12では、ホーム画面Dp11に比較して、撮像画像Im11,Im12,Im13が拡大表示されることになり、視認性に優れた表示態様で撮像画像Im11,Im12,Im13が表示される。一方で、拡大画面Dp12は、ホーム画面Dp11とは異なり、第1領域R1の残量情報G1等、作業機械3の稼働状態に関する稼働情報を含まない。
[3.2]俯瞰画像の詳細
次に、本実施形態に係る制御方法によって表示される俯瞰画像Im100の詳細について説明する。
上述したように、表示処理部11は、少なくとも拡大画面Dp12を表示する全画面モードにおいて、俯瞰画像Im100を表示画面Dp1(拡大画面Dp12)に表示させることが可能である。すなわち、表示処理部11は、例えば、視点切替操作に応じて、表示画面Dp1の第2領域R2に表示させる画像を、図6に示すような撮像画像Im11,Im12,Im13と、図7に示すような俯瞰画像Im100と、の間で切替可能である。視点切替操作の一例として、「カメラ」の項目の操作(選択)、又は視点切替用スイッチの操作等がある。あるいは、例えば検知部13の検知結果等に応じて、表示処理部11は、撮像画像Im11,Im12,Im13と俯瞰画像Im100とを自動的に切り替えてもよい。
俯瞰画像Im100は、機体30を上方(上空)から見下ろした画像であって、本実施形態では、走行部31の向きとは無関係に、少なくとも作業機械3(の運転部321)に搭乗したユーザ(オペレータ)から見た左方、右方及び後方の領域を含む画像である。このような俯瞰画像Im100は、左方カメラ341、右方カメラ342及び後方カメラ343の撮像画像Im11,Im12,Im13を、座標変換して合成することによって生成される撮像画像の一種である。俯瞰画像Im100は、本実施形態では一例として、表示処理部11の第1表示処理部111にて撮像画像Im11,Im12,Im13に基づいて生成されるが、この例に限らず、表示処理部11以外で生成されてもよい。俯瞰画像Im100は、撮像画像がアニメーションに合成された画像であってもよい。
図7の例では、表示処理部11は、表示画面Dp1(拡大画面Dp12)の第2領域R2に、第1表示領域R11と、第2表示領域R12と、を設定し、第1表示領域R11に俯瞰画像Im100を表示させ、第2表示領域R12に特定画像Im200を表示させる。第1表示領域R11は、表示装置2に表示される表示画面Dp1のうち、平面視において作業機械3に相当する自機基準位置P1から見た周方向の一部が切欠領域R13として切り欠かれた形状の領域である。第2表示領域R12は、表示装置2に表示される表示画面Dp1のうち、切欠領域R13内に配置される領域である。
具体的には、第2領域R2の中央部には、上方から見た機体30を模したアイコンIm10が表示されているところ、このアイコンIm10の中心である第2領域R2の中心が、平面視において作業機械3に相当する自機基準位置P1となる。そして、俯瞰画像Im100が表示される第1表示領域R11は、この自機基準位置P1(第2領域R2の中心)を中心とする周方向(円周方向)の一部が、切欠領域R13として切り欠かれた形状を有する。図7では、自機基準位置P1を黒丸で表記しているが、これは参照符号等と同様に、説明のために付しているに過ぎず、実際に表示装置2に表示される訳ではない。
より詳細には、第1表示領域R11は、自機基準位置P1から遠い側の周縁を円弧状とした扇状の領域であって、当該扇状の頂角に相当する位置にアイコンIm10が配置される。本開示でいう「円弧状」は、真円の一部を構成する円弧に限らず、外向きに凸となる湾曲線全般を含む。そのため、図7のように、周縁(外形線)が全体として外向きに凸となる湾曲線からなる第1表示領域R11であっても、周縁を円弧状とした扇状の領域といえる。言い換えれば、第1表示領域R11の周縁は、円弧R110と、当該円弧R110の両端につながる径方向に沿った一対のエッジR111,R112と、を含み、これら円弧R110及び一対のエッジR111,R112で囲まれる領域が扇形となる。
そして、自機基準位置P1を中心とする円形状(円環状)の領域のうち、一対のエッジR111,R112によって切り取られる第1表示領域R11以外の領域が、切欠領域R13となる。図7の例では、第1表示領域R11における一対のエッジR111,R112の間の角度(扇状の中心角)は、略260度である。そのため、切欠領域R13の中心角は略100度となる。
図8は、実際に表示装置2に表示される表示画面Dp1(拡大画面Dp12)の一例を示している。図8に示すように、第1表示領域R11に表示される俯瞰画像Im100は、機体30を上方(上空)から見下ろした画像となるように、撮像画像Im11,Im12,Im13を、座標変換してシームレスに合成して得られる画像である。図8では、アイコンIm10として、機体30を模したオブジェクトではなく、機体30に相当する位置を丸印で表したオブジェクトが表示されている。
すなわち、本実施形態に係る制御方法は、作業機械3の周囲の監視エリアの撮像画像Im11,Im12,Im13を取得することと、撮像画像Im11,Im12,Im13に基づく俯瞰画像Im100を、第1表示領域R11に表示させることと、を有する。第1表示領域R11は、表示装置2に表示される表示画面Dp1のうち、平面視において作業機械3に相当する自機基準位置P1から見た周方向の一部が切欠領域R13として切り欠かれた形状の領域である。制御方法は、表示画面Dp1のうち、切欠領域R13内に配置される第2表示領域R12に、特定画像Im200の少なくとも一部を表示させること、を更に有する。
要するに、俯瞰画像Im100及び特定画像Im200を含む表示画面Dp1が表示装置2に表示されることになる。しかも、俯瞰画像Im100は、自機基準位置P1から見た周方向の一部が切欠領域R13として切り欠かれた形状の第1表示領域R11に表示され、当該切欠領域R13内に配置される第2表示領域R12に特定画像Im200の少なくとも一部が表示される。したがって、表示装置2には、一部が切り欠かれた形状の俯瞰画像Im100と共に、切欠領域R13を利用して別画像(特定画像Im200)を表示することができるので、俯瞰画像Im100に加えて、別の特定画像Im200を一体的に表示することができる。結果的に、オペレータにとっては、一体的に表示される俯瞰画像Im100及び特定画像Im200を違和感なく視認することができ、作業機械3の操作に関する種々の情報をオペレータが直感的に把握しやすくなる。
本実施形態では、図7及び図8に示すように、第2表示領域R12は、表示画面Dp1において第1表示領域R11の上方に配置される。ここでいう「上方」は、表示画面Dp1を視認するユーザ(オペレータ)から見た上方を意味し、実空間における方向によらず、表示画面Dp1内での縦方向(上下方向)の一方である。つまり、第1表示領域R11は、自機基準位置P1から見て表示画面Dp1の上方側が切欠領域R13として切り欠かれた形状であって、この切欠領域R13内に第2表示領域R12が配置される。このような配置により、第1表示領域R11に表示される俯瞰画像Im100の視認性を維持しつつ、特定画像Im200についてもオペレータが視認しやすい位置に表示させることができる。
ここで、切欠領域R13は、俯瞰画像Im100において作業機械3の前方に相当する位置に配置される。すなわち、本実施形態では、表示画面Dp1の上方が俯瞰画像Im100における作業機械3の前方に相当するところ、当該作業機械3の前方に第2表示領域R12が配置される。オペレータにおいては、作業機械3の周囲のうち前方が最も視認しやすいので、俯瞰画像Im100のうちの作業機械3の前方に相当する領域を切欠領域R13とすることで、作業機械3の周囲の視認性を大きく低下させることなく俯瞰画像Im100を表示することが可能である。
また、本実施形態では、図7及び図8に示すように、表示画面Dp1において、第1表示領域R11と第2表示領域R12との間には隙間が配置される。つまり、第2表示領域R12は、第1表示領域R11における一対のエッジR111,R112から離間して設定されている。これにより、第1表示領域R11に表示される俯瞰画像Im100と、第2表示領域R12に表示される特定画像Im200と、の間には隙間が形成されることとなり、オペレータにとっては、俯瞰画像Im100と特定画像Im200とを区別しやすくなる。結果的に、俯瞰画像Im100及び特定画像Im200のそれぞれについての視認性向上に寄与する。
また、本実施形態では、表示画面Dp1において、第2表示領域R12の周縁の少なくとも一部は、第1表示領域R11の周縁の一部に沿って配置される。図7の例では、第2表示領域R12の周縁は六角形を成しており、当該六角形のうちの二辺が、第1表示領域R11の周縁のうちの一対のエッジR111,R112に沿って配置されている。ここでは特に、第2表示領域R12の周縁(六角形)のうちの二辺は、一対のエッジR111,R112に平行である。これにより、第2表示領域R12に表示される特定画像Im200を比較的大きく表示することができ、特定画像Im200の視認性向上に寄与する。
また、本実施形態では、特定画像Im200は、俯瞰画像Im100の一部を構成する撮像画像Im11,Im12,Im13に関する画像である。つまり、俯瞰画像Im100は、上述したように撮像画像Im11,Im12,Im13を合成して生成されているところ、第2表示処理部112は、撮像画像Im11,Im12,Im13に関する画像を、特定画像Im200として第2表示領域R12に表示させる。撮像画像Im11,Im12,Im13に関する画像は、例えば、撮像画像Im11,Im12,Im13のうちの少なくとも一部であってもよいし、撮像画像Im11,Im12,Im13に対して座標変換又はフィルタリング等、何らかの画像処理が施された画像であってもよい。これにより、オペレータにとっては、俯瞰画像Im100と共に、撮像画像Im11,Im12,Im13に関する画像を視認可能となり、機体30の周囲の状況を確認しやすくなる。
ここで、特定画像Im200は、作業機械3の後方側の撮像画像Im13に関する画像である。つまり、後方カメラ343で撮像される運転部321の後方となる小エリアA13の画像である撮像画像Im13に関する画像が、特定画像Im200として第2表示領域R12に表示される。これにより、オペレータにとって死角となりやすい、機体30の後方を、特定画像Im200にてカバーすることが可能となる。
本実施形態では特に、特定画像Im200は、撮像画像Im13からの変換態様が、俯瞰画像Im100とは異なる画像である。すなわち、俯瞰画像Im100は、機体30を上方(上空)から見下ろした画像であるため、後方カメラ343で撮像される撮像画像Im13について、平面視となるように座標変換等の変換が行われる。これに対して、特定画像Im200として第2表示領域R12に表示される撮像画像Im13は、図6の例と同様に、作業機械3(の運転部321)に搭乗したユーザ(オペレータ)から見た画像となるように、座標変換等の変換が行われる。したがって、特定画像Im200として表示される小エリアA13については、俯瞰画像Im100と特定画像Im200とで異なる変換態様で表示され、オペレータにとってはより注意深く確認することができる。
また、表示画面Dp1は、作業機械3から見た俯瞰画像Im100の撮像範囲の位置関係を表すオブジェクト(アイコンIm10)を含む。すなわち、上述したように第2領域R2の中央部には、機体30から見た左方カメラ341、右方カメラ342及び後方カメラ343の撮像範囲(小エリアA11,A12,A13)の位置関係を、模式的に表したアイコンIm10が表示されている。ここで、アイコンIm10は、俯瞰画像Im100の自機基準位置P1に配置されるので、俯瞰画像Im100は、機体30を上方から見たときの位置関係に対応するように、アイコンIm10の周囲に表示される。つまり、機体30の左方となる小エリアA11の撮像画像Im11は、アイコンIm10に対して左方に位置し、機体30の右方となる小エリアA12の撮像画像Im12は、アイコンIm10に対して右方に位置し、機体30の後方となる小エリアA13の撮像画像Im13は、アイコンIm10に対して下方に位置するように、俯瞰画像Im100が表示される。
このように、本実施形態に係る制御方法は、表示画面Dp1におけるアイコンIm10に対する俯瞰画像Im100の位置関係には、実空間における作業機械3に対する監視エリアA1の位置関係を反映させる。そのため、オペレータにおいては、表示画面Dp1を見て、監視エリアA1のどこを撮像した俯瞰画像Im100であるかを直感的に把握しやすい。
また、俯瞰画像Im100の表示は、拡大画面Dp12を表示する全画面モードに限らず、第2領域R2に加えて第1領域R1及び第3領域R3~第10領域R10を含むホーム画面Dp11を表示する通常モードで行われてもよい。
[3.3]全体処理
次に、制御方法に係る処理の全体の流れについて、図9を参照して説明する。図9は、制御方法のうち特に俯瞰画像Im100の表示に係る処理の一例を示すフローチャートである。
図9に示すように、制御システム1の画像取得部12は、撮像画像Im11,Im12,Im13を、左方カメラ341、右方カメラ342及び後方カメラ343から取得する(S1)。そして、制御システム1の表示処理部11は、撮像画像Im11,Im12,Im13に基づいて、俯瞰画像Im100を生成する(S2)。
表示処理部11の第1表示処理部111は、俯瞰画像Im100を、表示画面Dp1のうち、平面視において作業機械3に相当する自機基準位置P1から見た周方向の一部が切欠領域R13として切り欠かれた形状の第1表示領域R11に表示させる(S3)。さらに、表示処理部11の第2表示処理部112は、表示画面Dp1のうち、切欠領域R13内に配置される第2表示領域R12に、特定画像Im200の少なくとも一部を表示させる(S4)。
その結果、図7及び図8に示すように、表示画面Dp1においては、第1表示領域R11及び第2表示領域R12にそれぞれ俯瞰画像Im100及び特定画像Im200が表示されることになる。制御システム1は、上記ステップS1~S4の処理を繰り返し実行する。ただし、図9に示すフローチャートは一例に過ぎず、処理が適宜追加又は省略されてもよいし、処理の順番が適宜入れ替わってもよい。
[4]変形例
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示における制御システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての1以上のプロセッサ及び1以上のメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における制御システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。また、制御システム1に含まれる一部又は全部の機能部は電子回路で構成されていてもよい。
また、制御システム1の少なくとも一部の機能が、1つの筐体内に集約されていることは制御システム1に必須の構成ではなく、制御システム1の構成要素は、複数の筐体に分散して設けられていてもよい。反対に、実施形態1において、複数の装置(例えば制御システム1及び表示装置2)に分散されている機能が、1つの筐体内に集約されていてもよい。さらに、制御システム1の少なくとも一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
また、作業機械3の動力源は、ディーゼルエンジンに限らず、例えば、ディーゼルエンジン以外のエンジンであってもよいし、モータ(電動機)、又はエンジンとモータ(電動機)とを含むハイブリッド式の動力源であってもよい。
また、表示装置2は、専用のデバイスに限らず、例えば、ラップトップコンピュータ、タブレット端末又はスマートフォン等の汎用端末であってもよい。さらに、表示部23は、液晶ディスプレイ又は有機ELディスプレイのように、表示画面を直接的に表示する態様に限らず、例えば、プロジェクタのように、投影により表示画面を表示する構成であってもよい。
また、操作部22の情報の入力の態様として、押釦スイッチ、タッチパネル及び操作ダイヤル以外の態様を採用してもよい。例えば、操作部22は、キーボード、マウス等のポインティングディバイス、音声入力、ジェスチャ入力又は他の端末からの操作信号の入力等の態様を採用してもよい。
また、牽制処理部14が実行する制限処理は、作業機械3の動作を制限する処理であればよく、作業機械3の動作(旋回動作等)を禁止する(動作不能とする)処理に限らない。制限処理は、例えば、作業機械3の動作(旋回動作等)の速度を減速する処理、作業機械3の動作範囲(旋回角度等)を狭める処理、又は作業機械3の動作の許容エリアを制限する処理等であってもよい。
また、牽制処理部14による牽制処理に係る機能は必須ではなく、牽制処理部14は適宜省略可能である。さらに、そもそも検知部13による検知処理に係る機能は必須ではなく、検知部13は適宜省略可能である。
また、表示処理部11は、表示画面Dp1の第2領域R2に監視エリアA1の撮像画像Im11,Im12,Im13の三画面を表示する三画面表示に加えて又は代えて、一画面表示若しくは二画面表示を行ってもよい。表示処理部11は、一画面表示では、撮像画像Im11,Im12,Im13のうちのいずれか一画面を第2領域R2に表示し、二画面表示では、撮像画像Im11,Im12,Im13のうちのいずれか二画面を第2領域R2に表示する。二画面表示の一例として、表示処理部11は、右方カメラ342で撮像される撮像画像Im12及び後方カメラ343で撮像される撮像画像Im13の二画面を第2領域R2に表示する。撮像画像Im12及び撮像画像Im13は、例えば第2領域R2に左右方向に並べて配置される。
また、作業機械3の周囲の監視エリアA1における検知対象物Ob1を検知するためのセンサは、左方カメラ341、右方カメラ342及び後方カメラ343に限らず、1つ、2つ又は4つ以上のカメラ(イメージセンサ)を含んでもよい。さらに、例えば、全天球カメラ(360度カメラ)のように作業機械3から見て全方位を撮像可能なカメラにて、監視エリアA1における検知対象物Ob1を検知してもよい。また、監視エリアA1における検知対象物Ob1を検知するためのセンサは、カメラに加えて又は代えて、たとえば、人感センサ、ソナーセンサ、レーダ又はLiDAR(Light Detection and Ranging)等のセンサを含んでもよい。ここで、監視エリアA1における検知対象物Ob1を検知するセンサは、光又は音が測距点に到達して戻るまでの往復時間に基づいて測距点までの距離を測定するTOF(Time Of Flight)方式により、検知対象物Ob1までの距離を測定する3次元センサであってもよい。
また、検知対象物Ob1は、「人」に加えて又は代えて、車両等の移動体(他の作業機械を含む)、壁及び柱等の構造物、植物、動物、段差、溝、若しくはその他の障害物を含んでいてもよい。
また、第2表示領域R12が表示画面Dp1において第1表示領域R11の上方に配置されることは必須でなく、例えば、第2表示領域R12が表示画面Dp1において第1表示領域R11の下方に配置されてもよい。表示画面Dp1において、第1表示領域R11と第2表示領域R12との間には隙間が配置されることは必須ではなく、第1表示領域R11と第2表示領域R12とは隙間なく配置されてもよい。
特定画像Im200が、俯瞰画像Im100の一部を構成する撮像画像Im11,Im12,Im13に関する画像であることは必須ではない。例えば、特定画像Im200は、冷却水温及び作動油温等の作業機械3の稼働状態に関する情報であってもよい。さらに、特定画像Im200は、作業機械3の後方側の撮像画像Im13に関する画像でなくてもよく、例えば、作業機械3の左方の撮像画像Im11に関する画像であってもよい。特定画像Im200は、撮像画像Im11,Im12,Im13からの変換態様が、俯瞰画像Im100とは異なる画像であることも必須でなく、俯瞰画像Im100と同じ変換態様であってもよい。
また、切欠領域R13が俯瞰画像Im100において作業機械3の前方に相当する位置に配置されることは必須ではなく、例えば、俯瞰画像Im100において作業機械3の後方に相当する位置に切欠領域R13が配置されてもよい。表示画面Dp1が作業機械3から見た俯瞰画像Im100の撮像範囲の位置関係を表すオブジェクト(アイコンIm10)を含むことも必須ではなく、アイコンIm10は適宜省略されてもよい。
(実施形態2)
本実施形態に係る作業機械3は、図10及び図11に示すように、表示画面Dp1の第2領域R2の表示内容が、実施形態1に係る作業機械3と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
本実施形態では、第2表示領域R12の周縁の少なくとも一部が、第1表示領域R11の周縁の一部に沿って配置される構成ではない。つまり、本実施形態では、第2表示領域R12の周縁の少なくとも一部が、第1表示領域R11の周縁の一部に沿って配置される構成ではない。例えば、図10の例では、第2表示領域R12の周縁は長方形(矩形)を成しており、当該長方形のうちの隣接する一対の角部が、第1表示領域R11の周縁のうちの一対のエッジR111,R112にそれぞれ対向する。また、図11の例では、第2表示領域R12の周縁は六角形を成しているものの、当該六角形のうちの二辺は、第1表示領域R11の周縁のうちの一対のエッジR111,R112に対して傾斜している。このように、第2表示領域R12の周縁の少なくとも一部が第1表示領域R11の周縁の一部に沿って配置されることは、必須ではない。
また、本実施形態では、第1表示領域R11は、表示画面Dp1において、作業機械3の後方に相当する後方基準位置P2から、自機基準位置P1を中心とする周方向の切欠領域R13までの距離は、時計回りと反時計回りとで異なる。すなわち、図10及び図11に示すように、俯瞰画像Im100において作業機械3の後方に相当する位置(自機基準位置P1の真下)に後方基準位置P2を設定した場合、後方基準位置P2からエッジR111までの時計回りの距離L1と、後方基準位置P2からエッジR112までの反時計回りの距離L2とは異なる。図10の例では、後方基準位置P2からエッジR111までの時計回りの距離L1は、後方基準位置P2からエッジR112までの反時計回りの距離L2よりも小さい(L1<L2)。図11の例では、後方基準位置P2からエッジR111までの時計回りの距離L1は、後方基準位置P2からエッジR112までの反時計回りの距離L2よりも大きい(L1>L2)。
このように、俯瞰画像Im100が表示される第1表示領域R11は、表示画面Dp1において左右非対称に構成されている。例えば、作業機械3においては、運転部321が機体30の左右方向D3のいずれか一方側にオフセットしていることがあり、このような場合、俯瞰画像Im100においても本来、左右非対称の画像が生成される。本実施形態の構成によれば、このような左右非対称の俯瞰画像Im100を、実際の位置関係に基づいて表示することが可能である。
実施形態2に係る構成は、実施形態1で説明した種々の構成(変形例を含む)と適宜組み合わせて採用可能である。
〔発明の付記〕
以下、上述の実施形態から抽出される発明の概要について付記する。なお、以下の付記で説明する各構成及び各処理機能は取捨選択して任意に組み合わせることが可能である。
<付記1>
作業機械の周囲の監視エリアの撮像画像を取得することと、
前記撮像画像に基づく俯瞰画像を、表示装置に表示される表示画面のうち、平面視において前記作業機械に相当する自機基準位置から見た周方向の一部が切欠領域として切り欠かれた形状の第1表示領域に表示させることと、
前記表示画面のうち、前記切欠領域内に配置される第2表示領域に、特定画像の少なくとも一部を表示させることと、を有する、
作業機械の制御方法。
<付記2>
前記第2表示領域は、前記表示画面において前記第1表示領域の上方に配置される、
付記1に記載の作業機械の制御方法。
<付記3>
前記表示画面において、前記第1表示領域と前記第2表示領域との間には隙間が配置される、
付記1又は2に記載の作業機械の制御方法。
<付記4>
前記表示画面において、前記第2表示領域の周縁の少なくとも一部は、前記第1表示領域の周縁の一部に沿って配置される、
付記1~3のいずれかに記載の作業機械の制御方法。
<付記5>
前記特定画像は、前記俯瞰画像の一部を構成する前記撮像画像に関する画像である、
付記1~4のいずれかに記載の作業機械の制御方法。
<付記6>
前記特定画像は、前記作業機械の後方側の前記撮像画像に関する画像である、
付記5に記載の作業機械の制御方法。
<付記7>
前記特定画像は、前記撮像画像からの変換態様が、前記俯瞰画像とは異なる画像である、
付記5又は6に記載の作業機械の制御方法。
<付記8>
前記切欠領域は、前記俯瞰画像において前記作業機械の前方に相当する位置に配置される、
付記1~7のいずれかに記載の作業機械の制御方法。
<付記9>
前記表示画面は、前記作業機械から見た前記俯瞰画像の撮像範囲の位置関係を表すオブジェクトを含む、
付記1~8のいずれかに記載の作業機械の制御方法。
<付記10>
前記第1表示領域は、前記表示画面において、前記作業機械の後方に相当する後方基準位置から、前記自機基準位置を中心とする周方向の前記切欠領域までの距離は、時計回りと反時計回りとで異なる、
付記1~9のいずれかに記載の作業機械の制御方法。
<付記11>
付記1~10のいずれかに記載の作業機械の制御方法を、
1以上のプロセッサに実行させるための作業機械用制御プログラム。
1 作業機械用制御システム
2 表示装置
3 作業機械
12 画像取得部
30 機体
111 第1表示処理部
112 第2表示処理部
A1 監視エリア
Dp1 表示画面
Im10 アイコン(オブジェクト)
Im11,Im12,Im13 撮像画像
Im100 俯瞰画像
Im200 特定画像
L1,L2 距離
Ob1 検知対象物
P1 自機基準位置
P2 後方基準位置
R11 第1表示領域
R12 第2表示領域
R13 切欠領域

Claims (13)

  1. 作業機械の周囲の監視エリアの撮像画像を取得することと、
    前記撮像画像に基づく俯瞰画像を、表示装置に表示される表示画面のうち、平面視において前記作業機械に相当する自機基準位置から見た周方向の一部が切欠領域として切り欠かれた形状の第1表示領域に表示させることと、
    前記表示画面のうち、前記切欠領域内に配置される第2表示領域に、特定画像の少なくとも一部を表示させることと、を有する、
    作業機械の制御方法。
  2. 前記第2表示領域は、前記表示画面において前記第1表示領域の上方に配置される、
    請求項1に記載の作業機械の制御方法。
  3. 前記表示画面において、前記第1表示領域と前記第2表示領域との間には隙間が配置される、
    請求項1又は2に記載の作業機械の制御方法。
  4. 前記表示画面において、前記第2表示領域の周縁の少なくとも一部は、前記第1表示領域の周縁の一部に沿って配置される、
    請求項1又は2に記載の作業機械の制御方法。
  5. 前記特定画像は、前記俯瞰画像の一部を構成する前記撮像画像に関する画像である、
    請求項1又は2に記載の作業機械の制御方法。
  6. 前記特定画像は、前記作業機械の後方側の前記撮像画像に関する画像である、
    請求項5に記載の作業機械の制御方法。
  7. 前記特定画像は、前記撮像画像からの変換態様が、前記俯瞰画像とは異なる画像である、
    請求項5に記載の作業機械の制御方法。
  8. 前記切欠領域は、前記俯瞰画像において前記作業機械の前方に相当する位置に配置される、
    請求項1又は2に記載の作業機械の制御方法。
  9. 前記表示画面は、前記作業機械から見た前記俯瞰画像の撮像範囲の位置関係を表すオブジェクトを含む、
    請求項1又は2に記載の作業機械の制御方法。
  10. 前記第1表示領域は、前記表示画面において、前記作業機械の後方に相当する後方基準位置から、前記自機基準位置を中心とする周方向の前記切欠領域までの距離は、時計回りと反時計回りとで異なる、
    請求項1又は2に記載の作業機械の制御方法。
  11. 請求項1又は2に記載の作業機械の制御方法を、
    1以上のプロセッサに実行させるための作業機械用制御プログラム。
  12. 作業機械の周囲の監視エリアの撮像画像を取得する画像取得部と、
    前記撮像画像に基づく俯瞰画像を、表示装置に表示される表示画面のうち、平面視において前記作業機械に相当する自機基準位置から見た周方向の一部が切欠領域として切り欠かれた形状の第1表示領域に表示させる第1表示処理部と、
    前記表示画面のうち、前記切欠領域内に配置される第2表示領域に、特定画像の少なくとも一部を表示させる第2表示処理部と、を備える、
    作業機械用制御システム。
  13. 請求項12に記載の作業機械用制御システムと、
    前記表示装置が搭載される機体と、を備える、
    作業機械。
JP2022176070A 2022-11-02 2022-11-02 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 Pending JP2024066602A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022176070A JP2024066602A (ja) 2022-11-02 2022-11-02 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
KR1020230131464A KR20240062944A (ko) 2022-11-02 2023-10-04 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계
US18/379,087 US20240141622A1 (en) 2022-11-02 2023-10-11 Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
EP23205230.8A EP4365377A1 (en) 2022-11-02 2023-10-23 Work machine control method, work machine control program, work machine control system, and work machine
CN202311437810.9A CN117988414A (zh) 2022-11-02 2023-11-01 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022176070A JP2024066602A (ja) 2022-11-02 2022-11-02 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Publications (1)

Publication Number Publication Date
JP2024066602A true JP2024066602A (ja) 2024-05-16

Family

ID=88511588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022176070A Pending JP2024066602A (ja) 2022-11-02 2022-11-02 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Country Status (5)

Country Link
US (1) US20240141622A1 (ja)
EP (1) EP4365377A1 (ja)
JP (1) JP2024066602A (ja)
KR (1) KR20240062944A (ja)
CN (1) CN117988414A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4847913B2 (ja) * 2007-03-30 2011-12-28 日立建機株式会社 作業機械周辺監視装置
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP6873889B2 (ja) 2017-11-14 2021-05-19 住友重機械工業株式会社 ショベル及びショベルの周囲画像生成装置

Also Published As

Publication number Publication date
EP4365377A1 (en) 2024-05-08
KR20240062944A (ko) 2024-05-09
US20240141622A1 (en) 2024-05-02
CN117988414A (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
JP2024045756A (ja) 作業機械用表示制御システム、作業機械用表示システム、作業機械、作業機械用表示制御方法及び作業機械用表示制御プログラム
KR20230132373A (ko) 작업 기계용 제어 시스템, 작업 기계, 작업 기계의 제어 방법 및 작업 기계용 제어 프로그램
EP4242385A2 (en) Work machine control system, work machine, work machine control method, and work machine control program
JP2024066602A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
EP4286611A1 (en) Work machine control method, work machine control program, work machine control system, and work machine
EP4134493A1 (en) Method for controlling work machine, work machine control program, and work machine control system
US20230407603A1 (en) Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
US20230407604A1 (en) Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
JP7438999B2 (ja) 作業機械用表示制御システム、作業機械用表示システム、作業機械、作業機械用表示制御方法及び作業機械用表示制御プログラム
JP2024069887A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2024004570A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
EP4180585A1 (en) Work machine control method, work machine control program, work machine control system, and work machine
JP2023129874A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129873A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129872A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023129871A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム
JP2023074223A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023074224A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023074222A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023047506A (ja) 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム