JP2024021492A - 作業表面表示システム - Google Patents

作業表面表示システム Download PDF

Info

Publication number
JP2024021492A
JP2024021492A JP2022124343A JP2022124343A JP2024021492A JP 2024021492 A JP2024021492 A JP 2024021492A JP 2022124343 A JP2022124343 A JP 2022124343A JP 2022124343 A JP2022124343 A JP 2022124343A JP 2024021492 A JP2024021492 A JP 2024021492A
Authority
JP
Japan
Prior art keywords
work
work surface
target
shape
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022124343A
Other languages
English (en)
Inventor
一茂 小岩井
Kazushige Koiwai
泰彦 島津
Yasuhiko Shimazu
真大 川本
Masahiro Kawamoto
靖充 武本
Yasumitsu Takemoto
翔 沖本
Sho Okimoto
謙一 寺内
Kenichi Terauchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2022124343A priority Critical patent/JP2024021492A/ja
Publication of JP2024021492A publication Critical patent/JP2024021492A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】作業対象物に対して作業を行うべき範囲を作業者に把握させる。【解決手段】目標形状設定部51は、作業対象物Aの目標形状Atを設定する。検出形状取得部52は、検出形状Adを取得する。目標作業量設定部54は、目標となる作業対象物Aの作業量である目標作業量を設定する。作業表面算出部57は、作業表面W1を算出する。表示処理部58は、作業表面W1を示す表示を表示装置41に行わせる。作業表面W1は、目標形状Atよりも上に検出形状Adがあるとともに、予め設定された差異閾値よりも大きい差異(Ad-At)がある作業対象物Aの範囲であって、目標作業量に応じた量の作業対象物Aを示す範囲である。【選択図】図5

Description

本発明は、作業機械が作業を行う作業表面を表示するための作業表面表示システムに関する。
例えば特許文献1に、作業機械の表示装置に、目標となる作業対象物の形状(同文献における施工設計面情報)を表示する技術が記載されている(同文献の[0038]、図6などを参照)。
特開2017-186901号公報
特許文献1に記載の技術では、目標となる(最終的な)作業対象物の形状は表示される。しかし、作業前や作業中に、作業対象物のどの範囲を作業すればよいかを、作業者が把握するのは困難である。
そこで、本発明は、作業対象物に対して作業を行うべき範囲を作業者に把握させることができる、作業表面表示システムを提供することを目的とする。
作業表面表示システムは、目標形状設定部と、検出形状取得部と、差異算出部と、目標作業量設定部と、作業表面算出部と、表示処理部と、を備える。前記目標形状設定部は、目標形状を設定する。前記目標形状は、作業機械が作業を行う対象である作業対象物の表面形状であって目標となる前記表面形状である。検出形状取得部は、検出された前記表面形状である検出形状を取得する。前記差異算出部は、前記検出形状と前記目標形状との高さの差異を算出する。前記目標作業量設定部は、目標となる前記作業対象物の作業量である目標作業量を設定する。前記作業表面算出部は、作業表面を算出する。前記表示処理部は、前記作業表面を示す表示を表示装置に行わせる。前記作業表面は、前記目標形状よりも上に前記検出形状があるとともに、予め設定された差異閾値よりも大きい前記差異がある前記作業対象物の範囲であって、前記目標作業量に応じた量の前記作業対象物を示す範囲である。
上記構成により、作業表面表示システムは、作業対象物に対して作業を行うべき範囲を作業者に把握させることができる。
作業表面表示システム1の作業機械10などを横から見た図である。 図1に示す作業表面表示システム1のブロック図である。 図2に示すコントローラ50の処理のフローチャートである。 図1に示す画面41bの映像、または運転室11b1から見た前景である。 図1に示す表示装置41による作業表面W1の表示などを示す図である。 図2に示す作業表面算出部57の処理のフローチャートである。 図6に示すステップS21で設定されるメッシュMなどを示す図である。 図9に示す作業位置W1aなどの拡大図である。 図5に示す例よりも狭い作業表面W1を示す図5相当図である。 図5に示す作業表面W1の一部が作業された後の図5相当図である。 図2に示す容器センサ35が検出した容器Cなどを示す図である。 第2実施形態の図5相当図であり、マイナス差異面W2を示す図である。 第2実施形態での、図2に示す作業表面算出部57の処理のフローチャートである。 図4に示す例とは異なる形状の作業対象物Aを示す図4相当図である。 第3実施形態での作業表面W1の表示を示す図である。 第3実施形態での、図2に示す作業表面算出部57の処理のフローチャートである。 図16に示すステップS321で設定されるメッシュMなどを横から見た図である。 図17に示すメッシュMなどを上から見た図である。 図16に示す各段のメッシュMにおける作業表面W1を示す図である。
(第1実施形態)
図1~図11を参照して、第1実施形態の作業表面表示システム1について説明する。
作業表面表示システム1は、図1に示すように、作業者(例えば作業機械10の操作者など)に、作業を行うべき範囲(位置、量)を示す(把握、認識させる)システムである。作業表面表示システム1は、作業機械10と、遠隔操作装置21と、図2に示す表面形状センサ32と、容器センサ35と、姿勢センサ36と、入力装置39と、表示装置41と、コントローラ50と、を備える。
作業機械10は、図1に示すように、作業を行う機械であり、例えば建設作業を行う建設機械であり、例えばショベルである。作業機械10は、運転室11b1(後述)内の作業者(操作者)に操作されてもよく、遠隔操作装置21を操作する作業者(操作者)により遠隔操作(遠隔操縦)されてもよい。作業機械10は、機械本体11と、アタッチメント13と、を備える。
機械本体11は、作業機械10の本体部分である。機械本体11は、下部走行体11aと、上部旋回体11bと、を備える。下部走行体11aは、走行面(地面など)を走行可能である。下部走行体11aは、クローラを備えてもよく、ホイールを備えてもよい。上部旋回体11bは、下部走行体11aに旋回可能に搭載される。上部旋回体11bは、運転室11b1を備える。運転室11b1は、操作者が作業機械10を操作することが可能な部分であり、作業機械10を操作するための操縦席を有する部分である。
アタッチメント13は、作業を行う部分(作業装置)である。アタッチメント13は、例えば、ブーム13aと、アーム13bと、先端アタッチメント13cと、を備える。ブーム13aは、上部旋回体11bに回転(起伏)可能に取り付けられる。アーム13bは、ブーム13aに回転可能に取り付けられる。先端アタッチメント13cは、アタッチメント13の先端部に設けられ、アーム13bに回転可能に取り付けられる。例えば、先端アタッチメント13cは、作業対象物Aを捕捉する作業(具体的には、掘削する作業、すくい取る作業)を行うバケットである。作業対象物Aは、作業機械10の(アタッチメント13の)の作業の対象となる物である。例えば、作業対象物Aは、土状、粒状、チップ状、粉状などである。作業対象物Aは、土砂でもよく、石でもよく、木材でもよく、金属でもよく、樹脂でもよく、廃棄物でもよい。作業対象物Aの上面を、表面Asとする。作業対象物Aが土の場合は、表面Asは、土面である。
遠隔操作装置21は、作業者(操作者)が作業機械10を遠隔操作するための装置である。遠隔操作装置21は、作業機械10の外部に配置される。
表面形状センサ32は、作業対象物Aの表面Asの形状(表面形状)を検出する。表面形状センサ32は、作業対象物Aの表面Asの三次元形状(後述する検出形状Ad)を検出する。例えば、表面形状センサ32は、撮像装置を備える。撮像装置は、距離の情報(奥行きの情報)を有する画像(距離画像)を取得する。撮像装置は、ステレオカメラを備えてもよい。撮像装置は、撮像対象物(ここでは表面As)に電磁波などの波を照射し、反射波を検出することで、撮像対象物までの距離を検出してもよい。撮像装置は、波の照射から反射波が返ってくるまでの時間に基づいて距離を検出するTOF(Time Of Flight)センサを備えてもよく、反射波の周波数に基づいて距離を検出するセンサを備えてもよい。撮像装置は、光(例えばレーザー光)を用いて三次元の情報を検出する装置を備えてもよく、例えばLIDAR(Light Detection and Ranging)を備えてもよい。撮像装置は、電波を用いて三次元の情報を検出する装置(例えばミリ波レーダなど)を備えてもよい。撮像装置は、距離画像と二次元画像とに基づいて、撮像対象物の三次元情報を検出してもよい。撮像装置は、撮像対象物の二次元情報(例えば画像における位置や形状)を検出してもよい。撮像装置は、二次元情報を検出するカメラ(単眼カメラ)を備えてもよい。撮像装置は、1つのみ設けられてもよく、複数設けられてもよい。表面形状センサ32は、作業機械10に搭載されてもよく、作業機械10の外部(例えば作業現場など)に配置されてもよい。作業機械10に搭載されても、作業機械10の外部に配置されてもよいことは、図2に示す容器センサ35、姿勢センサ36、入力装置39、表示装置41、およびコントローラ50についても同様である。
容器センサ35は、容器C(図11参照)(後述)の情報を検出する。例えば、容器センサ35は、容器Cの形状を検出する。容器センサ35は、後述する容器サイズ情報を検出する。例えば、容器センサ35は、撮像装置を備える。この撮像装置は、撮像対象物(ここでは容器C)の三次元形状を検出してもよく、撮像対象物の二次元情報を検出してもよく、三次元形状と二次元情報の両方を検出してもよい。容器センサ35の撮像装置と、表面形状センサ32の撮像装置とは、兼用されてもよい(姿勢センサ36が撮像装置を備える場合も同様)。
姿勢センサ36は、図1に示す作業機械10の姿勢を検出する。例えば、姿勢センサ36(図2参照)は、作業機械10が作業を行う作業現場に対する、作業機械10の位置および向きを検出してもよい。姿勢センサ36は、下部走行体11aに対する上部旋回体11bの旋回角度を検出してもよい。姿勢センサ36は、上部旋回体11bに対するブーム13aの回転角度(起伏角度)を検出してもよい。姿勢センサ36は、ブーム13aに対するアーム13bの回転角度を検出してもよい。姿勢センサ36は、アーム13bに対する先端アタッチメント13cの回転角度を検出してもよい。姿勢センサ36は、角度を検出するセンサ(例えばロータリエンコーダなど)を備えてもよく、水平方向に対する傾斜を検出するセンサを備えてもよく、アタッチメント13を駆動する油圧シリンダのストロークを検出するセンサを備えてもよい。姿勢センサ36は、二次元画像および距離画像の少なくともいずれかに基づいて作業機械10の姿勢を検出してもよい。この場合、二次元画像および距離画像の少なくともいずれかは、撮像装置により撮像されてもよい。
入力装置39(図2参照)は、作業者が情報を入力するための装置である。入力装置39は、作業者の操作に基づいて、コントローラ50(図2参照)に指示(信号の出力)を行う。入力装置39は、作業位置W1a(後述)の指定に用いられてもよく、目標作業量(後述)の指定に用いられてもよい。入力装置39は、目標形状At(後述)の指定に用いられてもよく、目標高さ位置Ath(図17参照)(後述)の指定に用いられてもよい。入力装置39は、運転室11b1内または遠隔操作装置21に設けられてもよい。この場合、入力装置39は、作業機械10を操作するための操作レバーでもよく、その他の入力のための装置(ボタン、スイッチ、タッチパネルなど)などでもよい。入力装置39は、タブレットでもよく、スマートフォンでもよく、パーソナルコンピュータでもよい。入力装置39は、作業機械10の外部の、作業機械10を管理する管理装置などに設けられてもよい。
表示装置41は、作業者に対して、画像を表示する装置である。表示装置41は、作業表面W1(図5参照)(後述)を示す画像を表示する。表示装置41は、マイナス差異面W2(図12、第2実施形態を参照)の画像を表示してもよい。例えば、表示装置41は、投影装置41aを備えてもよく、画面41bを備えてもよい。
投影装置41aは、作業対象物Aに投影を行う。さらに詳しくは、投影装置41aは、現実の作業対象物Aに光を照射することで、作業対象物Aの表面Asに画像を表示する。具体的には例えば、投影装置41aは、プロジェクションマッピングの技術を用いたものである。投影装置41aは、作業機械10に搭載されてもよく、作業機械10の外部(作業現場)に配置されてもよい。
画面41bは、作業者(例えば操作者)に画像を視認させるものである。例えば、画面41bは、AR(Augmented Reality、拡張現実)の技術を用いた装置でもよい。[例A1]画面41bは、運転室11b1内の作業者(作業機械10に実搭乗する作業者)に画像を視認させるものでもよい。[例A1a]画面41bは、光透過型のものでもよい。例えば、画面41bは、運転室11b1の前面部(ガラスなど)に設けられるコンバイナ(ヘッドアップディスプレイ)でもよい。この場合、画面41bは、作業者がコンバイナを介して見た現実の作業対象物Aに、画像が重畳して表示(重畳表示)されるように、画像を表示する。また、画面41bは、作業者が装着する光透過型のARゴーグルなどでもよい。[例A1b]例えば、画面41bは、運転室11b1内に設けられる非光透過型のディスプレイでもよい。この場合、画面41bは、撮像装置が撮影した作業対象物Aの映像(例えば、運転室11b1の前方の映像)に、画像を重畳表示させる。[例A2]画面41bは、遠隔操作装置21で遠隔操作を行う作業者に画像を認識させるものでもよい。例えば、画面41bは、撮像装置が撮影した作業対象物Aの映像(例えば、運転室11b1の前方の映像)に、画像を重畳表示させる。
コントローラ50(図2参照)は、信号の入出力、演算(処理)、情報の記憶などを行うコンピュータである。例えば、図2に示すコントローラ50の機能は、コントローラ50の記憶部に記憶されたプログラムが演算部で実行されることにより実現される。例えば、コントローラ50には、表面形状センサ32、容器センサ35、姿勢センサ36、および入力装置39から信号(検出結果など)が入力される。コントローラ50は、表示装置41の表示の制御を行い(表示処理部58の説明を参照)、表示装置41に信号を出力する。コントローラ50は、作業機械10(図1参照)の作動の制御を行ってもよく、作業機械10の作動の制御を行うものとは別に設けられてもよい。作業機械10が遠隔操作される場合は、コントローラ50には、遠隔操作装置21(図1参照)から、作業機械10を遠隔操作するための信号が入力される。コントローラ50は、目標形状設定部51と、検出形状取得部52と、差異算出部53と、目標作業量設定部54と、容器サイズ取得部55と、作業位置設定部56と、作業表面算出部57と、表示処理部58と、を備える。
このコントローラ50の作動の概要を、図3に示すフローチャートを参照して説明する。この説明では、フローチャートの各ステップ(S11~S90)については図3を参照して説明する。目標形状設定部51(図2参照)は、図1に示す作業対象物Aの目標形状Atを設定する(ステップS11)。検出形状取得部52(図2参照)は、作業対象物Aの検出形状Adを取得する(ステップS12)。差異算出部53(図2参照)は、目標形状Atと検出形状Adとの差異(Ad-At)を算出する(ステップS13)。目標作業量設定部54(図2参照)は、目標作業量を設定する(ステップS14)。作業位置設定部56(図2参照)は、作業位置W1aを設定する(ステップS15)。作業表面算出部57(図2参照)は、差異(Ad-At)(ステップS13)、目標作業量(ステップS14)、および作業位置W1a(ステップS15)に基づいて、作業表面W1(図5参照)を算出する(ステップS20)。表示処理部58(図2参照)は、表示装置41に作業表面W1(図5参照)を表示させる(ステップS90)。
目標形状設定部51(図2参照)は、目標形状Atを設定する。目標形状Atは、作業対象物Aの表面Asの目標となる形状(表面形状)である。目標形状Atは、表面Asの目標となる高さの情報を含む。「高さ」は、鉛直方向における位置である。例えば、目標形状Atは、表面Asの目標となる三次元形状の情報を含んでもよい。例えば、目標形状Atは、面の形状の情報(目標施工面、最終施工面)を含んでもよい。目標形状Atは、平面を含む形状の情報を含んでもよく、曲面を含む形状の情報を含んでもよい。具体的には例えば、目標形状Atは、車両が走行可能となるような平面形状などである。
この目標形状設定部51(図2参照)による目標形状Atの設定は、例えば次のように行われる。[設定例B1]目標形状Atは、目標形状設定部51に予め設定された情報でもよい。例えば、「予め設定された情報」は、作業者(操作者)に対して作業機械10(または作業機械10とは別の機械)の操作を案内(マシンガイダンス)するための三次元形状の情報でもよい。また、例えば、「予め設定された情報」は、作業機械10(または作業機械10とは別の機械)を自動制御(マシンコントロール)するための三次元形状の情報でもよい。[設定例B2]目標形状Atは、何らかの条件に基づいてコントローラ50(図2参照)に自動的に設定されてもよい。例えば、目標形状Atは、作業機械10の周囲の状況(例えば検出形状Adなど)に基づいて、コントローラ50に自動的に設定(算出、決定)されてもよい。[設定例B3]目標形状Atは、作業者による入力装置39(図2参照)の操作に基づいて(手動で)設定されてもよい。例えば、目標形状Atの一例である目標高さ位置Ath(図17参照)を設定するための設定高さの情報が、作業者による入力装置39の操作に基づいて(手動で)設定されてもよい。その結果、目標形状Atが、作業者による入力装置39の操作に基づいて(手動で)設定されてもよい。
検出形状取得部52(図2参照)は、検出形状Adを取得する。検出形状Adは、表面形状センサ32に検出された表面Asの形状である。検出形状Adは、現在の(検出時点での)表面Asの形状である。検出形状Adは、三次元形状の情報を含み、表面Asの高さの情報を含む。例えば、検出形状Adは、距離画像などである。作業対象物Aに対して作業が行われると、検出形状Adは変化する。
差異算出部53(図2参照)は、検出形状Adと目標形状Atとの高さの差異(Ad-At)を算出する。具体的には例えば、差異算出部53は、検出形状Adの高さ(鉛直方向における位置)から、目標形状Atの高さを引いた値を、差異(Ad-At)として算出する。例えば、差異算出部53は、メッシュM(図7参照)(後述)の単位計算範囲(例えば格子)ごとに差異(Ad-At)を算出する。
目標作業量設定部54(図2参照)は、目標作業量を設定する。目標作業量は、目標となる作業対象物Aの作業量である。目標作業量は、作業機械10による(先端アタッチメント13cによる)作業対象物Aの捕捉量の目標量である。目標作業量は、作業機械10が作業対象物Aを掘削し、すくい取る量の目標量である。
この目標作業量設定部54(図2参照)による目標作業量の設定は、例えば次のように行われる。目標作業量は、目標作業量設定部54に予め設定された値(例えば、初期値、固定値など)でもよい。目標作業量は、作業者による入力装置39(図2参照)の操作に基づいて(手動で)設定されてもよい。目標作業量は、何らかの条件に基づいてコントローラ50(図2参照)に自動的に設定されてもよい。
この目標作業量設定部54(図2参照)に設定される目標作業量は、容器C(図11参照)の大きさの情報(後述する容器サイズ情報)に基づいて設定されてもよい。作業機械10が、捕捉した作業対象物Aを容器Cに入れる(解放する、例えば排土する)作業を行う場合、目標作業量は、容器サイズ情報に基づいて設定されることが好ましい。この場合、目標作業量設定部54(図2参照)は、作業機械10による作業対象物Aの捕捉および解放を繰り返す一連の作業において、捕捉および解放する必要のある作業対象物Aの量(必要作業量)を、適切に(正確に、明確に)算出できる。
容器サイズ取得部55(図2参照)は、容器C(図11参照)の容器サイズ情報を取得する。容器Cは、作業機械10に捕捉された作業対象物Aが入れられるものである。容器Cは、車両(ダンプトラックなど)の荷台でもよい。容器Cは、荷台でなくてもよく、地面に埋められたもの(土砂ピットなど)でもよく、荷台以外の地面に置かれたものでもよい。容器サイズ情報は、容器Cの容量(容器Cの内部の体積)の値(数値)でもよい。容器サイズ情報は、容器Cに入れることが可能な作業対象物Aの量(例えば積載量)の制限値(例えば許容値)などでもよい。容器サイズ情報は、容器Cのサイズを算出するための情報を含んでもよい。例えば、容器サイズ情報は、容器Cの寸法および形状の情報を含んでもよく、例えば容器センサ35(例えば撮像装置)に撮像された容器Cの三次元形状の情報を含んでもよい。容器サイズ情報は、容器Cのサイズと関連する情報でもよい。例えば、容器Cが車両の荷台である場合、上記「容器Cのサイズと関連する情報」は、車両の大きさのクラスを表す情報(例えば4tクラス、10tクラスなど)でもよい。
この容器サイズ取得部55(図2参照)は、容器サイズ情報を次のように取得する。容器サイズ取得部55は、容器センサ35が検出した容器サイズ情報を取得してもよい。容器サイズ取得部55は、作業者による入力装置39(図2参照)の操作(例えば車両の大きさのクラスの入力など)に基づいて(手動で)設定されてもよい。
作業位置設定部56(図2参照)は、作業位置W1aを設定する。図5に示すように、作業位置W1aは、作業表面W1(後述)に含まれる位置である。作業位置W1aは、作業表面W1の算出(どの位置を作業表面W1とするかの判定)を開始する位置である。作業位置W1aは、位置を示す情報であり、例えば三次元座標などである。なお、図5に示す画面41bの外枠は、運転室11b1(図1参照)内の作業者(操作者)の視野の範囲を示す枠でもよく、表面形状センサ32(図2参照)の検出範囲を示す枠でもよい。
この作業位置設定部56(図2参照)による作業位置W1aの設定は、例えば次のように行われる。[設定例C1]図4に示す作業位置W1aは、作業者の入力装置39(図2参照)の操作に基づいて設定(手動で指定)されてもよい。この場合、作業者は、任意の位置に作業位置W1aを設定できる。[設定例C1a]作業位置W1aは、アタッチメント13の特定部位の位置に基づいて指定されてもよい。例えば、作業位置W1aは、先端アタッチメント13cの特定部位(例えば先端部、例えばバケット爪先)の位置に基づいて指定されてもよい。この場合、アタッチメント13の特定部位の真下の位置が、作業位置W1aとして設定されてもよい。アタッチメント13の特定部位の位置は、姿勢センサ36(図2参照)に検出されたアタッチメント13(図1参照)の姿勢に基づいて算出される。
この[設定例C1a]での作業位置W1aの設定の具体例は、次の通りである。作業者は、図1に示す作業機械10に実搭乗してアタッチメント13を操作する、または、遠隔操作装置21でアタッチメント13を遠隔操作する。作業者は、この操作により、作業位置W1aとして設定したい位置の真上に、アタッチメント13の特定部位(例えばバケット爪先)を配置させる。そして、作業者は、作業位置W1aを決定するための指示(例えば入力装置39(図2参照)での操作など)をする。そして、作業位置設定部56(図2参照)は、アタッチメント13の特定部位の真下の、作業対象物Aの表面Asの位置を、作業位置W1aとして設定する。
[設定例C1b]作業位置W1aは、作業者による、アタッチメント13の操作とは異なる操作により設定されてもよい。例えば、作業者は、画面41bに表示された作業対象物Aの表面Asの位置を、カーソル操作(例えば十字キー操作など)またはタッチ操作などの手動操作で指定する。また、例えば、作業者は、現実の表面Asの位置、または画面41bに表示された表面Asの位置を、指や目線などで指定する。そして、作業位置設定部56は、指定された位置を、作業位置W1aとして設定してもよい。
[設定例C2]作業位置W1aは、作業位置設定部56(図2参照)により自動的に設定されてもよい。例えば、作業位置設定部56は、検出形状Adに基づいて、作業位置W1aを設定してもよい。例えば、作業位置設定部56は、表面形状センサ32が検出可能な作業対象物Aの範囲内の所定位置に、作業位置W1aを設定してもよい。例えば、作業位置設定部56は、検出形状Adの最も高い部分(最上位点Atop)に、作業位置W1aを設定してもよい。
作業表面算出部57(図2参照)は、図5に示す作業表面W1を算出する。作業表面W1は、作業対象物Aの範囲(位置の範囲)であり、表面Asの範囲である。作業表面W1は、作業機械10に作業されるべき表面Asの範囲である。作業表面W1は、表面Asの三次元位置の情報を含む。作業表面算出部57(図2参照)は、所定の条件(「作業表面W1の条件」という)を満たす範囲を、作業表面W1として設定する。作業表面W1の条件は、例えば次のように設定される。
[条件α1]作業表面W1の条件は、目標形状At(図1参照)よりも上に検出形状Adがあるとともに、予め設定された差異閾値よりも大きい差異(Ad-At)がある範囲であることを含む。差異閾値は、差異(Ad-At)に関する閾値であり、作業表面算出部57(図2参照)に予め(作業表面W1の算出前に)設定される。差異閾値は、0よりも大きい値でもよい。差異閾値は、0でもよい。すなわち、検出形状Adの高さが、目標形状Atの高さ以上の高さであることが、作業表面W1の条件に含まれてもよい。
[条件α2]作業表面W1の条件は、目標作業量に応じた量の作業対象物Aを示す範囲であることを含む。さらに詳しくは、作業表面W1の条件は、作業表面W1の範囲内における、検出形状Adと目標形状At(図1参照)との高さ方向における間の作業対象物Aの量(具体的には体積)が、上記「目標作業量に応じた量」となることを含む。上記「目標作業量に応じた量」は、例えば、目標作業量と一致または略一致する量である。この[条件α2]では、目標形状Atがある一定形状のときに、目標作業量が多いほど作業表面W1が広くなり、目標作業量が少ないほど作業表面W1が狭くなる(図9参照)。
上記[条件α1]を満たす作業対象物Aの量が、目標作業量に達しない場合は、上記[条件α1]を満たす作業対象物Aの領域全体が、作業表面W1として設定されてもよい。この場合の上記[条件α2]の「目標作業量に応じた量」は、上記[条件α1]を満たす作業対象物Aの領域全体の、作業対象物Aの量でもよい。
[条件α3]上記[条件α1]および[条件α2]以外の、作業表面W1の条件が設定されてもよい。例えば、作業表面W1の条件は、表面形状センサ32(図1参照)が検出可能な(撮像装置が撮像可能な)範囲内であることを含んでもよい。作業表面W1の条件は、表示装置41(図1参照)が表示可能な範囲内であることを含んでもよい。具体的には例えば、投影装置41a(図1参照)が投影可能な範囲は、作業対象物Aの形状や、投影装置41aの照射光の強さなどによって限定される。そこで、作業表面W1の条件は、投影装置41aが投影可能な範囲であることを含んでもよい。
この作業表面算出部57は、作業位置W1aを含むように作業表面W1を設定する。作業表面算出部57(図2参照)は、作業表面W1が連続した領域となるように(作業表面W1が散在した領域にならないように)、作業表面W1を設定することが好ましい。例えば、作業表面算出部57は、作業位置W1aに近い位置から順に作業表面W1を設定する(詳細は後述)。
(作業表面W1の算出の具体例)
この作業表面算出部57による作業表面W1の算出の具体例を、図6に示すフローチャートを参照して説明する。以下では、作業表面算出部57については図2を参照し、フローチャートの各ステップについては図6を参照して説明する。この具体例の概要は、次の通りである。作業表面算出部57は、図7に示す作業位置W1aを初期メッシュMsとして指定する(ステップS21、S22)。作業表面算出部57は、指定した単位メッシュ(指定メッシュ)において、目標形状At(図1参照)よりも上に検出形状Adがあるか否かなどを判定する(ステップS31)。ステップS31でYESの場合に、作業表面算出部57は、指定メッシュ内作業対象物量(図6では指定メッシュ内土量)を、総和作業対象物量(図6では総和土量)に積算する(ステップS32)。作業表面算出部57は、ステップS31、S32、S33の処理(計算)を、隣接メッシュでも順次行い(ステップS61参照)、総和作業対象物量が目標作業量に達するまで(ステップS41でYESになるまで)繰り返す。この具体例の詳細は、次の通りである。
ステップS21では、作業表面算出部57は、作業対象物Aの表面Asの検出形状Ad(地表面)にメッシュMを切る(設定する)。作業表面算出部57は、検出形状Adを、多数の単位メッシュ(単位計算範囲)に分ける。単位メッシュの形状およびサイズは様々に設定可能である。単位メッシュは、図7に示す例では正方形であるが、正方形でなくてもよく、台形でもよく、曲線(例えば円弧など)を含む形状などでもよい。例えば、単位メッシュの大きさ(メッシュMの細かさ、粗さ)は、図7に示す例よりも小さくても大きくてもよい(図17~図19に示すメッシュMについても同様)。
ステップS22では、作業表面算出部57は、図7に示すメッシュMから、初期メッシュMsを指定(選択)する。初期メッシュMsは、メッシュM(多数の単位メッシュ)のうち、作業表面W1(図5参照)として設定するか否かの判定(算出)が最初に行われる単位メッシュである。作業表面算出部57は、作業位置設定部56(図2参照)に設定された作業位置W1aを、初期メッシュMsとして指定する。作業表面算出部57に指定されている単位メッシュを、「指定メッシュ」ともいう。
ステップS31では、作業表面算出部57は、差異算出部53(図2参照)に算出された差異(Ad-At)(図1参照)の判定を行う。具体的には、作業表面算出部57は、指定メッシュにおいて、上記[条件α1]が満たされるか否かを判定する。すなわち、作業表面算出部57は、指定メッシュにおいて、目標形状At(図1参照)よりも上に検出形状Adがあり、かつ、差異閾値よりも大きい差異(Ad-At)があるか否か、を判定する。なお、図6のステップS31では、上記[条件α1]が満たされることを、単に「目標形状よりも上に検出形状がある」と記載した。上記[条件α1]が満たされる場合(ステップS31でYESの場合)、作業表面算出部57は、指定メッシュを作業表面W1(図5参照)とする。この場合、作業表面算出部57は、処理のフローをステップS32に進ませる。上記[条件α1]が満たされない場合(ステップS31でNOの場合)、作業表面算出部57は、指定メッシュを作業表面W1(図5参照)としない。この場合、フローはステップS51に進む。
なお、初期メッシュMsにおいて上記[条件α1]が満たされない場合は、作業位置W1aが再設定されてもよい。例えば、コントローラ50(図2参照)は、作業位置W1aを再設定するように作業者に促す通知を、通知装置(例えば表示装置41など)に行わせてもよい。例えば、コントローラ50は、上記[条件α1]が満たされる位置を、初期メッシュMsとしてもよい。
ステップS32では、作業表面算出部57は、指定メッシュ内作業対象物量(図6では指定メッシュ内土量)を、総和作業対象物量(図6では総和土量)に加算(積算)する。上記「指定メッシュ内作業対象物量」は、指定メッシュでの、検出形状Adから目標形状At(図1参照)までの間(高さ方向における間)における、作業対象物Aの量(具体的には体積)である。上記「総和作業対象物量」は、作業表面W1(図5参照)として設定された単位メッシュでの、検出形状Adから目標形状At(図1参照)までの間における作業対象物Aの量(具体的には体積)である。
ステップS33では、作業表面算出部57は、指定メッシュに対応する表面Asの位置(作業表面W1(図5参照)として設定した位置)に、所定の色や模様などを付して表示することを決定する(詳細は後述)。
ステップS41では、作業表面算出部57は、総和作業対象物量(ステップS32参照)が、目標作業量以上であるか否かを判定する。総和作業対象物量が目標作業量以上である場合(ステップS41でYESの場合)、作業表面算出部57は、今回の作業表面W1(図5参照)の算出の処理を終了する。総和作業対象物量が目標作業量以上でない場合(ステップS41でNOの場合)、フローはステップS51に進む。
ステップS51では、作業表面算出部57は、探索(作業表面W1(図5参照)に設定するか否かの判定)が完了したか否かを判定する。例えば、作業表面算出部57は、メッシュMの全体(全ての単位メッシュ)で、作業表面W1に設定するか否かの判定を行った場合に、探索が完了したと判定してもよい。また、例えば、作業表面算出部57は、作業表面W1として設定した単位メッシュに隣接する単位メッシュのすべてが作業表面W1に該当しない場合に、探索が完了したと判定してもよい。例えば、作業表面算出部57は、後述するように渦巻き状に順に単位メッシュを指定する場合がある(図8参照)。この場合は、作業表面算出部57は、渦巻き1周分(または複数周分)の単位メッシュのすべてが作業表面W1に該当しない場合に、探索が完了したと判定してもよい。探索が完了した場合(ステップS51でYESの場合)、作業表面算出部57は、今回の作業表面W1(図5参照)の算出の処理を終了する。探索が完了していない場合(ステップS51でNOの場合)、フローはステップS61に進む。
ステップS61では、作業表面算出部57は、作業表面W1(図5参照)に設定するか否かの判定(ステップS31)を次に行う単位メッシュ(次の指定メッシュ)を指定(選択)する。例えば、作業表面算出部57は、それまで(ステップS51の判定まで)指定していた指定メッシュに隣接する単位メッシュ(隣接メッシュ)を、次の指定メッシュとして指定する。作業表面算出部57は、できるだけ作業位置W1aに近い位置の単位メッシュを、次の指定メッシュとして指定することが好ましい。この場合、作業表面算出部57は、作業位置W1aに近い位置から順に、作業表面W1を設定することになる。そして、作業表面算出部57は、次の指定メッシュについて、作業表面W1(図5参照)として設定するか否かの判定を行う。具体的には、フローはステップS31に戻る。
指定メッシュの指定の順の一例を、図8に示す。同図に示す例では、初期メッシュMsの指定の順は「1」であり、初期メッシュMsの右隣りの単位メッシュの指定の順は「2」であり、この単位メッシュの上隣りの単位メッシュの指定の順は「3」である。同様に、4番目以降に指定される単位メッシュの指定の順を「4」「5」「6」・・・と示した。
具体的には例えば、作業表面算出部57は、作業位置W1aから渦巻き状に順に、指定メッシュを選択する。この「渦巻き状」は、図8に示す例のように四角形の渦巻き状でもよく、長方形の渦巻き状でもよく、正方形の渦巻き状でもよく、菱形などの渦巻き状でもよく、これらの形状に近い形状(略四角形など)の渦巻き状でもよい。また、この「渦巻き状」は、円形状の渦巻き状でもよく、楕円形状の渦巻き状でもよく、これらの形状に近い形状(略円形など)の渦巻き状でもよい。
(作業表面W1の更新)
作業表面算出部57は、図5に示す作業対象物Aでの作業が行われる前に、作業前の検出形状Adに対して作業表面W1を算出する。その後、作業機械10が、作業対象物Aの作業表面W1で(さらに詳しくは、情報としての作業表面W1に対応する、現実の作業対象物Aの位置で)作業を行う。すると、作業対象物Aの検出形状Adが変化する。作業表面算出部57は、作業前の検出形状Adに対する作業表面W1の算出と同様に、作業後(変化後)の検出形状Adに対して作業表面W1を算出する。これにより、作業表面W1が更新される(図6参照)。具体的には例えば、作業表面算出部57は、作業後の検出形状Adに対して、ステップS21~S61(図6参照)の処理を行う。
この作業表面算出部57による作業前の作業表面W1の算出と、作業後の作業表面W1の算出と、の相違点は次の通りである。作業表面算出部57は、作業により捕捉された作業対象物Aの量に基づいて、目標作業量(ステップS41参照)を減算してもよい。具体的には例えば、作業表面算出部57は、作業前の検出形状Adと作業後の検出形状Adとの差に基づいて、作業により捕捉された作業対象物Aの量(完了作業量)を算出する。そして、作業表面算出部57は、目標作業量から、完了作業量を減算してもよい。
表示処理部58(図2参照)は、作業表面W1を示す表示(作業表面W1表示)を表示装置41に行わせる。表示処理部58は、マイナス差異面W2(図12参照)を示す表示を表示装置41に行わせてもよい(第2実施形態を参照)。以下では、表示処理部58については、図2を参照して説明する。図5に示す作業表面W1表示は、作業対象物Aの、どの範囲(位置の範囲)が作業表面W1であるかを示す表示である。作業表面W1表示の位置の表示により、作業すべき位置を作業者に把握させることができる。作業表面W1表示の範囲の広さにより、作業すべき量を作業者に把握させることができる。具体的には例えば、作業表面W1表示は、投影装置41a(図1参照)による表示でもよく、さらに詳しくは、現実の作業対象物Aへの作業表面W1の投影による表示でもよい。また、例えば、作業表面W1表示は、画面41bによる表示でもよく、さらに詳しくは、画面41bに表示された作業対象物Aの表面Asへの作業表面W1の重畳表示でもよい。作業表面W1表示は、特定の色での表示でもよく、特定の模様での表示でもよく、これらを組み合わせた表示でもよい。
(目標作業量に応じた作業表面W1の広さ)
表示処理部58は、目標作業量に基づいて、作業表面W1表示の広さを変える(図5および図9参照)。さらに詳しくは、上記のように、作業表面算出部57は、目標作業量に基づいて作業表面W1を算出する(ステップS41参照)。表示処理部58は、目標形状At(図1参照)がある一定形状のときに、目標作業量が多いほど作業表面W1表示を広くし、目標作業量が少ないほど作業表面W1表示を狭くする(図9参照)。具体的には例えば、容器C(図11参照)の容器サイズ情報に基づいて目標作業量が設定される場合は、表示処理部58は、容器Cが大きいほど作業表面W1表示を広くし、容器Cが小さいほど作業表面W1表示を狭くする(図9参照)。具体的には例えば、容器Cがダンプトラックの荷台である場合について説明する。ダンプトラックが10tクラスの場合は、表示処理部58は、作業表面W1表示を、10t分(さらに詳しくは10tクラスの荷台の容量に応じた量)の広さとする。ダンプトラックが4tクラスの場合は、表示処理部58は、作業表面W1表示を、4t分(さらに詳しくは4tクラスの荷台の容量に応じた量)の広さとする。
(差異(Ad-At)に応じた表示)
表示処理部58は、検出形状Adと目標形状At(図1参照)との差異(Ad-At)に基づいて、表示装置41に行わせる表示を変える。例えば、差異(Ad-At)が差異閾値(上記[条件α1]参照)以下である作業対象物Aの表面Asの範囲を、「作業不要面」とする。作業不要面には、作業対象物Aに対する作業が行われる前から差異(Ad-At)が差異閾値以下である範囲が含まれる。また、作業不要面には、図10に示すように、作業表面W1で作業が行われた結果、作業表面W1から作業不要面となった範囲Astが含まれる。
この表示処理部58は、作業不要面の表示を、作業表面W1の表示とは異なる表示にする。表示処理部58は、作業不要面において、作業表面W1の表示を非表示とすることが好ましい。表示装置41が投影装置41a(図1参照)である場合、表示処理部58は、作業不要面に対応する現実の作業対象物Aの領域に、投影を行わせないことが好ましい。表示装置41が画面41bである場合、表示処理部58は、画面41bに表示された作業対象物Aの作業不要面の範囲に、作業対象物Aを表示させ、色や模様などの重畳表示を行わせないことが好ましい。表示処理部58は、作業表面W1で作業が行われた結果、作業表面W1から作業不要面に変わった範囲Astでは、作業表面W1の表示を消すことが好ましい。
作業不要面において作業表面W1の表示が非表示とされることにより、作業不要面が誤って作業されることが抑制される。この場合、作業機械10の操作者は、表示装置41の作業表面W1の表示を消していくように、作業対象物Aを捕捉する作業を行う。そして、作業表面W1のすべての表示が非表示になると、作業対象物Aが目標形状At(図1参照)になる。
なお、表示処理部58は、作業不要面に、作業表面W1の表示とは異なる色や模様などの表示を行ってもよい。また、表示処理部58は、差異(Ad-At)(図1参照)の大きさに基づいて、作業表面W1の表示(例えば色、模様、透明度など)を変えてもよい。
(第1の発明の効果)
図1に示す作業表面表示システム1による効果は、次の通りである。作業表面表示システム1は、図2に示すように、目標形状設定部51と、検出形状取得部52と、差異算出部53と、目標作業量設定部54と、作業表面算出部57と、表示処理部58と、を備える。目標形状設定部51は、図1に示す目標形状Atを設定する。目標形状Atは、作業機械10が作業を行う対象である作業対象物Aの表面形状(表面Asの形状)であって、目標となる表面形状である。検出形状取得部52(図2参照)は、検出された表面形状である検出形状Adを取得する。差異算出部53(図2参照)は、検出形状Adと目標形状Atとの高さの差異(Ad-At)を算出する。目標作業量設定部54(図2参照)は、目標となる作業対象物Aの作業量である目標作業量を設定する。作業表面算出部57(図2参照)は、図5に示す作業表面W1を算出する。
[構成1]表示処理部58(図2参照)は、作業表面W1を示す表示を表示装置41に行わせる。作業表面W1は、目標形状At(図1参照)よりも上に検出形状Adがあるとともに、予め設定された差異閾値よりも大きい差異(Ad-At)(図1参照)がある作業対象物Aの範囲であって、目標作業量に応じた量の作業対象物Aを示す範囲である。
上記[構成1]により、作業表面表示システム1(図1参照)は、作業対象物Aに対して作業を行うべき範囲(位置および量)を、表示装置41の表示を見た作業者に把握させることができる。
(第2の発明の効果)
[構成2]表示処理部58(図2参照)は、差異(Ad-At)(図1参照)に基づいて、作業表面W1を示す表示を変える。
上記[構成2]により、作業表面表示システム1(図1参照)は、差異(Ad-At)(図1参照)に関する情報を、表示装置41の表示を見た作業者に把握させることができる。
(第3の発明の効果)
[構成3]表示処理部58(図2参照)は、差異(Ad-At)(図1参照)が差異閾値以下である作業対象物Aの範囲(作業不要面)で、作業表面W1を示す表示を非表示とする。
上記[構成3]により、作業表面表示システム1(図1参照)は、差異(Ad-At)(図1参照)が差異閾値以下となっている作業対象物Aの範囲(作業不要面)を、表示装置41の表示を見た作業者に把握させることができる。
その結果、次の効果が得られてもよい。作業不要面で作業対象物Aの作業が行われることが抑制される。また、作業不要面で作業が行われることが抑制されるので、目標形状At(図1参照)が傷つくことを抑制することができる。また、作業不要面で作業が行われることが抑制されるので、無駄な作業を作業機械10(図1参照)が行うことを抑制することができる。
(第6の発明の効果)
[構成6]作業表面表示システム1(図1参照)は、作業位置設定部56(図2参照)を備える。作業位置設定部56は、作業表面W1に含まれる位置である作業位置W1aを設定する。作業位置設定部56は、作業者の操作に基づいて作業位置W1aを設定する。
上記[構成6]により、作業者は、任意の位置に作業位置W1aを設定することができる。よって、作業者が任意の位置に作業位置W1aを設定できない場合に比べ、利便性を向上させることができる。
(第7の発明の効果)
[構成7]作業表面表示システム1(図1参照)は、容器サイズ取得部55(図2参照)を備える。容器サイズ取得部55は、作業機械10に捕捉された作業対象物Aが入れられる容器C(図11参照)の大きさの情報である容器サイズ情報を取得する。目標作業量設定部54(図2参照)は、容器サイズ情報に基づいて目標作業量を設定する。
上記[構成7]により、目標作業量設定部54(図2参照)は、容器サイズ情報に基づいて目標作業量を自動的に設定できる。その結果、目標作業量設定部54は、容器サイズ情報に基づく適切な目標作業量を、自動的に設定できる。また、目標作業量が自動的に設定されるので、目標作業量を作業者が手作業で入力する手間を抑制することができる。
(第8の発明の効果)
[構成8]表示装置41は、作業対象物Aに投影を行う投影装置41a(図1参照)、および、作業者に画像を視認させる画面41b、の少なくともいずれかである。
上記[構成8]により、表示装置41は、作業表面W1を作業者に確実に把握させることができる。
(第11の発明の効果)
[構成11]作業表面表示システム1(図1参照)は、作業位置設定部56(図2参照)を備える。作業位置設定部56は、作業表面W1に含まれる位置である作業位置W1aを設定する。作業表面算出部57は、作業位置W1aに近い位置から順に作業表面W1を設定する(図8参照)。
上記[構成11]により、作業位置W1aに近い位置に作業表面W1が設定されやすく、作業位置W1aから離れた位置に作業表面W1が設定されにくい。その結果、作業表面W1が、作業位置W1aの近くの連続した範囲(散在していない範囲)に設定されやすい。その結果、作業機械10の作業効率が確保されやすい。
(第12の発明の効果)
[構成12]図1に示すように、作業表面表示システム1は、作業機械10を備える。図2に示す目標形状設定部51、検出形状取得部52、差異算出部53、目標作業量設定部54、作業表面算出部57、および表示処理部58は、図1に示す作業機械10に搭載される。
上記[構成12]により、作業表面表示システム1の構成要素を作業機械10の外部に設ける必要性を抑制することができる。
(第2実施形態)
主に図1、図2、図12、および図13を参照して、第2実施形態の作業表面表示システム201について、第1実施形態との相違点を説明する。なお、第2実施形態の作業表面表示システム201のうち、第1実施形態との共通点については、説明を省略する。共通点の説明を省略することについては、後述する第3実施形態の説明も同様である。相違点は、図12に示すマイナス差異面W2の表示などが行われる点である。なお、作業表面算出部57および表示処理部58については図2を参照して説明する。
作業表面算出部57は、図12に示すマイナス差異面W2を算出する。マイナス差異面W2は、作業対象物Aの範囲であり、表面Asの範囲である。マイナス差異面W2は、作業機械10に作業される必要のない表面Asの範囲である。例えば、マイナス差異面W2は、目標形状At(図1参照)に対して過剰に掘削された表面Asである。マイナス差異面W2は、表面Asの三次元位置の情報を含む。作業表面算出部57は、所定の条件(「マイナス差異面W2の条件」という)を満たす範囲を、マイナス差異面W2として設定する。マイナス差異面W2の条件は、例えば次のように設定される。
[条件β1]マイナス差異面W2の条件は、目標形状At(図1参照)よりも下に検出形状Adがあるとともに、予め設定されたマイナス差異閾値よりも大きい差異(|Ad-At|)(図1参照)がある範囲であることを含む。この[条件β1]における差異(|Ad-At|)は、検出形状Adと目標形状Atとの高さの差異の大きさ(絶対値)である。マイナス差異閾値は、差異(|Ad-At|)に関する閾値であり、作業表面算出部57に予め(マイナス差異面W2の算出前に)設定される。マイナス差異閾値は、0でもよく、0よりも大きい値でもよい(上記の差異閾値と同様)。
[条件β2]マイナス差異面W2の条件は、作業表面算出部57が作業表面W1として設定していた状態から、上記[条件β1]の条件を満たす状態に変化したことを含む(図5および図12参照)。さらに詳しくは、マイナス差異面W2の条件は、平面視におけるある位置であって作業表面W1として設定されていた位置において、作業表面W1として設定されていた状態から、上記[条件β1]が満される状態に変化したことを含む。具体的には例えば、図5に示す作業表面W1のある位置で作業対象物Aを捕捉する作業が行われると、表面Asの検出形状Adが低くなる(作業対象物Aが過剰に掘削される)。そして、低くなった表面Asの検出形状Ad(図1参照)が、目標形状Atよりも下になり、上記[条件β1]を満たす状態になる。この場合に、この[条件β2]が満たされる。
[条件β3]上記[条件β1]以外の、マイナス差異面W2の条件が設定されてもよい(具体例は上記[条件α3]と同様)。
(マイナス差異面W2の表示)
表示処理部58(図2参照)は、マイナス差異面W2を示す表示を、作業表面W1を示す表示とは異なる表示にする。表示処理部58は、表示装置41を見た作業者が、マイナス差異面W2と作業表面W1とを容易に見分けることができるように、マイナス差異面W2を示す表示と、作業表面W1を示す表示とを相違させることが好ましい。具体的には例えば、表示処理部58は、マイナス差異面W2を示す表示と、作業表面W1を示す表示とで、色や模様などを相違させる。さらに具体的には、例えば、表示処理部58は、作業表面W1を黄色に色付けする場合に、マイナス差異面W2を青色や紫色などに色付けしてもよい。
マイナス差異面W2がある場合、作業対象物Aを捕捉する作業がそのまま続けられると、捕捉される作業対象物Aの量が、目標作業量よりも多くなる場合がある。マイナス差異面W2が表示されることで、作業対象物Aの量が目標作業量よりも多くなることを、表示装置41の表示を見た作業者に把握させることができる。また、捕捉された作業対象物Aを容器C(図11参照)に入れる作業が行われる場合がある。この場合に、マイナス差異面W2がある場合、作業対象物Aを容器Cに入れる作業がそのまま続けられると、容器Cに入れることが可能な作業対象物Aの量の制限値(例えば許容値)を超えて、作業対象物Aが容器Cに入れられる場合がある。マイナス差異面W2が表示されることで、容器Cに入れられる作業対象物Aの量が制限値を超えることを、表示装置41の表示を見た作業者に把握させることができる。
(マイナス差異面W2がある場合に作業表面W1を減らす処理)
作業表面算出部57は、マイナス差異面W2がある場合に、マイナス差異面W2がない場合に対して、作業表面W1を減らしてもよい。例えば、作業表面算出部57は、マイナス差異面W2における検出形状Adと目標形状At(図1参照)との差異(Ad-At)に基づいて、作業表面W1を減らす。例えば、作業表面算出部57は、目標形状Atに対してマイナス差異面W2が下であるほど(深いほど)、作業表面W1を減らす。
なお、マイナス差異面W2の位置に作業対象物Aが補充(例えば排土)される場合が想定される。この場合は、作業表面算出部57は、マイナス差異面W2における検出形状Adと目標形状At(図1参照)との差異(Ad-At)が小さくなり、この差異(Ad-At)に基づいて作業表面W1を増やしてもよい。また、この場合に、表示処理部58は、マイナス差異面W2の条件が満たされなくなった場合は、マイナス差異面W2の表示を非表示としてもよい。
(マイナス差異面W2に関する処理の具体例)
作業表面算出部57などによる作業表面W1およびマイナス差異面W2の算出の具体例を、図13に示すフローチャートを参照して、図6に示すフローチャートとの相違点を説明する。以下では、各ステップについては図13を参照し、マイナス差異面W2については図12を参照して説明する。
ステップS22において、初期メッシュMs(図7参照)が指定されると、作業表面算出部57は、処理のフローをステップS231に進ませる。
ステップS231では、作業表面算出部57は、差異算出部53(図2参照)に算出された差異(Ad-At)(図1参照)の判定を行う。具体的には、作業表面算出部57は、指定メッシュにおいて、上記「マイナス差異面W2の条件」が満たされるか否かを判定する。なお、図13のステップS231では、図12に示すマイナス差異面W2の条件が満たされるか否かを、「目標形状よりも下に検出形状があるか」と記載した。上記「マイナス差異面W2の条件」が満たされる場合(ステップS231でYESの場合)、作業表面算出部57は、指定メッシュをマイナス差異面W2とする。この場合、フローはステップS233に進む。上記「マイナス差異面W2の条件」が満たされない場合(ステップS231でNOの場合)、作業表面算出部57は、指定メッシュをマイナス差異面W2としない。この場合、フローはステップS31に進む。
ステップS232では、作業表面算出部57は、「指定メッシュ内マイナス量」を、総和作業対象物量(図13では総和土量)に加算(積算)する。上記「指定メッシュ内マイナス量」は、指定メッシュでの、検出形状Adから目標形状At(図1参照)までの間(高さ方向における間)の体積である。ステップS231~S233、およびS31~S61の処理の繰り返しにおいて、指定メッシュ内マイナス量が多いほど、総和作業対象物量が目標作業量に早いタイミングで達する。よって、指定メッシュ内マイナス量が多いほど、作業表面W1として算出される単位メッシュが減り、作業表面W1表示の範囲が狭くなる。
ステップS233では、作業表面算出部57は、指定メッシュに対応する表面Asの位置(マイナス差異面W2として設定した位置)に、所定の色や模様などを付して表示することを決定する。そして、フローはステップS31に進む。
(第4の発明の効果)
図12に示す作業表面表示システム201による効果は、次の通りである。
[構成4]作業表面算出部57(図2参照)は、マイナス差異面W2を算出する。マイナス差異面W2は、作業表面W1として設定していた状態から、下記の条件β1を満たす状態に変化した作業対象物Aの範囲である。上記「条件β1を満たす状態」は、目標形状At(図1参照)よりも下に検出形状Adがあるとともに、予め設定されたマイナス差異閾値よりも大きい差異(|Ad-At|)(図1参照)がある状態である。表示処理部58(図2参照)は、作業表面W1を示す表示とは異なるようにマイナス差異面W2を示す表示を表示装置41に行わせる。
上記[構成4]により、マイナス差異面W2があることを、表示装置41を見た作業者に把握させることができる。よって、作業表面W1の作業対象物Aが過剰に捕捉されたことを、表示装置41を見た作業者に把握させることができる。
(第5の発明の効果)
[構成5]作業表面算出部57(図2参照)は、マイナス差異面W2と目標形状At(図1参照)との差異(Ad-At)に基づいて、作業表面W1を減らす(図13のステップS232、ステップS41を参照)。
上記[構成5]により、次の効果が得られる。作業表面W1の作業対象物Aが過剰に捕捉され、マイナス差異面W2が生じた場合は、マイナス差異面W2が生じていない場合に比べ、その後に捕捉する必要のある作業対象物Aの量が減る。そこで、上記[構成5]では、マイナス差異面W2と目標形状At(図1参照)との差異(Ad-At)に基づいて、作業表面W1が減らされる。よって、作業対象物Aの作業量が適切になるような作業対象物Aを、表示装置41を見た作業者に把握させることができる。
(第3実施形態)
主に図1、図2、図14~図19を参照して、第3実施形態の作業表面表示システム301について、第1実施形態との相違点を説明する。相違点は、目標形状At(図1、図17参照)の設定方法などである。以下では、目標形状設定部51については、図2を参照して説明する。
目標形状設定部51は、図1に示すように、作業対象物Aの最も高い位置(最上位点Atop)から、設定高さだけ低い目標高さ位置Athに、目標形状Atを設定する。「設定高さ」は、目標形状設定部51に設定される。例えば、目標高さ位置Athは、作業後の作業対象物Aの上面としたい高さ方向の目標である。具体的には例えば、図17に示すように、目標高さ位置Athは、下部走行体11aの下面の高さよりも高い位置に設定されてもよい。例えば、図1に示すように、目標高さ位置Athは、下部走行体11aの下面の高さに設定されてもよい。例えば、目標高さ位置Athは、車両を走行させたい高さに設定されてもよい。この場合、作業後の表面Asの高さ位置が、目標高さ位置Athとなり、車両の進入経路が確保され、車両の進入が容易になる。
この目標形状設定部51は、例えば、平面状の目標形状Atの目標高さ位置Athを設定する。例えば、目標形状設定部51は、平面状でない目標形状Atの所定位置の目標高さ位置Athを設定してもよい。以下では、主に、平面状の目標形状Atの目標高さ位置Athが設定される場合について説明する。この目標形状設定部51による目標高さ位置Athの設定は、例えば次のように行われる。
[例D1]目標高さ位置Athは、作業者による入力装置39(図2参照)の操作に基づいて設定(手動で指定)されてもよい。例えば、目標高さ位置Athは、作業対象物Aの最上位点Atopから目標高さ位置Athまでの高さの数値(設定高さ)(具体的には例えば、50cmなど)により指定されてもよい。
この[例D1]では、目標作業量設定部54(図2参照)は、作業位置W1aを含む連続した範囲内(散在していない範囲内)の、目標高さ位置Ath以上の高さ位置の作業対象物Aの量(体積)を、目標作業量としてもよい。そして、作業表面算出部57(図2参照)は、作業位置W1aを含む連続した範囲内の、目標高さ位置Ath以上の高さの表面Asを、作業表面W1として算出する。表示処理部58(図2参照)は、この作業表面W1を表示装置41に表示させる(図15参照)。
[例D2]目標高さ位置Athは、目標作業量設定部54(図2参照)に設定された目標作業量に基づいて設定されてもよい。例えば、目標作業量が多いほど目標高さ位置Athが低く設定され、目標作業量が少ないほど目標高さ位置Athが高く設定される。上記のように、目標作業量は、手動により設定されてもよく、容器C(図11参照)の容器サイズ情報などに基づいて自動的に設定されてもよい。その結果、目標作業量に基づいて設定される目標高さ位置Athは、手動により設定されてもよく、容器サイズ情報などに基づいて自動的に設定されてもよい。例えば、作業者が、目標作業量は把握しているが、目標高さ位置Athを把握していない場合がある。この場合でも、作業者が入力装置39(図2参照)に目標作業量を入力すれば、目標形状設定部51が、目標作業量に基づいて自動的に目標高さ位置Athを算出できる。
この[例D2]では、作業表面算出部57(図2参照)は、図15に示すように、作業位置W1aを含む連続した範囲内の、目標作業量に応じた目標高さ位置Ath(図17参照)以上の高さ位置の表面Asを、作業表面W1として算出する(図14も参照)。表示処理部58(図2参照)は、この作業表面W1を表示装置41に表示させる。この例では、どの高さまで作業対象物Aを作業すれば、作業量が目標作業量になるかを、表示装置41の表示を見た作業者に把握させることができる。
(目標高さ位置Athに基づく作業表面W1の算出の具体例)
図17に示す目標高さ位置Athに基づく作業表面W1の、作業表面算出部57による算出の具体例を、図16に示すフローチャートを参照して、主に図6に示すフローチャートとの相違点を説明する。作業表面算出部57については図2を参照して説明する。
ステップS321(図6のステップS21に対応)では、作業表面算出部57は、検出形状Adを多数の単位メッシュに分ける(図7、図18参照)。さらに、作業表面算出部57は、図17に示すように、検出形状Adを、高さ方向にも複数段のメッシュMに分ける。例えば、最も上のメッシュMから順に、1段目のメッシュM1、2段目のメッシュM2・・・とする。例えば、作業表面算出部57は、作業位置W1aから最も近い最上位点Atopの高さを1段目のメッシュM1としてもよい。メッシュMの段数は、検出形状Adの高さなどに基づいて様々に設定され、図17に示す例では1段目から5段目までの5段のメッシュMが設定される。
ステップS322(図6のステップS22に対応)では、作業表面算出部57は、初期メッシュMs(図18参照)を指定する。初期メッシュMsは、1段目のメッシュM1に設定される。作業位置設定部56(図2参照)に設定された作業位置W1aが、1段目のメッシュM1に存在する場合は、作業表面算出部57は、この作業位置W1aを初期メッシュMs(図18参照)とする。例えば、作業位置W1aが、1段目よりも下のメッシュM(M2~M5)に存在する場合は、コントローラ50は、作業位置W1aを再設定するように作業者に促す通知を、通知装置(例えば表示装置41など)に行わせてもよい。また、例えば、作業位置W1aが、1段目よりも下のメッシュM(M2~M5)に存在する場合は、作業表面算出部57は、作業位置W1aに最も近い最上位点Atopを含む単位メッシュを初期メッシュMsとしてもよい。
ステップS331(図6のステップS31に対応)では、作業表面算出部57は、図19に示すように、指定段の指定メッシュを作業表面W1とするか否かを判定する。「指定段」は、作業表面算出部57に指定されているメッシュMの段である。作業表面W1とするか否かの判定の具体例は、上記のステップS31(図6参照)と同様である。
ステップS332(図6のステップS32に対応)では、作業表面算出部57は、指定段の指定メッシュ内の作業対象物Aの量(図16では指定段の指定メッシュ内土量)を、総和作業対象物量(図16では総和土量)に積算する。
ステップS333(図6のステップS33に対応)では、作業表面算出部57は、指定段の指定メッシュに対応する表面Asの位置(作業表面W1(図15参照)として設定した位置)に、所定の色や模様などを付して表示することを決定する(詳細は後述)。そして、フローはステップS41に進む。
ステップS351(図6のステップS51に対応)では、作業表面算出部57は、全ての段のメッシュMにおいて、作業表面W1(図15参照)に設定するか否かの判定(探索)を完了したか否かを判定する。探索の具体例は上記のステップS51(図6参照)と同様である(次のステップS352の探索も同様)。
ステップS352では、全ての段のメッシュMでの探索が完了していない場合(ステップS351でNOの場合)に、作業表面算出部57は、指定段での探索が完了したか否かを判定する。指定段での探索が完了していない場合(ステップS352でNOの場合)、作業表面算出部57は、現在の指定段の、次の指定メッシュを指定する(ステップS61)。この場合、作業表面算出部57は、指定段を変更しない。作業表面算出部57は、例えば渦巻き状に順に指定メッシュを選択する(選択の順の例は、図19において一点鎖線で示す矢印を参照)。そして、フローはステップS331に戻る。指定段での探索が完了した場合(ステップS352でYESの場合)、フローはステップS353に進む。
ステップS353では、作業表面算出部57は、指定段を次の段に変更する。「次の段」は、ステップS353の処理の直前の指定段(探索が完了した指定段)の一つ下の段である。また、作業表面算出部57は、図19に示すように、「次の段」の初期メッシュMsを指定する。「次の段」の初期メッシュMsは、ステップS353の処理の直前の指定段における初期メッシュMsの真下の単位メッシュなどである。そして、フローはステップS331に戻る。
図19に示す例では、目標高さ位置Athは、4段目のメッシュM4と5段目のメッシュM5との間に設定される。この例では、作業表面算出部57は、1段目から4段目までの作業対象物Aを作業表面W1とし、5段目(最終段、最も下の段)の作業対象物Aを作業表面W1としない。なお、図17~図19では、単位メッシュの大きさ(メッシュMの細かさ、粗さ)を、作業機械10や作業対象物Aの大きさに対して、大きく(メッシュMを粗く)記載した。
(目標高さ位置Athに基づく作業表面W1の表示など)
表示処理部58(図2参照)は、目標高さ位置Athに基づく作業表面W1を、例えば次のように表示装置41(図15参照)に表示させる。作業対象物Aの表面Asが作業表面W1として算出されている場合、表示処理部58は、この表面Asを作業表面W1として表示装置41に表示させる(第1実施形態と同様)。また、作業対象物Aの内部(表面Asではない内部)の単位メッシュを、「内部単位メッシュ」とする。この内部単位メッシュが作業表面W1として算出された場合に、内部単位メッシュの真上の単位メッシュも作業表面W1として算出されている場合がある。この場合、内部単位メッシュの真上の表面Asを作業表面W1として表示することを、内部単位メッシュでの作業表面W1の表示としてもよい。また、作業対象物Aを捕捉する作業が行われることで、この作業が行われる前まで作業対象物Aの内部であった単位メッシュの位置が、表面Asの位置に変わる場合がある。この場合、この単位メッシュの位置(内部単位メッシュであった位置)において、表示処理部58は、作業表面W1の表示を表示装置41に行わせる。
(第9の発明の効果)
図17に示す作業表面表示システム301による効果は、次の通りである。
[構成9]目標形状設定部51(図2参照)は、作業対象物Aの最も高い位置(最上位点Atop)から、目標形状設定部51に設定された設定高さだけ低い目標高さ位置Athに、目標形状Atを設定する。
上記[構成9]により、図15に示すように、作業対象物Aを目標高さ位置Ath(図17参照)まで捕捉するための、作業を行うべき範囲(位置および量)を、表示装置41の表示を見た作業者に把握させることができる。
(第10の発明の効果)
[構成10]目標形状設定部51(図2参照)は、目標作業量に基づいて、図17に示す目標高さ位置Athを設定する。
上記[構成10]により、目標作業量に応じた適切な高さに、目標高さ位置Athを設定することができる。
(その他の変形例)
上記の各実施形態は様々に変形されてもよい。例えば、上記の各実施形態の構成要素(変形例を含む)どうしが様々に組み合わされてもよい。例えば、構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。例えば、構成要素どうしの固定や連結などは、直接的でも間接的でもよい。例えば、図2に示す各構成要素の接続(情報の入出力の流れ)は変更されてもよい。構成要素の配置は変更されてもよい。例えば、構成要素の包含関係は様々に変更されてもよい。例えば、ある上位の構成要素に含まれる下位の構成要素として説明したものが、この上位の構成要素に含まれなくてもよく、他の構成要素に含まれてもよい。例えば、互いに異なる複数の部材や部分として説明したものが、一つの部材や部分とされてもよい。例えば、一つの部材や部分として説明したものが、互いに異なる複数の部材や部分に分けて設けられてもよい。例えば、各種パラメータ(設定値、閾値、範囲など)は、コントローラ50などに予め設定されてもよく、作業者の手動操作(入力装置39の操作)により直接的に設定されてもよい。各種パラメータは、作業者の手動操作により設定された情報に基づいてコントローラ50に算出されてもよく、センサ(撮像装置など)に検出された情報に基づいてコントローラ50に算出されてもよい。例えば、各種パラメータは、変えられなくてもよく、手動操作により変えられてもよく、何らかの条件に基づいてコントローラ50が自動的に変えてもよい。例えば、図3、6、13、および16に示すフローチャートのステップの順序が変更されてもよく、ステップの一部が行われなくてもよく、互いに異なるフローチャートのステップどうしが組み合わされてもよい。例えば、各構成要素は、各特徴(作用機能、配置、形状、作動など)の一部のみを有してもよい。
1、201、301 作業表面表示システム
10 作業機械
41 表示装置
41a 投影装置
41b 画面
51 目標形状設定部
52 検出形状取得部
53 差異算出部
54 目標作業量設定部
55 容器サイズ取得部
56 作業位置設定部
57 作業表面算出部
58 表示処理部
A 作業対象物
Ad 検出形状
As 表面
At 目標形状
Ath 目標高さ位置
C 容器
W1 作業表面
W1a 作業位置
W2 マイナス差異面

Claims (12)

  1. 作業機械が作業を行う対象である作業対象物の表面形状であって目標となる前記表面形状である目標形状を設定する目標形状設定部と、
    検出された前記表面形状である検出形状を取得する検出形状取得部と、
    前記検出形状と前記目標形状との高さの差異を算出する差異算出部と、
    目標となる前記作業対象物の作業量である目標作業量を設定する目標作業量設定部と、
    作業表面を算出する作業表面算出部と、
    前記作業表面を示す表示を表示装置に行わせる表示処理部と、
    を備え、
    前記作業表面は、前記目標形状よりも上に前記検出形状があるとともに、予め設定された差異閾値よりも大きい前記差異がある前記作業対象物の範囲であって、前記目標作業量に応じた量の前記作業対象物を示す範囲である、
    作業表面表示システム。
  2. 請求項1に記載の作業表面表示システムであって、
    前記表示処理部は、前記差異に基づいて、前記作業表面を示す表示を変える、
    作業表面表示システム。
  3. 請求項2に記載の作業表面表示システムであって、
    前記表示処理部は、前記差異が前記差異閾値以下である前記作業対象物の範囲で、前記作業表面を示す表示を非表示とする、
    作業表面表示システム。
  4. 請求項1に記載の作業表面表示システムであって、
    前記作業表面算出部は、前記作業表面として設定していた状態から、前記目標形状よりも下に前記検出形状があるとともに、予め設定されたマイナス差異閾値よりも大きい前記差異がある状態に変化した前記作業対象物の範囲であるマイナス差異面を算出し、
    前記表示処理部は、前記作業表面を示す表示とは異なるように前記マイナス差異面を示す表示を前記表示装置に行わせる、
    作業表面表示システム。
  5. 請求項4に記載の作業表面表示システムであって、
    前記作業表面算出部は、前記マイナス差異面と前記目標形状との前記差異に基づいて、前記作業表面を減らす、
    作業表面表示システム。
  6. 請求項1に記載の作業表面表示システムであって、
    前記作業表面に含まれる位置である作業位置を設定する作業位置設定部を備え、
    前記作業位置設定部は、作業者の操作に基づいて前記作業位置を設定する、
    作業表面表示システム。
  7. 請求項1に記載の作業表面表示システムであって、
    前記作業機械に捕捉された前記作業対象物が入れられる容器の大きさの情報である容器サイズ情報を取得する容器サイズ取得部を備え、
    前記目標作業量設定部は、前記容器サイズ情報に基づいて前記目標作業量を設定する、
    作業表面表示システム。
  8. 請求項1に記載の作業表面表示システムであって、
    前記表示装置は、前記作業対象物に投影を行う投影装置、および、作業者に画像を視認させる画面、の少なくともいずれかである、
    作業表面表示システム。
  9. 請求項1に記載の作業表面表示システムであって、
    前記目標形状設定部は、前記作業対象物の最も高い位置から、前記目標形状設定部に設定された設定高さだけ低い目標高さ位置に、前記目標形状を設定する、
    作業表面表示システム。
  10. 請求項9に記載の作業表面表示システムであって、
    前記目標形状設定部は、前記目標作業量に基づいて、前記目標高さ位置を設定する、
    作業表面表示システム。
  11. 請求項1に記載の作業表面表示システムであって、
    前記作業表面に含まれる位置である作業位置を設定する作業位置設定部を備え、
    前記作業表面算出部は、前記作業位置に近い位置から順に前記作業表面を設定する、
    作業表面表示システム。
  12. 請求項1~11のいずれか1項に記載の作業表面表示システムであって、
    前記作業機械を備え、
    前記目標形状設定部、前記検出形状取得部、前記差異算出部、前記目標作業量設定部、前記作業表面算出部、および前記表示処理部は、前記作業機械に搭載される、
    作業表面表示システム。
JP2022124343A 2022-08-03 2022-08-03 作業表面表示システム Pending JP2024021492A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022124343A JP2024021492A (ja) 2022-08-03 2022-08-03 作業表面表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022124343A JP2024021492A (ja) 2022-08-03 2022-08-03 作業表面表示システム

Publications (1)

Publication Number Publication Date
JP2024021492A true JP2024021492A (ja) 2024-02-16

Family

ID=89855054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022124343A Pending JP2024021492A (ja) 2022-08-03 2022-08-03 作業表面表示システム

Country Status (1)

Country Link
JP (1) JP2024021492A (ja)

Similar Documents

Publication Publication Date Title
JP6456173B2 (ja) 車体外部移動物体検知装置
JP6096980B2 (ja) 施工情報表示装置および施工情報の表示方法
JP6827123B2 (ja) 作業機械
CA3029812C (en) Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
US11874659B2 (en) Information system for a working machine
US11414839B2 (en) Display control device and method for generating target line or control line of work machine
KR20150066212A (ko) 화면모드 선택 장치 및 방법
US20210140147A1 (en) A working machine provided with an image projection arrangement
WO2019124520A1 (ja) 作業機械
WO2021066023A1 (ja) 制御装置、作業機械および制御方法
CN114144555B (zh) 挖土机及挖土机的显示装置
JP2019132062A (ja) 建設機械
WO2021010258A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
US20230407605A1 (en) Design generation for earth-moving operations
JP2024021492A (ja) 作業表面表示システム
CN115956150A (zh) 作业机械的障碍物报告系统和作业机械的障碍物报告方法
JP7329928B2 (ja) 作業機械
WO2023136326A1 (ja) 作業機械
JP7428588B2 (ja) 建設車両用映像表示システム
WO2024058017A1 (ja) 画像生成装置、操作支援システム
WO2022168447A1 (ja) 自動作業システム
JP2023074395A (ja) 作業システム
JP2023120743A (ja) 表示制御装置、及び遠隔操作装置