JP7488753B2 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
JP7488753B2
JP7488753B2 JP2020192730A JP2020192730A JP7488753B2 JP 7488753 B2 JP7488753 B2 JP 7488753B2 JP 2020192730 A JP2020192730 A JP 2020192730A JP 2020192730 A JP2020192730 A JP 2020192730A JP 7488753 B2 JP7488753 B2 JP 7488753B2
Authority
JP
Japan
Prior art keywords
shovel
environmental map
work machine
image
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020192730A
Other languages
English (en)
Other versions
JP2022081286A (ja
Inventor
平 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2020192730A priority Critical patent/JP7488753B2/ja
Publication of JP2022081286A publication Critical patent/JP2022081286A/ja
Application granted granted Critical
Publication of JP7488753B2 publication Critical patent/JP7488753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、作業機械の周辺監視装置に関する。
例えば、カメラや距離センサ等の周辺監視センサの出力データを用いて、作業機械の周辺の物体に関する情報をオペレータ等のユーザに向けて表示する技術が知られている(特許文献1参照)。
特許文献1では、作業機械としてのショベルのキャビン内の表示装置に、カメラの画像データに基づくショベルの周辺画像が表示されると共に、周辺画像におけるショベルの周辺の物体の位置にマーカが重畳して表示される。
国際公開第2018/151280号
しかしながら、周辺監視センサのデータから認識される作業機械の周辺の物体に関する情報の中には、ユーザにとって重要度が相対的に低い物体に関する情報が含まれうる。例えば、施工現場の上空に施工管理用のドローンが作業機械よりも十分に高い位置を飛行している場合、ドローンが作業機械の作業に影響を与える可能性は低く、このようなドローンに関する情報は、ユーザにとって相対的に重要度が低くなる。そのため、一律に、作業機械の周辺の物体に関する情報がユーザに向けて表示されると、ユーザにとって相対的に重要度が低い情報の表示であっても、その情報の確認により作業機械の作業が中断され、作業効率が低下する等の影響が生じる可能性がある。
そこで、上記課題に鑑み、作業機械の周辺の物体に関する情報をユーザに向けてより適切に表示することが可能な技術を提供することを目的とする。
上記目的を達成するため、本開示の一実施形態では、
周辺監視センサにより取得される作業機械の周辺の三次元空間のデータに基づき、前記作業機械が移動する平面に相当する二次元の環境地図をユーザに向けて表示する表示部を備え、
前記表示部は、前記周辺監視センサにより取得されるデータの中に前記作業機械の周辺に物体が存在することを表すデータが存在しても、その物体に関する情報を前記環境地図上に表示しない場合がある、
周辺監視装置が提供される。
上述の実施形態によれば、作業機械の周辺の物体に関する情報をユーザに向けてより適切に表示することができる。
ショベル管理システムの一例を示す図である。 ショベルの上面図である。 周辺監視装置の構成の一例を示すブロック図である。 環境地図生成部による地図生成処理の第1例を概略的に示すフローチャートである。 ショベルの姿勢状態の一例を示す図である。 ショベルと周辺の物体との位置関係の一例を示す図である。 ショベルと周辺の物体との位置関係の一例を示す図である。 表示装置に表示される環境地図画像の第1例を示す図である。 表示装置に表示される環境地図画像の第2例を示す図である。 ショベルと周辺の物体との位置関係の他の例を示す図である。 表示装置に表示される環境地図画像の第3例を示す図である。 表示装置に表示される環境地図画像の第4例を示す図である。 環境地図生成部による地図生成処理の第2例を概略的に示すフローチャートである。 物体からの距離と占有確率との関係の一例を示す図である。 表示装置に表示される環境地図画像の第5例を示す図である。 表示装置に表示される環境地図画像の第6例を示す図である。 表示装置に表示される環境地図画像の第7例を示す図である。 表示装置に表示される環境地図画像の第8例を示す図である。 表示装置に表示される環境地図画像の第9例を示す図である。 環境地図生成部による地図生成処理の第3例を概略的に示すフローチャートである。 環境地図生成部による地図生成処理の第4例を概略的に示すフローチャートである。 表示装置に表示される環境地図画像の第10例を示す図である。 表示装置に表示される環境地図画像の第11例を示す図である。 環境地図生成部による地図生成処理の第5例を概略的に示すフローチャートである。 ショベルと周辺の物体との位置関係の更に他の例を示す図である。 ショベルと周辺の物体との位置関係の更に他の例を示す図である。 表示装置に表示される環境地図画像の第12例を示す図である。 環境地図生成部による地図生成処理の第6例を概略的に示すフローチャートである。 表示装置に表示される環境地図画像の第13例を示す図である。
以下、図面を参照して実施形態について説明する。
[ショベル管理システム]
まず、図1、図2を参照して、本実施形態に係るショベル管理システムSYSについて説明をする。
図1は、本実施形態に係るショベル管理システムSYSの一例を示す図である。図1において、ショベル100は、左側面図が示される。また、図2は、ショベル100の上面図である。
ショベル管理システムSYSは、ショベル100と、管理装置200とを含む。
ショベル管理システムSYSは、例えば、管理装置200等を用いて、ショベル100の稼働状況や運用状況等の監視(管理)を行う。また、ショベル管理システムSYSは、例えば、管理装置200等を用いて、ショベル100の遠隔操作や自動運転等を支援してもよい。
ショベル管理システムSYSに含まれるショベル100は、一台であってもよいし、複数台であってもよい。また、ショベル管理システムSYSに含まれる管理装置200は、一つであってもよいし、複数であってもよい。
<ショベルの概要>
ショベル100(作業機械の一例)は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、ブーム4、アーム5、及び、バケット6を含むアタッチメントと、キャビン10とを備える。
ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、下部走行体1(即ち、左右のクローラ一対のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させる。
また、ショベル100は、キャビン10に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベル100の外部から遠隔操作(リモート操作)が可能に構成されてもよい。ショベル100が遠隔操作される場合、キャビン10の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン10のオペレータの操作装置26に対する操作、及び外部のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。
遠隔操作には、例えば、所定の外部装置で行われるショベル100のアクチュエータに関する操作入力によって、ショベル100が操作される態様が含まれる。所定の外部装置は、例えば、管理装置200である。この場合、ショベル100は、例えば、後述の通信装置70を通じて、後述の撮像装置40が出力する撮像画像に基づくショベル100の前方を含む周辺の様子を表す画像情報(以下、「周辺画像」)を外部装置に送信してよい。そして、外部装置は、自装置に設けられる表示装置(以下、「遠隔操作用表示装置」)に受信される画像情報(周辺画像)を表示させてよい。また、ショベル100のキャビン10の内部の表示装置50に表示される各種の情報画像(情報画面)は、同様に、外部装置の遠隔操作用表示装置にも表示されてよい。これにより、外部装置のオペレータは、例えば、遠隔操作用表示装置に表示されるショベル100の周辺の様子を表す画像情報や情報画面等の表示内容を確認しながら、ショベル100を遠隔操作することができる。そして、ショベル100は、通信装置70により外部装置から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体1(クローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してよい。
また、遠隔操作には、例えば、ショベル100の周囲の人(例えば、作業者)のショベル100に対する外部からの音声入力やジェスチャ入力等によって、ショベル100が操作される態様が含まれてよい。具体的には、ショベル100は、ショベル100(自機)に搭載される音声入力装置(例えば、マイクロフォン)やジェスチャ入力装置(例えば、撮像装置)等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル100は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してもよい。
また、ショベル100は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル100は、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素の少なくとも一部を自動で動作させる機能(いわゆる「自動運転機能」或いは「MC(Machine Control:マシンコントロール)機能」)を実現する。
自動運転機能には、オペレータの操作装置26に対する操作や遠隔操作に応じて、操作対象の被駆動要素(アクチュエータ)以外の被駆動要素(アクチュエータ)を自動で動作させる機能(いわゆる「半自動運機能」或いは「操作支援型MC機能」)が含まれてよい。また、自動運転機能には、オペレータの操作装置26に対する操作や遠隔操作がない前提で、複数の被駆動要素(アクチュエータ)の少なくとも一部を自動で動作させる機能(いわゆる「完全自動運転機能」或いは「全自動型MC機能」)が含まれてよい。ショベル100において、完全自動運転機能が有効な場合、キャビン10の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素(アクチュエータ)の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル100が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素(アクチュエータ)の動作内容が決定される態様(いわゆる「自律運転機能」)が含まれてもよい。
下部走行体1は、例えば、左右一対のクローラ1C(左側のクローラ1CL及び右側のクローラ1CR)を含み、クローラ1CL,1CRがそれぞれに対応する走行油圧モータ1Mで油圧駆動されることにより、自走する。
上部旋回体3は、旋回油圧モータ2Aで旋回機構2が油圧駆動されることにより、下部走行体1に対して旋回する。
ブーム4は、上部旋回体3の前部中央に俯仰可能に取り付けられ、ブーム4の先端には、アーム5が上下回動可能に取り付けられ、アーム5の先端には、バケット6が上下回動可能に取り付けられる。
バケット6は、エンドアタッチメントの一例であり、ショベル100の作業内容に応じて、適宜交換可能な態様で、アーム5の先端に取り付けられている。つまり、アーム5の先端には、バケット6に代えて、バケット6とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム5の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム5と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが設けられてもよい。
ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
キャビン10は、オペレータが搭乗し、ショベル100を操作するための操縦室であり、例えば、上部旋回体3の前部左側に搭載される。
上部旋回体3には、その上面に、撮像装置40及び距離センサ45が搭載される。
また、上部旋回体3には、ショベル100の動力源が搭載される。ショベル100の動力源には、例えば、所定の燃料(例えば、軽油)で稼働するエンジン11(例えば、ディーゼルエンジン等)が含まれる。また、ショベル100の動力源には、エンジン11に代えて、或いは、加えて、蓄電装置(例えば、キャパシタやリチウムイオンバッテリ等)或いはケーブルで接続される外部の電源から供給される電力で稼働する電動機等が含まれてもよい。
また、上部旋回体3には、メインポンプ14、パイロットポンプ15、及びコントロールバルブ17等の各種の油圧機器が搭載される。
メインポンプ14は、エンジン11や電動機等の動力源で駆動され、コントローラ30の制御下で、各種の油圧アクチュエータに作動油を供給する。油圧アクチュエータには、上述の走行油圧モータ1M、旋回油圧モータ2Aの他、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等が含まれる。
パイロットポンプ15は、エンジン11や電動機等の動力源で駆動され、油圧パイロット式の各種油圧機器(例えば、操作装置26やコントロールバルブ17等)に作動油を供給する。
尚、パイロットポンプ15は、省略されてもよい。この場合、油圧パイロット式の各種油圧機器には、メインポンプ14から吐出される作動油が減圧された上で供給されてよい。
コントロールバルブ17は、被駆動要素(油圧アクチュエータ)の操作状態に応じて、メインポンプ14から吐出される作動油をそれぞれの油圧アクチュエータに選択的に供給し、油圧アクチュエータに供給される作動油の流量及び流れの方向を調整する。例えば、コントロールバルブ17は、それぞれの油圧アクチュエータに供給される作動油の方向及び流量を制御する複数の制御弁(方向切換弁)等により構成されてよい。コントロールバルブ17は、例えば、油圧駆動式(油圧パイロット式)であり、それぞれの油圧アクチュエータの操作内容や自動運転機能に対応する操作指令に応じたパイロット圧が入力される。これにより、入力されるパイロット圧に応じて、それぞれの油圧アクチュエータに対応する制御弁(方向切換弁)が油圧駆動される。また、コントロールバルブ17は、例えば、電磁ソレノイド式等の電磁駆動式であってもよく、操作装置26の操作内容や自動運転機能に対応する操作指令に応じた電気信号が入力される。これにより、入力される電気信号に応じて、それぞれの油圧アクチュエータに対応する制御弁(方向切換弁)が電磁駆動される。
キャビン10の内部には、例えば、操作装置26、コントローラ30、表示装置50、入力装置52、音出力装置54等が設けられる。また、キャビン10の上面には、例えば、通信装置70が設けられる。
尚、通信装置70は、キャビン10の内部に設けられてもよいし、キャビン10とは異なる上部旋回体3の部位に設けられてもよい。
操作装置26は、下部走行体1、上部旋回体3、アタッチメント(ブーム4、アーム5、及びバケット6)等のアクチュエータ(具体的には、油圧アクチュエータ)で駆動される被駆動要素を操作するために用いられる。換言すれば、操作装置26は、被駆動要素を駆動するそれぞれの油圧アクチュエータ(クローラ1CL,1CRのそれぞれに対応する走行油圧モータ1M、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等)を操作するために用いられる。操作装置26は、例えば、それぞれの被駆動要素、即ち、それぞれの油圧アクチュエータに対応するレバー装置やペダル装置等を含む。
操作装置26は、例えば、油圧パイロット式である。この場合、操作装置26は、パイロットポンプ15から供給される作動油を用いて、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)に関する操作内容に応じたパイロット圧をコントロールバルブ17に出力する。操作内容には、例えば、操作方向及び操作量等が含まれる。これにより、コントロールバルブ17は、操作装置26の操作内容に応じた、それぞれの被駆動要素(油圧アクチュエータ)の動作を実現することができる。
また、操作装置26は、例えば、電気式であってもよい。この場合、操作装置26は、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)の操作内容に対応する電気信号(以下、「操作信号」)をコントローラ30に出力する。そして、コントローラ30は、パイロットポンプ15とコントロールバルブ17との間の油路(パイロットライン)に設けられる、操作用油圧制御弁(以下、「操作用油圧制御弁」)に操作信号に対応する制御指令を出力する。これにより、操作用油圧制御弁は、パイロットポンプ15から供給される作動油を用いて、操作装置26におけるそれぞれの被駆動要素(油圧アクチュエータ)に関する操作内容に応じたパイロット圧をコントロールバルブ17に作用させることができる。よって、コントロールバルブ17は、操作装置26の操作内容に応じた、それぞれの被駆動要素(油圧アクチュエータ)の動作を実現することができる。
また、ショベル100の被駆動要素、即ち、対応する油圧アクチュエータは、上述の如く、遠隔操作されてもよい。例えば、所定の外部装置から遠隔操作の内容を表す信号(遠隔操作信号)がショベル100に送信されると共に、コントローラ30は、通信装置70を通じて、遠隔操作信号を受信する。そして、コントローラ30は、操作用油圧制御弁に対して、遠隔操作信号で規定される遠隔操作の内容(例えば、操作対象の被駆動要素或いは油圧アクチュエータ、操作方向、及び操作量等)に応じた制御指令を出力する。これにより、操作用油圧制御弁は、パイロットポンプ15から供給される作動油を用いて、遠隔操作の内容に応じたパイロット圧を油圧駆動式のコントロールバルブ17に作用させることができる。よって、コントロールバルブ17は、遠隔操作の内容に応じた、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)の動作を実現することができる。
尚、ショベル100は、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル100は、ハイブリッドショベルや電動ショベルであってもよい。この場合、コントローラ30は、操作装置26の操作内容、遠隔操作信号で規定される遠隔操作の内容、自動運転機能に対応する操作指令の内容等に応じた制御指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバ等に出力してよい。
また、キャビン10のゲートロックレバーが立てられた状態(以下、「ロック状態」)にある場合、操作装置26に対する操作、遠隔操作、自動運転機能に対応する操作指令が無効にされ、ショベル100が動作しない。一方、ゲートロックレバーが下ろされた状態(以下、「解除状態」)にある場合、操作装置26に対する操作、遠隔操作、自動運転機能に対応する操作指令が有効になり、ショベル100が動作する。これにより、例えば、ゲートロックレバーが立てられた状態で、オペレータが操縦席に乗り込んだり、操縦席からキャビン10の外に降りたりする場合に、操作装置26にオペレータの体が触れて、ショベル100が動作してしまう事態を回避することができる。また、例えば、ゲートロックレバーを下ろされた状態にすることで、オペレータは、ショベル100の操作を開始することができる。
例えば、ゲートロックレバーの操作状態と、パイロットポンプ15から各種油圧機器(例えば、油圧パイロット式の操作装置26や操作用油圧制御弁)にパイロット圧を供給するパイロットラインの最上流のゲートロック弁の開閉状態とが連動する。具体的には、ゲートロックレバーが解除状態の場合、ゲートロック弁が開弁状態(連通状態)に維持され、パイロットポンプ15から操作装置26や操作用油圧制御弁にパイロット圧が供給される。そのため、操作装置26や操作用油圧制御弁は、オペレータの操作に応じたパイロット圧をコントロールバルブ17に供給し、油圧アクチュエータを作動させることができる。一方、ゲートロックレバーがロック状態の場合、ゲートロック弁が閉弁状態(遮断状態)に維持され、パイロットポンプ15から操作装置26や操作用油圧制御弁へのパイロット圧の供給が遮断される。そのため、操作装置26や操作用油圧制御弁は、オペレータの操作に応じたパイロット圧をコントロールバルブ17に供給することができず、オペレータの操作や自動運転機能に対応する操作指令を無効にすることができる。
また、上述の如く、油圧アクチュエータの一部又は全部が電動アクチュエータに置換される場合もありうる。この場合、例えば、コントローラ30は、ゲートロックレバーがロック状態の場合、オペレータの操作や自動運転機能の操作指令に対応する制御指令を電動アクチュエータやドライバ等に出力しないようにしてよい。これにより、ゲートロックレバーのロック状態に合わせて、オペレータの操作や自動運転機能に対応する操作指令を無効にすることができる。
通信装置70は、通信回線NWを通じて、ショベル100の外部(例えば、管理装置200や端末装置300)と通信を行う。
通信回線NWは、例えば、広域ネットワーク(WAN:Wide Area Network)を含む。広域ネットワークには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、広域ネットワークには、例えば、通信衛星を利用する衛星通信網が含まれてよい。また、広域ネットワークには、例えば、インターネット網が含まれてよい。また、通信回線NWは、例えば、管理装置200が設置される施設等の内部のローカルネットワーク(LAN:Local Area Network)を含む。ローカルネットワークは、有線であってもよいし、無線であってもよいし、その両方を含む態様であってもよい。また、通信回線NWは、例えば、WiFiやブルートゥース(登録商標)等の所定の無線通信規格による近距離通信回線を含んでもよい。
ショベル100は、例えば、通信装置70を用いて、管理装置200と相互に通信を行う。これにより、ショベル100は、管理装置200にショベル100(自機)に関するデータを送信したり、ショベル100(自機)の制御に関するデータを受信したりすることができる。
<管理装置の概要>
管理装置200は、ショベル100の外部に設けられ、例えば、ショベル100の稼働状態や運用状態等を管理する。また、管理装置200は、ショベル100の遠隔操作を支援してもよい。また、管理装置200は、例えば、自動運転機能に関する制御指令をショベル100に送信したり、自動運転機能により稼働するショベル100の稼働状況を監視するための情報をユーザに提供したりすることにより、ショベル100の自動運転を支援してもよい。
管理装置200は、例えば、サーバ装置である。サーバ装置は、例えば、ショベル100が作業を行う作業現場の外部の管理センタ等に設置されるクラウドサーバであってよい。また、サーバ装置は、例えば、ショベル100の作業現場内の仮設事務所や作業現場から相対的に近い通信施設(例えば、局舎や基地局等)に設置されるエッジサーバであってもよい。また、管理装置200は、例えば、ショベル管理システムSYSのユーザが利用する端末装置(ユーザ端末)であってもよい。ショベル管理システムSYSのユーザは、例えば、ショベル100のオペレータ、ショベル100のオーナ、ショベル100の管理者、作業現場の管理者(監督者)、作業現場の作業者、管理センタの管理者、管理センタの作業者等を含んでよい。ユーザ端末は、例えば、ショベル100の作業現場内の仮設事務所等に配置される定置型の端末装置(定置端末)であってよい。また、ユーザ端末は、ユーザが携帯可能な携帯型(可搬型)の端末装置(携帯端末)であってもよい。定置端末には、例えば、デスクトップ型のコンピュータ端末が含まれてよい。また、携帯端末には、例えば、携帯電話、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等が含まれてよい。また、管理装置200としてのユーザ端末は、例えば、サーバ装置としての管理装置200を経由してショベル100と通信可能に構成され、サーバ装置としての管理装置200経由でショベル100の監視や遠隔操作の支援等を行う形態であってもよい。
管理装置200は、制御装置210と、通信装置220と、出力装置230と、入力装置240とを含む。
制御装置210は、管理装置200に関する制御を行う。制御装置210の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。制御装置210は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置、ROM(Read Only Memory)等の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成される。
通信装置220は、通信回線NWを通じて、管理装置200の外部(例えば、ショベル100)等と通信を行う。
出力装置230は、管理装置200の管理者や作業者等のユーザに向けて情報を出力する。出力装置230は、例えば、視覚的な情報を出力する表示装置や照明装置等を含んでよい。表示装置は、例えば、上述の遠隔操作用表示装置を含んでよい。表示装置は、例えば、画像情報を出力する液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等である。また、出力装置230は、例えば、聴覚的な情報を出力する音出力装置を含んでもよい。音出力装置は、例えば、スピーカやブザー等である。
入力装置240は、管理装置ユーザからの各種入力を受け付け、その入力内容に対応する信号は、制御装置210に取り込まれる。入力装置240は、例えば、上述の遠隔操作用操作装置を含んでよい。入力装置240は、例えば、ユーザからの操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、トグル、レバー等である。また、入力装置240は、例えば、ユーザからの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。
制御装置210は、通信装置220を用いて、ショベル100と相互に通信を行う。これにより、管理装置200は、例えば、ショベル100から送信(アップロード)される各種データを受信し、ショベル100に関する各種データを収集することができる。また、制御装置210は、例えば、通信装置220を用いて、ショベル100の制御に関するデータをショベル100に送信し、外部からショベル100の制御を行ってもよい。また、制御装置210は、例えば、通信装置220を用いて、入力装置240(遠隔操作用操作装置)から受け付けられる遠隔操作の内容を表す信号(遠隔操作信号)を遠隔操作の対象のショベル100に送信してよい。これにより、管理装置200は、ショベル100の遠隔操作を支援することができる。
[周辺監視装置]
次に、図1、図2に加えて、図3を参照して、本実施形態に係るショベル100に搭載される周辺監視装置150の構成について説明をする。
図3は、本実施形態に係る周辺監視装置150の構成の一例を示すブロック図である。
周辺監視装置150は、撮像装置40や距離センサ45を用いて、ショベル100の周辺の状況を監視する。
例えば、周辺監視装置150は、ショベル100の周辺の状況を表す視覚情報を表示装置50に表示する。視覚情報には、例えば、撮像装置40の撮像画像に基づき生成される周辺画像が含まれる。また、視覚情報には、例えば、ショベル100の周辺の物体の位置等を表す環境地図が含まれる。環境地図は、例えば、三次元の環境地図であってもよいし、ショベル100の周辺の物体の位置等をショベル100(下部走行体1)が位置する平面上で表す二次元の環境地図であってもよい。二次元の環境地図は、例えば、占有格子地図(Occupancy Grid Map:OGM)であってよい。以下、二次元の環境地図を中心に説明を行う。
また、例えば、周辺監視装置150、ショベル100の周辺の所定範囲(以下、「監視エリア」)内の監視対象の物体(以下、「監視物体」)の存否を監視する。監視物体には、ショベル100の周辺で作業する作業者や作業現場の監督者等の人が含まれてよい。また、監視物体には、作業現場に仮置きされた資材、作業現場の仮設事務所等の定置された移動しない障害物やトラックを含む車両等の移動する障害物等、人以外の任意の物体(即ち、障害物)が含まれうる。そして、周辺監視装置150は、所定範囲内に監視物体が存在する場合、所定の安全機能を作動させてよい。
安全機能には、例えば、キャビン10の内部、キャビン10の外部、及びショベル100の遠隔のオペレータや管理者等の少なくとも一つに対する警報を出力し、監視エリア内の監視物体の存在を報知する報知機能が含まれてよい。これにより、キャビン10の内部のオペレータ、ショベル100の周辺の作業者、ショベル100の遠隔操作を行うオペレータや管理者等に対して、ショベル100の周辺の監視エリア内に監視物体が存在していることに関する注意を促すことができる。以下、キャビン10の内部、即ち、オペレータ等に対する報知機能を「内部報知機能」と称する場合がある。また、キャビン10の外部、即ち、ショベル100の周囲の作業者等に対する報知機能を「外部報知機能」と称する場合がある。また、キャビン10の遠隔のオペレータや管理者等に対する報知機能を「遠隔報知機能」と称する場合がある。また、安全機能には、例えば、操作装置26の操作や遠隔操作に対するショベル100の動作を制限する動作制限機能が含まれてよい。
動作制限機能には、例えば、操作装置26の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対するショベル100の動作速度を通常よりも遅くする動作減速機能が含まれてよい。また、動作制限機能には、操作装置26の操作、遠隔操作、或いは自動運転機能に対応する操作指令に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止機能が含まれてよい。
図3に示すように、周辺監視装置150は、コントローラ30と、操作情報出力装置29と、撮像装置40と、距離センサ45と、表示装置50と、入力装置52と、音出力装置54と、油圧制御弁60と、通信装置70とを含む。
コントローラ30は、周辺監視装置150の機能に関する制御を行う。コントローラ30は、例えば、上述の如く、キャビン10内に搭載される。
コントローラ30は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。コントローラ30は、例えば、CPU、RAM等のメモリ装置(主記憶装置)、ROM等の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成される。コントローラ30は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードしCPUに実行させることにより各種機能を実現する。コントローラ30は、機能部として、周辺画像生成部301と、環境地図生成部302と、表示処理部303と、周辺監視データ送信部304と、安全機能制御部305とを含む。
尚、コントローラ30の機能の一部又は全部は、他のコントローラにより実現されてもよい。つまり、周辺監視装置150の機能は、複数のコントローラにより分担されることにより実現されてもよい。また、コントローラ30は、周辺監視装置150の機能以外のショベル100に関する制御を行ってもよい。つまり、コントローラ30は、周辺監視装置150の機能に特化した専用の制御装置であってもよいし、周辺監視装置150の機能を含むショベル100の各種機能に関する制御を行う汎用の制御装置であってもよい。また、コントローラ30の機能の一部又は全部は、例えば、管理装置200(周辺監視装置の一例)等のショベル100の外部に移管されてもよい。この場合、ショベル100は、撮像装置40や距離センサ45の出力データを管理装置200等の外部装置に送信してよい。そして、ショベル100は、例えば、管理装置200等の外部装置からの制御指令に応じて、リアルタイムにその動作が制御されてよい。例えば、5G(5th Generation)の移動体通信網等のように、通信回線NWを通じて非常に高速の通信を実行可能な場合、管理装置200とショベル100との間の信号のやり取りが生じても、遅延のない周辺監視機能を提供可能だからである。
操作情報出力装置29は、操作装置26の操作内容、遠隔操作の内容、或いは、自動運転機能に対応する操作指令の内容、つまり、それぞれの被駆動要素(油圧アクチュエータ)に関する操作内容に関する情報(以下、「操作情報」)を出力する。
操作情報出力装置29は、例えば、操作装置26の操作内容に関する情報を取得するセンサ(以下、「操作情報取得センサ」)であってよい。操作情報取得センサは、例えば、操作装置26のレバーやペダル等の操作方向や操作量を感知するリニアエンコーダである。また、操作情報取得センサは、例えば、油圧パイロット式の操作装置26の二次側のパイロット圧を感知する圧力センサである。また、操作情報出力装置29は、例えば、電気式の操作装置26であってよい。電気式の操作装置26から出力される操作信号は、操作情報に相当するからである。また、ショベル100が遠隔操作される場合、操作情報出力装置29は、例えば、外部装置から遠隔操作信号を受信する通信装置70である。また、ショベル100が自動運転機能により動作する場合、操作情報出力装置29は、例えば、操作指令を出力する演算装置であってよい。
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベル100に相対的に近い領域から相対的に遠い領域に亘るショベル100の周辺を撮像し、画像データ(撮像画像)を出力する。撮像装置40は、カメラ40F,40B,40L,40Rを含む。以下、カメラ40F,40B,40L,40Rを包括的に、或いは、カメラ40F,40B,40L,40Rの任意の一つを個別に「カメラ40X」と称する場合がある。
カメラ40F、カメラ40B、カメラ40L、及びカメラ40Rは、それぞれ、上部旋回体3の前方、後方、左側方、及び右側方の様子を撮像する。
カメラ40Fは、上部旋回体3の前部、例えば、キャビン10の上面の前端部取り付けられる。カメラ40Bは、上部旋回体3の後部、例えば、上部旋回体3の上面の後端部に取り付けられる。また、カメラ40Lは、例えば、上部旋回体3の上面の左端部に取り付けられる。また、カメラ40Lは、上部旋回体3の左側の部分、例えば、上部旋回体3の上面の左端部に取り付けられる。カメラ40Rは、上部旋回体3の右側の部分、例えば、上部旋回体3の上面の右端部に取り付けられる。
カメラ40Xは、非常に広い画角を有する単眼カメラ(即ち、広角カメラ)である。また、例えば、カメラ40Xは、ステレオカメラ、デプスカメラ、三次元カメラ等であってもよい。
カメラ40Fは、上部旋回体3の前方の撮像範囲、例えば、左前方から右前方に亘る水平方向の撮像範囲を撮像する。また、カメラ40Bは、上部旋回体3の後方の撮像範囲、例えば、左後方から右後方に亘る水平方向の撮像範囲を撮像する。また、カメラ40Lは、例えば、上部旋回体3の左側方の撮像範囲、例えば、上部旋回体3の左前方から左後方に亘る水平方向の撮像範囲を撮像する。また、カメラ40Rは、例えば、上部旋回体3の右側方の撮像範囲、例えば、上部旋回体3の右前方から右後方に亘る水平方向の撮像範囲を撮像する。また、カメラ40Xは、上部旋回体3の上部において、ショベル100の近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲を撮像する。
カメラ40Xは、例えば、ショベル100の起動(即ち、キースイッチON)から停止(即ち、キースイッチOFF)までの間で、所定周期(例えば、1/30秒)ごとに、撮像画像を出力する。カメラ40Xから出力される撮像画像は、コントローラ30に取り込まれる。
尚、ショベル100に搭載されるカメラ40Xの数(4つ)は、一例であって、ショベル100の周辺の水平方向及び上下方向の必要な範囲の画像データを取得可能であれば、3つ以下であってもよいし、5つ以上であってもよい。つまり、カメラ40Xは、一又は複数の任意の個数がショベル100に搭載されてよい。
距離センサ45(周辺監視センサの一例)は、ショベル100の周辺の状況に関するデータを取得する。距離センサ45は、距離センサ45F,45BL,45BR,45L,45Rを含む。以下、距離センサ45F,45BL,45BR,45L,45Rを包括的に、或いは、距離センサ45F,45BL,45BR,45L,45Rの任意の一つを個別に「距離センサ45X」と称する場合がある。
距離センサ45F、距離センサ45BL、距離センサ45BR、距離センサ45L、及び距離センサ45Rは、それぞれ、上部旋回体3の前方、左後方、右後方、左側方、及び右側方の状況に関するデータを取得する。
距離センサ45Fは、上部旋回体3の前部、例えば、キャビン10の上面の前端部に取り付けられる。距離センサ45BLは、上部旋回体3の左後部、例えば、キャビン10の上面の左寄りの後端部に取り付けられる。距離センサ45BRは、上部旋回体3の右後部、例えば、上部旋回体3の上面の右寄りの後端部に取り付けられる。距離センサ45Lは、上部旋回体3の左部、例えば、上部旋回体3の上面の左端部に取り付けられる。距離センサ45Rは、上部旋回体3の右部、例えば、上部旋回体3の上面の右端部に取り付けられる。
例えば、距離センサ45Xは、LIDAR(Light Detection and Ranging)である。また、例えば、距離センサ45Xは、例えば、ミリ波レーダや超音波センサ等であってもよい。以下、距離センサ45XがLIDARである場合を中心に説明を進める。
距離センサ45BLは、上部旋回体3の左後方の照射範囲、例えば、上部旋回体3の左後方から後方に亘る水平方向の照射範囲に赤外線を照射可能に構成される。また、距離センサ45BRは、上部旋回体3の右後方の照射範囲、例えば、上部旋回体3の右後方から後方に亘る水平方向の照射範囲に赤外線を照射可能に構成される。また、距離センサ45Lは、上部旋回体3の左側方の照射範囲、例えば、上部旋回体3の左前方から左後方に亘る水平方向の照射範囲に赤外線を照射可能に構成される。また、距離センサ45Rは、上部旋回体3の右側方の照射範囲、例えば、上部旋回体3の右前方から右後方に亘る水平方向の照射範囲に赤外線を照射可能に構成される。
距離センサ45Xは、例えば、ある方向に赤外線を照射する共に、その方向の物体からの反射光(赤外線)を受光することにより、ショベル100の周辺の状況を表すデータ、具体的には、受光される反射光に関するデータ(以下、「受光データ」)を取得する。距離センサ45Xは、例えば、走査型のLIDARであり、赤外線レーザの照射方向を上下方向及び左右方向に走査可能な三次元レーザスキャナである。また、距離センサ45Xは、発光モジュールから赤外線を三次元の広範囲に照射し、反射光(赤外線)を三次元距離画像素子で撮像するフラッシュ型のLIDARであってもよい。
受光データには、赤外線の照射方向ごとの赤外線の照射から反射光が受光されるまでの時間(TOF:Time Of Flight)に関するデータ(以下、「TOFデータ」)が含まれる。また、受光データには、赤外線の照射方向ごとの受光される反射光の強度に関するデータ(以下、「受光強度データ」)が含まれる。
また、距離センサ45Xは、照射方向ごとのTOFデータ及び受光強度データ等を出力してよい。また、距離センサ45Xは、TOFデータ及び受光強度データ等に既知の後処理を施すことにより、ショベル100を基準とする三次元空間上でのショベル100の周辺の物体を表す点群データや各点の属性データ等を出力してもよい。ショベル100を基準とする三次元空間は、例えば、ショベル100の位置(例えば、下部走行体1の接地中心)を原点として、接地平面上のX軸及びY軸と、高さ方向のZ軸とにより規定されるXYZ座標空間であってよい。属性データは、例えば、各点に対応する物体の種類を表すデータであってよい。以下、距離センサ45Xは、後処理済みのデータを出力する場合を中心に説明を進める。
尚、距離センサ45XからTOFデータ及び受光強度データ等が出力される場合、後処理は、コントローラ30により実行されてよい。
距離センサ45Xは、それぞれ、ショベル100の起動から停止までの間で、所定周期ごとに、後処理済みのデータを出力する。距離センサ45Xから出力される後処理済みのデータは、コントローラ30に取り込まれる。
尚、ショベル100に搭載される距離センサ45Xの数(5つ)は一例であって、ショベル100の周辺の水平方向及び上下方向(高さ方向)の必要な範囲の状況に関するデータを取得可能であれば、4つ以下であってもよいし、6つ以上であってもよい。つまり、距離センサ45Xは、一又は複数の任意の個数がショベル100に搭載されてよい。
表示装置50(表示部の一例)は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイや有機ELディスプレイであり、入力装置52を兼ねるタッチパネル式であってもよい。
入力装置52は、オペレータからの周辺監視装置150に関する各種入力を受け付け、コントローラ30に出力する。入力装置52は、例えば、タッチパネル、タッチパッド、ボタン、トグル、回転ノブ等の任意のハードウェアの操作入力装置を含む。また、入力装置52は、例えば、表示装置50に表示される操作画面上の仮想的なボタンアイコン等、ハードウェアの操作手段を通じて操作可能なソフトウェアの操作入力手段を含んでもよい。また、入力装置52は、オペレータ等のユーザの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。
音出力装置54は、キャビン10の内部及び外部の少なくとも一方に向けて音を出力する。音出力装置54は、例えば、キャビン10の内部に設けられるスピーカやブザー等を含んでよく、オペレータに向けて音を出力してよい。また、音出力装置54は、例えば、ホーンや走行アラーム等を含んでよく、キャビン10の外部、具体的には、ショベル100の周辺に向けて音を出力してよい。
油圧制御弁60は、ショベル100の動作制限機能を実現するために用いられる。具体的には、油圧制御弁60は、コントローラ30からの制御指令で動作可能であり、コントロールバルブ17に作用するパイロット圧を調整する。油圧制御弁60は、例えば、パイロットポンプ15と油圧パイロット式の操作装置26との間のパイロットライン、つまり、操作装置26の一次側のパイロットラインに設けられてよい。この場合、油圧制御弁60は、上述のゲートロック弁であってもよい。また、油圧制御弁60は、例えば、操作装置26とコントロールバルブ17との間のパイロットライン、つまり、操作装置26の二次側のパイロットラインに設けられてもよい。また、油圧制御弁60は、例えば、電気式の操作装置26の場合、遠隔操作の場合、自動運転機能の場合等における上述の操作用油圧制御弁であってもよい。油圧制御弁60は、例えば、電磁比例弁である。具体的には、油圧制御弁60は、コントローラ30の制御下で、操作装置26の操作内容、或いは、遠隔操作の内容とは関係なく、コントロールバルブ17に作用させるパイロット圧を調整することができる。
周辺画像生成部301は、撮像装置40(カメラ40X)から取り込まれる画像データに基づき、表示装置50に表示させる、ショベル100の周辺の状況を表す周辺画像を生成し、表示処理部303に出力する。周辺画像生成部301は、例えば、入力装置52を通じて、ユーザからの周辺画像の表示を要求する所定の入力が受け付けられる場合に、周辺画像を生成し、表示処理部303に出力してよい。
周辺画像は、例えば、カメラ40Xの撮像画像(画像データ)そのもの(以下、「スルー画像」)であってよい。
例えば、周辺画像生成部301は、全てのカメラ40Xの中から選択される一のカメラ40Xの画像データを周辺画像として出力してよい。また、例えば、周辺画像生成部301は、全てのカメラ40Xの中から選択される二以上のカメラ40Xの画像データを所定の方向に並べて画像データを周辺画像として出力してもよい。
周辺画像生成部301は、入力装置52に対する所定の入力に応じて、全てのカメラ40Xのうちのどのカメラ40Xの画像データを周辺画像として選択するかを切り換えてよい。これにより、オペレータは、入力装置52を用いて、自分が見たい方向のスルー画像を表示装置50に表示させることができる。
また、周辺画像は、少なくとも2つのカメラ40Xの画像データが合成された合成画像であってもよい。
例えば、周辺画像生成部301は、合成画像として、複数のカメラ40Xの撮像画像に基づき、既知の視点変換処理及び合成処理等を行うことにより、仮想視点から見た視点変換画像を生成してよい。例えば、仮想視点は、ショベル100の真上から見た俯瞰視点であってよい。
周辺画像生成部301は、入力装置52に対する所定の入力に応じて、周辺画像としてスルー画像を生成(出力)するのか、合成画像を生成するのかを切り換えてよい。これにより、オペレータは、入力装置52を用いて、表示装置50に表示される周辺画像をスルー画像と合成画像との間で切り換えることができる。
環境地図生成部302(地図生成部の一例)は、距離センサ45Xの出力(後処理データ)に基づき、ショベル100の周辺の物体の位置等を表す環境地図を生成する。環境地図生成部302は、例えば、上述の如く、二次元の環境地図(例えば、OGM)を生成する。
尚、環境地図生成部302は、距離センサ45Xの出力データに代えて、或いは、加えて、カメラ40X(周辺監視センサの一例)の出力データ(撮像画像)に基づき、環境地図を生成してもよい。
環境地図生成部302により生成される環境地図に相当する画像データ(以下、「環境地図画像データ」)は、表示装置50に表示されてよい。環境地図生成部302は、例えば、入力装置52を通じて、ユーザからの環境地図の表示を要求する所定の入力が受け付けられる場合に、環境地図画像データを表示処理部303に出力してよい。これにより、周辺監視装置150は、環境地図に相当する画像を通じて、ショベル100の周辺の物体の位置等をオペレータにより直感的に把握してもらうことができる。また、二次元の環境地図は、ショベル100の周辺の三次元空間上の物体の位置等の情報が二次元の平面上に集約される。そのため、周辺監視装置150は、二次元の環境地図に相当する画像を通じて、ショベル100の周辺の物体の位置等をオペレータに更に直感的に把握してもらうことができる。
尚、表示装置50には、周辺画像及び環境地図画像のうちの何れか一方だけが表示されてもよいし、双方が同時に表示されてもよい。
また、環境地図生成部302により生成される環境地図のデータは、安全機能制御部305に出力されてもよい。
表示処理部303は、周辺画像生成部301により生成される周辺画像や環境地図生成部302により生成される環境地図を表示装置50に表示させる。
尚、表示処理部303の機能は、表示装置50に内蔵されてもよい。
周辺監視データ送信部304は、周辺監視装置150(コントローラ30)により生成される各種データを、通信装置70を通じて、外部装置(例えば、管理装置200等)に送信する。
周辺監視データ送信部304は、例えば、周辺画像生成部301により生成(出力)される周辺画像のデータを、通信装置70を介して、管理装置200等に送信する。これにより、管理装置200等は、例えば、出力装置230(遠隔操作用表示装置)等に周辺画像を表示させ、オペレータによるショベル100の遠隔操作を支援することができる。また、管理装置200等は、例えば、出力装置230(表示装置)等に周辺画像を表示させ、監視者による自動運転機能で稼働中のショベル100の監視作業を支援することができる。
また、周辺監視データ送信部304は、例えば、環境地図生成部302により生成(出力)される環境地図画像データを、通信装置70を介して、管理装置200等に送信する。これにより、管理装置200等は、例えば、出力装置230(遠隔操作用表示装置)(表示部の一例)等に環境地図画像データを表示させ、オペレータによるショベル100の遠隔装置を支援することができる。また、管理装置200等は、例えば、出力装置230(表示装置)等に環境地図画像データを表示させ、監視者による自動運転機能で稼働中のショベル100の監視作業を支援することができる。
特に、ショベル100の遠隔操作を行うオペレータや自動運転の監視を行う監視者は、ショベル100の周辺の状況を直接視認することができず、例えば、周辺画像からショベル100の周辺の状況を把握する必要がある。そのため、遠隔操作のオペレータや監視者は、周辺画像を確認するだけでは、例えば、ショベル100と物体とが接触する可能性があるか否か等、ショベル100の周辺の物体とショベル100の位置関係を適切に判断するのが難しい場合がある。
これに対して、管理装置200は、出力装置230等を通じて、ショベル100から受信される環境地図画像データを出力装置230(表示装置)に表示させ、遠隔操作のオペレータや監視者に視認させることができる。そのため、遠隔操作のオペレータや監視者は、ショベル100の周辺の物体の位置等を直感的に把握することができる。
安全機能制御部305は、監視エリア内に監視物体が存在する場合に、安全機能に関する制御を行い、安全機能を作動させる。例えば、安全機能制御部305は、環境地図生成部により生成される環境地図に基づき、監視エリア内の監視物体の存否を判断してよい。また、安全機能制御部305は、例えば、撮像装置40や距離センサ45の出力に基づき、監視エリア内の監視物体の存否を判断してもよい。
安全機能制御部305は、例えば、監視エリアに含まれる所定の範囲(以下、「報知範囲」)で監視物体が存在する場合に、報知機能を作動させる。報知範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。
安全機能制御部305は、例えば、音出力装置54を制御することにより、キャビン10の内部及び外部の少なくとも一方に対する音(即ち、聴覚的な方法)による報知機能を作動させる。このとき、安全機能制御部305は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。
また、安全機能制御部305は、例えば、キャビン10の内部に対する視覚的な方法による報知機能を作動させる。具体的には、安全機能制御部305は、表示装置50に監視物体が検出されていることを表す画像を表示させてよい。また、安全機能制御部305は、表示装置50に表示される周辺画像や環境地図画像上の監視物体や、監視物体のショベル100から見た位置に対応する周辺画像や環境地図画像上の位置を強調させてもよい。より具体的には、安全機能制御部305は、周辺画像や環境地図画像上に映っている監視物体を囲む枠を重畳して表示させたり、検出された監視物体の実在位置に対応する周辺画像や環境地図画像上の位置にマーカを重畳して表示させたりしてよい。これにより、表示装置50は、オペレータに対する視覚的な報知機能を実現することができる。また、安全機能制御部305は、キャビン10の内部の警告灯や照明装置等を用いて、監視物体が検出されていることをキャビン10の内部のオペレータ等に対して通知してもよい。
また、安全機能制御部305は、例えば、上部旋回体3のハウス部等に設けられる前照灯等の照明装置や外部用の表示装置を制御することにより、ショベル100の周辺の作業者や監督者等に視覚的な方法による報知機能を作動させてもよい。また、安全機能制御部305は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法でキャビン10内のオペレータに対する報知機能を作動させてもよい。これにより、周辺監視装置150は、オペレータやショベル100の周辺の作業者及び監督者等に対して、ショベル100の周辺に監視物体(例えば、作業者等の人)が存在することを認識させることができる。そのため、周辺監視装置150は、オペレータに対して、ショベル100の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。
また、安全機能制御部305は、例えば、通信装置70を通じて、報知機能の作動を示す指令信号を管理装置200に送信することにより、遠隔報知機能を作動させてもよい。この場合、管理装置200(制御装置210)は、通信装置220によりショベル100から指令信号を受信すると、出力装置230を通じて、視覚的な方法や聴覚的な方法による警報を出力してよい。これにより、管理装置200を通じてショベル100の遠隔操作を行うオペレータや管理装置200を通じて自動運転機能で稼働するショベル100を監視する監視者等は、ショベル100の周辺の報知範囲内に監視物体が進入したことを把握することができる。
尚、安全機能制御部305の遠隔報知機能は、管理装置200等の外部装置に移管されてもよい。この場合、管理装置200は、ショベル100から監視エリア内の監視物体の有無を判断するためのデータを受信し、受信したデータに基づき、報知範囲内への監視物体の進入の有無を判断する。そして、管理装置200は、報知範囲内に監視物体が存在する場合に、遠隔報知機能を作動させる。
また、安全機能制御部305は、報知範囲内で検出されている監視物体と、ショベル100との位置関係に応じて、報知態様(即ち、報知の仕方)を異ならせてもよい。
例えば、安全機能制御部305は、報知範囲内の監視物体が相対的にショベル100から遠い位置に存在する場合、オペレータ等に監視物体への注意を促す程度の相対的に緊急度が低い警報(以下、「注意レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100から相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全機能制御部305は、報知範囲内の監視物体が相対的にショベル100から近い位置に存在する場合、監視物体がショベル100に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報(以下、「警戒レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100からの距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。
この場合、安全機能制御部305は、注意レベルの警報と警戒レベルの警報との間で、音出力装置54から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全機能制御部305は、注意レベルの警報と警戒レベルの警報との間で、表示装置50に表示される監視画像上に表示される監視物体が検出されていることを表す画像や、監視物体或いは監視物体の位置を強調させる画像(例えば、枠やマーカ等)の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、周辺監視装置150は、音出力装置54から出力される報知音(警報音)や表示装置50に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視物体のショベル100に対する接近度を把握させることができる。
安全機能制御部305は、報知機能の作動開始後、対象の監視物体が報知範囲内に存在しなくなった場合、或いは、入力装置52を通じて、報知機能の作動を解除する所定の操作が受け付けられた場合に、報知機能を停止させてよい。
また、安全機能制御部305は、例えば、監視エリアに含まれる所定範囲(以下、「動作制限範囲」)内に監視物体が存在する場合に、動作制限機能を作動させる。動作制限範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。また、動作制限範囲には、操作装置26の操作、遠隔操作、自動運転機能に対応する操作指令に対するショベル100の動作速度を通常よりも遅くする動作減速範囲が含まれてよい。また、動作制限範囲には、操作装置26の操作、遠隔操作、自動運転機能に対応する操作指令に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止範囲が含まれてもよい。即ち、動作制限範囲には、動作減速範囲及び動作停止範囲の少なくとも一方が含まれてよい。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、例えば、動作制限範囲のうちのショベル100に近接する範囲であり、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。
安全機能制御部305は、油圧制御弁60を制御することにより、ショベル100の動作を制限する動作制限機能を作動させる。この場合、安全機能制御部305は、全ての被駆動要素(即ち、対応する油圧アクチュエータ)の動作を制限してもよいし、一部の被駆動要素(油圧アクチュエータ)の動作を制限してもよい。これにより、周辺監視装置150は、ショベル100の周辺の動作制限範囲内に監視物体が存在する場合に、ショベル100の動作を減速させたり、停止させたりすることができる。そのため、周辺監視装置150は、ショベル100の周辺の監視物体とショベル100との接触の発生を抑制することができる。
また、安全機能制御部305は、動作制限機能の作動開始後、対象の監視物体が動作制限範囲内に存在しなくなった場合、或いは、入力装置52を通じて、動作制限機能の作動を解除する所定の操作が受け付けられた場合に、動作制限機能を停止させる。入力装置52に対する報知機能の作動解除のための操作と、動作制限機能の作動解除のための操作とは、同一であってもよいし、異なっていてもよい。
[環境地図の生成方法の第1例]
次に、図4~図12を参照して、環境地図の生成方法の第1例について説明する。
<地図生成処理>
まず、本例に係る環境地図の生成方法に対応する地図生成の処理フローについて説明する。
図4は、環境地図生成部302による地図生成処理の第1例を概略的に示すフローチャートである。
図4のフローチャートは、例えば、ショベル100の起動(例えば、キースイッチON)から停止(例えば、キースイッチOFF)までの間の運転中において、所定の制御周期ごとに実行される。以下、後述の図13、図20、図21、図24、図28のフローチャートについても同様であってよい。
図4に示すように、ステップS102にて、環境地図生成部302は、距離センサ45Xより取り込まれた最新の後処理データから三次元の点群データを取得する。
コントローラ30は、ステップS102の処理が完了すると、ステップS104に進む。
ステップS104にて、環境地図生成部302は、ショベル100の高さに関する情報(以下、「ショベル高さ情報」)を取得する。
例えば、図5は、ショベル100の姿勢状態の一例を示す図である。
ショベル100は、アタッチメントの姿勢状態によって、その高さが変化する。例えば、図5に示すように、ショベル100が吊り荷Wをアタッチメントの先端に吊り下げるクレーン作業を行う場合、アタッチメントの先端(バケット6)が相対的に高い位置に上げられ、アタッチメントの位置が相対的に高くなる場合がある。そのため、ショベル高さ情報は、例えば、アタッチメントの姿勢状態に応じたショベル100の高さの最大値に関する情報であってよい。また、ショベル高さ情報は、現在のショベル100の姿勢状態から決定される現在のショベル100の高さに関する情報であってよい。ショベル100の姿勢状態は、例えば、ブーム4、アーム5、及びバケット6のそれぞれの姿勢角度を検出する姿勢センサの出力に基づき、判断されてよい。姿勢センサは、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、慣性計測装置(IMU:Inertial Measurement Unit)等を含んでよい。また、ショベル100の姿勢状態は、例えば、カメラ40Fや距離センサ45Fの出力データに含まれるアタッチメントに相当するデータに基づき、判断されてもよい。
図4に戻り、コントローラ30は、ステップS104の処理が完了すると、ステップS106に進む。
ステップS106にて、環境地図生成部302は、三次元点群データの中からZ軸方向(即ち、ショベル100の高さ方向)で、ショベル高さ情報に規定されるショベル100の高さより高い範囲の点データを削除する。これにより、ショベル100の周辺の最新の三次元点群データの中からショベル100の最大高さや現在の高さ以下の範囲の点群データだけが残る。
コントローラ30は、ステップS106の処理が完了すると、ステップS108に進む。
ステップS108にて、環境地図生成部302は、残った点群データをXY平面に垂直に投影することで、環境地図(例えば、二次元のOGM)を生成する。環境地図生成部302は、例えば、XY平面上に、X軸方向及びY軸方向のそれぞれを等間隔に分割した二次元格子群を規定し、残った点群データを二次元格子に垂直に投影する。そして、環境地図生成部302は、二次元格子群の格子ごとに、格子に含まれる点の数や密度等に基づき、物体が存在する占有格子或いは物体が存在しない非占有格子を特定することにより、二次元の環境地図(OGM)を生成してよい。これにより、環境地図生成部302は、ショベル100の高さよりも高い範囲の物体に関する点データを環境地図に反映させないようにすることができる。
コントローラ30は、ステップS108の処理が完了すると、今回のフローチャートを終了する。
例えば、ショベル100と接触する可能性が低い物体(即ち、ショベル100の高さよりも高い位置に存在する物体)に関する情報を含む環境地図画像が表示装置50に表示されると、オペレータは、その物体に注意を払ってしまう可能性がある。その結果、ショベル100の作業効率が低下してしまう可能性がある。
また、例えば、ショベル100と接触する可能性が低い物体に関する情報を含む地図画像のデータに基づき、安全機能が作動してしまうと、ショベル100の作業が停止され、ショベル100の作業効率が低下してしまう可能性がある。
これに対して、本例では、周辺監視装置150は、ショベル100と接触する可能性が低い物体(即ち、ショベル100の高さよりも高い位置に存在する物体)に関する情報を環境地図に反映させないようにすることができる。そのため、周辺監視装置150は、ショベル100の作業効率の低下を抑制することができる。
<環境地図の第1の具体例>
続いて、本例に係る環境地図の生成方法により生成される環境地図の第1の具体例について説明する。
図6、図7は、ショベル100と周辺の物体との位置関係の一例を示す図である。具体的には、図6、図7は、ショベル100と作業現場内を飛行するドローンDRNとの位置関係の具体例を示す上面図及び側面図である。図8、図9は、表示装置50に表示される環境地図画像の第1例、第2例を示す図である。具体的には、図8、図9は、図6、図7の状況において、表示装置50に表示される環境地図画像の具体例(環境地図画像800,900)である。環境地図画像800,900では、物体が存在しないことを表す非占有格子は、白色で表され、物体が存在することを表す占有格子は、黒色で表される。
図6、図7に示すように、本例では、ショベル100(上部旋回体3)の左寄りの前方の上空にドローンDRNが飛行している。
例えば、ドローンDRNが点線で示す位置を飛行している場合、その高さ位置は、ショベル100の現在の高さ(図中の一点鎖線)よりも低い。そのため、ショベル100が前方に移動(走行)すると、ショベル100(アタッチメント)がドローンDRNに接触してしまう可能性が高い。
この場合、本例では、環境地図生成部302は、上述の如く、ショベル100の現在の高さや最大高さ以下のZ軸方向の範囲の点群データを用いることで、ドローンDRNに相当する点群データを環境地図に反映させることができる。
具体的には、図8に示すように、表示装置50には、環境地図画像800が表示される。
環境地図画像800には、ショベル100の位置を示すショベル画像CGが表示される。ショベル画像CGは、図中にて、上向きに尖った形状を有し、上向きがショベル100(上部旋回体3)の前方であることを表している。以下、後述の環境地図画像900,1100,1200,1500,1600,1700,1800,1900,2200,2300,2700,2900についても同様である。
環境地図画像800は、ドローンDRNに対応する占有格子群801を含む。
占有格子群801は、ショベル画像CGから左寄りの上向きにある程度はなれた4つの二次元格子に規定される。これにより、オペレータは、ショベル100の左寄りの前方に接触する可能性のある物体(ドローンDRN)が存在することを把握することができる。
尚、同様の状況において、環境地図画像800は、上述の如く、管理装置200の出力装置230(表示装置)に表示されてもよい。以下、後述の環境地図画像900,1100,1200,1500,1600,1700,1800,1900,2200,2300,2700,2900についても同様である。
一方、ドローンDRNが実線で示す位置を飛行している場合、その高さ位置は、ショベル100の現在の高さよりも高い。そのため、ショベル100が前方に移動(走行)しても、ドローンDRNに接触する可能性は低い。
この場合、本例では、環境地図生成部302は、上述の如く、ショベル100の現在の高さや最大高さ以下のZ軸方向の範囲の点群データを用いることで、ドローンDRNに相当する点群データを環境地図に反映させないようにすることができる。
具体的には、図9に示すように、表示装置50には、環境地図画像900が表示される。
環境地図画像900において、ドローンDRNのXY平面上の位置に相当する二次元格子群901の各二次元格子は、物体が存在しないことを表す非占有格子に設定される。これにより、オペレータは、接触する可能性が低いドローンDRNの存在を意識することなく、ショベル100の作業を継続させることができる。そのため、周辺監視装置150は、ショベル100の作業効率を向上させることができる。
尚、図中の二次元格子群901を囲む点線の枠は、説明のために描画されており、実際の表示装置50の画面(環境地図画像900)には、表示されない。以下、後述の図12の二次元格子群1203、図23の二次元格子群2301、及び図27の二次元格子群2705を囲む点線の枠についても同様である。
<環境地図の第2の具体例>
続いて、本例に係る環境地図の生成方法により生成される環境地図の第2の具体例について説明する。
図10は、ショベル100と周辺の物体との位置関係の他の例を示す図である。具体的には、図10は、ショベル100と作業現場に設置されている門型クレーンCRNと位置関係を示す斜視図である。図11、図12は、表示装置50に表示される環境地図画像の第3例、第4例を示す図である。具体的には、図11、図12は、図10の状況において、表示装置50に表示される環境地図画像の具体例(環境地図画像1100,1200)である。環境地図画像1100,1200では、物体が存在しないことを表す非占有格子は、白色で表され、物体が存在することを表す占有格子は、黒色で表される。
図10に示すように、本例では、ショベル100(上部旋回体3)の前方に門型クレーンCRNが存在している。
門型クレーンCRNは、2本の支柱部と、2本の支柱部の上端を接続する橋架部とを含む形で構成される。
例えば、ショベル100の現在の高さや最大高さが橋架部の下端よりも高い場合、2本の支柱部の間を通過すると、ショベル100のアタッチメントが橋架部に接触してしまう可能性が高い。
この場合、環境地図生成部302は、上述の如く、ショベル100の現在の高さや最大高さ以下のZ軸方向の範囲の点群データだけを用いることで、門型クレーンの橋架部に相当する点群データを環境地図に反映させることができる。
具体的には、図11に示すように、表示装置50には、環境地図画像1100が表示される。
環境地図画像1100は、門型クレーンCRNに対応する占有格子群1101~1103を含む。
占有格子群1101,1102は、門型クレーンの2つの支柱部に相当し、ショベル画像CGから左寄り及び右寄りの上向きにある程度離れた4つの格子に規定される。
占有格子群1103は、門型クレーンCRNの橋架部に相当し、占有格子群1101,1102を結ぶ複数の格子の範囲に規定される。
これにより、オペレータは、ショベル100の前方にある程度の左右方向の幅を有する、接触する可能性のある物体(門型クレーンCRNの支柱部及び橋架部)が存在することを把握することができる。
一方、例えば、ショベル100の現在の高さや最大高さが橋架部の下端よりも低い場合、2本の支柱部の間を通過しても、ショベル100のアタッチメントが橋架部に接触する可能性は低い。
この場合、環境地図生成部302は、上述の如く、ショベル100の現在の高さや最大高さ以下のZ軸方向の範囲の点群データを用いることで、門型クレーンCRNの橋架部に相当する点群データを環境地図に反映させないようにすることができる。
具体的には、図12に示すように、表示装置50には、環境地図画像1200が表示される。
環境地図画像1200は、門型クレーンCRNに対応する占有格子群1201,1202を含む。
占有格子群1201,1202は、環境地図画像1100の占有格子群1101,1102と同様、門型クレーンの2つの支柱部に相当し、ショベル画像CGから左寄り及び右寄りの上向きにある程度離れた4つの格子に規定される。
占有格子群1201,1202の間の門型クレーンCRNの橋架部のXY平面上の位置に対応する二次元格子群1203の各二次元格子は、物体が存在しないことを表す非占有格子に設定される。これにより、オペレータは、接触する可能性が低い門型クレーンCRNの橋架部を意識することなく、ショベル100の作業(例えば、門型クレーンCRNの橋架部の下を通過する移動等)を継続させることができる。そのため、周辺監視装置150は、ショベル100の作業効率を向上させることができる。
[環境地図の生成方法の第2例]
次に、図13~図18を参照して、環境地図の生成方法の第2例について説明する。
<地図生成処理>
まず、本例に係る環境地図の生成方法に対応する地図生成の処理フローについて説明する。
図13は、環境地図生成部302による地図生成処理の第2例を概略的に示すフローチャートである。
図13に示すように、ステップS202にて、環境地図生成部302は、距離センサ45Xより取り込まれた最新の後処理データから三次元の点群データを取得する。
コントローラ30は、ステップS202の処理が完了すると、ステップS204に進む。
ステップS204にて、環境地図生成部302は、X軸方向、Y軸方向、及びZ軸方向のそれぞれに等間隔に分割される三次元格子群における格子ごとに、占有確率を演算し、物体の有無を特定する。
占有確率は、格子に相当する位置に物体が存在する確率を表す。占有確率は、格子の点群データの密度に基づき規定され、密度が高いほど、占有確率が高くなるように規定される。例えば、環境地図生成部302は、演算結果の占有確率が所定の閾値以上の格子には、物体が存在すると判断する。一方、環境地図生成部302は、演算結果の占有確率が所定の閾値未満の格子には、物体が存在しないと判断し、その格子の占有確率をゼロに設定してよい。
コントローラ30は、ステップS204の処理が完了すると、ステップS206に進む。
ステップS206にて、環境地図生成部302は、ステップS204で特定された物体からの距離に応じて、物体の周辺の格子(具体的には、占有確率がゼロの格子)に占有確率を付与する。
例えば、図14は、物体からの距離と占有確率との関係、具体的には、対象の格子の物体からの距離とその格子に付与される占有確率との関係の一例を示す図である。
図14に示すように、物体から相対的に近い格子には、相対的に高い占有確率が付与され、物体から格子までの距離が離れるにつれて付与される占有確率が小さくなる。
図13に戻り、コントローラ30は、ステップS206の処理が完了すると、ステップS208に進む。
ステップS208にて、環境地図生成部302は、ショベル高さ情報を取得する。
コントローラ30は、ステップS208の処理が完了すると、ステップS210に進む。
ステップS210にて、環境地図生成部302は、ショベル高さ情報に規定されるショベル100の高さ以下の範囲で、Z軸方向に並ぶ各三次元格子の占有確率の最大値をXY平面(二次元格子)に投影することで、環境地図を生成する。具体的には、環境地図生成部302は、ショベル100の高さ以下のZ軸方向の範囲の三次元格子について、同じXY位置の各三次元格子の占有確率の中の最大値をそのXY位置の二次元格子の占有確率として設定する。これにより、環境地図生成部302は、ショベル100の高さ以下の範囲の三次元格子の占有確率を環境地図に反映させることができると共に、ショベル100の高さよりも高い範囲の三次元格子の占有確率を環境地図に反映させないようにすることができる。
コントローラ30は、ステップS210の処理が完了すると、今回のフローチャートを終了する。
例えば、距離センサ45Xの分解能やコントローラ30の処理性能等に応じて、環境地図の精度に影響が生じる。そのため、例えば、環境地図の精度によっては、ショベル100が物体に近づき過ぎてしまい、占有格子の近傍の位置にショベル100が到達した時点で、占有格子に相当する物体と接触してしまう可能性がある。
これに対して、本実施形態では、物体の存在する位置だけでなく、物体の存在する位置の近傍にも物体の存在を表す情報を反映させることができる。そのため、ショベル100が物体に近づき過ぎるような事態を抑制することができる。
<環境地図の第1の具体例>
続いて、本例に係る環境地図の生成方法により生成される環境地図の第1の具体例について説明する。
図15、図16は、表示装置50に表示される環境地図画像の第5例、第6例を示す図である。具体的には、図15、図16は、上述の図6、図7の状況において、表示装置50に表示される環境地図画像の具体例(環境地図画像1500,1600)である。環境地図画像1500,1600では、物体が存在しないことを表す非占有格子は、白色で表され、物体が存在することを表す占有格子は、黒色で表され、物体が存在する可能性があることを表す二次元格子(以下、「準占有格子」)が梨地で表される。以下、後述の環境地図画像1700,1800,1900,2200,2300,2700,2900の場合についても同様である。
尚、本例では、準占有格子は、一種類であるが、占有確率の大小(即ち、物体との距離の大小)に応じて、複数の種類の準占有格子が規定されてもよい。以下、後述の環境地図画像1700,1800,1900,2200,2300,2700,2900の場合についても同様であってよい。
例えば、図6、図7に示すように、ドローンDRNが点線で示す位置を飛行している場合、上述の如く、ショベル100が前方に移動(走行)すると、ショベル100(アタッチメント)がドローンDRNに接触してしまう可能性が高い。また、ショベル100がドローンDRNに近づき過ぎると、実際のドローンDRNの位置と環境地図上のドローンDRNに相当する占有格子との誤差等によって、ショベル100が占有格子に到達する前に、ショベル100に接触してしまう可能性もある。
この場合、本例では、環境地図生成部302は、上述の如く、ドローンDRNに相当する三次元格子の占有確率及びその周辺の三次元格子の占有確率を環境地図(二次元格子)に反映させることができる。
具体的には、図15に示すように、表示装置50には、環境地図画像1500が表示される。
環境地図画像1500は、ドローンDRNに対応する占有格子群1501及び準占有格子群1502を含む。
占有格子群1501は、図8の占有格子群801と同様、ショベル画像CGから左寄りの上向きにある程度はなれた4つの二次元格子に規定される。これにより、オペレータは、ショベル100の左寄りの前方に接触する可能性のある物体(ドローンDRN)が存在することを把握することができる。
準占有格子群1502は、占有格子群1501の周囲を取り囲む二次元格子群に規定される。これにより、オペレータは、ショベル100の左寄りの前方の物体(ドローンDRN)の周辺に物体と接触する可能性がある領域が存在することを認識することができる。そのため、周辺監視装置150は、ショベル100が物体(ドローンDRN)に近づき過ぎて、接触してしまうような事態を抑制し、安全性を向上させることができる。
尚、物体との距離に応じた占有確率の付与の方法(図14参照)が適宜調整されることにより、占有格子群1501を基準として2つ分以上離れた二次元格子が準占有格子として設定されてもよい。以下、後述の環境地図画像1700,1800,1900,2200,2300,2700,2900の場合についても同様であってよい。
一方、図6、図7に示すように、ドローンDRNが実線で示す位置を飛行している場合、上述の如く、ショベル100が前方に移動(走行)しても、ドローンDRNに接触する可能性は相対的に低くなる。但し、ドローンDRNの高さ位置とショベル100の高さとの差が相対的に小さい場合もありうる。この場合、環境地図の精度によっては、実際のドローンDRNの高さ位置が占有格子の示す位置よりも低く、ショベル100がドローンDRNの真下を通過できない可能性もある。
この場合、本例では、環境地図生成部302は、上述の如く、ドローンDRNの周辺に相当する三次元格子の占有確率を環境地図(二次元格子)に反映させることができる。
具体的には、図16に示すように、表示装置50には、環境地図画像1600が表示される。
環境地図画像1600は、ドローンDRNに対応する準占有格子群1601を含む。
準占有格子群1601は、ドローンDRNの下方に隣接する、ショベル100の高さ以下の範囲の三次元格子の占有確率が二次元格子に反映されることにより設定される。準占有格子群1601は、これらの二次元格子に相当するXY位置の上空に物体(ドローンDRN)が存在し、且つ、その高さ位置とショベル100の高さとの差が相対的に小さいことを表している。これにより、オペレータは、準占有格子群1601のXY位置の上空にショベル100の高さと相対的に近接する物体(ドローンDRN)が存在することを把握することができる。そのため、周辺監視装置150は、ショベル100が物体(ドローンDRN)に近づき過ぎて、接触してしまうような事態を抑制し、安全性を向上させることができる。
尚、ドローンDRNの高さ位置とショベル100の高さとの差が相対的に大きい場合、表示装置50には、図9の環境地図画像900と同様の環境地図画像が表示される。この場合、環境地図画像には、ドローンDRNに対応する占有格子や準占有格子は含まれないため、オペレータは、ドローンDRNの存在を意識することなく、ショベル100の作業を継続することができる。
<環境地図の第2の具体例>
続いて、本例に係る環境地図の生成方法により生成される環境地図の第2の具体例について説明する。
図17~図19は、表示装置50に表示される環境地図画像の第7例~第9例を示す図である。具体的には、図17~図19は、上述の図10の状況において、表示装置50に表示される環境地図画像の具体例(環境地図画像1700,1800,1900)である。
例えば、図10の状況で、ショベル100の現在の高さや最大高さが門型クレーンCRNの橋架部の下端よりも高い場合、2本の支柱部の間を通過すると、ショベル100のアタッチメントが橋架部に接触してしまう可能性が高い。また、図10の状況で、ショベル100が門型クレーンCRNの支柱部に近づき過ぎると、ショベル100が支柱部に接触してしまう可能性もある。
この場合、本例では、環境地図生成部302は、上述の如く、門型クレーンCRN(支柱部及び橋架部)に相当する三次元格子の占有確率及びその周辺の三次元格子の占有確率を環境地図(二次元格子)に反映させることができる。
具体的には、図17に示すように、表示装置50には、環境地図画像1700が表示される。
環境地図画像1700は、門型クレーンCRNに対応する占有格子群1701~1703及び準占有格子群1704~1706を含む。
占有格子群1701,1702は、図11の占有格子群1101,1102と同様、門型クレーンCRNの支柱部に相当する。
占有格子群1703は、図11の占有格子群1103と同様、門型クレーンCRNの橋架部に相当する。
これにより、オペレータは、ショベル100の前方にある程度の左右方向の幅を有する、接触する可能性のある物体(門型クレーンCRNの支柱部及び橋架部)が存在することを把握することができる。
準占有格子群1704,1705は、占有格子群1701,1702の周囲の二次元格子群に規定される。
準占有格子群1706は、占有格子群1703の周囲の二次元格子群に規定される。
これにより、オペレータは、ショベル100の前方にある物体(門型クレーンCRNの支柱部及び橋架部)の周辺に物体と接触する可能性がある領域が存在することを認識することができる。そのため、周辺監視装置150は、ショベル100が物体(門型クレーンCRNの支柱部や橋架部)に近づき過ぎて、接触してしまうような事態を抑制し、安全性を向上させることができる。
一方、例えば、ショベル100の現在の高さや最大高さが橋架部の下端よりも低い場合、2本の支柱部の間を通過しても、ショベル100のアタッチメントが橋架部に接触する可能性は低い。但し、橋架部の高さ位置とショベル100の高さの差が相対的に小さい場合もありうる.この場合、環境地図の精度によっては、実際の橋架部の高さ位置が占有格子の示す位置よりも低く、ショベル100が橋架部の真下を通過できない可能性もある。
この場合、本例では、環境地図生成部302は、上述の如く、門型クレーンCRNの橋架部の周辺に相当する三次元格子の占有確率を環境地図(二次元格子)に反映させることができる。
具体的には、図18に示すように、表示装置50には、環境地図画像1800が表示される。
環境地図画像1800は、門型クレーンCRNに対応する占有格子群1801,1802、及び準占有格子群1803~1805を含む。
占有格子群1801,1802は、図17の占有格子群1701,1702と同様、門型クレーンCRNの2つの支柱部に相当する。
準占有格子群1803,1804は、占有格子群1801,1802の周囲の二次元格子群に規定される。
準占有格子群1805は、門型クレーンCRNの橋架部の下方に隣接する、ショベル100の高さ以下の範囲の三次元格子の占有確率が二次元格子に反映されることにより設定される。準占有格子群1805は、これらの二次元格子に相当するXY位置の上空に物体(門型クレーンCRNの橋架部)が存在し、且つ、その高さ位置とショベル100の高さ位置との差が相対的に小さいことを表している。これにより、オペレータは、準占有格子群1805を視認することにより、ショベル100の高さと前方の門型クレーンCRNの橋架部の下端の高さ位置との差が相対的に小さく、下を通過できない可能性があることを認識することができる。そのため、周辺監視装置150は、ショベル100が門型クレーンCRNの橋架部の下を通過しようとして、接触してしまうような事態を抑制し、安全性を向上させることができる。
また、図19に示すように、門型クレーンCRNの橋架部の下端の高さ位置とショベル100の高さとの差が相対的に大きい場合、表示装置50には、環境地図画像1900が表示される。
環境地図画像1900は、門型クレーンCRNに対応する占有格子群1901,1902、及び準占有格子群1903,1904を含む。
占有格子群1901,1902は、図17の占有格子群1701,1702等と同様、門型クレーンCRNの2つの支柱部に相当する。
準占有格子群1903,1904は、占有格子群1901,1902の周囲の二次元格子群に規定される。
準占有格子群1903,1904の間の門型クレーンCRNの橋架部のXY平面上の位置に対応する二次元格子は、物体が存在しないことを表す非占有格子に設定される。これにより、オペレータは、接触する可能性が低い門型クレーンCRNの橋架部を意識することなく、ショベル100の作業を継続させることができる。そのため、周辺監視装置150は、ショベル100の作業効率を向上させることができる。また、オペレータは、準占有格子群1903,1904を視認することにより、門型クレーンCRNの下を通過する際に、支柱部に近づき過ぎると接触の可能性があることを認識することができる。そのため、周辺監視装置150は、ショベル100が門型クレーンCRNの下を通過する際に支柱部に近づき過ぎてしまうような事態を抑制し、ショベル100の安全性を向上させることができる。
[環境地図の生成方法の第3例]
次に,図20を参照して、環境地図の生成方法の第3例について説明する。
図20は、環境地図生成部302による地図生成処理の第3例を概略的に示すフローチャートである。
ステップS302,S304は、図13のステップS202,S204の処理と同じであるため、説明を省略する。
コントローラ30は、ステップS304の処理が完了すると、ステップS306に進む。
ステップS306にて、環境地図生成部302は、ショベル100(アタッチメント)の姿勢状態に関する情報(以下、「ショベル姿勢情報」)を取得する。ショベル姿勢情報は、例えば、ブーム4、アーム5、及びバケット6のそれぞれの姿勢角度に関する情報である。これにより、環境地図生成部302は、アタッチメントを含むショベル100の外形形状を把握することができる。
コントローラ30は、ステップS306の処理が完了すると、ステップS308に進む。
ステップS308にて、環境地図生成部302は、三次元格子群をXY平面に投影した二次元格子群の二次元格子ごとに、そのXY位置にショベル100が存在する場合のショベル100と、ステップS304で特定された三次元格子の物体との距離を算出する。物体が複数存在する場合には、環境地図生成部302は、そのうちの最も距離が近い物体とショベル100との距離を算出する。具体的には、環境地図生成部302は、ショベル姿勢情報に基づくショベル100の外形形状と物体に相当する三次元格子との距離を算出する。
コントローラ30は、ステップS308の処理が完了すると、ステップS310に進む。
ステップS310にて、環境地図生成部302は、XY平面の二次元格子ごとに、ショベル100と物体との距離に応じて、占有確率を確定することで、環境地図情報を生成する。
例えば、環境地図生成部302は、上述の第2例の場合と同様、図14の関係を用いて、XY平面の二次元格子ごとの占有確率を確定させてよい。
図14に示すように、物体からショベル100までの距離がゼロの場合、占有確率が最大(例えば、"1")に設定され、物体からショベル100までの距離が大きくなるにつれて付与される占有確率が小さくなる。例えば、環境地図生成部302は、物体からショベル100までの距離がゼロに相当する占有確率の最大値の二次元格子を占有格子とし、占有確率が最大値より小さく且つこの最大値より小さい所定値以上の二次元格子を準占有格子としてよい。そして、環境地図生成部302は、それ以外の二次元格子を非占有格子としてよい。
図20に戻り、コントローラ30は、ステップS310の処理が完了すると、今回のフローチャートの処理を終了する。
このように、本例では、周辺監視装置150は、ショベル100の高さだけでなく、ショベル100の姿勢状態に基づくショベル100の外形形状を環境地図に反映させる。これにより、周辺監視装置150は、より精度の高い環境地図を生成することができる。そのため、周辺監視装置150は、表示装置50に環境地図を表示させることで、ショベル100と周辺の物体との位置関係をより適切にオペレータに認識させることができる。また、周辺監視装置150は、環境地図を用いて、ショベル100と周辺の物体との位置関係をより適切に反映させる形で、安全機能を作動させることができる。
[環境地図の生成方法の第4例]
次に、図21~図23を参照して、環境地図の生成方法の第4例について説明する。
<地図生成処理>
まず、本例に係る環境地図の生成方法に対応する地図生成の処理フローについて説明する。
図21は、環境地図生成部302による地図生成処理の第4例を概略的に示すフローチャートである。
図21に示すように、ステップS402~S406は、上述の図13のステップS202~S206の処理と同じであるため、説明を省略する。
コントローラ30は、ステップS406の処理が完了すると、ステップS408に進む。
ステップS408にて、環境地図生成部302は、ステップS404で特定した物体の中に移動中の物体が存在するか否かを判定する。環境地図生成部302は、例えば、前回のフローチャートで特定された物体と、今回のフローチャートで特定された物体との位置を比較することにより、物体の移動の有無を判定してよい。環境地図生成部302は、移動中の物体が存在する場合、ステップS410に進み、移動中の物体が存在しない場合、ステップS412に進む。
ステップS410にて、環境地図生成部302は、物体の移動方向に応じて、移動中の物体及びその物体の周辺に相当する三次元格子の占有確率を修正する。例えば、環境地図生成部302は、移動中の物体及びその物体の周辺に相当する三次元格子のそれぞれに付与されている占有確率を、その物体の移動方向に存在する他の三次元格子に移動(付与)させる形の修正を行ってよい。この場合、移動前の三次元格子と移動後の三次元格子との間の間隔は、物体の移動速度に応じて決定されてよい。例えば、物体の移動速度が大きくなるほど、その間隔が大きく設定されてよい。
コントローラ30は、ステップS410の処理が完了すると、ステップS412に進む。
ステップS412,S414は、図13のステップS208,S210の処理と同じであるため、説明を省略する。
コントローラ30は、ステップS414の処理が完了すると、今回のフローチャートの処理を終了する。
このように、本例では、周辺監視装置150は、ショベル100の周辺の物体が移動中である場合、その移動方向を環境地図に反映させることができる。これにより、周辺監視装置150は、移動中の物体が現在の位置よりも移動方向に移動した位置に存在すると仮定した環境地図、即ち、将来を想定した環境地図を生成することができる。そのため、周辺監視装置150は、将来を想定した環境地図を表示装置50に表示させることで、環境地図を見て今後(将来)の運転行動に反映させるオペレータに対して、より適切な周辺の物体に関する情報を提供することができる。また、周辺監視装置150は、将来を想定した環境地図に基づき、安全機能を作動させることで、より早いタイミングで安全機能を作動させたり、不要な安全機能の作動を回避したりすることができる。
<環境地図の具体例>
続いて、本例に係る環境地図の生成方法により生成される環境地図の具体例について説明する。
図22、図23は、表示装置50に表示される環境地図画像の第10例、第11例を示す図である。具体的には、図22、図23は、上述の図6、図7の状況において、表示装置50に表示される環境地図画像の具体例(環境地図画像2200,2300)である。
例えば、図6、図7に示すように、上述の如く、ドローンDRNは、実線の位置を飛行している場合、ショベル100の高さよりも高い位置にある。しかし、このドローンDRNが下向きに移動しながら飛行している場合、ショベル100の高さ以下の範囲まで下がってくる可能性が高い。そのため、例えば、ショベル100が前方に移動する状況において、ショベル100がドローンDRNの位置に到達する時点では、下向きに移動しながら飛行するドローンDRNがショベル100の高さ以下の範囲に到達し、ドローンDRNと接触する可能性がある。
この場合、本例では、環境地図生成部302は、上述の如く、ドローンDRNの移動方向を環境地図に反映させて、将来のドローンDRNの位置を想定した環境地図を生成することができる。
具体的には、図22に示すように、表示装置50には、環境地図画像2200が表示される。
環境地図画像2200は、ドローンDRNに対応する占有格子群2201及び準占有格子群2202を含む。
占有格子群2201は、ショベル100の高さよりも高い位置に存在し、下向きに移動しているドローンDRNに相当する。
準占有格子群2202は、ショベル100の高さよりも高い位置に存在し、下向きに移動しているドローンDRNの前後左右に隣接する領域に相当し、占有格子群2201を取り囲む二次元格子に設定される。
このように、周辺監視装置150は、ドローンDRNが現在の位置よりも下方に存在すると将来を想定し、ドローンDRNに相当する占有格子群2201及び準占有格子群2202を含む環境地図画像をオペレータに提供することができる。そのため、周辺監視装置150は、例えば、現在のドローンDRNの位置を判断材料として、オペレータがショベル100をそのまま前方に走行させる操作を行い、ショベル100がドローンDRNと接触するような事態を抑制することができる。よって、周辺監視装置150は、ショベル100の安全性を向上させることができる。
一方、図6、図7に示すように、上述の如く、ドローンDRNは、点線の位置を飛行している場合、ショベル100の高さ以下の範囲に存在する。しかし、このドローンDRNが上向きに移動しながら飛行している場合、ショベル100の高さよりも高い範囲まで上昇する可能性が高い。そのため、例えば、ショベル100が前方に移動する状況において、ショベル100がドローンDRNの位置に到達する時点では、上向きに移動しながら飛行するドローンDRNは、ショベル100の高さよりも高い範囲に退避している可能性が高い。
この場合、本例では、環境地図生成部302は、上述の如く、ドローンDRNの移動方向を環境地図に反映させて、将来のドローンDRNの位置を想定した環境地図を生成することができる。
具体的には、図23に示すように、表示装置50には、環境地図画像2300が表示される。
環境地図画像2300には、ドローンDRNに相当する占有格子や準占有格子は設定されず、ドローンDRNの位置に相当する二次元格子群2301は、非占有格子に設定される。
このように、周辺監視装置150は、ドローンDRNがショベル100の高さより高い位置に移動(退避)することを想定し、ドローンDRNに相当する占有格子や準占有格子を含まない環境地図をオペレータに提供する。これにより、周辺監視装置150は、現在のドローンDRNの位置を判断材料として、オペレータがショベル100による作業(例えば、移動)を中断し、ショベル100の作業効率が低下するような事態を抑制することができる。
[環境地図の生成方法の第5例]
次に、図24~図27を参照して、環境地図の生成方法の第5例について説明する。
<地図生成処理>
まず、本例に係る環境地図の生成方法に対応する地図生成の処理フローについて説明する。
図24は、環境地図生成部302による地図生成処理の第5例を概略的に示すフローチャートである。
図24に示すように、ステップS502,S504は、上述の図13のステップS202,S204の処理と同じであるため、説明を省略する。
コントローラ30は、ステップS504の処理が完了すると、ステップS506に進む。
ステップS506にて、環境地図生成部302は、ステップS504で特定された物体の種類を特定する。物体の種類は、予め規定される。物体の種類には、例えば、人、三角コーン、柵、電柱、作業機械、作業車両、資材、建物、砂山等が含まれてよい。例えば、環境地図生成部302は、距離センサ45Xの後処理データに含まれる物体に対応する位置の点群データの属性データに基づき、物体の種類を特定してよい。また、例えば、環境地図生成部302は、カメラ40Xの画像データに既知の画像処理技術や機械学習ベースの識別器等を適用することにより、物体の種類を特定してもよい。
コントローラ30は、ステップS506の処理が完了すると、ステップS508に進む。
ステップS508にて、環境地図生成部302は、接触可能な種類の物体が存在するか否かを判定する。接触可能な種類の物体は、ショベル100との接触が予め許容される物体に相当し、例えば、砂山等である。環境地図生成部302は、接触可能な種類の物体が存在する場合、ステップS510に進み、存在しない場合、ステップS512に進む。
ステップS510にて、環境地図生成部302は、接触可能な種類の物体に相当する三次元格子及びその周辺の三次元格子の占有確率をゼロに修正する。
尚、ステップS510にて、環境地図生成部302は、接触可能な種類の物体に相当する三次元格子及びその周辺の三次元格子の占有確率をゼロにする代わりに、下げる(小さくする)態様であってもよい。
コントローラ30は、ステップS510の処理が完了すると、ステップS512に進む。
ステップS512~S516は、図13のステップS206~S210の処理と同じであるため、説明を省略する。
コントローラ30は、ステップS516の処理が完了すると、今回のフローチャートの処理を終了する。
このように、本例では、周辺監視装置150は、ショベル100の周辺の物体がショベル100と接触可能な物体(例えば、砂山等)である場合、その物体に関する情報を環境地図に反映させないようにすることができる。これにより、周辺監視装置150は、表示装置50に表示される環境地図からショベル100と接触可能な物体に関する情報を除外することができる。そのため、周辺監視装置150は、オペレータがショベル100と接触可能な物体に関する情報を確認するために作業が中断され、ショベル100の作業効率が低下するような事態を抑制することができる。また、周辺監視装置150は、ショベル100と接触可能な物体に関する情報を除外した環境地図に基づき、安全機能を作動させることができる。そのため、周辺監視装置150は、例えば、ショベル100と接触可能な物体の存在に起因する安全機能の作動によって、ショベル100の作業が中断され、ショベル100の作業効率が低下するような事態を抑制することができる。
<環境地図の具体例>
続いて、本例に係る環境地図の生成方法により生成される環境地図の具体例について説明する。
図25、図26は、ショベル100と周辺の物体との位置関係の更に他の例を示す図である。具体的には、図25、図26は、ショベル100と作業現場内を飛行するドローンDRN、ドローンDRNを操縦する作業者WKR、及び作業現場内の砂山SNDとの位置関係の具体例を示す上面図及び側面図である。図27は、表示装置50に表示される環境地図画像の第12例を示す図である。具体的には、図27は、図25、図26の状況において、表示装置50に表示される環境地図画像の具体例(環境地図画像2700)である。
図25、図26に示すように、本例では、上述の図6、図7の場合と同様、ショベル100(上部旋回体3)の左寄りの前方の上空のショベル100の高さ以下の位置にドローンDRNが飛行している。また、本例では、更に、ショベル100の右寄りの前方にドローンDRNを操縦する作業者WKRが存在し、ショベル100の左寄りの前方に砂山SNDが存在する。
ショベル100とドローンDRN及び作業者WKRとの接触は当然の如く許容されない一方、ショベル100と砂山SNDとの接触は許容されてもよい。
この場合、本例では、環境地図生成部302は、上述の如く、ショベル100の周囲に存在する物体の種類ごとに、ショベル100との接触可否(許否)を環境地図に反映させることができる。
具体的には、図27に示すように、表示装置50には、環境地図画像2700が表示される。
環境地図画像2700は、占有格子群2701、占有格子2702、及び準占有格子群2703,2704を含む。
占有格子群2701は、ショベル100の左寄りの前方の高さ以下の位置を飛行するドローンDRNに相当する。
占有格子2702は、ショベル100の右寄りの前方の地上でドローンDRNを操縦する作業者WKRに相当する。
準占有格子群2703は、ドローンDRNの前後左右に近接する領域に相当し、占有格子群2701の周囲を取り囲む二次元格子群に規定される。
準占有格子群2704は、作業者WKRの前後左右に近接する領域に相当し、占有格子2702の周囲を取り囲む二次元格子群に規定される。
また、環境地図画像2700における砂山SNDに相当する二次元格子群2705は、非占有格子群に規定される。
このように、周辺監視装置150は、ショベル100との接触が許容されないドローンDRNや作業者WKRに関する情報を反映させる一方、ショベル100との接触が許容される砂山に関する情報を反映させない態様の環境地図をオペレータに提供する。これにより、周辺監視装置150は、例えば、砂山SNDに関する情報が含まれる環境地図画像を視認し、接触が許容されるにも関わらず、オペレータが砂山SNDの確認のために作業を中断し、ショベル100の作業効率が低下してしまうような事態を抑制することができる。
[環境地図の生成方法の第6例]
次に、図28、図29を参照して、環境地図の生成方法の第6例について説明する。
<地図生成処理>
まず、本例に係る環境地図の生成方法に対応する地図生成の処理フローについて説明する。
図28は、環境地図生成部302による地図生成処理の第6例を概略的に示すフローチャートである。
図28に示すように、ステップS602,S604は、図13のステップS202,S204の処理と同じであるため、説明を省略する。
コントローラ30は、ステップS604の処理が完了すると、ステップS606に進む。
ステップS606にて、環境地図生成部302は、特定された物体の中に登録済みの物体が存在するか否かを判定する。例えば、環境地図生成部302は、カメラ40Xの画像データに基づき、既知の画像処理技術を適用し、登録済みの物体に取り付けられる登録済みであることを示すマーカの有無を認識することで、登録済みの物体か未登録の物体かを判断してよい。また、例えば、環境地図生成部302は、RFID(Radio Frequency Identification)リーダを用いて、登録済みの物体に搭載されるRFIDタグからの応答信号を読み取ることで、登録済みの物体と未登録の物体とを識別してもよい。
環境地図生成部302は、特定された物体の中に登録済みの物体が存在する場合、ステップS608に進み、存在しない場合、ステップS610に進む。
ステップS608にて、環境地図生成部302は、登録済みの物体に相当する三次元格子の占有確率を下げる(小さくする)。
コントローラ30は、ステップS608の処理が完了すると、ステップS610に進む。
ステップS610~S614は、図13のステップS206~S210の処理と同じであるため、説明を省略する。
コントローラ30は、ステップS614の処理が完了すると、今回のフローチャートの処理を終了する。
このように、周辺監視装置150は、ショベル100の周辺の物体のうち、環境地図における登録済みの物体に関する情報の重要度を下げることで、環境地図における未登録の物体に関する情報の重要度を相対的に上げる。
例えば、登録済みの物体は、ショベル100と同じ作業現場内に存在することが予め想定されている。そのため、その存在に注意を払う必要はあるものの、ショベル100との接触等の可能性は相対的に低い。
一方、未登録の物体は、ショベル100と同じ作業現場内での存在が予め想定されていない。そのため、予想外の動作をする可能性があり、ショベル100との接触等の可能性は相対的に高い。
よって、周辺監視装置150は、環境地図における未登録の物体に関する情報の重要度を上げることで、オペレータに未登録の物体に対する注意喚起を促すことができる。また、周辺監視装置150は、環境地図における登録済の物体に関する情報の重要度を下げることで、オペレータが登録済みの物体に対して必要以上の注意を払うことによる作業効率の低下を抑制することができる。
尚、環境地図生成部302は、登録済みの物体の三次元格子の占有確率を下げるのに代えて、登録済みの物体に関する情報に基づき、ショベル100との接触の可能性を具体的に判断し、当該物体に対応する二次元格子に付与する占有確率を決定してもよい。登録済みの物体に関する情報には、例えば、物体の形状に関する情報、物体の移動経路に関する情報等が含まれてよい。
<環境地図の具体例>
続いて、本例に係る環境地図の生成方法により生成される環境地図の具体例について説明する。
図29は、表示装置50に表示される環境地図画像の第13例を示す図である。具体的には、図29は、上述の図6、図7の状況において、表示装置50に表示される環境地図画像の具体例(環境地図画像2900)である。
例えば、図6、図7に示すように、上述の如く、ドローンDRNは、点線の位置を飛行している場合、ショベル100の高さよりも低い位置にある。しかし、このドローンDRNが登録済みの物体である場合、その移動経路(飛行ルート)やその形状等は、予め既知であり、その存在をオペレータも認識済みである可能性が高い。そのため、このドローンDRNに関する情報は、オペレータにとって、重要度が相対的に低い情報である可能性がある。
この場合、本例では、環境地図生成部302は、上述の如く、環境地図におけるドローンDRNに関する情報の重要度を相対的に下げることができる。
具体的には、図29に示すように、表示装置50には、環境地図画像2900が表示される。
環境地図画像2900は、登録済みの物体であるドローンDRNに対応する準占有格子群2901を含む。
このように、周辺監視装置150は、登録済みの物体であるドローンDRNに相当する位置の二次元格子群を、占有格子ではなく、準占有格子として表現する環境地図画像2900を生成し、表示装置50に表示させる。これにより、周辺監視装置150は、オペレータが登録済みのドローンDRNの存在に対して必要以上に注意を払いすぎ、結果として、作業効率の低下を招くような事態を抑制することができる。
[作用]
次に、本実施形態に係る周辺監視装置150の作用について説明する。
本実施形態では、周辺監視装置150は、距離センサ45Xにより取得されるショベル100の周辺状況に関するデータに基づき、ショベル100の周辺の物体に関する情報をユーザ(オペレータ)に向けて表示する表示装置50を備える。そして、表示装置50は、距離センサ45Xにより取得されるデータの中にショベル100の周辺に物体が存在することを表すデータが存在しても、その物体に関する情報を表示しない場合がある。
例えば、上述の如く、ドローンDRNがショベル100の高さよりも十分に高い位置を飛行している場合、ドローンDRNがショベル100の作業に影響を与える可能性が低い。そのため、このドローンDRNに関する情報は、ユーザにとって、重要度が相対的に低い可能性がある。また、例えば、上述の如く、門型クレーンCRNの橋架部がショベル100の高さよりも十分に高い位置に存在する場合、ショベル100が門型クレーンCRNの周辺を通過する際に、その橋架部がショベル100に影響を与える可能性が低い。そのため、この門型クレーンCRNの橋架部に関する情報は、ユーザにとって、重要度が相対的に低い可能性がある。また、例えば、上述の如く、ドローンDRNがショベル100の高さ付近の高さ位置を飛行している場合であっても、上向きに移動している場合、ドローンDRNは、ショベル100の高さよりも十分に高い位置に移動してしまう可能性が高い。そのため、このドローンDRNに関する情報は、ユーザにとって、重要度が相対的に低い可能性がある。また、例えば、上述の如く、砂山SNDは、ショベル100と接触しても、そのまま走行して通過することが可能であることから、この砂山SNDに関する情報は、ユーザにとって、重要度が相対的に低い可能性がある。よって、一律に、ショベル100の周辺の物体に関する情報がユーザに向けて表示されると、ユーザにとって相対的に重要度が低い情報の表示であっても、その情報の確認によりショベル100の作業が中断され、作業効率が低下する等の影響が生じる可能性がある。
これに対して、本実施形態では、表示装置50は、距離センサ45Xにより取得されるデータの中にショベル100の周辺に物体が存在することを表すデータが存在しても、その物体に関する情報の重要度が低い場合、その情報を表示しないようにすることができる。そのため、周辺監視装置150は、ショベル100の周辺の物体に関する情報をユーザに向けてより適切に表示することができる。よって、周辺監視装置150は、例えば、ショベル100の作業効率の低下を抑制することができる。
また、本実施形態では、表示装置50は、距離センサ45Xにより取得されるデータに基づき、ショベル100の周辺の物体のうちのショベル100と接触する可能性が高い物体に関する情報だけを表示してよい。
これにより、表示装置50は、ユーザにとって重要度が高い情報として、ショベル100と接触する可能性が高い物体に関する情報を選択的に表示することができる。そのため、周辺監視装置150は、ショベル100の作業効率の低下の抑制と、ショベル100の安全性の向上とを両立させることができる。
また、本実施形態では、表示装置50は、距離センサ45Xにより取得されるデータに基づき、ショベル100の周辺の物体のうちのショベル100と接触する可能性が高く、且つ、ショベル100との接触が許容されない物体に関する情報だけを表示してもよい。
これにより、表示装置50は、ショベル100と接触する可能性が高い物体であっても、例えば、砂山SND等のように、ショベル100と接触しても問題がない物体である場合、ユーザにその物体に関する情報を開示しないようにすることができる。そのため、周辺監視装置150は、ショベル100の作業効率の低下の抑制と、ショベル100の安全性の向上とのバランスをより適切に図ることができる。
また、本実施形態では、表示装置50は、ショベル100の周辺の物体のうち、ショベル100の移動に伴いショベル100が占有可能な空間範囲内(例えば、ショベル100の高さ以下の範囲)の物体に関する情報だけを表示してもよい。また、表示装置50は、ショベル100の移動に伴いショベル100が占有可能な空間範囲及びその空間範囲に隣接する所定範囲に亘る範囲内の物体に関する情報だけを表示してもよい。
これにより、周辺監視装置150は、ショベル100と接触する可能性が高い物体を具体的に選択し、その物体に関する情報を表示装置50に表示させることができる。
また、本実施形態では、周辺監視装置150は、距離センサ45Xにより取得されるショベル100の周辺の三次元空間のデータに基づき、ショベル100が移動する平面に相当する二次元の環境地図を生成する環境地図生成部302を備える。具体的には、環境地図生成部302は、ショベル100の周辺の物体のうちのショベル100と接触する可能性が高い物体に関する情報だけを含む環境地図を生成してよい。そして、表示装置50は、環境地図生成部302により生成される環境地図を表示してもよい。
これにより、周辺監視装置150は、二次元の環境地図を通じて、ユーザにショベル100と接触する可能性が高い物体に関する情報を提供することができる。そのため、周辺監視装置150は、ユーザに対して、ショベル100の周辺のショベル100と接触する可能性が高い物体に関する情報をより直感的に理解してもらうことができる。
また、本実施形態では、環境地図生成部302は、距離センサ45Xにより取得されるデータのうちのショベル100の移動に伴いショベル100が占有可能な空間範囲以外の範囲のデータを無視して環境地図を生成してもよい。また、環境地図生成部302は、距離センサ45Xにより取得されるデータのうちのショベル100の移動に伴いショベル100が占有可能な空間範囲及び空間範囲に隣接する所定範囲に亘る範囲以外の範囲のデータを無視して、環境地図を生成してもよい。
これにより、周辺監視装置150は、ショベル100と接触する可能性が高い物体に関する情報だけを含む環境地図を具体的に生成することができる。
また、本実施形態では、環境地図生成部302は、ショベル100の周辺の物体がショベル100に近づく方向に移動している場合、その物体が移動していない場合よりもその物体に関する情報が環境地図に含まれやすくなるように、環境地図を生成してもよい。
これにより、周辺監視装置150は、例えば、ショベル100の高さより高い範囲を下向きに移動しているドローンDRNのように、将来的に、ショベル100に接触する可能性が高い状態に移行する可能性のある物体に関する情報を環境地図に含めることができる。そのため、周辺監視装置150は、ショベル100の周辺の物体に関する情報をユーザに向けて更に適切に表示することができる。
また、本実施形態では、環境地図生成部302は、ショベル100の周辺の物体が登録済みの物体である場合、その物体が未登録の物体である場合よりもその物体に関する情報が環境地図に含まれにくくなるように、環境地図を生成してもよい。
これにより、周辺監視装置150は、環境地図における登録済の物体に関する情報の重要度を下げることができる。そのため、周辺監視装置150は、例えば、オペレータが登録済みの物体に対して必要以上の注意を払うことによる作業効率の低下を抑制することができる。
[変形・変更]
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述の実施形態では、周辺監視装置150は、ショベル100に適用されるが、他の作業機械に適用されてもよい。例えば、他の作業機械は、移動式クレーン等であってよい。
1 下部走行体
1C,1CL,1CR クローラ
3 上部旋回体
4 ブーム
5 アーム
6 バケット
10 キャビン
30 コントローラ
40 撮像装置
40B,40F,40L,40R カメラ
45,45BL,45BR,45L,45R,45F 距離センサ
50 表示装置(表示部)
52 入力装置
54 音出力装置
60 油圧制御弁
70 通信装置
100 ショベル(作業機械)
150 周辺監視装置
200 管理装置(周辺監視装置)
210 制御装置
220 通信装置
230 出力装置(表示部)
240 入力装置
301 周辺画像生成部
302 環境地図生成部
303 表示処理部
304 周辺監視データ送信部
305 安全機能制御部
SYS ショベル管理システム

Claims (8)

  1. 周辺監視センサにより取得される作業機械の周辺の三次元空間のデータに基づき、前記作業機械が移動する平面に相当する二次元の環境地図をユーザに向けて表示する表示部を備え、
    前記表示部は、前記周辺監視センサにより取得されるデータの中に前記作業機械の周辺に物体が存在することを表すデータが存在しても、その物体に関する情報を前記環境地図上に表示しない場合がある、
    周辺監視装置。
  2. 前記表示部は、前記周辺監視センサにより取得されるデータに基づき、前記作業機械の周辺の物体のうちの前記作業機械と接触する可能性が高い物体に関する情報だけを前記環境地図上に表示する、
    請求項1に記載の周辺監視装置。
  3. 前記表示部は、前記周辺監視センサにより取得されるデータに基づき、前記作業機械の周辺の物体のうちの前記作業機械と接触する可能性が高く、且つ、前記作業機械との接触が許容されない物体に関する情報だけを前記環境地図上に表示する、
    請求項2に記載の周辺監視装置。
  4. 前記表示部は、前記作業機械の周辺の物体のうち、前記作業機械の移動に伴い前記作業機械が占有可能な空間範囲内の物体、又は、前記空間範囲及び前記空間範囲に隣接する所定範囲に亘る範囲内の物体に関する情報だけを前記環境地図上に表示する、
    請求項1乃至3の何れか一項に記載の周辺監視装置。
  5. 前記周辺監視センサにより取得される前記作業機械の周辺の三次元空間のデータに基づき、前記環境地図を生成する地図生成部を備え、
    前記地図生成部は、前記作業機械の周辺の物体のうちの前記作業機械と接触する可能性が高い物体に関する情報だけを含む前記環境地図を生成する、
    請求項2又は3に記載の周辺監視装置。
  6. 前記地図生成部は、前記周辺監視センサにより取得されるデータのうちの前記作業機械の移動に伴い前記作業機械が占有可能な空間範囲以外の範囲のデータ、又は、前記空間範囲及び前記空間範囲に隣接する所定範囲に亘る範囲以外の範囲のデータを無視して、前記環境地図を生成する、
    請求項5に記載の周辺監視装置。
  7. 前記地図生成部は、前記作業機械の周辺の物体が前記作業機械に近づく方向に移動している場合、その物体が移動していない場合よりもその物体に関する情報が前記環境地図に含まれやすくなるように、前記環境地図を生成する、
    請求項5又は6に記載の周辺監視装置。
  8. 前記地図生成部は、前記作業機械の周辺の物体が登録済みの物体である場合、その物体が未登録の物体である場合よりもその物体に関する情報が前記環境地図に含まれにくくなるように、前記環境地図を生成する、
    請求項5乃至7の何れか一項に記載の周辺監視装置。
JP2020192730A 2020-11-19 2020-11-19 周辺監視装置 Active JP7488753B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020192730A JP7488753B2 (ja) 2020-11-19 2020-11-19 周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020192730A JP7488753B2 (ja) 2020-11-19 2020-11-19 周辺監視装置

Publications (2)

Publication Number Publication Date
JP2022081286A JP2022081286A (ja) 2022-05-31
JP7488753B2 true JP7488753B2 (ja) 2024-05-22

Family

ID=81799488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020192730A Active JP7488753B2 (ja) 2020-11-19 2020-11-19 周辺監視装置

Country Status (1)

Country Link
JP (1) JP7488753B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318541A (ja) 2004-04-02 2005-11-10 Denso Corp 車両周辺監視システム
JP2010044561A (ja) 2008-08-12 2010-02-25 Panasonic Corp 乗物搭載用監視装置
JP2010198519A (ja) 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2015184903A (ja) 2014-03-24 2015-10-22 日立建機株式会社 自走式産業機械の画像処理装置
US20180143625A1 (en) 2016-11-21 2018-05-24 Caterpillar Inc. Command for under ground
WO2018151280A1 (ja) 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018151280A (ja) 2017-03-14 2018-09-27 株式会社栗本鐵工所 管路モニタリング箇所の選定方法
JP2020056169A (ja) 2018-09-28 2020-04-09 東起業株式会社 地上及び地下での接近報知機能を備え、かつ新規埋設物の施工デ−タを取得可能な建設機械

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318541A (ja) 2004-04-02 2005-11-10 Denso Corp 車両周辺監視システム
JP2010044561A (ja) 2008-08-12 2010-02-25 Panasonic Corp 乗物搭載用監視装置
JP2010198519A (ja) 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2015184903A (ja) 2014-03-24 2015-10-22 日立建機株式会社 自走式産業機械の画像処理装置
US20180143625A1 (en) 2016-11-21 2018-05-24 Caterpillar Inc. Command for under ground
WO2018151280A1 (ja) 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018151280A (ja) 2017-03-14 2018-09-27 株式会社栗本鐵工所 管路モニタリング箇所の選定方法
JP2020056169A (ja) 2018-09-28 2020-04-09 東起業株式会社 地上及び地下での接近報知機能を備え、かつ新規埋設物の施工デ−タを取得可能な建設機械

Also Published As

Publication number Publication date
JP2022081286A (ja) 2022-05-31

Similar Documents

Publication Publication Date Title
WO2020218455A1 (ja) ショベル
US20220018096A1 (en) Shovel and construction system
WO2020218454A1 (ja) 表示装置、ショベル、情報処理装置
WO2021025123A1 (ja) ショベル、情報処理装置
US20210270013A1 (en) Shovel, controller for shovel, and method of managing worksite
JPWO2019189203A1 (ja) ショベル
WO2020196874A1 (ja) 建設機械、支援システム
WO2020218452A1 (ja) ショベル、作業現場の安全装備確認システム
WO2022210980A1 (ja) 建設機械、建設機械の支援システム
US20230008338A1 (en) Construction machine, construction machine management system, and machine learning apparatus
JP2020183623A (ja) ショベル
JP2020183624A (ja) ショベル
JP2022157923A (ja) ショベル
WO2020218453A1 (ja) ショベル
JP7488753B2 (ja) 周辺監視装置
WO2021149775A1 (ja) 作業機械、情報処理装置
JP2022182529A (ja) 遠隔操作支援システム、遠隔操作支援装置
JP2022179081A (ja) 遠隔操作支援システム、遠隔操作支援装置
JP2022154722A (ja) ショベル
JP2021120515A (ja) 作業機械、情報処理装置
WO2023132321A1 (ja) 周辺監視システム、作業機械
US20240218632A1 (en) Work machine and remote operation support device
WO2023171711A1 (ja) 操作支援装置、作業機械、遠隔操作支援装置、プログラム
JP2022156791A (ja) ショベル、情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240510

R150 Certificate of patent or registration of utility model

Ref document number: 7488753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150