JP7479156B2 - Work machines, data processing devices - Google Patents
Work machines, data processing devices Download PDFInfo
- Publication number
- JP7479156B2 JP7479156B2 JP2020013811A JP2020013811A JP7479156B2 JP 7479156 B2 JP7479156 B2 JP 7479156B2 JP 2020013811 A JP2020013811 A JP 2020013811A JP 2020013811 A JP2020013811 A JP 2020013811A JP 7479156 B2 JP7479156 B2 JP 7479156B2
- Authority
- JP
- Japan
- Prior art keywords
- work machine
- unit
- shovel
- area
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title description 16
- 238000001514 detection method Methods 0.000 claims description 323
- 238000011156 evaluation Methods 0.000 claims description 83
- 238000004891 communication Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000010365 information processing Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 101
- 238000012544 monitoring process Methods 0.000 description 99
- 238000003384 imaging method Methods 0.000 description 58
- 238000000034 method Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 27
- 230000004044 response Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 239000010720 hydraulic oil Substances 0.000 description 13
- 230000008859 change Effects 0.000 description 7
- 101150013335 img1 gene Proteins 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 101150071665 img2 gene Proteins 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- ZRHANBBTXQZFSP-UHFFFAOYSA-M potassium;4-amino-3,5,6-trichloropyridine-2-carboxylate Chemical compound [K+].NC1=C(Cl)C(Cl)=NC(C([O-])=O)=C1Cl ZRHANBBTXQZFSP-UHFFFAOYSA-M 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Description
本開示は、作業機械等に関する。 This disclosure relates to work machines, etc.
例えば、ショベル等の作業機械の周囲の近接する範囲内に作業者等の監視対象の物体が検出される場合、警報を出力させる技術が知られている(特許文献1参照)。 For example, there is known technology that outputs an alarm when a monitored object, such as a worker, is detected within a close range around a work machine such as an excavator (see Patent Document 1).
しかしながら、作業機械の周囲の環境等によっては、監視エリアの少なくとも一部において、監視対象の物体の検出精度が低下し、監視対象の物体の誤検出や見逃しが発生してしまう場合がある。例えば、作業機械の周囲の画像情報に基づき、監視対象の物体が検出される場合、背景の物体の見え方が監視対象の物体の特徴と類似している場合、背景の物体が監視対象の物体と誤検出(誤認識)されてしまう可能性がある。また、背景の物体の色と監視対象の物体の色とが類似している場合、背景の物体に監視対象の物体が同化し、監視対象が検出(認識)されない可能性がある。 However, depending on the environment around the work machine, etc., the detection accuracy of monitored objects may decrease in at least a part of the monitored area, resulting in erroneous detection or overlooking of monitored objects. For example, when a monitored object is detected based on image information about the surroundings of the work machine, if the appearance of a background object is similar to the characteristics of the monitored object, the background object may be erroneously detected (misrecognized) as the monitored object. In addition, if the color of the background object and the color of the monitored object are similar, the monitored object may blend in with the background object, and the monitored object may not be detected (recognized).
そこで、上記課題に鑑み、作業機械の安全性をより向上させることが可能な技術を提供することを目的とする。 Therefore, in consideration of the above issues, the objective is to provide technology that can further improve the safety of work machines.
上記目的を達成するため、本開示の一実施形態では、
作業機械の周囲の物体に関する情報を取得する取得部と、
前記取得部により取得される情報に基づき、作業機械の周囲で特定の種類の物体を検出する検出部と、
前記検出部により前記特定の種類の物体が検出される場合、オペレータに対して警報を出力する警報出力部と、
作業機械の周囲における前記取得部による情報の取得範囲の中に、作業機械の周囲に存在する、前記特定の種類の物体が存在すると仮定したときの前記取得部から見た背景に相当する他の物体の影響によって前記検出部が前記特定の種類の物体を検出することができる精度が所定基準に対して相対的に低い領域がある場合、オペレータに対して、作業機械の周囲の前記領域に関する通知を行う通知部と、を備える、
作業機械が提供される。
In order to achieve the above object, in one embodiment of the present disclosure,
an acquisition unit that acquires information about objects around the work machine;
a detection unit that detects a specific type of object around the work machine based on the information acquired by the acquisition unit;
an alarm output unit that outputs an alarm to an operator when the specific type of object is detected by the detection unit;
and a notification unit that notifies an operator about an area around the work machine when there is an area within an information acquisition range around the work machine by the acquisition unit where the accuracy with which the detection unit can detect the specific type of object is relatively low compared to a predetermined standard due to the influence of other objects that exist around the work machine and correspond to a background seen from the acquisition unit when it is assumed that the specific type of object exists.
A work machine is provided.
また、本開示の他の実施形態では、
作業機械に関する遠隔操作を受け付ける操作部と、
前記操作部により受け付けられる遠隔操作の内容を前記作業機械に送信する通信部と、
前記作業機械の取得部によって取得される前記作業機械の周囲の物体に関する情報に基づき、前記作業機械の検出部によって前記作業機械の周囲で特定の種類の物体が検出される場合、遠隔操作を行うオペレータに対して警報を出力する警報出力部と、
前記作業機械の周囲における前記取得部による情報の取得範囲の中に、前記作業機械の周囲に存在する、前記特定の種類の物体が存在すると仮定したときの前記取得部から見た背景に相当する他の物体の影響によって前記検出部が前記特定の種類の物体を検出することができる精度が所定基準に対して相対的に低い領域がある場合、前記オペレータに対して、前記作業機械の周囲の前記領域に関する通知を行う通知部と、を備える、
情報処理装置が提供される。
In another embodiment of the present disclosure,
an operation unit that receives remote control operations related to the work machine;
a communication unit that transmits the contents of the remote operation received by the operation unit to the work machine;
an alarm output unit that outputs an alarm to an operator performing remote operation when a specific type of object is detected around the work machine by a detection unit of the work machine based on information about objects around the work machine acquired by an acquisition unit of the work machine;
a notification unit that notifies the operator about the area around the work machine when there is an area within an information acquisition range around the work machine by the acquisition unit where the accuracy with which the detection unit can detect the specific type of object is relatively low compared to a predetermined standard due to the influence of other objects that exist around the work machine and correspond to a background seen from the acquisition unit when it is assumed that the specific type of object exists,
An information processing device is provided.
上述の実施形態によれば、作業機械の安全性をより向上させることが可能な技術を提供することができる。 The above-described embodiment provides technology that can further improve the safety of work machines.
以下、図面を参照して発明を実施するための形態について説明する。 Below, we will explain the form for implementing the invention with reference to the drawings.
[ショベル管理システムの概要]
最初に、図1、図2を参照して、本実施形態に係るショベル管理システムSYSの概要について説明する。
[Outline of the excavator management system]
First, an overview of the excavator management system SYS according to this embodiment will be described with reference to Figs. 1 and 2.
図1は、本実施形態に係るショベル管理システムSYSの一例を示す概要図である。図2は、本実施形態に係るショベル100の一例を示す上面図である。
Figure 1 is a schematic diagram showing an example of an excavator management system SYS according to this embodiment. Figure 2 is a top view showing an example of an
図1に示すように、ショベル管理システムSYSは、ショベル100と、管理装置200とを含む。
As shown in FIG. 1, the excavator management system SYS includes an
<ショベルの概要>
図1、図2に示すように、本実施形態に係るショベル100(作業機械の一例)は、下部走行体1と、旋回機構2を介して旋回自在に下部走行体1に搭載される上部旋回体3と、アタッチメント(作業機)を構成するブーム4、アーム5、及び、バケット6と、キャビン10とを備える。
<Outline of the excavator>
As shown in Figures 1 and 2, a shovel 100 (an example of a work machine) according to this embodiment includes a lower running
下部走行体1は、左右一対のクローラ1Cが左右の走行油圧モータ1Mでそれぞれ油圧駆動されることにより、ショベル100を走行させる。即ち、クローラ1Cは、左側のクローラ1CL及び右側のクローラ1CRを含み、走行油圧モータ1Mは、左側の走行油圧モータ1ML、及び右側の走行油圧モータ1MRを含む。
The
上部旋回体3は、旋回油圧モータ2Aで駆動されることにより、下部走行体1に対して旋回する。
The upper rotating
ブーム4は、上部旋回体3の前部中央に俯仰可能に取り付けられ、ブーム4の先端には、アーム5が上下回動可能に取り付けられ、アーム5の先端には、エンドアタッチメントとしてのバケット6が上下回動可能に取り付けられる。ブーム4、アーム5、及びバケット6は、油圧アクチュエータとしてのブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。また、バケット6は、エンドアタッチメントの一例であり、アーム5の先端には、作業内容等に応じて、バケット6の代わりに、他のエンドアタッチメント、例えば、法面用バケット、浚渫用バケット、ブレーカ等が取り付けられてもよい。
The
尚、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の少なくとも一部は、油圧アクチュエータに代えて、電動アクチュエータにより駆動されてもよい。例えば、上部旋回体3は、旋回油圧モータ2Aの代わりに、電動機により電気駆動されてもよい。
In addition, at least some of the lower traveling
キャビン10は、オペレータが搭乗する運転室であり、上部旋回体3の前部左側に搭載される。
The
また、本実施形態に係るショベル100は、通信装置T1を備え、所定の通信回線NWを通じて、管理装置200と通信可能に接続される。所定の通信回線には、例えば、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、インターネット網等が含まれうる。また、通信回線NWは、ブルートゥース(登録商標)やWiFi等の近距離の無線通信規格に基づく無線通信回線であってもよい。これにより、ショベル100は、自機で取得される情報を管理装置200に送信(アップロード)することができる。
The
ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、下部走行体1(クローラ1CL,1CR)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させる。
The
また、ショベル100は、キャビン10に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベルの外部から遠隔操作(リモート操作)が可能に構成されてもよい。ショベル100が遠隔操作される場合、キャビン10の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン10のオペレータの操作装置26に対する操作、及び外部のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。
In addition to or instead of being configured to be operable by an operator inside the
遠隔操作には、例えば、所定の外部装置で行われるショベル100のアクチュエータに関する操作入力によって、ショベル100が操作される態様が含まれる。所定の外部装置は、例えば、管理装置200である。この場合、ショベル100は、例えば、後述の撮像装置40が出力する画像情報(撮像画像)を管理装置200に送信し、画像情報は、管理装置200に設けられる後述の表示装置230Aに表示されてよい。また、ショベル100のキャビン10の内部の表示装置50に表示される各種の情報画像(情報画面)は、同様に、管理装置200の表示装置230Aにも表示されてよい。これにより、管理装置200のオペレータは、例えば、表示装置230Aに表示されるショベル100の周囲の様子を表す撮像画像や情報画面等の表示内容を確認しながら、ショベル100を遠隔操作することができる。そして、ショベル100は、後述の通信装置T1により管理装置200から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、油圧アクチュエータを動作させ、下部走行体1(クローラ1CL,1CR)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してよい。
The remote operation includes, for example, a mode in which the
また、遠隔操作には、例えば、ショベル100の周囲の人(例えば、作業者)のショベル100に対する外部からの音声入力やジェスチャ入力等によって、ショベル100が操作される態様が含まれてよい。具体的には、ショベル100は、ショベル100(自機)に搭載される音声入力装置(例えば、マイクロフォン)やジェスチャ入力装置(例えば、撮像装置)等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル100は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体1(クローラ1CL,1CR)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してよい。
Remote operation may also include a mode in which the
また、ショベル100は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル100は、下部走行体1(クローラ1CL,1CR)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素の少なくとも一部を自動で動作させる機能(いわゆる「自動運転機能」或いは「マシンコントロール機能」)を実現する。
The
自動運転機能には、オペレータの操作装置26に対する操作や遠隔操作に応じて、操作対象の被駆動要素(油圧アクチュエータ)以外の被駆動要素(油圧アクチュエータ)を自動で動作させる機能(いわゆる「半自動運機能」)が含まれてよい。また、自動運転機能には、オペレータの操作装置26に対する操作や遠隔操作がない前提で、複数の被駆動要素(油圧アクチュエータ)の少なくとも一部を自動で動作させる機能(いわゆる「完全自動運転機能」)が含まれてよい。ショベル100において、完全自動運転機能が有効な場合、キャビン10の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素(油圧アクチュエータ)の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル100が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素(油圧アクチュエータ)の動作内容が決定される態様(いわゆる「自律運転機能」)が含まれてもよい。
The automatic driving function may include a function (so-called "semi-automatic driving function") that automatically operates a driven element (hydraulic actuator) other than the driven element (hydraulic actuator) that is the object of operation, in response to the operator's operation of the operating
<管理装置の概要>
管理装置200(情報処理装置の一例)は、所定の通信回線NWを通じて、ショベル100と通信可能に接続され、ショベル100から受信される各種情報に基づき、ショベル100の状態や運用等に関する管理(監視)を行う。また、管理装置200は、ショベル100の遠隔操作を支援する。
<Overview of the management device>
The management device 200 (an example of an information processing device) is communicatively connected to the
管理装置200は、例えば、ショベル100の作業現場の外部の管理センタに設置されるクラウドサーバである。また、管理装置200は、例えば、ショベル100に相対的に近い場所(例えば、作業現場内の管理事務所や、作業現場に相対的に近い無線基地局や局舎等)に設置されるエッジサーバであってもよい。また、管理装置200は、ショベル100の作業現場内の管理事務所等に設置(定置)される端末装置(例えば、デスクトップ型のコンピュータ端末)であってもよい。また、管理装置200は、ショベル100の管理者等が携帯可能な携帯端末(例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等)であってもよい。
The
[ショベル管理システムの構成]
次に、図1、図2に加えて、図3、図4を参照して、本実施形態に係るショベル管理システムSYSの具体的な構成について説明する。
[Excavator management system configuration]
Next, a specific configuration of the excavator management system SYS according to this embodiment will be described with reference to Figs. 3 and 4 in addition to Figs. 1 and 2.
図3、図4は、それぞれ、本実施形態に係るショベル管理システムSYSの構成の一例及び他の例を概略的に示すブロック図である。図3、図4は、互いに、管理装置200の構成が同じであり、ショベル100の構成のみが異なる。
Figures 3 and 4 are block diagrams each showing an example and another example of the configuration of the excavator management system SYS according to this embodiment. Figures 3 and 4 have the same configuration of the
尚、図3、図4において、機械的動力ライン、作動油ライン、パイロットライン、及び電気信号ラインは、それぞれ、二重線、太い実線、細い実線、破線、及び点線で示されている。 In addition, in Figures 3 and 4, mechanical power lines, hydraulic oil lines, pilot lines, and electrical signal lines are indicated by double lines, thick solid lines, thin solid lines, dashed lines, and dotted lines, respectively.
<ショベルの構成>
図3、図4に示すように、本実施形態に係るショベル100の油圧駆動系は、上述の如く、走行油圧モータ1ML,1MR、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の油圧アクチュエータを含む。また、本実施形態に係るショベル100の油圧駆動系は、エンジン11と、レギュレータ13と、メインポンプ14と、コントロールバルブ17とを含む。
<Excavator configuration>
3 and 4 , as described above, the hydraulic drive system of the
エンジン11は、油圧駆動系におけるメイン動力源である。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン11は、例えば、上部旋回体3の後部に搭載され、コントローラ30の直接或いは間接の制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。
The
レギュレータ13は、メインポンプ14の吐出量を調整する。例えば、レギュレータ13は、コントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(傾転角)を調節する。
The
メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載され、高圧油圧ラインを通じてコントロールバルブ17に作動油を供給する。メインポンプ14は、上述の如く、エンジン11により駆動される。メインポンプ14は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ30の制御下で、レギュレータ13により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量が制御される。
The
コントロールバルブ17は、オペレータの操作に応じて、油圧駆動系の制御を行う油圧制御装置である。コントロールバルブ17は、例えば、上部旋回体3の中央部に搭載される。コントロールバルブ17は、メインポンプ14から供給される作動油を、操作装置26に対する操作や遠隔操作の内容に応じて、複数の油圧アクチュエータに選択的に供給する。コントロールバルブ17は、メインポンプ14から複数の油圧アクチュエータのそれぞれに供給される作動油の流量及び流れる方向を制御する複数の制御弁(方向切換弁とも称する)を含む。
The
複数の制御弁(方向切換弁)は、それぞれ、例えば、メインポンプ14から供給される作動油を対応する油圧アクチュエータへ供給し、且つ、対応する油圧アクチュエータが吐出する作動油を作動油タンクへ排出させるスプール弁である。具体的には、それぞれの制御弁は、スプールが中立位置から相反する二方向に移動可能に構成され、スプールの移動方向によって、油圧アクチュエータの作動油の流れの方向、即ち、油圧アクチュエータの動作方向が決定されてよい。
Each of the multiple control valves (directional control valves) is, for example, a spool valve that supplies hydraulic oil supplied from the
図3、図4に示すように、本実施形態に係るショベル100の操作系は、パイロットポンプ15と、操作装置26と、コントローラ30と、油圧制御弁31とを含む。また、図3に示すように、本実施形態に係るショベル100の操作系は、操作装置26が油圧パイロット式である場合、シャトル弁32と、油圧制御弁33とを含む。
As shown in Figures 3 and 4, the operating system of the
パイロットポンプ15は、例えば、上部旋回体3の後部に搭載され、パイロットライン25を介して操作装置26等の各種油圧機器にパイロット圧を供給する。パイロットポンプ15は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン11により駆動される。
The
操作装置26は、キャビン10の操縦席付近に設けられ、オペレータがショベル100の複数の被駆動要素のそれぞれの操作を行うために用いられる。複数の被駆動要素には、例えば、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等が含まれる。換言すれば、操作装置26は、オペレータがそれぞれの被駆動要素を駆動する複数の油圧アクチュエータの操作を行うために用いられる。複数の油圧アクチュエータには、例えば、上述の如く、走行油圧モータ1ML,1MR、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等が含まれる。
The operating
操作装置26は、例えば、下部走行体1の左右一対のクローラ(走行油圧モータ1ML,1MR)、ブーム4(ブームシリンダ7)、アーム5(アームシリンダ8)、バケット6(バケットシリンダ9)、及び上部旋回体3(旋回油圧モータ2A)のそれぞれを操作するレバー装置を含む。
The operating
図3に示すように、操作装置26は、例えば、その操作内容に対応するパイロット圧を有する作動油を出力する油圧パイロット式である。具体的には、操作装置26は、パイロットライン25及びそこから分岐されるパイロットライン25Aを通じてパイロットポンプ15から供給される作動油を利用して、操作内容に応じたパイロット圧を二次側のパイロットライン27Aに出力する。パイロットライン27Aは、シャトル弁32の入口ポートに接続され、シャトル弁32の出口ポートに接続されるパイロットライン27を介して、コントロールバルブ17に接続される。これにより、コントロールバルブ17には、シャトル弁32を介して、操作装置26における各種の被駆動要素(即ち、油圧アクチュエータ)に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ17は、オペレータ等の操作装置26に対する操作内容に応じて、それぞれの油圧アクチュエータを駆動することができる。
As shown in FIG. 3, the operating
また、図4に示すように、操作装置26は、例えば、電気式である。具体的には、操作装置26は、操作内容に応じた電気信号(以下、「操作信号」)を出力し、操作信号は、コントローラ30に取り込まれる。そして、コントローラ30は、操作信号の内容に応じた制御指令、つまり、操作装置26に対する操作内容に応じた制御信号を油圧制御弁31に出力する。これにより、油圧制御弁31からコントロールバルブ17に操作装置26の操作内容に応じたパイロット圧が入力され、コントロールバルブ17は、操作装置26の操作内容に応じて、それぞれの油圧アクチュエータを駆動することができる。
As shown in FIG. 4, the operating
また、コントロールバルブ17に内蔵される、それぞれの油圧アクチュエータを駆動する制御弁(方向切換弁)は、電磁ソレノイド式のスプール弁であってもよい。この場合、操作装置26から出力される操作信号がコントロールバルブ17に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。
The control valves (directional control valves) built into the
油圧制御弁31は、操作装置26の操作対象の被駆動要素(油圧アクチュエータ)ごとに設けられる。即ち、油圧制御弁31は、例えば、クローラ1CL(走行油圧モータ1ML)、クローラ1CR(走行油圧モータ1MR)、上部旋回体3(旋回油圧モータ2A)、ブーム4(ブームシリンダ7)、アーム5(アームシリンダ8)、及びバケット6(バケットシリンダ9)ごとに設けられる。油圧制御弁31は、例えば、パイロットポンプ15とコントロールバルブ17との間のパイロットライン25Bに設けられる。油圧制御弁31は、例えば、その流路面積(即ち、作動油が通流可能な断面積)を変更可能に構成されてよい。これにより、油圧制御弁31は、パイロットライン25Bを通じて供給されるパイロットポンプ15の作動油を利用して、所定のパイロット圧を二次側のパイロットライン27Bに出力することができる。そのため、図3に示すように、油圧制御弁31は、パイロットライン27Bとパイロットライン27の間のシャトル弁32を通じて、間接的に、コントローラ30からの制御信号に応じた所定のパイロット圧をコントロールバルブ17に作用させることができる。また、図4に示すように、図3の場合と異なり、パイロットライン27A及びシャトル弁32が省略され、油圧制御弁31は、パイロットライン27B及びパイロットライン27を通じて、直接的に、コントローラ30からの制御信号に応じた所定のパイロット圧をコントロールバルブ17に作用させることができる。よって、コントローラ30は、油圧制御弁31から電気式の操作装置26の操作内容に応じたパイロット圧をコントロールバルブ17に供給させ、オペレータの操作に基づくショベル100の動作を実現することができる。
The
より具体的には、油圧制御弁31は、例えば、複数の被駆動要素(油圧アクチュエータ)ごとに、二つ設けられる。二つの油圧制御弁31は、シャトル弁32及びパイロットライン27を介して、スプールを第1の方向及び第2の方向に移動させるための制御弁(方向切換弁)の二つのパイロットポートのそれぞれに接続される。これにより、コントローラ30は、二つの油圧制御弁31の何れか一方に制御信号を出力することで、操作対象の油圧アクチュエータを所望の方向に動作させることができる。以下、スプールの第1の方向の移動は、油圧アクチュエータ(被駆動要素)の第1の方向の操作、及び油圧アクチュエータ(被駆動要素)の第1の方向の動作に対応する前提で説明を進める。スプールの第2の方向の移動についても同様である。また、制御弁(方向切換弁)のスプールを第1の方向及び第2の方向に移動させるためのパイロット圧が供給されるそれぞれのパイロットポートを「第1のパイロットポート」及び「第2のパイロットポート」と称する場合がある。
More specifically, for example, two
また、コントローラ30は、例えば、油圧制御弁31を制御し、ショベル100の遠隔操作を実現する。具体的には、コントローラ30は、管理装置200から受信される遠隔操作信号等で指定される遠隔操作の内容に対応する制御信号を油圧制御弁31に出力する。これにより、コントローラ30は、油圧制御弁31から遠隔操作の内容に対応するパイロット圧をコントロールバルブ17に供給させ、オペレータの遠隔操作に基づくショベル100の動作を実現することができる。
The
また、コントローラ30は、例えば、油圧制御弁31を制御し、自動運転機能を実現してもよい。具体的には、コントローラ30は、操作装置26に対する操作や遠隔操作の有無に依らず、自動運転機能に関する操作指令に対応する制御信号を油圧制御弁31に出力する。これにより、コントローラ30は、油圧制御弁31から自動運転機能に関する操作指令に対応するパイロット圧をコントロールバルブ17に供給させ、自動運転機能に基づくショベル100の動作を実現することができる。
The
図3に示すように、シャトル弁32は、2つの入口ポートと1つの出口ポートを有し、2つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁32は、操作装置26の操作対象の被駆動要素(油圧アクチュエータ)ごとに設けられる。即ち、シャトル弁32は、例えば、クローラ1CL(走行油圧モータ1ML)、クローラ1CR(走行油圧モータ1MR)、上部旋回体3(旋回油圧モータ2A)、ブーム4(ブームシリンダ7)、アーム5(アームシリンダ8)、及びバケット6(バケットシリンダ9)ごとに設けられる。シャトル弁32は、2つの入口ポートのうちの一方が操作装置26(具体的には、操作装置26に含まれる上述のレバー装置)の二次側のパイロットライン27Aに接続され、他方が油圧制御弁31の二次側のパイロットライン27Bに接続される。シャトル弁32の出口ポートは、パイロットライン27を通じて、コントロールバルブ17の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁32の一方の入口ポートに接続される上述のレバー装置の操作対象である油圧アクチュエータを駆動する制御弁を表す。そのため、これらのシャトル弁32は、それぞれ、操作装置26(レバー装置)の二次側のパイロットライン27Aのパイロット圧と油圧制御弁31の二次側のパイロットライン27Bのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ30は、操作装置26の二次側のパイロットライン27Aのパイロット圧よりも高いパイロット圧を油圧制御弁31から出力させることで、オペレータの操作装置26に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ30は、オペレータの操作装置26に対する操作状態に依らず、被駆動要素(クローラ1CL,1CR、上部旋回体3、ブーム4、アーム5、及びバケット6)の動作を制御し、ショベル100の自動運転機能や遠隔操作機能等を実現することができる。
3, the
より具体的には、シャトル弁32は、例えば、複数の被駆動要素(油圧アクチュエータ)ごとに、二つ設けられる。二つのシャトル弁32の一方の入口ポートは、レバー装置の相反する第1の方向及び第2の方向の操作に対応する二つのパイロットライン27Aのそれぞれに接続される。二つのシャトル弁32の他方の入口ポートは、上述の如く、二つの油圧制御弁31の二次側のパイロットライン27Bにそれぞれ接続される。そして、二つのシャトル弁32の出口ポートは、パイロットライン27を通じて、制御弁の第1のパイロットポート及び第2のパイロットポートのそれぞれに接続される。これにより、二つのシャトル弁32の何れか一方から制御弁の第1のパイロットポート及び第2のパイロットポートの何れかにパイロット圧が供給され、操作対象の油圧アクチュエータを所望の方向(第1の方向或いは第2の方向)に動作させることができる。
More specifically, for example, two
図3に示すように、油圧制御弁33は、操作装置26(レバー装置)とシャトル弁32とを接続するパイロットライン27Aに設けられる。油圧制御弁33は、例えば、その流路面積を変更できるように構成される。油圧制御弁33は、コントローラ30から入力される制御信号に応じて動作する。これにより、コントローラ30は、オペレータにより操作装置26が操作されている場合に、操作装置26から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ30は、操作装置26が操作されている場合であっても、操作装置26の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ30は、例えば、操作装置26が操作されている場合であっても、操作装置26から出力されるパイロット圧を減圧させ、油圧制御弁31から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ30は、油圧制御弁31及び油圧制御弁33を制御することで、例えば、操作装置26の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ17内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ30は、例えば、油圧制御弁31に加えて、油圧制御弁33を制御することで、ショベル100の自動運転機能や遠隔操作機能等をより適切に実現することができる。
3, the
より具体的には、油圧制御弁33は、例えば、複数の被駆動要素(油圧アクチュエータ)ごとに、二つ設けられる。二つの油圧制御弁33は、レバー装置の相反する第1の方向及び第2の方向の操作に対応する二つのパイロットライン27Aのそれぞれに設けられる。これにより、二つの油圧制御弁33は、レバー装置が相反する第1の方向及び第2の方向のどちらに操作された場合であっても、対応するパイロットライン27Aのパイロット圧を減圧させることができる。
More specifically, for example, two
尚、油圧制御弁33は、省略されてもよい。また、コントローラ30は、油圧制御弁33の有無に依らず、オペレータの操作に基づく被駆動要素(油圧アクチュエータ)の第1の方向の動作を抑制或いは停止させるため、当該油圧アクチュエータの第2の方向の動作に対応する油圧制御弁31を制御してもよい。これにより、当該油圧制御弁31からシャトル弁32を介して、当該油圧アクチュエータに対応する制御弁の第2のパイロットポートにパイロット圧が供給される。そのため、オペレータの操作に応じて制御弁の第1のパイロットポートに作用するパイロット圧に対抗する形で、当該制御弁の第2のパイロットポートにパイロット圧を作用させることができる。よって、制御弁のスプールを中立状態に近づけ、油圧アクチュエータの動作を抑制することができる。同様に、油圧制御弁33の有無に依らず、オペレータの操作に基づく被駆動要素(油圧アクチュエータ)の第2の方向の動作を抑制或いは停止させるため、当該油圧アクチュエータの第1の方向の動作に対応する油圧制御弁31を制御してもよい。また、例えば、図4のパイロットライン27Bに、図3の油圧制御弁33が設けられてもよい。これにより、コントローラ30は、オペレータにより操作装置26が操作されている場合に、油圧制御弁31から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ30は、油圧制御弁31から操作装置26の操作内容に対応するパイロット圧が出力されている場合であっても、操作装置26の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。
The
図3、図4に示すように、本実施形態に係るショベル100の制御系は、コントローラ30と、撮像装置40と、周辺物体情報取得装置45と、表示装置50と、音出力装置52と、入力装置54と、通信装置T1とを含む。また、図3に示すように、本実施形態に係るショベル100の制御系は、操作装置26が油圧パイロット式である場合、操作圧センサ29を含む。
As shown in Figures 3 and 4, the control system of the
コントローラ30は、例えば、キャビン10内に設けられ、ショベル100に関する各種制御を行う。コントローラ30は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、コントローラ30は、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置、ROM(Read Only Memory)等の不揮発性の補助記憶装置、及び外部との入出力に関するインタフェース装置等を含むコンピュータを中心に構成される。また、コントローラ30は、例えば、CPUと連動する、GPU(Graphics Processing Unit),ASIC(Application Specific Integrated Circuit),FPGA(Field-Programmable Gate Array)等の高速演算回路を含んでもよい。コントローラ30は、例えば、補助記憶装置にインストールされる各種プログラムをCPU上で実行することにより実現される機能部として、遠隔操作制御部301と、物体検出部302と、安全制御部303と、評価値算出部304と、検出精度判定部305と、低検出精度通知部306とを含む。
The
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベル100に相対的に近い領域から相対的に遠い領域に亘るショベル100の周囲を撮像し、撮像画像を取得する。撮像装置40は、カメラ40F,40B,40L,40Rを含む。以下、カメラ40F,40B,40L,40Rを包括的に或いは個別に「カメラ40X」と称する場合がある。
The
カメラ40F、カメラ40B、カメラ40L、及びカメラ40Rは、それぞれ、上部旋回体3の前端上部、後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の前方、後方、左側方、及び、右側方を撮像する。例えば、カメラ40Xは、非常に広い画角を有する単眼カメラ(即ち、広角カメラ)である。また、例えば、カメラ40Xは、ステレオカメラや距離画像カメラやデプスカメラ等であってもよい。カメラ40Fは、上部旋回体3の前方の撮像範囲、例えば、左前方から右前方に亘る水平方向(即ち、ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Bは、上部旋回体3の後方の撮像範囲、例えば、左後方から右後方に亘る水平方向(即ち、ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Lは、例えば、上部旋回体3の左側方の撮像範囲、例えば、上部旋回体3の左前方から左後方に亘る水平方向(ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Rは、例えば、上部旋回体3の右側方の撮像範囲、例えば、上部旋回体3の右前方から右後方に亘る水平方向(ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Xは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100の近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲を撮像する。
カメラ40Xは、例えば、ショベル100の起動(即ち、キースイッチON)から停止(即ち、キースイッチOFF)までの間で、所定周期(例えば、1/30秒)ごとに、撮像画像を出力する。カメラ40Xから出力される撮像画像は、コントローラ30に取り込まれる。また、カメラ40Xから出力される撮像画像は、コントローラ30から通信装置T1を通じて、管理装置200に送信(アップロード)されてもよい。
The camera 40X outputs captured images at a predetermined period (e.g., 1/30th of a second) between the start of the shovel 100 (i.e., key switch ON) and the stop of the shovel 100 (i.e., key switch OFF). The captured images output from the camera 40X are captured by the
周辺物体情報取得装置45は、上部旋回体3の上部に取り付けられ、ショベル100の周辺の物体に関する情報を取得する。周辺物体情報取得装置45は、センサ45BL,45BR,45L,45Rを含む。以下、センサ45BL,45BR,45L,45Rを包括的に或いは個別に「センサ45X」と称する場合がある。
The surrounding object
センサ45BL、センサ45BR、センサ45L、及びセンサ45Rは、それぞれ、上部旋回体3の左寄りの後端上部、右寄りの後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の左後方、右後方、左側方、及び、右側方の状況に関する情報を取得する。例えば、センサ45Xは、LIDAR(Light Detection and Ranging)である。また、例えば、センサ45Xは、例えば、ミリ波レーダや超音波センサ等であってもよい。以下、センサ45XがLIDARである場合を中心に説明を進める。
Sensor 45BL, sensor 45BR,
センサ45Xは、例えば、ある方向に赤外線を照射する共に、その方向の物体からの反射光を受光することにより、ショベル100の周辺の物体に関する情報、具体的には、受光される反射光に関する情報(以下、「受光情報」)を取得する。センサ45Xは、例えば、走査型のLIDARであり、赤外線レーザの照射方向を上下方向及び左右方向に走査可能な三次元レーザスキャナである。また、センサ45Xは、発光モジュールから赤外線を三次元の広範囲に照射し、反射光(赤外線)を三次元距離画像素子で撮像する、いわゆるフラッシュ型LIDARであってもよい。
The sensor 45X, for example, emits infrared rays in a certain direction and receives reflected light from objects in that direction to obtain information about objects around the
受光情報には、赤外線の照射方向ごとの赤外線の照射から反射光が受光されるまでの時間(TOF:Time Of Flight)に関する情報(以下、「TOF情報」)、及び赤外線の照射方向ごとの受光される反射光の強度に関する情報(以下、「受光強度情報」)が含まれる。 The light reception information includes information on the time from infrared irradiation to the reception of reflected light (TOF: Time Of Flight) for each direction of infrared irradiation (hereinafter, "TOF information"), and information on the intensity of reflected light received for each direction of infrared irradiation (hereinafter, "received light intensity information").
センサ45BLは、上部旋回体3の左後方の照射範囲、例えば、上部旋回体3の左後方から後方に亘る水平方向(即ち、ショベル100から見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45BRは、上部旋回体3の右後方の照射範囲、例えば、上部旋回体3の右後方から後方に亘る水平方向(ショベル100から見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45Lは、上部旋回体3の左側方の照射範囲、例えば、上部旋回体3の左前方から左後方に亘る水平方向(ショベル100から見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45Rは、上部旋回体3の右側方の照射範囲、例えば、上部旋回体3の右前方から右後方に亘る照射範囲に赤外線を照射可能に構成される。また、センサ45Xは、上部旋回体3の上部において、光軸(即ち、赤外線の照射方向の基準軸)が斜め下方に向くように取り付けられ、ショベル100に相対的に近い地面の部分を中心とする上下方向の赤外線の照射範囲を有する。
The sensor 45BL is configured to irradiate infrared rays to an irradiation range on the left rear side of the upper
センサ45Xは、それぞれ、ショベル100の起動から停止までの間で、所定周期ごとに、受光情報を出力する。センサ45Xから出力される受光情報は、コントローラ30に取り込まれる。
Each of the sensors 45X outputs light reception information at a predetermined cycle from when the
表示装置50は、キャビン10内の着座したオペレータから視認し易い場所に設けられ、コントローラ30の制御下で、各種情報画像を表示する。表示装置50は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等である。これにより、表示装置50は、視覚的な情報をオペレータに通知することができる。
The
表示装置50は、例えば、撮像装置40の撮像画像に基づき、ショベル100の周囲の様子を表す画像(以下、「周囲画像」)を表示する。周囲画像は、撮像装置40により撮像されたショベル100の周囲の画像情報そのものであってもよいし、当該画像情報に対して既知の画像処理(例えば、視点変換処理)が施されることで生成される加工画像であってもよい。また、周囲画像には、例えば、上部旋回体3の左側方、右側方、及び後方のうちの少なくとも一つ様子が含まれる。これにより、キャビン10のオペレータは、表示装置50の周囲画像を確認することによって、ショベル100の通常の作業時に死角になり易い領域(以下、「死角領域」)である、上部旋回体3の左側方、右側方、及び後方の安全確認を行うことができる。
The
音出力装置52は、キャビン10の内部に設けられ、コントローラ30の制御下で、音を出力する。音出力装置52は、例えば、ブザーやスピーカ等である。これにより、音出力装置52は、出力する音の内容(音色、音圧、音のパターン、音声の内容等)によって、聴覚的な情報をオペレータに通知することができる。
The
入力装置54は、キャビン10内の着座したオペレータから手が届く範囲に設けられ、オペレータからの各種の入力を受け付け、入力に応じた信号をコントローラ30に出力する。例えば、入力装置54は、オペレータからの操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、表示装置50のディスプレイに実装されるタッチパネルを含んでよい。また、操作入力装置は、例えば、表示装置50の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル等を含んでよい。また、操作入力装置は、例えば、操作装置26(レバー装置)の先端に設けられるノブスイッチを含んでよい。また、例えば、入力装置54は、オペレータの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、マイクロフォンを含む。ジェスチャ入力装置は、例えば、キャビン10内のオペレータを撮像する撮像装置を含む。入力装置54に対する入力内容に対応する信号は、コントローラ30に取り込まれる。
The
通信装置T1は、通信回線NWを通じて、外部装置(例えば、管理装置200)との間で通信を行う。通信装置T1は、例えば、基地局を末端とする移動体通信網に接続する移動体通信モジュールである。また、通信装置T1は、例えば、通信衛星を利用する衛星通信網に接続する衛星通信モジュールであってもよい。また、通信装置T1は、近距離通信を行うWiFi通信モジュールやブルートゥース通信モジュールであってもよい。 The communication device T1 communicates with an external device (e.g., the management device 200) through the communication line NW. The communication device T1 is, for example, a mobile communication module that connects to a mobile communication network that ends at a base station. The communication device T1 may also be, for example, a satellite communication module that connects to a satellite communication network that uses a communication satellite. The communication device T1 may also be a WiFi communication module or a Bluetooth communication module that performs short-range communication.
操作圧センサ29は、操作装置26の操作内容に対応する二次側のパイロット圧(操作圧)を検出する。操作圧センサ29の出力は、コントローラ30に取り込まれる。これにより、コントローラ30は、操作装置26の操作内容を取得できる。
The operating
遠隔操作制御部301は、ショベル100の遠隔操作に関する制御を行う。具体的には、遠隔操作制御部301は、上述の如く、通信装置T1により管理装置200から受信される遠隔操作信号で指定される遠隔操作の内容に応じて、油圧制御弁31或いは油圧制御弁31,33を制御し、ショベル100の遠隔操作を実現させる。
The remote
物体検出部302は、撮像装置40や周辺物体情報取得装置45の出力に基づき、ショベル100の周囲の近接する監視エリア内における監視対象の物体(以下、単に「監視対象」)を検出する。監視対象には、例えば、ショベル100の周囲で作業する作業者や作業現場の監督者等の人が含まれる。また、監視対象には、例えば、作業現場に仮置きされた資材、作業現場の仮設事務所等の定置された移動しない障害物やトラックを含む車両等の移動する障害物等、人以外の任意の障害物が含まれうる。
The
物体検出部302は、例えば、撮像装置40の出力、即ち、撮像装置40で撮像された撮像画像に基づき、ショベル100(上部旋回体3)の周囲の所定の監視エリア(以下、便宜的に「第1監視エリア」)において、監視対象を検出する。
The
物体検出部302は、ショベル100から見た水平方向(以下、単に「水平方向」)、つまり、ショベル100が作業している(下部走行体1が接地している)平面(以下、「作業平面」)に沿う方向に延在する第1監視エリア内において、監視対象を検出してよい。具体的には、物体検出部302は、ショベル100(上部旋回体3)からの水平方向の距離Dが所定距離Dth1(例えば、5メートル)以内の第1監視エリア内で、監視対象を検出してよい。
The
例えば、物体検出部302は、既知の各種画像処理手法や人工知能(AI:Artificial Intelligence)等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。具体的には、物体検出部302は、例えば、撮像画像に含まれる画素ごとに、対象の画素を含む監視対象の大きさに相当する程度の部分画像を切り出し、部分画像の局所画像特徴量を取得する。局所画像特徴量は、例えば、HOG(Histograms of Oriented Gradients)やSIFT(Scaled Invariance Feature Transform)等を含む。そして、物体検出部302は、監視対象を含む画像と当該画像の局所画像特徴量との組み合わせによる複数の教師データにより学習済みの識別器を用いて、取得した局所画像特徴量に基づき、部分画像に監視対象が含まれるか否かを判定してよい。
For example, the
また、物体検出部302は、既知の各種手法を適用することにより、単眼の撮像装置40の撮像画像に映っている、認識された監視対象(人)が存在する位置(例えば、足元位置)(以下、「実在位置」)を判定(推定)する。
In addition, the
例えば、物体検出部302は、認識された監視対象の撮像画像上における大きさ(例えば、撮像画像上の高さ方向の大きさ)に基づき、ショベル100から見た水平方向の距離(以下、「水平距離」)を推定する。認識された監視対象の撮像画像上における大きさは、監視対象がショベル100から離れるほど小さくなる相関関係があるからである。具体的には、監視対象には、想定される大きさの範囲(例えば、想定される人の身長の範囲)があるため、想定された大きさの範囲に含まれる当該監視対象のショベル100から見た水平距離と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、物体検出部302は、例えば、コントローラ30の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視対象の大きさとショベル100から見た水平距離との相関関係を表すマップや変換式等に基づき、監視対象のショベル100からの水平距離を推定することができる。また、物体検出部302は、撮像画像上の横方向(左右方向)の位置に応じて、ショベル100(カメラ40X)から見た監視対象の存在する方向を推定することができる。
For example, the
また、例えば、物体検出部302は、監視対象がショベル100(具体的には、下部走行体1)と同じ平面上に存在する前提の下、撮像画像を当該平面上への射影変換(ホモグラフィ)等によって、その実在位置(例えば、足元位置)を推定することができる。この場合、撮像画像を構成するある部分(ある点)は、ショベル100と同じ平面上のある位置に対応づけられる。
Also, for example, the
また、物体検出部302は、例えば、周辺物体情報取得装置45の出力(即ち、受光情報)に基づき、ショベル100(上部旋回体3)の周辺の所定の監視エリア(以下、便宜的に「第2監視エリア」)において、監視対象を検出する。
The
物体検出部302は、水平方向、つまり、作業平面に沿う方向に延在する第2監視エリア内において、監視対象を検出してよい。具体的には、物体検出部302は、ショベル100(上部旋回体3)からの水平方向の距離Dが所定距離Dth2以内の第2監視エリア内で、監視対象を検出してもよい。所定距離Dth1,Dth2は、同じであってもよいし、異なっていてもよい。即ち、第1監視エリアと第2監視エリアとは同じであってもよいし、異なっていてもよい。例えば、第1監視エリアは、ショベル100から相対的に遠方の範囲を含み、第2監視エリアは、第1監視エリアよりもショベル100に近い範囲に限定される態様であってよい。
The
例えば、物体検出部302は、周辺物体情報取得装置45から取り込まれる受光情報のうちのTOF情報に基づき、周囲の物体の存在及びその位置を認識する。また、物体検出部302は、複数の照射方向からの受光される反射光に対応する受光情報(TOF情報)に基づき、物体の形状や物体の大きさ等を認識することにより、周囲の物体の種別を認識し、その物体が監視対象に該当するか否かを判別してよい。また、物体検出部302は、受光情報のうちの受光強度情報に基づき、周囲の物体の再帰反射性や反射率を認識することにより、物体の種別を認識し、その物体が監視対象に該当するか否かを判別してもよい。
For example, the
以下、撮像装置40(カメラ40X)や周辺物体情報取得装置45等を含む、物体検出部302により監視対象を検出するために用いられるショベル100の周囲の物体に関する情報を取得する装置を「情報源」と称する場合がある。
Hereinafter, devices that acquire information about objects around the
また、物体検出部302は、例えば、ショベル100が遠隔操作されている状態で、監視エリア内の監視対象を検出した場合、通信装置T1を通じて、監視エリア内で監視対象が検出されたことを表す信号(以下、「監視対象検出信号」)を管理装置200に送信する。これにより、管理装置200は、ショベル100の周囲の監視エリア内に監視対象が存在することを認識することができる。
In addition, for example, when the
また、物体検出部302の機能は、入力装置54に対するオペレータ等のユーザによる所定の操作に応じて、ON(有効)/OFF(無効)の間で切り替えられてもよい。この場合、撮像装置40の出力に基づき監視対象を検出する機能、及び周辺物体情報取得装置45の出力に基づき監視対象を検出する機能ごとに、ON(有効)/OFF(無効)が切り替え可能な態様であってもよい。
The function of the
尚、物体検出部302は、撮像装置40及び周辺物体情報取得装置45の何れか一方の出力だけに基づき、ショベル100の周囲の監視エリア内の監視対象を検出してもよい。また、物体検出部302が撮像装置40の出力だけに基づき、ショベル100の周囲の監視エリア内の監視対象を検出する場合、周辺物体情報取得装置45は省略されてもよい。
The
安全制御部303は、ショベル100の安全機能に関する制御を行う。具体的には、安全制御部303は、ショベル100とその周囲の物体との接触を回避するための安全機能に関する制御を行う。
The
安全制御部303は、例えば、物体検出部302により監視エリア内で監視対象が検出される場合に、所定の安全機能(以下、便宜的に「第1の安全機能」)を作動させる。
The
第1の安全機能には、例えば、キャビン10の内部及び外部の少なくとも一方に警報を出力する等し、監視対象が検出されていることをキャビン10内のオペレータ等やショベル100の周囲の作業者等に報知する機能(以下、「報知機能」)が含まれる。
The first safety function includes, for example, a function to notify an operator, etc. in the
安全制御部303は、例えば、物体検出部302により監視エリアに含まれる所定の範囲(以下、「報知範囲」)で監視対象が検出される場合に、報知機能を作動させる。報知範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。これにより、キャビン10の内部のオペレータ等やショベル100の周囲の作業者等に対して、ショベル100の周囲の所定範囲内に監視対象が存在していること認識させることができる。
The
安全制御部303は、例えば、音出力装置52を制御することにより、キャビン10の内部及び外部の少なくとも一方に対する音(即ち、聴覚的な方法)による報知機能を作動させる。これにより、音出力装置52は、コントローラ30の制御下で、聴覚的な報知機能を実現させることができる。このとき、安全制御部303は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声情報の内容等を異ならせてもよい。
The
また、安全制御部303は、例えば、表示装置50を制御することにより、キャビン10の内部に対する画像情報の表示による報知機能を作動させる。具体的には、安全制御部303は、表示装置50に表示されている周囲画像上に、監視対象が検出されていることを表す画像を表示させてよい。また、安全制御部303は、表示装置50に表示される周囲画像に映っている監視対象や、検出された監視対象のショベル100から見た位置に対応する周囲画像上の位置を強調させてもよい。より具体的には、安全制御部303は、周囲画像上に映っている監視対象を囲む枠を重畳して表示させたり、検出された監視対象の実在位置に対応する周囲画像上の位置にマーカを重畳して表示させたりしてよい。これにより、表示装置50は、コントローラ30の制御下で、オペレータに対する視覚的な報知機能を実現することができる。
The
また、安全制御部303は、例えば、上部旋回体3のハウス部等に設けられる前照灯や外部用の表示装置を制御することにより、ショベル100の周囲の作業者や監督者等に視覚的な方法による報知機能を作動させてもよい。また、安全制御部303は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法でキャビン10内のオペレータに対する報知機能を作動させてもよい。これにより、コントローラ30は、オペレータやショベル100の周囲の作業者及び監督者等に対して、ショベル100の周囲に監視対象(例えば、作業者等の人)が存在することを認識させることができる。そのため、コントローラ30は、オペレータに対して、ショベル100の周囲の安全確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。
The
また、安全制御部303は、報知範囲内で検出されている監視対象と、ショベル100との位置関係に応じて、報知態様(即ち、報知の仕方)を異ならせてもよい。
In addition, the
例えば、安全制御部303は、物体検出部302により報知範囲内で検出された監視対象が相対的にショベル100から遠い位置に存在する場合、オペレータ等に監視対象への注意を促す程度の相対的に警戒度が低い警報(以下、「低警戒レベルの警報」)を出力してよい。一方、安全制御部303は、物体検出部302により報知範囲内で検出された監視対象が相対的にショベル100から近い位置に存在する場合、監視対象がショベル100に接近し危険度が高まっていることを知らせる相対的に警戒度が高い警報(以下、「高警戒レベルの警報」)を出力してよい。
For example, when a monitoring target detected within the notification range by the
この場合、安全制御部303は、注意レベルの警報と警戒レベルの警報との間で、音出力装置52から出力される音の音高、音圧、音色、吹鳴周期、音声情報の内容等を異ならせてよい。また、安全制御部303は、低警戒レベルの警報と高警戒レベルの警報との間で、表示装置50に表示される周囲画像上に表示される監視対象が検出されていることを表す画像や、監視対象或いは監視対象の位置を強調させる画像(例えば、枠やマーカ等)の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ30は、音出力装置52から出力される報知音(警報音)や表示装置50に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視対象のショベル100に対する接近度を把握させることができる。
In this case, the
また、第1の安全機能には、例えば、被駆動要素(油圧アクチュエータ)の操作(例えば、操作装置26の操作や遠隔操作)に対するショベル100の動作を制限或いは禁止する機能(以下、「動作制限機能」)が含まれてよい。動作制限機能には、油圧アクチュエータの操作に対するショベル100の動作速度を通常よりも遅くする動作減速機能、及び油圧アクチュエータの操作に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止機能の少なくとも一方が含まれる。
The first safety function may include, for example, a function (hereinafter, "operation restriction function") that restricts or prohibits the operation of the
安全制御部303は、例えば、物体検出部302により監視エリアに含まれる所定範囲(以下、「動作制限範囲」)内で監視対象が検出される場合に、動作制限機能を作動させる。動作制限範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。また、動作制限範囲には、油圧アクチュエータの操作に対するショベル100の動作速度を通常よりも遅くする動作減速範囲、及びアクチュエータの操作に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。これにより、コントローラ30は、ショベル100の周囲に監視対象が存在する場合に、ショベル100の動作を減速させたり、停止させたりすることができる。そのため、コントローラ30は、ショベル100の周囲の監視対象とショベル100との接触を抑制することができる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、例えば、動作制限範囲のうちのショベル100に近接する範囲であり、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。
The
安全制御部303は、例えば、操作装置26が油圧パイロット式である場合、パイロットライン25に設けられる所定の油圧制御弁を制御することにより、動作制限機能を作動させてよい。具体的には、安全制御部303は、当該油圧制御弁を用いて、パイロットライン25のパイロット圧を減圧させることにより、動作減速機能を作動させてよい。また、安全制御部303は、当該油圧制御弁を用いて、パイロットライン25を非連通状態にさせることにより、動作停止機能を作動させてよい。
For example, when the operating
また、安全制御部303は、例えば、操作装置26が電気式である場合、操作装置26(レバー装置)の操作や遠隔操作の内容に応じて、コントローラ30から油圧制御弁31に出力される制御信号を調整することにより、動作制限機能を作動させてもよい。具体的には、安全制御部303は、操作内容よりも油圧アクチュエータの動作速度が相対的に低くなるような制御信号を油圧制御弁31に出力することにより、動作減速機能を作動させてよい。また、安全制御部303は、制御信号自体を油圧制御弁31に出力しないようにすることにより、動作停止機能を作動させてよい。
In addition, for example, when the operating
また、安全制御部303は、例えば、油圧制御弁33を制御することにより、動作制限機能を作動させてもよい。具体的には、安全制御部303は、油圧制御弁33を用いて、操作装置26(レバー装置)の二次側のパイロットライン27Bのパイロット圧を減圧させることにより、動作減速機能を作動させてよい。また、安全制御部303は、油圧制御弁33を用いて、パイロットライン27Bを被連通状態にさせることで、動作停止機能を作動させてよい。
The
また、安全制御部303は、例えば、被駆動要素(油圧アクチュエータ)ごとに設けられる上述の二つの油圧制御弁31のうちの油圧アクチュエータの操作方向と反対方向の油圧アクチュエータの動作に対応する油圧制御弁31を制御することにより、動作制限機能を作動させてもよい。具体的には、安全制御部303は、オペレータの操作に応じて制御弁の第1のパイロットポートに作用するパイロット圧に対抗する形で、油圧制御弁31から制御弁の第2のパイロットポートにパイロット圧を作用させることにより、動作制限機能を作動させてよい。同様に、安全制御部303は、オペレータの操作に応じて制御弁の第2のパイロットポートに作用するパイロット圧に対抗する形で、油圧制御弁31から制御弁の第1のパイロットポートにパイロット圧を作用させることにより、動作制限機能を作動させてよい。
The
また、安全制御部303は、例えば、エンジン11を停止させることにより、動作制限機能(動作停止機能)を作動させてもよい。
The
また、安全制御部303は、撮像装置40の出力(撮像画像)に基づき監視対象が検出される場合と、周辺物体情報取得装置45の出力に基づき監視対象が検出される場合とで、第1の安全機能に関する制御態様を異ならせてもよい。
In addition, the
例えば、安全制御部303は、物体検出部302によって、撮像装置40の出力から監視対象が検出される場合、第1の安全機能のうちの報知機能及び安全確認機能だけを作動させる。つまり、安全制御部303は、物体検出部302によって、撮像装置40の出力から監視対象が検出される場合、監視対象とショベル100との距離等に関係なく、動作制限機能を作動させない。具体的には、安全制御部303は、物体検出部302によって、撮像装置40の撮像画像から報知範囲(以下、便宜的に「第1報知範囲」)内で監視対象が検出される場合、報知機能及び安全確認機能を作動させ、撮像装置40の撮像画像からの監視対象の検出に対応する動作制限範囲(以下、便宜的に「第1動作制限範囲」)は、設定されない。
For example, when the
一方、安全制御部303は、物体検出部302によって、周辺物体情報取得装置45の出力から動作制限範囲(以下、便宜的に「第2動作制限範囲」)で監視対象が検出される場合に、安全確認機能及び動作制限機能を作動させる。また、安全制御部303は、物体検出部302によって、周辺物体情報取得装置45の出力から報知範囲(以下、便宜的に「第2報知範囲」)で監視対象が検出される場合に、報知機能を作動させてもよい。第1報知範囲及び第2報知範囲は、同じであってもよいし、異なっていてもよい。
On the other hand, the
例えば、監視対象に関する検出精度が相対的に低いにも関わらず、その検出結果に基づき、動作制限機能が作動すると、報知機能が作動する場合より、オペレータに違和感を与えたり、ショベル100の作業効率を低下させたりする可能性が高くなる。
For example, if the detection accuracy of the monitored object is relatively low, but the operation restriction function is activated based on the detection result, there is a higher possibility that the operator will feel uncomfortable or the work efficiency of the
これに対して、本例では、コントローラ30は、撮像装置40及び周辺物体情報取得装置45のうち、周辺物体情報取得装置45の出力から監視対象が検出される場合だけ、動作制限機能の作動を許容する。撮像装置40の撮像画像に対する画像認識で監視対象が検出される場合よりも、周辺物体情報取得装置45の受光情報から監視対象が検出される場合の方が、相対的に検出精度が高くなる傾向にあるからである。これにより、コントローラ30は、オペレータに与える違和感やショベル100の作業効率の低下等を抑制しつつ、ショベル100の安全性を向上させることができる。
In contrast, in this example, the
また、安全制御部303は、例えば、第1の安全機能を作動させた後、物体検出部302により監視対象が検出されなくなった場合に、第1の安全機能の作動を解除し、第1の安全機能を停止させる。また、安全制御部303は、例えば、第1の安全機能を作動させた後、入力装置54を通じて、オペレータからの第1の安全機能の解除を要求する所定の入力が受け付けられる場合に、第1の安全機能を解除し、第1の安全機能を停止させてもよい。
Furthermore, the
評価値算出部304は、警報が出力されていない状態、即ち、監視対象が検出されていない状態で、情報源で取得されるショベル100の周囲の物体に関する情報が監視対象を表している度合いを示す評価値(以下、単に「評価値」)を算出する。情報源は、例えば、上述の如く、撮像装置40(カメラ40X)やセンサ45X等を含む。具体的には、評価値算出部304は、ショベル100の周囲の情報源による情報の取得範囲(以下、「情報取得範囲」)に含まれる複数の位置(以下、「評価位置」)ごとに、その評価位置に対応する情報源の情報の評価値を算出してよい。情報取得範囲は、ショベル100(上部旋回体3)に搭載される情報源を基準として、上下方向及び左右方向の角度範囲(例えば、カメラ40Xの画角やセンサ45Xの赤外線レーザの照射方向の角度範囲)に基づき規定される。例えば、情報源による情報取得範囲は、情報源から見て、この角度範囲内に含まれるショベル100の周囲の領域に相当する。
The evaluation
例えば、評価値算出部304は、複数の評価位置に対応する、カメラ40Xの撮像画像に含まれる複数の部分画像(例えば、画素)ごとに、対象の部分画像を含む形で設定される評価用画像が監視対象(例えば、人)を表している度合いを示す評価値を算出する。この場合、評価用画像は、例えば、撮像画像の部分画像上に監視対象が存在すると仮定したときの監視対象の大きさに合わせるように設定され、評価値算出部304は、評価用画像の局所画像特徴量に基づき評価値を算出してよい。また、評価値算出部304は、複数の評価位置に対応する、センサ45Xによる赤外線レーザの複数の照射方向ごとに、照射方向から得られる受光情報が監視対象を表している度合いを示す評価値を算出する。この場合、評価値算出部304は、例えば、受光情報に含まれる受光強度情報に基づき、評価値を算出してよい。
For example, the evaluation
検出精度判定部305は、物体検出部302による監視対象の検出精度が相対的に低い領域(以下、「低検出精度領域」)がショベル100の周囲にあるか否かを判定する。低検出精度領域には、例えば、カメラ40Xの撮像画像やセンサ45Xの受光情報に含まれる背景に相当する物体(以下、「背景物体」)の特徴と監視対象の特徴とが類似し、背景物体が監視対象の物体と誤検出(誤認識)されてしまう可能性がある領域が含まれる。また、低検出精度領域には、カメラ40Xの撮像画像やセンサ45Xの受光情報に含まれる背景物体の特徴と監視対象の特徴とが類似し、背景物体の中に監視対象の物体が同化することで、監視対象が検出(認識)されない可能性がある領域が含まれる。検出精度判定部305は、例えば、物体検出部302による撮像装置40(カメラ40X)の画像情報に基づく監視対象の検出精度が相対的に低い低検出精度領域がショベル100の周囲にあるか否かを判定してよい。また、検出精度判定部305は、例えば、物体検出部302によるセンサ45Xの受光情報に基づく監視対象の検出精度が相対的に低い低検出精度領域がショベル100の周囲にあるか否かを判定する。また、監視対象の種類が複数ある場合、検出精度判定部305は、例えば、複数の種類の監視対象ごとに、低検出精度領域がショベル100の周囲にあるか否かを判定してよい。
The detection
検出精度判定部305は、ショベル100の起動(例えば、キースイッチのON)時に上記の処理(以下、「検出精度判定処理」)を行う。また、検出精度判定部305は、撮像装置40(カメラ40X)や周辺物体情報取得装置45(センサ45X)等から見たショベル100の周囲の環境に変化が生じた場合、又は、生じる可能性がある場合に、上記の処理を行う。
The detection
検出精度判定部305の検出精度判定処理の詳細は後述する(図5~図9参照)。
The detection accuracy determination process of the detection
低検出精度通知部306は、検出精度判定部305により低検出精度領域がショベル100の周囲にあると判定される場合、ショベル100の周囲の低検出精度領域に関する通知をオペレータに対して出力する。低検出精度通知部306は、例えば、検出精度判定部305により低検出精度領域がショベル100の周囲にあると判定される場合、低検出精度領域がショベル100の周囲に存在することをオペレータに通知する。また、低検出精度通知部306は、例えば、検出精度判定部305により低検出精度領域がショベル100の周囲にあると判定される場合、ショベル100の周囲の低検出精度領域をオペレータに通知(教示)してよい。
When the detection
具体的には、低検出精度通知部306は、表示装置50を制御し、ショベル100の周囲に低検出精度領域が存在することを示す情報や、ショベル100の周囲の低検出精度領域を特定する情報等を表示装置50に表示させてよい。また、低検出精度通知部306は、音出力装置52を制御し、ショベル100の周囲に低検出精度領域が存在することを示す音や、ショベル100の周囲の低検出精度領域を特定する音声情報等を音出力装置52から出力させてもよい。
Specifically, the low detection
また、ショベル100が遠隔操作されている場合、低検出精度通知部306は、通信装置T1を制御し、ショベル100の周囲に低検出精度領域が存在することを示す情報や、ショベル100の周囲の低検出精度領域を特定する情報等を含む信号(以下、「低検出精度通知信号」)を管理装置200に送信してよい。これにより、コントローラ30は、管理装置200を通じて、ショベル100の遠隔操作を行うオペレータに対して、ショベル100の周囲に低検出精度領域が存在することを通知することができる。
In addition, when the
低検出精度領域が存在することやその低検出精度領域自体のオペレータへの通知方法の詳細は、後述する(図10参照)。 Details on how to notify the operator of the existence of low detection accuracy areas and the low detection accuracy areas themselves will be described later (see Figure 10).
また、検出精度判定部305により低検出精度領域がショベル100の周囲にあると判定される場合、検出精度判定部305により低検出精度領域がショベル100の周囲にないと判定される場合に比して、安全制御部303の制御態様が変更されてもよい。
In addition, when the detection
安全制御部303は、例えば、検出精度判定部305により低検出精度領域がショベル100の周囲にあると判定されていない状態で、物体検出部302により監視対象が検出される場合、相対的に低い警戒度を表す警報(低警戒レベルの警報)を出力してよい。一方、安全制御部303は、検出精度判定部305により低検出精度領域がショベル100の周囲にあると判定されている状態で、物体検出部302により監視対象が検出される場合、相対的に高い警戒度を表す警報(高警戒レベルの警報)を出力してよい。
For example, when the
これにより、ショベル100は、ショベル100の周囲に低検出精度領域が存在し、監視対象の誤検出や見逃しや生じやすい状況下で、オペレータに対して、ショベル100の周囲に対するより高い警戒を促すことができる。
As a result, the
また、安全制御部303は、検出精度判定部305により低検出精度領域がショベル100の周囲にあると判定されている状態で、物体検出部302により低検出精度領域で監視対象が検出される場合に限定して、相対的に警戒度の高い警報(高警戒レベルの警報)を出力してもよい。
The
これにより、ショベル100の安全性を向上させつつ、相対的に警戒度の高い警報が出力されることによるオペレータに対する負荷を抑制することができる。
This improves the safety of the
また、安全制御部303は、検出精度判定部305により低検出精度領域がショベル100の周囲にあると判定されている状態で、物体検出部302により低検出精度領域で監視対象が検出される場合に、報知機能の作動を禁止し、警報を出力しないようにしてもよい。上述の如く、低検出精度通知部306によって、オペレータに対して、低検出精度領域の具体的な場所が通知されることで、低検出精度領域の監視をオペレータに任せることが可能だからである。この場合、物体検出部302により低検出精度領域で監視対象が検出されても、報知機能が作動しない旨が前もってオペレータに通知されることが望ましい。
The
<管理装置の構成>
管理装置200は、制御装置210と、通信装置220と、出力装置230と、入力装置240とを含む。
<Configuration of Management Device>
The
制御装置210は、管理装置200に関する各種制御を行う。制御装置210は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、制御装置210は、CPU、RAM等のメモリ装置、ROM等の不揮発性の補助記憶装置、及び外部との入出力に関するインタフェース装置等を含むコンピュータを中心に構成される。また、制御装置210は、例えば、CPUと連動する、GPU,ASIC,FPGA等の高速演算回路を含んでもよい。制御装置210は、例えば、補助記憶装置にインストールされるプログラムをCPU上で実行することにより実現される機能部として、遠隔操作支援部2101と、安全制御部2102と、低検出精度通知部2103とを含む。
The
通信装置220は、通信回線NWを通じて、外部装置(例えば、ショベル100)との間で通信を行う。通信装置220は、例えば、モデムやONU(Optical Network Unit)である。また、通信装置220は、例えば、基地局を末端とする移動体通信網に接続する移動体通信モジュールであってもよい。また、通信装置T1は、例えば、通信衛星を利用する衛星通信網に接続する衛星通信モジュールであってもよい。また、通信装置T1は、例えば、近距離通信を行うWiFi通信モジュールやブルートゥース通信モジュールであってもよい。
The
出力装置230は、制御装置210の制御下で、管理装置200の管理者、作業者、遠隔操作を行うオペレータ等に向けて各種情報を出力する。
Under the control of the
出力装置230は、例えば、管理装置200の管理者や作業者に向けて、管理装置200に関する各種情報(例えば、ショベル100から受信される各種情報等)を視覚的に出力する表示装置を含む。表示装置は、例えば、液晶ディスプレイや有機ELディスプレイである。
The
また、出力装置230は、例えば、管理装置200の管理者や作業者に向けて、管理装置200に関する各種情報を聴覚的に出力する音出力装置を含む。音出力装置は、例えば、ブザーやスピーカ等である。
The
また、出力装置230は、ショベル100の遠隔操作を行うオペレータにより用いられる表示装置230Aを含む。
The
表示装置230Aは、制御装置210の制御下で、ショベル100の遠隔操作を支援する各種情報画像を表示する。表示装置230Aは、例えば、ショベル100の周囲の様子を表す周囲画像を表示する。周囲画像には、ショベル100の前方の様子を表す画像情報の他、ショベル100の表示装置50の場合と同様、ショベル100の左側方、右側方、及び後方の少なくとも一つの様子を表す画像情報が含まれる。
The display device 230A displays various information images that support remote operation of the
入力装置240は、管理装置200の管理者、作業者、遠隔操作を行うオペレータ等のユーザからの入力を受け付け、受け付けられる入力内容を制御装置210に出力する。
The
入力装置240は、例えば、管理装置200の管理者や作業者等の操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、キーボード、マウス、タッチパネル等を含む。
The
また、入力装置240は、例えば、管理装置200の管理者や作業者等の音声入力を受け付ける音声入力装置やジェスチャ入力等を受け付けるジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、マイクロフォンを含む。また、ジェスチャ入力装置は、例えば、管理装置200の管理者や作業者等により行われるジェスチャを撮像する撮像装置を含む。
The
また、入力装置240は、例えば、ショベル100の遠隔操作を行うオペレータにより用いられる操作装置240Aを含む。
The
操作装置240A(操作部の一例)は、ショベル100の複数の被駆動要素、即ち、油圧アクチュエータを遠隔操作するために用いられる。操作装置240Aは、ショベル100の操作装置26と同じ形態、即ち、レバー装置を中心に構成されてよい。操作装置240A(レバー装置)は、その操作内容、即ち、遠隔操作の内容に対応する電気信号(以下、「遠隔操作信号」)を出力し、遠隔操作信号は、制御装置210に取り込まれる。
The operating device 240A (an example of an operating unit) is used to remotely operate multiple driven elements of the
遠隔操作支援部2101は、管理装置200のオペレータによるショベル100の遠隔操作を支援する。
The remote
遠隔操作支援部2101は、例えば、通信装置220によりショベル100から受信される撮像装置40(カメラ40X)の撮像画像に基づき、表示装置230Aにショベル100の周囲の様子を表す周囲画像を表示させる。これにより、管理装置200のオペレータは、表示装置230Aに表示されるショベル100の周囲の様子を確認しながら、ショベル100の遠隔操作を行うことができる。
The remote
尚、表示装置230Aに表示される周囲画像が加工画像である場合、撮像装置40の撮像画像に代えて、ショベル100で生成された加工画像がショベル100から管理装置200に送信されてもよい。
When the surrounding image displayed on the display device 230A is a processed image, the processed image generated by the
また、遠隔操作支援部2101は、例えば、操作装置240Aから入力される、遠隔操作の内容を表す遠隔操作信号を、通信装置220(通信部の一例)を通じてショベル100に送信する。これにより、操作装置240Aの操作内容をショベル100の動作に反映させ、ショベル100の遠隔操作を実現することができる。
The remote
安全制御部2102は、ショベル100の安全機能に関する制御を行う。具体的には、安全制御部2102は、安全制御部303の場合と同様、ショベル100とその周囲の物体との接触を回避するための安全機能に関する制御を行う。
The
安全制御部303は、例えば、通信装置220によりショベル100から監視対象検出信号が受信される場合、即ち、物体検出部302により監視エリア内で監視対象が検出される場合に、所定の安全機能(以下、便宜的に「第2の安全機能」)を作動させる。
The
第2の安全機能には、例えば、第1の安全機能の場合と同様に、警報を出力する等し、監視対象が検出されていることをショベル100の遠隔操作を行うオペレータに報知する報知機能が含まれる。
The second safety function includes, for example, a notification function that notifies the operator remotely operating the
安全制御部2102は、例えば、安全制御部303の場合と同様、物体検出部302により監視エリアに含まれる報知範囲で監視対象が検出される場合に、報知機能を作動させる。
The
安全制御部2102は、例えば、安全制御部303の場合と同様に、出力装置230に含まれる音出力装置を制御することにより、音による報知機能を作動させる。これにより、出力装置230は、制御装置210の制御下で、聴覚的な報知機能を実現することができる。
The
また、安全制御部2102は、例えば、安全制御部303の場合と同様に、出力装置230に含まれる表示装置を制御することにより、画像情報の表示による報知機能を作動させる。これにより、出力装置230は、制御装置210の制御下で、オペレータに対する視覚的な報知機能を実現することができる。
Furthermore, the
低検出精度通知部2103は、通信装置220によりショベル100から低検出精度通知信号が受信される場合、低検出精度領域がショベル100の周囲に存在することをオペレータに通知する。また、低検出精度通知部306は、検出精度判定部305により監視対象の検出精度が相対的に低い領域がショベル100の周囲にあると判定される場合、ショベル100の周囲の監視対象の検出精度が相対的に低い領域をオペレータに通知(教示)してもよい。
When the
低検出精度通知部2103は、出力装置230に含まれる表示装置を制御し、ショベル100の周囲に低検出精度領域が存在することを示す情報や、ショベル100の周囲の低検出精度領域を特定する情報等を表示装置に表示させてよい。また、低検出精度通知部2103は、出力装置230に含まれる音出力装置を制御し、ショベル100の周囲に低検出精度領域が存在することを示す音や、ショベル100の周囲の低検出精度領域を特定する音声情報等を音出力装置から出力させてもよい。低検出精度領域が存在することやその低検出精度領域自体のオペレータへの通知方法の詳細は、後述する(図10参照)。
The low detection
[オペレータに対する低検出精度領域の通知に関する制御処理]
次に、図5を参照して、ショベル100のコントローラ30によるオペレータに対する低検出精度領域の通知に関する制御処理(以下、「低検出精度領域通知処理」)の具体例について説明する。
[Control process for notifying an operator of an area with low detection accuracy]
Next, a specific example of a control process (hereinafter, "low detection accuracy area notification process") related to a notification of a low detection accuracy area to an operator by the
図5は、コントローラ30による低検出精度領域通知処理の一例を概略的に示すフローチャートである。本フローチャートは、ショベル100の起動から停止(例えば、キースイッチのOFF)までの間で、所定の時間間隔ごとに繰り返し実行される。
Figure 5 is a flowchart that shows an example of low detection accuracy area notification processing by the
図5に示すように、ステップS102にて、コントローラ30は、ショベル100の起動からの上部旋回体3の旋回動作、及びショベル100の移動動作(即ち、下部走行体1の走行動作)の少なくとも一方が生じる頻度が相対的に多いか否かを判定する。頻度は、例えば、単位時間あたりの発生回数である。コントローラ30は、例えば、ショベル100の起動からの上部旋回体3の旋回動作、及び下部走行体1の走行動作の少なくとも一方が生じる頻度が所定閾値以上であるか否かを判定してよい。コントローラ30は、ショベル100の起動からの上部旋回体3の旋回動作、及び下部走行体1の走行動作の少なくとも一方が生じる頻度が相対的に多くない(少ない)場合、ステップS104に進み、相対的に多い場合、ステップS108に進む。
As shown in FIG. 5, in step S102, the
ステップS104にて、コントローラ30は、上部旋回体3の旋回動作及び下部走行体1の走行動作の少なくとも一方が行われているか否かを判定する。コントローラ30は、上部旋回体3の旋回動作及び下部走行体1の走行動作の少なくとも一方が行われている場合、ステップS106に進み、何れの動作も行われていない場合、今回のフローチャートの処理を終了する。
In step S104, the
ステップS106にて、コントローラ30は、上部旋回体3の旋回動作及び下部走行体1の走行動作が停止したか否か判定する。コントローラ30は、例えば、上部旋回体3の旋回動作及び下部走行体1の走行動作の双方が停止している状態が一定時間(例えば、10秒)以上継続している場合に、上部旋回体3の旋回動作及び下部走行体1の走行動作が停止したと判定してよい。コントローラ30は、上部旋回体3の旋回動作及び下部走行体1の走行動作の双方が停止している場合、ステップS110に進み、それ以外の場合、上部旋回体3の旋回動作及び下部走行体1の走行動作の双方が停止するまで、ステップS106の処理を繰り返す。
In step S106, the
一方、ステップS108にて、コントローラ30は、前回の検出精度判定処理(例えば、その完了)から所定時間(例えば、数分)が経過したか否かを判定する。コントローラ30は、前回の検出精度判定処理から所定時間が経過している場合、ステップS110に進み、所定時間が経過していない場合、今回のフローチャートの処理を終了する。
On the other hand, in step S108, the
ステップS110にて、コントローラ30(安全制御部303)は、表示装置50や音出力装置52を通じて、監視対象の検出に基づく警報を出力しているか否かを判定する。コントローラ30は、警報を出力していない場合、ステップS112に進み、警報を出力している場合、警報を解除し、警報を停止した状態になるまで、ステップS110の処理を繰り返す。
In step S110, the controller 30 (safety control unit 303) determines whether or not an alarm based on the detection of a monitored object is being output through the
ステップS112にて、コントローラ30(検出精度判定部305)は、検出精度判定処理を行う。コントローラ30は、ステップS112の処理が完了すると、ステップS114に進む。
In step S112, the controller 30 (detection accuracy determination unit 305) performs detection accuracy determination processing. When the processing of step S112 is completed, the
ステップS114にて、コントローラ30(検出精度判定部305)は、ショベル100の周囲に低検出精度領域があるか否かを判定する。この場合、低検出精度領域は、例えば、撮像装置40の撮像画像に基づく監視対象の検出精度、及びセンサ45Xの受光情報に基づく監視対象の検出精度の少なくとも一方の検出精度が相対的に低い領域であってよい。また、低検出精度領域は、例えば、撮像装置40の撮像画像に基づく監視対象の検出精度、及びセンサ45Xの受光情報に基づく監視対象の検出精度の双方が相対的に低い領域であってもよい。また、低検出精度領域は、撮像装置40の撮像画像に基づく監視対象の検出精度、及びセンサ45Xの受光情報に基づく監視対象の検出精度のうちの通常時に相対的に高い一方の検出精度が相対的に低い領域であってもよい。
In step S114, the controller 30 (detection accuracy determination unit 305) determines whether or not there is a low detection accuracy area around the
コントローラ30は、ショベル100の周囲に低検出精度領域がある場合、ステップS116に進み、ショベル100の周囲に低検出精度領域がない場合、ステップS118に進む。
If there is a low detection accuracy area around the
ステップS116にて、コントローラ30(低検出精度通知部306)は、ショベル100の周囲の低検出精度領域に関する通知をオペレータに向けて出力する。具体的には、コントローラ30は、上述の如く、表示装置50や音出力装置52を通じて、キャビン10のオペレータにショベル100の周囲の低検出精度領域に関する通知を出力してよい。また、コントローラ30は、ショベル100が遠隔操作されている場合、通信装置T1を通じて、管理装置200に低検出精度通知信号を送信してよい。これにより、コントローラ30は、管理装置200(低検出精度通知部2103)を通じて、ショベル100の遠隔操作を行うオペレータにショベル100の周囲の低検出精度領域に関する通知を出力することができる。
In step S116, the controller 30 (low detection accuracy notification unit 306) outputs a notification regarding the low detection accuracy area around the
コントローラ30は、ステップS116の処理が完了すると、今回のフローチャートの処理を完了する。
When the
このように、本実施形態では、表示装置50や音出力装置52(以下、「表示装置50等」)(警報出力部の一例)は、撮像装置40(取得部の一例)により取得される画像情報や周辺物体情報取得装置45(センサ45X)(取得部の一例)により取得される受光情報に基づき、ショベル100の周囲で監視対象が検出される場合、コントローラ30の制御下で、オペレータに対して警報を出力する。そして、表示装置50等(通知部の一例)は、低検出精度領域がショベル100の周囲にある場合、コントローラ30の制御下で、オペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行う。
In this manner, in this embodiment, the
同様に、本実施形態では、ショベル100が遠隔操作されている状態で、出力装置230(警報出力部の一例)は、ショベル100で取得される撮像装置40の撮像画像やセンサ45Xの受光情報等に基づき、ショベル100の周囲で監視対象が検出される場合、制御装置210の制御下で、ショベル100の遠隔操作を行うオペレータに対して警報を出力する。そして、出力装置230(通知部の一例)は、ショベル100の周囲に低検出精度領域がある場合、制御装置210の制御下で、ショベル100の遠隔操作を行うオペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行う。
Similarly, in this embodiment, when the
これにより、ショベル100や管理装置200は、物体検出部302による監視対象の誤検出や見逃しが発生しやすい状況であることをオペレータに認識させることができる。そのため、ショベル100や管理装置200は、オペレータがショベル100の周囲の状況により高い注意を払うように警戒を促すことができる。よって、ショベル100の物体検出部302による監視対象を検出する機能を、オペレータによるショベル100の周囲の状況に対する相対的に高い警戒の意識で補完し、ショベル100の安全性を向上させることができる。
This allows the
また、本実施形態では、表示装置50等は、ショベル100の周囲に低検出精度領域がある場合、ショベル100の周囲の低検出精度領域をオペレータに通知してよい。
In addition, in this embodiment, if there is a low detection accuracy area around the
同様に、本実施形態では、ショベル100が遠隔操作されている状態で、管理装置200の出力装置230は、ショベル100の周囲に低検出精度領域がある場合、制御装置210の制御下で、ショベル100の周囲の低検出精度領域を、ショベル100の遠隔操作を行うオペレータに通知してよい。
Similarly, in this embodiment, when the
これにより、ショベル100や管理装置200は、物体検出部302による監視対象の誤検出や見逃し等が発生し易い低検出精度領域の場所を教示することができる。そのため、ショベル100や管理装置200は、低検出精度領域に対する重点的な警戒をオペレータに促すことができる。よって、ショベル100の安全性を更に向上させることができる。
This allows the
また、本実施形態では、表示装置50等は、撮像装置40(第1の取得部の一例)の撮像画像(第1の情報の一例)に基づく監視対象の検出精度、及びセンサ45X(第2の取得部の一例)の受光情報(第2の情報の一例)に基づく監視対象の検出精度のうちの少なくとも一方の検出精度が相対的に低い領域がショベル100の周囲にある場合、コントローラ30の制御下で、オペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行ってよい。
In addition, in this embodiment, when there is an area around the
同様に、本実施形態では、ショベル100が遠隔操作されている状態で、管理装置200の出力装置230は、撮像装置40の撮像画像に基づく監視対象の検出精度、及びセンサ45Xの受光情報に基づく監視対象の検出精度のうちの少なくとも一方の検出精度が相対的に低い領域がショベル100の周囲にある場合、制御装置210の制御下で、ショベル100の遠隔操作を行うオペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行ってよい。
Similarly, in this embodiment, when the
これにより、ショベル100や管理装置200は、複数の情報源からの何れか一つの情報に基づく監視対象の検出精度が相対的に低い領域がある場合、他の情報に基づく監視対象の検出精度が相対的に高くても、低検出精度領域に関する情報をオペレータに通知することができる。そのため、ショベル100や管理装置200は、監視対象の検出精度が少しでも低下すると、オペレータに対して、ショベル100の周囲の状況に対する高い注意を促すことができる。よって、ショベル100の安全性を更に向上させることができる。
As a result, when there is an area where the detection accuracy of the monitored object based on any one of the information from multiple information sources is relatively low, the
また、本実施形態では、表示装置50等は、撮像装置40の撮像画像に基づく監視対象の検出精度、及びセンサ45Xの受光情報に基づく監視対象の検出精度のうちの通常時に相対的に高い一方の検出精度が相対的に低い領域がショベル100の周囲にある場合、オペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行ってよい。
In addition, in this embodiment, when there is an area around the
同様に、ショベル100が遠隔操作されている状態で、管理装置200の出力装置230は、撮像装置40の撮像画像に基づく監視対象の検出精度、及びセンサ45Xの受光情報に基づく監視対象の検出精度のうちの通常時に相対的に高い一方の検出精度が相対的に低い領域がショベル100の周囲にある場合、オペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行ってよい。
Similarly, when the
これにより、ショベル100や管理装置200は、複数の情報源のそれぞれからの情報のうちの通常時に相対的に高い検出精度が得られる情報源の情報に基づく監視対象の検出精度が相対的に低い領域が生じると、他の情報に基づく監視対象の検出精度が相対的に高い状態でも、低検出精度領域に関する情報をオペレータに通知することができる。そのため、ショベル100や管理装置200は、監視対象の検出精度が少しでも低下すると、オペレータに対して、ショベル100の周囲の状況に対する高い注意を促すことができる。よって、ショベル100の安全性を更に向上させることができる。
As a result, when an area occurs in which the detection accuracy of the monitored object based on information from an information source that normally provides relatively high detection accuracy among information from each of a plurality of information sources is relatively low, the
また、本実施形態では、検出精度判定部305(判定部の一例)は、上部旋回体3の旋回動作、及びショベル100の移動(下部走行体1の走行動作)の少なくとも一つが生じた場合に、ショベル100の周囲に低検出精度領域があるか否かを判定する。そして、表示装置50等は、検出精度判定部305により低検出精度領域がショベル100の周囲にあると判定される場合、コントローラ30の制御下で、オペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行ってよい。
In addition, in this embodiment, the detection accuracy determination unit 305 (an example of a determination unit) determines whether or not there is a low detection accuracy area around the
これにより、ショベル100は、上部旋回体3の旋回動作や下部走行体1の走行動作が発生し、撮像装置40やセンサ45Xから見たショベル100の周囲の状況が変化するたびに、ショベル100の周囲の低検出精度領域の有無等を確認することができる。そのため、ショベル100は、撮像装置40やセンサ45Xから見たショベル100の周囲の状況の変化に合わせて、オペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行うことができる。よって、ショベル100の安全性を更に向上させることができる。
As a result, the
また、本実施形態では、表示装置50等は、監視対象が検出されなくなった場合、或いは、入力装置54を通じて、警報を解除する所定の入力が受け付けられた場合に、監視対象の検出に基づく警報を解除する。そして、検出精度判定部305は、警報が出力されている状態で、上部旋回体3の旋回動作、及びショベル100の移動(下部走行体1の走行動作)の少なくとも一つが生じた場合、警報が解除されたときに、ショベル100の周囲に検出精度が相対的に低い領域があるか否かを判定してよい。
In addition, in this embodiment, the
これにより、ショベル100は、監視対象が存在しないと判断可能な状況になってから、ショベル100の周囲に低検出精度領域があるか否かの判定を行うことができる。そのため、ショベル100は、より適切に、ショベル100の周囲の低検出精度領域の有無等を確認することができる。
As a result, the
また、本実施形態では、検出精度判定部305は、上部旋回体3の旋回動作、及びショベル100の移動(下部走行体1の走行動作)の少なくとも一方が生じている頻度が相対的に高い場合、定期的に(所定時間ごとに)、ショベル100の周囲に低検出精度領域があるか否かを判定してよい。
In addition, in this embodiment, the detection
これにより、ショベル100は、撮像装置40やセンサ45Xから見たショベル100の周囲の状況が変化する頻度が高い状況で、ショベル100の周囲に低検出精度領域があるか否かの判定を行う頻度が相対的に高くなるような事態を抑制することができる。そのため、ショベル100は、コントローラ30の処理負荷の上昇を抑制することができる。
This allows the
[コントローラによる検出精度判定処理]
次に、図6~図9を参照して、コントローラ30による検出精度判定処理の詳細について説明する。
[Detection accuracy determination process by controller]
Next, the detection accuracy determination process performed by the
図6は、コントローラ30による検出精度判定処理(即ち、図5のステップS112の処理)の一例を概略的に示すフローチャートであり、図7~図9は、それぞれ、コントローラ30による検出精度判定処理を説明する図である。具体的には、図7~図9は、それぞれ、撮像装置40(カメラ40X)の撮像画像に基づく監視対象の検出精度に関する検出精度判定処理を説明する図である。
Figure 6 is a flow chart outlining an example of the detection accuracy determination process by the controller 30 (i.e., the process of step S112 in Figure 5), and Figures 7 to 9 are diagrams each explaining the detection accuracy determination process by the
図6に示すように、ステップS202にて、評価値算出部304は、ショベル100の周囲の情報取得範囲内の複数の評価位置ごとに、その位置に対応する情報源の情報の監視対象らしさを表す評価値を算出する。コントローラ30は、ステップS202の処理が完了すると、ステップS204に進む。
As shown in FIG. 6, in step S202, the evaluation
例えば、図7に示すように、評価値算出部304は、撮像画像IMG1の複数の部分画像ごとに、対象の部分画像を含む評価用画像を規定するための矩形の評価枠(例えば、評価枠710,720,730,740)を設定する。この場合、撮像画像IMG1の上下方向で下よりに映っている物体ほど、ショベル100(カメラ40X)に近い物体を表しているため、評価枠の大きさは、対象の部分画像が下よりにあるほど大きくなるように規定される。評価値算出部304は、評価枠で区分される評価用画像の評価値を算出すると、右に隣接する部分画像に対応する分だけ評価枠を右に移動させ、次の評価用画像の評価値を算出する形で、左端の部分画像から右端の部分画像まで対応する評価用画像の評価値を算出してよい(図中の矢印参照)。
For example, as shown in FIG. 7, the evaluation
図6に戻り、ステップS204にて、評価値算出部304は、ステップS202の算出結果に基づき、情報源の情報取得範囲全体の評価位置と評価値とを関連付けたデータを生成する。ステップS204の処理が完了すると、ステップS206に進む。
Returning to FIG. 6, in step S204, the evaluation
例えば、図8に示すように、撮像画像IMG1の複数の部分画像ごとに評価値の高低を色で関連付けて視覚化したデータ(ヒートマップ画像IMG2)を生成する。本例では、評価値が相対的に高い部分画像(画素)に淡い色が設定され、評価値が相対的に低い部分画像(画素)に濃い色が設定されている。 For example, as shown in FIG. 8, data (heat map image IMG2) is generated that visualizes the high and low evaluation values for each of the multiple partial images of the captured image IMG1 by associating them with colors. In this example, light colors are set for partial images (pixels) with relatively high evaluation values, and dark colors are set for partial images (pixels) with relatively low evaluation values.
図6に戻り、ステップS206にて、検出精度判定部305は、評価値が相対的に高い互いに隣接する評価位置の集まりを抽出する。コントローラ30は、ステップS206の処理が完了すると、ステップS208に進む。
Returning to FIG. 6, in step S206, the detection
ステップS208にて、検出精度判定部305は、抽出した評価位置の集まりごとに、評価位置の集まりが相対的に広い範囲に及んでいるか否かを判定する。検出精度判定部305は、例えば、評価対象の集まりが監視対象の大きさに相当する範囲より広い範囲に及んでいるか否かを判定する。検出精度判定部305は、相対的に広い範囲に及んでいる評価位置の集まりが少なくとも一つある場合、ショベル100の周囲に低検出精度領域があると判定し、ステップS210に進む。一方、検出精度判定部305は、相対的に広い範囲に及んでいる評価位置の集まりが一つもない場合、ショベル100の周囲に低検出精度領域がないと判定し、今回のフローチャートの処理を終了する。
In step S208, the detection
尚、ステップS208では、評価値が相対的に高い互いに隣接する評価位置の集まりが抽出されたか否かが判定されてもよい。この場合、検出精度判定部305は、評価値が相対的に高い互いに隣接する評価位置の集まりが抽出された場合、その範囲に依らず、ショベル100の周囲に低検出精度領域があると判定する。また、ステップS206が省略され、ステップS208では、複数の評価位置の中に、評価値が相対的に高い評価位置が存在するか否かが判定されてもよい。この場合、検出精度判定部305は、評価値が相対的に高い評価位置が存在する場合に、ショベル100の周囲に低検出精度領域があると判定する。
In addition, in step S208, it may be determined whether or not a collection of adjacent evaluation positions with relatively high evaluation values has been extracted. In this case, when a collection of adjacent evaluation positions with relatively high evaluation values has been extracted, the detection
ステップS210にて、検出精度判定部305は、相対的に広い範囲に及んでいる評価位置の集まりに相当する領域を低検出精度領域に設定する。コントローラ30は、ステップS210の処理が完了すると、今回のフローチャートの処理を終了する。
In step S210, the detection
例えば、図9に示すように、検出精度判定部305は、ヒートマップ画像IMG2の中で、相対的に高い評価値に対応する色(本例では、相対的に淡い色)の部分画像の集まりに相当する画像領域を抽出してよい(ステップS206)。検出精度判定部305は、抽出した画像領域ごとにその面積が監視対象の大きさに相当する所定閾値を超えているか否かを判定してよい(ステップS208)。そして、検出精度判定部305は、ヒートマップ画像IMG2の中で、相対的に高い評価値に対応する色で、且つ、面積が所定閾値を超えている画像領域(例えば、画像領域910,920,930)を低検出精度領域に設定してよい(ステップS210)。
For example, as shown in FIG. 9, the detection
このように、本実施形態では、評価値算出部304(算出部の一例)は、警報が出力されていない状態で、情報源から取得される情報が監視対象を表している度合いを示す評価値を算出する。そして、表示装置50等は、情報源により評価値が相対的に高い情報が取得される領域がショベル100の周囲にある場合、オペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行う。
In this manner, in this embodiment, the evaluation value calculation unit 304 (an example of a calculation unit) calculates an evaluation value indicating the degree to which the information acquired from the information source represents the monitored object when no alarm is output. Then, when an area in which information with a relatively high evaluation value is acquired from the information source is present around the
同様に、ショベル100が遠隔操作される状態で、管理装置200の出力装置230は、情報源により評価値が相対的に高い情報が取得される領域がショベル100の周囲にある場合、ショベル100の遠隔操作を行うオペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行う。
Similarly, when the
例えば、監視対象でないショベル100の周囲の背景物体に関して、監視対象であることを表している度合いが相対的に高い情報が情報源により取得されると、物体検出部302が背景物体を監視対象と誤認識してしまう可能性がある。また、監視対象でないショベル100の周囲の背景物体に関して、監視対象であることを表している度合いが相対的に高い情報が情報源により取得されると、背景物体の中に監視対象が同化し、物体検出部302が監視対象を検出できず、見逃してしまう可能性がある。
For example, when an information source acquires information about a background object around the
これに対して、本例では、ショベル100や管理装置200は、情報源により評価値が相対的に高い情報が取得される領域を低検出精度領域と判断し、オペレータに低検出精度領域に関する通知を行うことができる。
In contrast, in this example, the
また、本実施形態では、評価値算出部304は、警報が出力されていない状態で、撮像装置40の撮像画像に含まれる複数の部分画像ごとに、評価値を算出する。そして、表示装置50等は、複数の部分画像の中に評価値が相対的に高い部分画像がある場合に、コントローラ30の制御下で、オペレータに対して、作業機械の周囲の検出精度が相対的に低い領域に関する通知を行う。
In addition, in this embodiment, the evaluation
同様に、ショベル100が遠隔操作される状態で、管理装置200の出力装置230は、複数の部分画像の中に評価値が相対的に高い部分画像がある場合に、制御装置210の制御下で、ショベル100の遠隔操作を行うオペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行う。
Similarly, when the
これにより、ショベル100や管理装置200は、具体的に、撮像装置40(カメラ40X)の撮像画像に基づく検出精度が相対的に低い低検出精度領域に関する通知を行うことができる。
This allows the
また、本実施形態では、表示装置50等は、撮像装置40(カメラ40X)の撮像画像の複数の部分画像の中に評価値が相対的に高い部分画像があり、且つ、撮像画像の中の評価値が相対的に高い部分画像の集まりの占める面積が所定基準を超えている場合、オペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行う。
In addition, in this embodiment, if there is a partial image with a relatively high evaluation value among the multiple partial images of the image captured by the imaging device 40 (camera 40X) and the area occupied by the collection of partial images with relatively high evaluation values in the captured image exceeds a predetermined standard, the
同様に、ショベル100が遠隔操作される状態で、管理装置200の出力装置230は、撮像装置40(カメラ40X)の撮像画像の複数の部分画像の中に評価値が相対的に高い部分画像があり、且つ、撮像画像の中の評価値が相対的に高い部分画像の集まりの占める面積が所定基準を超えている場合、ショベル100の遠隔操作を行うオペレータに対して、ショベル100の周囲の低検出精度領域に関する通知を行う。
Similarly, when the
これにより、ショベル100や管理装置200は、実際に監視対象と誤認されたり、監視対象を同化させたりする程度の大きさの画像領域(部分画像の集まり)を低検出精度領域と判断し、オペレータに対して、低検出精度領域に関する通知を行うことができる。
As a result, the
[オペレータに対する低検出精度領域に関する通知方法]
次に、図10を参照して、低検出精度領域に関する通知方法の詳細を説明する。
[Method of notifying an operator about an area of low detection accuracy]
Next, the method of notifying about a low detection accuracy area will be described in detail with reference to FIG.
図10は、低検出精度領域に関する通知方法の一例を示す図である。具体的には、図10は、表示装置50に表示される低検出精度領域に関する通知画面(以下、「低検出精度通知画面」)の一例を示す図である。
Figure 10 is a diagram showing an example of a notification method regarding low detection accuracy areas. Specifically, Figure 10 is a diagram showing an example of a notification screen regarding low detection accuracy areas (hereinafter, "low detection accuracy notification screen") displayed on the
図10に示すように、表示装置50には、コントローラ30の制御下で、撮像装置40(カメラ40X)の撮像画像IMG1が表示される。また、表示装置50には、コントローラ30の制御下で、撮像画像IMG1に重畳して、ショベル100の周囲の低検出精度領域に対応する画像領域を表す枠1010,1020,1030が表示される。枠1010,1020,1030は、それぞれ、図9の画像領域910,920,930に対応している。これにより、表示装置50は、撮像装置40(カメラ40X)の撮像画像上において、ショベル100の周囲の低検出精度領域に対応する画像領域を強調して表示させることができる。そのため、キャビン10のオペレータは、ショベル100の周囲の低検出精度領域の存在や、その具体的な場所を視覚的に認識することができる。
As shown in FIG. 10, the
また、枠1010,1020,1030以外の方法で、ショベル100の周囲の低検出精度領域を強調してもよい。例えば、表示装置50は、コントローラ30の制御下で、低検出精度領域に対応する画像領域に他の種類のマーカを表示させたり、低検出精度領域に対応する画像領域の輝度を他の画像領域より高くしたりしてよい。
The low detection accuracy areas around the
例えば、枠1010,1020,1030は、検出精度判定部305による判定結果が出力されてから次回の判定結果が出力される(即ち、判定結果が更新される)までの間で、常時表示されてよい。また、枠1010,1020,1030が表示されるタイミングは、限定されてもよい。これにより、コントローラ30は、オペレータにショベル100の周囲の低検出精度領域への注意を促しつつ、枠1010,1020,1030が表示されることによりオペレータが感じる煩わしさを抑制することができる。例えば、枠1010,1020,1030は、検出精度判定部305による判定結果が出力されてから所定期間(例えば、数分間)だけ表示される態様であってもよい。また、例えば、枠1010,1020,1030は、検出精度判定部305により判定結果が出力されてから次回の判定結果が出力されるまでの間で、定期的に、表示される状態と表示されない状態とが切り換えられてもよい。また、例えば、枠1010,1020,1030は、検出精度判定部305により判定結果が出力されてから次回の判定結果が出力されるまでの間で、物体検出部302により監視対象が検出された場合に、表示される態様であってもよい。例えば、監視対象が実際に検出されている場合、検出された監視対象が低検出精度領域に移動してしまうと、監視対象が検出されずに、警報が解除されてしまう可能性があるからである。
For example, the frames 1010, 1020, and 1030 may be constantly displayed between the output of the determination result by the detection
また、表示装置50には、コントローラ30の制御下で、撮像画像IMG1に重畳して、ポップアップウィンドウ1040が表示される。具体的には、ポップアップウィンドウ1040は、撮像画像IMG1の下端部に重畳して表示される。
In addition, under the control of the
ポップアップウィンドウ1040には、低検出精度領域に関する通知を表す文字情報が含まれる。具体的には、ポップアップウィンドウ1040には、枠1010,1020,1030に対応する低検出精度領域では、監視対象の検出精度が相対的に低いことを表す文字情報(警告文)が含まれる。本例では、ポップアップウィンドウ1040には、"枠の範囲では検出機能が正常動作しない可能性があります。ご注意ください"という警告文が表示されている。これにより、コントローラ30は、オペレータに対して、ショベル100の周囲(低検出精度領域)により注意を払うように促すことができる。
The pop-up window 1040 contains text information indicating a notification regarding the low detection accuracy area. Specifically, the pop-up window 1040 contains text information (warning message) indicating that the detection accuracy of the monitored object is relatively low in the low detection accuracy areas corresponding to the frames 1010, 1020, and 1030. In this example, the pop-up window 1040 displays a warning message stating, "The detection function may not operate normally within the frame. Please be careful." This allows the
例えば、ポップアップウィンドウ1040は、検出精度判定部305による判定結果が出力されてから次回の判定結果が出力される(即ち、判定結果が更新される)までの間で、常時表示されてよい。また、枠1010,1020,1030の場合と同様、ポップアップウィンドウ1040が表示されるタイミングは、限定されてもよい。
For example, the pop-up window 1040 may be constantly displayed from the time when the determination result by the detection
また、上述の如く、表示装置50に代えて、或いは、加えて、音出力装置52を通じて、低検出精度領域に関する通知を行ってもよい。例えば、音出力装置52は、ポップアップウィンドウ1040に含まれる文字情報に対応する音声情報を出力してもよい。
Furthermore, as described above, instead of or in addition to the
例えば、ポップアップウィンドウ1040に含まれる文字情報に対応する音声情報は、検出精度判定部305による判定結果が出力されてから次回の判定結果が出力されるまでの間で、繰り返し継続して(連続して)出力されてよい。また、ポップアップウィンドウ1040に含まれる文字情報に対応する音声情報が出力される回数は、制限されてもよい。例えば、ポップアップウィンドウ1040に含まれる文字情報に対応する音声情報は、検出精度判定部305による判定結果が出力されてから次回の判定結果が出力されるまでの間で、所定の間隔を開けて、定期的に出力されてもよい。また、例えば、ポップアップウィンドウ1040に含まれる文字情報に対応する音声情報は、検出精度判定部305による判定結果が出力されてから所定回数(例えば、1回)だけ出力される態様であってもよい。これにより、コントローラ30は、オペレータにショベル100の周囲の低検出精度領域への注意を促しつつ、音声情報が出力されることによりオペレータが感じる煩わしさを抑制することができる。
For example, the audio information corresponding to the character information included in the pop-up window 1040 may be repeatedly and continuously (continuously) output between the output of the determination result by the detection
また、管理装置200においても、制御装置210の制御下で、出力装置230を通じて、同様の方法で、低検出精度領域に関する通知が行われてよい。
In addition, in the
このように、本実施形態では、表示装置50(表示部の一例)は、ショベル100の周囲に低検出精度領域がある場合、ショベル100の周囲の様子を表す周囲画像を表示すると共に、周囲画像の中の低検出精度領域に対応する画像領域を強調して表示してよい。
In this manner, in this embodiment, when there is a low detection accuracy area around the
同様に、ショベル100が遠隔操作されている状態で、管理装置200の出力装置230(表示装置)は、ショベル100の周囲に低検出精度領域がある場合、ショベル100の周囲の様子を表す周囲画像を表示すると共に、周囲画像の中の低検出精度領域に対応する画像領域を強調して表示してよい。
Similarly, when the
これにより、ショベル100や管理装置200は、オペレータに対して、視覚的にショベル100の周囲の低検出精度領域を通知することができる。
This allows the
また、本実施形態では、表示装置50は、ショベル100の周囲に低検出精度領域がある場合、ショベル100の周囲の様子を表す周囲画像を表示すると共に、所定期間だけ、定期的に、或いは、監視対象が検出されるときに、周囲画像の中の低検出精度領域に対応する画像領域を強調して表示してよい。
In addition, in this embodiment, when there is a low detection accuracy area around the
同様に、ショベル100が遠隔操作されている状態で、管理装置200の出力装置230(表示装置)は、ショベル100の周囲に低検出精度領域がある場合、ショベル100の周囲の様子を表す周囲画像を表示すると共に、所定期間だけ、定期的に、或いは、監視対象が検出されるときに、周囲画像の中の低検出精度領域に対応する画像領域を強調して表示してよい。
Similarly, when the
これにより、ショベル100や管理装置200は、ショベル100の周囲の低検出精度領域を通知するための視覚情報が表示される回数や時間等を制限することができる。そのため、ショベル100や管理装置200は、オペレータが感じる煩わしさを抑制しながら、ショベル100の安全性を向上させることができる。
This allows the
また、本実施形態では、音出力装置52(音声出力部の一例)は、ショベル100の周囲に低検出精度領域がある場合、周囲画像の中の強調されている画像領域に対応する作業機械の周囲の領域では、監視対象の検出精度が相対的に低いことを表す音声情報を出力してよい。
In addition, in this embodiment, when there is a low detection accuracy area around the
同様に、ショベル100が遠隔操作されている状態で、管理装置200の出力装置230(音出力装置)は、ショベル100の周囲に低検出精度領域がある場合、周囲画像の中の強調されている画像領域に対応する作業機械の周囲の領域では、監視対象の検出精度が相対的に低いことを表す音声情報を出力してよい。
Similarly, when the
これにより、ショベル100や管理装置200は、視覚情報に加えて、音声情報によって、ショベル100の周囲の低検出精度領域に関する情報をオペレータに通知することができる。
This allows the
また、本実施形態では、音出力装置52は、ショベル100の周囲に低検出精度領域がある場合、所定回数だけ、又は、定期的に、音声情報を出力してよい。
In addition, in this embodiment, the
同様に、ショベル100が遠隔操作されている状態で、管理装置200の出力装置230(音出力装置)は、ショベル100の周囲に低検出精度領域がある場合、所定回数だけ、又は、定期的に、音声情報を出力してよい。
Similarly, when the
これにより、ショベル100や管理装置200は、音声情報が出力される時間や回数を制限することができる。そのため、ショベル100や管理装置200は、オペレータが感じる煩わしさを抑制しながら、ショベル100の安全性を向上させることができる。
This allows the
[変形・変更]
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
[Transformations/Changes]
Although the above describes in detail the form for carrying out the present invention, the present invention is not limited to such specific embodiment, and various modifications and changes are possible within the scope of the gist of the present invention described in the claims.
例えば、上述した実施形態では、ショベル100の周囲の低検出精度領域に対する注意や安全確認を促す機能を説明したが、ショベル100以外の他の作業機械に同様の機能が採用されてもよい。他の作業機械には、例えば、ブルドーザ、ホイルローダ、移動式クレーン等が含まれてよい。
For example, in the above embodiment, a function for prompting attention and safety checks in areas with low detection accuracy around the
1 下部走行体
3 上部旋回体
30 コントローラ
40 撮像装置(取得部)
40B,40F,40L,40R カメラ
45 周辺物体情報取得装置(取得部)
45BL,45BR,45L,45R センサ
50 表示装置(警報出力部、通知部)
52 音出力装置(警報出力部、通知部)
54 入力装置
100 ショベル(作業機械)
200 管理装置(情報処理装置)
210 制御装置
220 通信装置
230 出力装置(通知部、警報出力部)
230A 表示装置
240 入力装置
240A 操作装置
301 遠隔操作制御部
302 物体検出部
303 安全制御部
304 評価値算出部(算出部)
305 検出精度判定部(判定部)
306 低検出精度通知部
2101 遠隔操作支援部
2102 安全制御部
2103 低検出精度通知部
T1 通信装置
1 Lower traveling
40B, 40F, 40L,
45BL, 45BR, 45L,
52 Sound output device (alarm output unit, notification unit)
54
200 Management device (information processing device)
210
305 Detection accuracy determination unit (determination unit)
306 Low detection
Claims (16)
前記取得部により取得される情報に基づき、作業機械の周囲で特定の種類の物体を検出する検出部と、
前記検出部により前記特定の種類の物体が検出される場合、オペレータに対して警報を出力する警報出力部と、
作業機械の周囲における前記取得部による情報の取得範囲の中に、作業機械の周囲に存在する、前記特定の種類の物体が存在すると仮定したときの前記取得部から見た背景に相当する他の物体の影響によって前記検出部が前記特定の種類の物体を検出することができる精度が所定基準に対して相対的に低い領域がある場合、オペレータに対して、作業機械の周囲の前記領域に関する通知を行う通知部と、を備える、
作業機械。 an acquisition unit that acquires information about objects around the work machine;
a detection unit that detects a specific type of object around the work machine based on the information acquired by the acquisition unit;
an alarm output unit that outputs an alarm to an operator when the specific type of object is detected by the detection unit;
and a notification unit that notifies an operator about an area around the work machine when there is an area within an information acquisition range around the work machine by the acquisition unit where the accuracy with which the detection unit can detect the specific type of object is relatively low compared to a predetermined standard due to the influence of other objects that exist around the work machine and correspond to a background seen from the acquisition unit when it is assumed that the specific type of object exists.
Working machinery.
請求項1に記載の作業機械。 the notification unit notifies the operator of the area around the work machine when the area is within the acquisition range.
2. The work machine of claim 1.
複数の前記取得部は、作業機械の周囲の物体に関する第1の情報を取得する第1の取得部と、作業機械の周囲の物体に関する、前記第1の情報と異なる第2の情報を取得する第2の取得部と、を含み、
前記検出部は、前記第1の情報に基づき、前記特定の種類の物体を検出すると共に、前記第2の情報に基づき前記特定の種類の物体を検出し、
前記通知部は、作業機械の周囲における前記第1の取得部による前記第1の情報の前記取得範囲の中に、前記検出部が前記第1の情報に基づき前記特定の種類の物体を検出できる精度が所定基準に対して相対的に低い前記領域があること、及び作業機械の周囲における前記第2の取得部による前記第2の情報の前記取得範囲の中に、前記検出部が前記第2の情報に基づき前記特定の種類の物体を検出できる精度が所定基準に対して相対的に低い前記領域があることのうちの少なくとも一方が成立する場合、前記オペレータに対して、作業機械の周囲の前記領域に関する通知を行う、
請求項1又は2に記載の作業機械。 A plurality of the acquisition units are provided,
the plurality of acquisition units include a first acquisition unit that acquires first information regarding objects around the work machine, and a second acquisition unit that acquires second information regarding objects around the work machine, the second information being different from the first information;
the detection unit detects the specific type of object based on the first information, and detects the specific type of object based on the second information;
the notification unit notifies the operator about the area around the work machine when at least one of the following is true: within the acquisition range of the first information by the first acquisition unit around the work machine, there is an area where the accuracy at which the detection unit can detect the specific type of object based on the first information is relatively low compared to a predetermined standard; and within the acquisition range of the second information by the second acquisition unit around the work machine, there is an area where the accuracy at which the detection unit can detect the specific type of object based on the second information is relatively low compared to a predetermined standard.
A work machine according to claim 1 or 2.
前記通知部は、前記警報が出力されておらず、且つ、前記取得範囲の中で前記取得部により前記評価値が所定基準に対して相対的に高い情報が取得される場合、前記オペレータに対して、作業機械の周囲の前記領域に関する通知を行う、
請求項1乃至3の何れか一項に記載の作業機械。 a calculation unit that calculates an evaluation value indicating a degree to which the information acquired by the acquisition unit represents the specific type of object,
the notification unit notifies the operator about the area around the work machine when the warning has not been output and information in which the evaluation value is relatively high with respect to a predetermined standard is acquired by the acquisition unit within the acquisition range.
A work machine according to any one of claims 1 to 3.
前記算出部は、前記特徴量に基づき、前記評価値を算出する、
請求項4に記載の作業機械。 The detection unit calculates a feature amount representing a feature of the specific type of object in the information acquired by the acquisition unit, based on the information acquired by the acquisition unit, and detects the specific type of object based on the feature amount;
The calculation unit calculates the evaluation value based on the feature amount.
5. A work machine according to claim 4.
前記算出部は、同じ前記撮像画像に含まれる複数の部分画像ごとに、前記評価値を算出し、
前記通知部は、前記警報が出力されておらず、且つ、前記複数の部分画像の中に前記評価値が所定基準に対して相対的に高い部分画像がある場合に、前記オペレータに対して、作業機械の周囲の前記領域に関する通知を行う、
請求項4又は5に記載の作業機械。 the acquisition unit is a camera that acquires a captured image showing a state around the work machine,
the calculation unit calculates the evaluation value for each of a plurality of partial images included in the same captured image;
the notification unit notifies the operator about the area around the work machine when the warning has not been output and a partial image having the evaluation value relatively high with respect to a predetermined standard is present among the plurality of partial images.
A work machine according to claim 4 or 5.
請求項6に記載の作業機械。 the notification unit notifies the operator about the area around the work machine when there is a partial image among the plurality of partial images whose evaluation value is relatively high with respect to a predetermined standard, and when an area occupied by a collection of partial images whose evaluation value is relatively high with respect to the predetermined standard in the captured image including the plurality of partial images is relatively large with respect to the predetermined standard.
7. A work machine according to claim 6.
前記表示部は、前記取得範囲の中に前記領域がある場合、作業機械の周囲の様子を表す画像情報を表示すると共に、前記画像情報の中の前記領域に対応する画像領域を強調して表示する、
請求項1乃至7の何れか一項に記載の作業機械。 The notification unit includes a display unit,
the display unit displays image information representing the surroundings of the work machine when the area is within the acquisition range, and highlights an image area in the image information that corresponds to the area.
A work machine as claimed in any one of claims 1 to 7.
請求項8に記載の作業機械。 the display unit displays the image information representing the surroundings of the work machine when the area is within the acquisition range, and highlights and displays the image area only for a predetermined period of time, periodically, or when the specific type of object is detected.
9. A work machine according to claim 8.
前記音声出力部は、前記取得範囲の中に前記領域がある場合、前記画像領域に対応する作業機械の周囲の前記領域では、前記精度が所定基準に対して相対的に低いことを表す音声情報を出力する、
請求項8又は9に記載の作業機械。 The notification unit includes an audio output unit,
when the area is within the acquisition range, the audio output unit outputs audio information indicating that the accuracy is relatively low with respect to a predetermined standard in the area around the work machine corresponding to the image area.
A work machine according to claim 8 or 9.
請求項10に記載の作業機械。 the audio output unit outputs the audio information a predetermined number of times or periodically when the area is within the acquisition range.
11. A work machine according to claim 10.
請求項1乃至11の何れか一項に記載の作業機械。 the warning output unit outputs, when the specific type of object is detected in the area by the detection unit, the first warning of a first warning indicating a relatively high level of alert to the operator and a second warning indicating a relatively low level of alert to the operator;
A work machine as claimed in any one of the preceding claims.
前記通知部は、前記判定部により前記取得範囲の中に前記領域があると判定される場合、前記オペレータに対して、作業機械の周囲の前記領域に関する通知を行う、
請求項1乃至12の何れか一項に記載の作業機械。 a determination unit that determines whether or not the area is within the acquisition range when the work machine is started up, and determines whether or not the area is within the acquisition range when at least one of an operation of a part of the work machine to which the acquisition unit is attached and a movement of the work machine occurs,
the notification unit notifies the operator of the area around the work machine when the determination unit determines that the area is within the acquisition range.
A work machine as claimed in any one of the preceding claims.
前記判定部は、前記警報が出力されている状態で、作業機械の前記取得部が取り付けられる部位の動作、及び作業機械の移動の少なくとも一つが生じた場合、前記警報が解除されたときに、前記取得範囲の中に前記領域があるか否かを判定する、
請求項13に記載の作業機械。 the alarm output unit cancels the alarm when the specific type of object is no longer detected or when a predetermined input for canceling the alarm is received;
the determination unit, when at least one of an operation of a part of the work machine to which the acquisition unit is attached and a movement of the work machine occurs while the alarm is being output, determines whether or not the area is within the acquisition range when the alarm is released.
14. A work machine according to claim 13.
請求項13又は14に記載の作業機械。 the determination unit periodically determines whether or not the area is within the acquisition range when the number of occurrences per unit time of at least one of the operation of the part of the work machine and the movement of the work machine is relatively high with respect to a predetermined standard.
A work machine according to claim 13 or 14.
前記操作部により受け付けられる遠隔操作の内容を前記作業機械に送信する通信部と、
前記作業機械の取得部によって取得される前記作業機械の周囲の物体に関する情報に基づき、前記作業機械の検出部によって前記作業機械の周囲で特定の種類の物体が検出される場合、遠隔操作を行うオペレータに対して警報を出力する警報出力部と、
前記作業機械の周囲における前記取得部による情報の取得範囲の中に、前記作業機械の周囲に存在する、前記特定の種類の物体が存在すると仮定したときの前記取得部から見た背景に相当する他の物体の影響によって前記検出部が前記特定の種類の物体を検出することができる精度が所定基準に対して相対的に低い領域がある場合、前記オペレータに対して、前記作業機械の周囲の前記領域に関する通知を行う通知部と、を備える、
情報処理装置。 an operation unit that receives remote control operations related to the work machine;
a communication unit that transmits the contents of the remote operation received by the operation unit to the work machine;
an alarm output unit that outputs an alarm to an operator performing remote operation when a specific type of object is detected around the work machine by a detection unit of the work machine based on information about objects around the work machine acquired by an acquisition unit of the work machine;
a notification unit that notifies the operator about the area around the work machine when there is an area within an information acquisition range around the work machine by the acquisition unit where the accuracy with which the detection unit can detect the specific type of object is relatively low compared to a predetermined standard due to the influence of other objects that exist around the work machine and correspond to a background seen from the acquisition unit when it is assumed that the specific type of object exists,
Information processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020013811A JP7479156B2 (en) | 2020-01-30 | 2020-01-30 | Work machines, data processing devices |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020013811A JP7479156B2 (en) | 2020-01-30 | 2020-01-30 | Work machines, data processing devices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021120515A JP2021120515A (en) | 2021-08-19 |
JP7479156B2 true JP7479156B2 (en) | 2024-05-08 |
Family
ID=77269801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020013811A Active JP7479156B2 (en) | 2020-01-30 | 2020-01-30 | Work machines, data processing devices |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7479156B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021206995A1 (en) | 2021-07-05 | 2023-01-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Method and system for visualizing three-dimensional work area boundaries in a field of view of an operator of a mobile working machine |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140003725A1 (en) | 2012-06-15 | 2014-01-02 | Canon Kabushiki Kaisha | Video processing apparatus, video processing method, and recording medium |
US20150215546A1 (en) | 2014-01-27 | 2015-07-30 | Canon Kabushiki Kaisha | Control apparatus, control method, and storage medium |
JP2015184903A (en) | 2014-03-24 | 2015-10-22 | 日立建機株式会社 | Image processor of self-traveling industrial machine |
JP2017158033A (en) | 2016-03-01 | 2017-09-07 | 住友重機械工業株式会社 | Periphery monitoring system for work machine |
WO2018008542A1 (en) | 2016-07-05 | 2018-01-11 | 住友建機株式会社 | Shovel |
JP2019060228A (en) | 2018-11-01 | 2019-04-18 | 住友重機械工業株式会社 | Periphery monitoring device for work machine |
WO2019111859A1 (en) | 2017-12-04 | 2019-06-13 | 住友重機械工業株式会社 | Surrounding-area monitoring device, information processing terminal, information processing device, and information processing program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1072851A (en) * | 1996-08-30 | 1998-03-17 | Shin Caterpillar Mitsubishi Ltd | Invading moving body detection device |
-
2020
- 2020-01-30 JP JP2020013811A patent/JP7479156B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140003725A1 (en) | 2012-06-15 | 2014-01-02 | Canon Kabushiki Kaisha | Video processing apparatus, video processing method, and recording medium |
US20150215546A1 (en) | 2014-01-27 | 2015-07-30 | Canon Kabushiki Kaisha | Control apparatus, control method, and storage medium |
JP2015184903A (en) | 2014-03-24 | 2015-10-22 | 日立建機株式会社 | Image processor of self-traveling industrial machine |
JP2017158033A (en) | 2016-03-01 | 2017-09-07 | 住友重機械工業株式会社 | Periphery monitoring system for work machine |
WO2018008542A1 (en) | 2016-07-05 | 2018-01-11 | 住友建機株式会社 | Shovel |
WO2019111859A1 (en) | 2017-12-04 | 2019-06-13 | 住友重機械工業株式会社 | Surrounding-area monitoring device, information processing terminal, information processing device, and information processing program |
JP2019060228A (en) | 2018-11-01 | 2019-04-18 | 住友重機械工業株式会社 | Periphery monitoring device for work machine |
Also Published As
Publication number | Publication date |
---|---|
JP2021120515A (en) | 2021-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7092688B2 (en) | Peripheral monitoring system for work machines | |
US20220042286A1 (en) | Shovel | |
JP7511547B2 (en) | Display device, excavator, information processing device | |
WO2021025123A1 (en) | Excavator and information processing device | |
US20220042282A1 (en) | Shovel, and safety equipment confirmation system at worksite | |
EP3885495B1 (en) | Excavator and excavator control device | |
JP7358070B2 (en) | excavator | |
EP3733982B1 (en) | Shovel and output device of shovel | |
JP2020183623A (en) | Shovel | |
JP7479156B2 (en) | Work machines, data processing devices | |
US20220349150A1 (en) | Work machine and information processing device | |
JP2022157923A (en) | Excavator | |
US12054919B2 (en) | Shovel with external notification function | |
JP2020183622A (en) | Shovel and series of shovel | |
WO2023132321A1 (en) | Surrounding-area monitoring system and work machine | |
KR102707140B1 (en) | Shovel and Shovel Output Device | |
WO2023171711A1 (en) | Operation assistance device, work machine, remote operation assistance device, and program | |
JP2023093109A (en) | Construction machine, and information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230710 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7479156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |