JP7291645B2

JP7291645B2 - 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル

Info

Publication number: JP7291645B2
Application number: JP2020015440A
Authority: JP
Inventors: 潤松本; 優樹小林
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2020-01-31
Filing date: 2020-01-31
Publication date: 2023-06-15
Anticipated expiration: 2040-01-31
Also published as: KR20220080182A; DE112021000207T5; JP2021123862A; CN114729519A; US20230018377A1; WO2021153182A1

Description

本発明は、作業機械の誤操作を防止するためのシステム、制御方法、およびショベルに関する。

一般的に、作業機械には、オペレータが作業機械を操作するためのレバーなどの操作部材が設けられている。例えば、オペレータは、操作部材を手で握ることによって、操作部材を操作する。しかし、オペレータが作業機械の操作以外の動作を行うときに、オペレータの身体や衣服が操作部材に誤って触れてしまうことがある。その場合、作業機械がオペレータの意図に反する動作を行ってしまう。

上記のような誤操作を防止するために、例えば特許文献１は、誤操作防止装置を開示している。この誤操作防止装置では、操作レバーのグリップ全面に触覚センサが装着されている。触覚センサによって検出された圧力が、所定時間継続したときに、コントローラは、操作レバーの把持を検出したと判定して、油圧ロック機構を解除する。

特開２０１０－２５０４５９号

オペレータによる操作部材の操作方法（例えば、持ち方、或いは触り方）は、オペレータによって個々に異なる。そのため、上記の誤操作防止装置では、触覚センサがオペレータによる把持を正確に検出しない可能性がある。また、上記の誤操作防止装置では、コントローラは、触覚センサによって検出された圧力が、所定時間継続したかを判定する。そのため、油圧ロック機構の解除に時間がかかってしまう。それにより、正常な操作時における作業機械の操作性が低くなる。

本開示の目的は、作業機械の誤操作を精度よく検出することにある。

本開示の一態様に係るシステムは、作業機械の誤操作を防止するためのシステムである。当該システムは、操作部材と、カメラと、コントローラとを備える。操作部材は、オペレータによって操作可能である。カメラは、操作部材の少なくとも一部を含む領域の画像を撮影し、画像を示す画像データを生成する。コントローラは、カメラから画像データを取得する。コントローラは、画像に基づいて、オペレータによる操作部材の操作が、意図的な操作であるか、非意図的な操作であるかを判定する。コントローラは、オペレータによる操作部材の操作が、意図的な操作であるときには、操作部材の操作に応じて作業機械を制御する。コントローラは、オペレータによる操作部材の操作が、非意図的な操作であるときには、操作部材の操作を無効とする。

本開示の他の態様に係る方法は、作業機械の誤操作を防止するための制御方法である。当該制御方法は、以下の処理を含む。第１の処理は、操作部材の少なくとも一部を含む領域の画像を示す画像データを取得することである。第２の処理は、画像に基づいて、オペレータによる操作部材の操作が、意図的な操作であるか、非意図的な操作であるかを判定することである。第３の処理は、オペレータによる操作部材の操作が、意図的な操作であるときには、操作部材の操作に応じて作業機械を制御することである。第４の処理は、オペレータによる操作部材の操作が、非意図的な操作であるときには、操作部材の操作を無効とすることである。

本開示の他の態様に係るショベルは、走行体と、旋回体と、作業機と、キャブと、操作部材と、カメラと、コントローラとを備える。旋回体は、走行体に旋回可能に取り付けられる。作業機は、旋回体に取り付けられる。キャブは、旋回体に設けられる。操作部材は、キャブ内に配置される。操作部材は、走行体と、旋回体と、作業機との少なくとも１つを動作させるために、オペレータによって操作可能である。カメラは、操作部材の少なくとも一部を含む領域の画像を撮影する。カメラは、画像を示す画像データを生成する。コントローラは、カメラから画像データを取得する。コントローラは、画像に基づいて、オペレータによる操作部材の操作が、意図的な操作か非意図的な操作であるかを判定する。コントローラは、オペレータによる操作部材の操作が、意図的な操作であるときには、操作部材の操作に応じて、走行体と、旋回体と、作業機との少なくとも１つの動作を制御する。コントローラは、オペレータによる操作部材の操作が、非意図的な操作であるときには、操作部材の操作を無効とする。

本開示によれば、操作部材の少なくとも一部を含む領域の画像に基づいて、オペレータによる操作部材の操作が、意図的な操作であるか、非意図的な操作であるかが判定される。そのため、オペレータの個々の操作方法によらず、誤操作を精度よく検出することができる。また、オペレータによる操作部材の操作が、正常な操作であるか否かを迅速に判定することができる。そのため、正常な操作時における作業機械の操作性の低下が抑えられる。

作業機械の側面図である。作業機械の制御システムの構成を示すブロック図である。キャブの内部を示す斜視図である。誤操作を検出するための処理を示すフローチャートである。 AIの画像認識モデルの構成を示す図である。 AIの画像認識モデルの構成を示す図である。操作状態の画像の一例を示す図である。操作状態の画像の一例を示す図である。操作状態の画像の一例を示す図である。操作状態の画像の一例を示す図である。操作状態の画像の一例を示す図である。変形例に係る作業機械の制御システムの構成を示すブロック図である。操作状態の画像の一例を示す図である。操作状態の画像の一例を示す図である。操作状態の画像の一例を示す図である。操作状態の画像の一例を示す図である。

以下、実施形態に係る作業機械１の制御システムについて、図面を参照しながら説明する。図１は、作業機械１の側面図である。本実施形態において、作業機械１は油圧ショベルである。

図１に示すように、作業機械１は、車両本体２と作業機３とを含む。作業機３は、車両本体２の前部に取り付けられている。車両本体２は、旋回体４と、走行体５と、キャブ６とを含む。旋回体４は、走行体５に対して旋回可能に取り付けられている。キャブ６は、旋回体４に配置されている。走行体５は、履帯６ａ，６ｂを含む。履帯６ａ，６ｂが駆動されることで、作業機械１は走行する。

作業機３は、ブーム１１と、アーム１２と、バケット１３とを含む。ブーム１１は、旋回体４に対して上下方向に動作可能に取り付けられている。アーム１２は、ブーム１１に対して動作可能に取り付けられている。バケット１３は、アーム１２に対して動作可能に取り付けられている。作業機３は、ブームシリンダ１４と、アームシリンダ１５と、バケットシリンダ１６とを含む。ブームシリンダ１４と、アームシリンダ１５と、バケットシリンダ１６とは、油圧シリンダであり、後述する油圧ポンプ２２からの作動油によって駆動される。ブームシリンダ１４は、ブーム１１を動作させる。アームシリンダ１５は、アーム１２を動作させる。バケットシリンダ１６は、バケット１３を動作させる。

図２は、作業機械１の制御システムの構成を示すブロック図である。図２に示すように、作業機械１は、エンジン２１と、油圧ポンプ２２と、動力伝達装置２３と、コントローラ２４とを含む。エンジン２１は、コントローラ２４からの指令信号により制御される。油圧ポンプ２２は、エンジン２１によって駆動され、作動油を吐出する。油圧ポンプ２２から吐出された作動油は、ブームシリンダ１４と、アームシリンダ１５と、バケットシリンダ１６とに供給される。

作業機械１は、旋回モータ２５を含む。旋回モータ２５は、油圧モータであり、油圧ポンプ２２からの作動油によって駆動される。旋回モータ２５は、旋回体４を旋回させる。なお、図２では、１つの油圧ポンプ２２が図示されているが、複数の油圧ポンプが設けられてもよい。

油圧ポンプ２２は可変容量ポンプである。油圧ポンプ２２にはポンプ制御装置２６が接続されている。ポンプ制御装置２６は、油圧ポンプ２２の傾転角を制御する。ポンプ制御装置２６は、例えば電磁弁を含み、コントローラ２４からの指令信号により制御される。コントローラ２４は、ポンプ制御装置２６を制御することで、油圧ポンプ２２の容量を制御する。

作業機械１は、制御弁２７を含む。油圧ポンプ２２とシリンダ１４－１６と旋回モータ２５とは、制御弁２７を介して油圧回路によって接続されている。制御弁２７は、コントローラ２４からの指令信号によって制御される。制御弁２７は、油圧ポンプ２２からシリンダ１４－１６及び旋回モータ２５に供給される作動油の流量を制御する。コントローラ２４は、制御弁２７を制御することで、作業機３の動作を制御する。コントローラ２４は、制御弁２７を制御することで、旋回体４の旋回を制御する。

動力伝達装置２３は、エンジン２１の駆動力を走行体５に伝達する。履帯６ａ，６ｂは、動力伝達装置２３からの駆動力によって駆動されて、作業機械１を走行させる。動力伝達装置２３は、例えば、トルクコンバーター、或いは複数の変速ギアを有するトランスミッションであってもよい。或いは、動力伝達装置２３は、HST（Hydro Static Transmission）、或いはHMT（Hydraulic Mechanical Transmission）などの他の形式のトランスミッションであってもよい。

コントローラ２４は、取得したデータに基づいて作業機械１を制御するようにプログラムされている。コントローラ２４は、エンジン２１と走行体５と動力伝達装置２３とを制御することで、作業機械１を走行させる。コントローラ２４は、油圧ポンプ２２と制御弁２７とを制御することで、作業機３を動作させる。コントローラ２４は、油圧ポンプ２２と制御弁２７とを制御することで、旋回体４を旋回させる。

コントローラ２４は、CPUなどのプロセッサ３１を含む。プロセッサ３１は、作業機械１の制御のための処理を行う。コントローラ２４は、記憶装置３２を含む。記憶装置３２は、RAM或いはROMなどのメモリ、及び、HDD（Hard Disk Drive）或いはSSD（Solid State Drive）などの補助記憶装置を含む。記憶装置３２は、作業機械１の制御のためのデータ及びプログラムを記憶している。

作業機械１は、第１操作部材３３と、第２操作部材３４と、第３操作部材３５と、第４操作部材３６とを含む。図３は、キャブ６の内部を示す斜視図である。図３に示すように、第１操作部材３３と、第２操作部材３４と、第３操作部材３５と、第４操作部材３６とは、キャブ６内に配置されている。キャブ６内には、シート３７が配置されている。第１操作部材３３は、シート３７の一側方に配置されている。第２操作部材３４は、シート３７の他側方に配置されている。第１操作部材３３と第２操作部材３４とは、オペレータの手で操作される。

第１操作部材３３は、レバーである。第１操作部材３３は、中立位置から前後左右に傾動可能である。第１操作部材３３は、第１操作部材３３の操作方向及び操作量を示す信号を出力する。コントローラ２４は、第１操作部材３３からの信号を受信する。コントローラ２４は、オペレータによる第１操作部材３３の操作に応じて、作業機３を動作させる。或いは、コントローラ２４は、オペレータによる第１操作部材３３の操作に応じて、旋回体４を旋回させる。

第２操作部材３４は、レバーである。第２操作部材３４は、中立位置から前後左右に傾動可能である。第２操作部材３４は、第２操作部材３４の操作方向及び操作量を示す信号を出力する。コントローラ２４は、第２操作部材３４からの信号を受信する。コントローラ２４は、オペレータによる第２操作部材３４の操作に応じて、作業機３を動作させる。

第３操作部材３５は、シート３７の前方に配置されている。第３操作部材３５は、レバーである。第３操作部材３５は、前後に傾動可能である。第３操作部材３５は、第３操作部材３５の操作方向及び操作量を示す信号を出力する。コントローラ２４は、第３操作部材３５からの信号を受信する。コントローラ２４は、オペレータによる第３操作部材３５の操作に応じて、作業機械１を走行させる。

第４操作部材３６は、ペダルである。第４操作部材３６は、第３操作部材３５に連結されている。第４操作部材３６は、第３操作部材３５と一体に動作する。コントローラ２４は、オペレータによる第３操作部材３５、或いは第４操作部材３６の操作に応じて、作業機械１を走行させる。

作業機械１は、ロック部材３８を含む。ロック部材３８は、キャブ６内に配置されている。ロック部材３８は、シート３７の側方に配置されている。ロック部材３８は、ロック位置と解除位置とに移動可能である。ロック部材３８がロック位置では、コントローラ２４は、第１操作部材３３及び第２操作部材３４による操作を無効とする。すなわち、ロック部材３８がロック位置では、コントローラ２４は、第１操作部材３３及び第２操作部材３４の操作に関わらず、作業機３の動作を禁止する。ロック部材３８がロック位置では、コントローラ２４は、第１操作部材３３の操作に関わらず、旋回体４の旋回を禁止する。

例えば、制御弁２７が電気パイロット式である場合には、ロック部材３８がロック位置では、コントローラ２４は、第１操作部材３３及び第２操作部材３４の操作に関わらず、制御弁２７への指令信号を出力しない。或いは、制御弁２７が油圧パイロット式である場合には、ロック部材３８がロック位置では、コントローラ２４は、制御弁２７へのパイロット圧の供給を停止する。

コントローラ２４は、ロック部材３８が解除位置では、第１操作部材３３及び第２操作部材３４の操作に応じて、作業機３、或いは旋回体４を制御する。すなわち、コントローラ２４は、ロック部材３８が解除位置では、第１操作部材３３および第２操作部材３４の操作に応じて作業機３を動作させる。コントローラ２４は、ロック部材３８が解除位置では、第１操作部材３３の操作に応じて旋回体４を旋回させる。

作業機械１は、カメラ３９を含む。カメラ３９は、第１操作部材３３と第２操作部材３４とシート３７とを含むキャブ６内の領域の画像を撮影する。なお、カメラ３９は１台に限らず、複数のカメラがキャブ６に配置されてもよい。カメラ３９は、撮影した画像を示す画像データを生成する。カメラ３９は、有線、或いは無線により、コントローラ２４と通信する。コントローラ２４は、カメラ３９から画像データを受信する。画像データが示す画像は、静止画像であってもよく、或いは、動画であってもよい。

コントローラ２４は、画像に基づいて、オペレータによる第１操作部材３３および第２操作部材３４の誤操作を検出する。以下、コントローラ２４による誤操作を検出するための処理について説明する。なお、以下の説明では、第１操作部材３３が操作される場合について説明する。ただし、第２操作部材３４が操作される場合についても同様の処理が行われてもよい。

図４は、誤操作を検出するための処理を示すフローチャートである。ステップＳ１０１では、コントローラ２４は、ロックが解除されているか否かを判定する。コントローラ２４は、ロック部材３８がロック位置に位置しているときには、ロックが解除されていないと判定する。ロックが解除されていないときには、ステップＳ１０６において、コントローラ２４はロックを維持する。コントローラ２４は、ロック部材３８が解除位置に位置しているときには、ロックが解除されていると判定する。ロックが解除されているときには、処理はステップＳ１０２に進む。

ステップＳ１０２において、コントローラ２４は、画像データを取得する。コントローラ２４は、カメラ３９から、第１操作部材３３を含む画像を示す画像データを取得する。

ステップＳ１０３では、コントローラ２４は、第１操作部材３３の操作が行われているかを判定する。コントローラ２４は、第１操作部材３３からの信号により、第１操作部材３３の操作が行われているかを判定する。第１操作部材３３の操作が行われていないときには、ステップＳ１０６においてロックが維持される。第１操作部材３３の操作が行われているときには、処理はステップＳ１０４に進む。

ステップＳ１０４では、コントローラ２４は、オペレータによる第１操作部材３３の操作が意図的な操作であるか、非意図的な操作であるかを判定する。コントローラ２４は、画像データが示す画像に基づいて、判定を行う。

コントローラ２４は、AI（Artificial Intelligence）を用いた画像認識技術により、画像に示される操作が、意図的な操作か非意図的な操作であるかを判定する。図５に示すように、コントローラ２４は、学習済みの画像認識モデル４１を含む。画像認識モデル４１は、コントローラ２４に実装されている。画像認識モデル４１は、画像解析のための人工知能モデルである。画像認識モデル４１は、入力された画像データＤ１１を解析して、画像データＤ１１が示す画像中に、特定の操作を示す画像が含まれているかを判定する。

画像認識モデル４１は、ディープラーニングにより画像解析を行う。画像認識モデル４１は、図６に示すニューラルネットワークを含む。例えば、画像認識モデル４１は、畳み込みニューラルネットワーク（CNN）などのディープニューラルネットワークを含む。図６に示すように、ニューラルネットワーク１２０は、入力層１２１、中間層１２２、及び出力層１２３を含む。各層１２１，１２２，１２３は、１又は複数のニューロンを備えている。互いに隣接する層のニューロン同士は結合されており、各結合には重みが設定されている。ニューロンの結合数は、適宜設定されてよい。各ニューロンには閾値が設定されており、各ニューロンへの入力値と重みとの積の和が閾値を超えているか否かによって各ニューロンの出力データＤ１２が決定される。

入力層１２１には、画像データＤ１１が入力される。出力層１２３には、画像において検出された操作の分類を示す出力データＤ１２が出力される。分類は、意図的な操作と、非意図的な操作とを含む。画像認識モデル４１は、画像データＤ１１が入力されると、画像において検出された操作の分類を示す出力データＤ１２を出力するように学習済みである。学習によって得られた画像認識モデル４１の学習済みパラメータは、コントローラ２４に記憶されている。学習済みパラメータは、例えば、ニューラルネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み、及び各ニューロンの閾値を含む。

画像認識モデル４１は、図７に示すように、オペレータ１００が第１操作部材３３を手で握っていることを示す画像に対して、意図的な操作を示す出力データＤ１２を出力するように学習済みである。従って、カメラ３９によって撮影された画像が、オペレータ１００が第１操作部材３３を手で握っていることを示しているときには、画像認識モデル４１は、意図的な操作を示す出力データＤ１２を出力する。この場合、コントローラ２４は、オペレータ１００による操作が意図的な操作であると判定する。

また、画像認識モデル４１は、図８に示すように、オペレータ１００による第１操作部材３３の様々な握り方の画像に対して、意図的な操作を示す出力データＤ１２を出力するように学習済みである。例えば、画像５１は、一部の指が第１操作部材３３から離れており、他の指で第１操作部材３３を握っている状態を示している。画像５２は、全体の手で第１操作部材３３を握っている状態を示している。画像５３は、手の平が第１操作部材３３を押している状態を示している。画像５４は、指先で第１操作部材３３に触れている状態を示している。従って、カメラ３９によって撮影された画像が様々な握り方を示していても、コントローラ２４は、オペレータ１００による操作が意図的な操作であると適切に判定することができる。

一方、図９から図１１に示すように、オペレータ１００の手以外の部分が操作部材に接触していることを示す画像に対して、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力するように学習済みである。従って、カメラ３９によって撮影された画像が、オペレータ１００の手以外の部分が操作部材に接触していることを示しているときには、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力する。この場合、コントローラ２４は、オペレータ１００による操作が非意図的な操作であると判定する。

例えば、図９に示すように、オペレータ１００の足が第１操作部材３３に接触していることを示す画像に対して、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力するように学習済みである。図１０に示すように、オペレータ１００の胴体が第１操作部材３３に接触していることを示す画像に対して、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力するように学習済みである。図１１に示すように、オペレータ１００の衣服が第１操作部材３３に引っ掛かっていることを示す画像に対して、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力するように学習済みである。従って、カメラ３９によって撮影された画像が、オペレータ１００の手以外の部分が操作部材に接触していることを示しているときには、コントローラ２４は、オペレータ１００による操作が非意図的な操作であると適切に判定することができる。

ステップＳ１０４において、オペレータ１００による操作が意図的な操作であると判定されたときには、処理はステップＳ１０５に進む。ステップＳ１０５では、コントローラ２４は、第１操作部材３３による操作を許可する。すなわち、コントローラ２４は、第１操作部材３３の操作に応じて、作業機３、或いは旋回体４を動作させる。

ステップＳ１０４において、オペレータ１００による操作が非意図的な操作であると判定されたときには、処理はステップＳ１０６に進む。ステップＳ１０６では、コントローラ２４は、ロックを維持する。すなわち、コントローラ２４は、第１操作部材３３の操作を無効として、第１操作部材３３の操作に関わらず、作業機３、或いは旋回体４を動作させない。

以上説明した本実施形態に係る作業機械１の制御システムによれば、第１操作部材３３の少なくとも一部を含む領域の画像に基づいて、オペレータ１００による第１操作部材３３の操作が、意図的な操作であるか、非意図的な操作であるかが判定される。そのため、オペレータ１００による第１操作部材３３の操作方法によらず、誤操作を精度よく検出することができる。また、オペレータ１００による第１操作部材３３の操作が、正常な操作であるか否かを迅速に判定することができる。そのため、正常な操作時における作業機械１の操作性の低下が抑えられる。第２操作部材３４が操作される場合についても、上記と同様の効果を得ることができる。

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。

作業機械１は、油圧ショベルに限らず、ホイールローダ、ブルドーザ、或いはモータグレーダなどの他の種類の作業機械であってもよい。作業機械１の構成は上述したものに限らず変更されてもよい。例えば、旋回モータ２５は、電動モータであってもよい。

第１～第４操作部材３３－３６は、上記の実施形態のものに限らず、変更されてもよい。例えば、第１～第４操作部材３３－３６は、レバーに限らず、スイッチであってもよい。第１～第４操作部材３３－３６の一部が省略、或いは変更されてもよい。或いは、ステアリングホイールなどの他の操作部材が設けられてもよい。コントローラ２４は、ステアリングホイールに対して、上記と同様の誤操作を検出するための処理を実行してもよい。作業機械１は、操舵機構を有してもよい。コントローラ２４は、オペレータによる操作部材の操作に応じて、作業機械１を操舵させてもよい。

カメラ３９の視野は、第１操作部材３３と第２操作部材３４との一方のみを含んでもよい。カメラ３９の視野は、シート３７を含まなくてもよい。第１操作部材３３と第２操作部材３４とのそれぞれに対して個別にカメラが設けられてもよい。カメラ３９の視野は、第３操作部材３５、或いは第４操作部材３６を含んでもよい。コントローラ２４は、第３操作部材３５、或いは第４操作部材３６の操作に対して、上記と同様の誤操作を検出するための処理を実行してもよい。

コントローラ２４は、CPU、或いはGPUなどの複数のプロセッサを備えてもよい。複数のプロセッサ３１によって上記の処理が分散して実行されてもよい。コントローラ２４は１台に限らず、複数のコントローラによって上記の処理が分散して実行されてもよい。例えば、図１２は、変形例に係る作業機械１の制御システムを示す図である。

図１２に示すように、作業機械１の制御システムは、第１コントローラ２４ａと第２コントローラ２４ｂとを含んでもよい。第１コントローラ２４ａは、上記の実施形態のコントローラ２４と同様の構成を有する。第２コントローラ２４ｂは、第１コントローラ２４ａと同様に、プロセッサ３１ｂと記憶装置３２ｂとを含む。第２コントローラ２４は、AIによる画像認識に適した処理能力を有してもよい。上述した処理のうち、画像認識による操作の判定処理が、第２コントローラ２４ｂによって実行されてもよい。第１コントローラ２４ａは、制御弁２７への指令信号の出力など作業機械１の制御に関する処理を実行してもよい。

上述した処理の順番が変更されてもよい。上述した処理の一部が、変更、或いは省略されてもよい。例えば、意図的な操作と非意図的な操作との判定は、ディープラーニングに限らず、サポートベクターマシンなどのAIの他の画像認識技術によって行われてもよい。或いは、意図的な操作と非意図的な操作との判定は、AIに限らず、パターンマッチングなどのルールベースの画像認識技術によって行われてもよい。

コントローラ２４は、図１３に示すように、オペレータ１００が第１操作部材３３を手で握ろうとしているときに、オペレータ１００の操作が意図的な操作であると判定してもよい。それにより、作業機械１の操作性をさらに向上させることができる。

図１４に示すように、カメラ３９によって撮影された画像が、オペレータ１００が、立って第１操作部材３３を握っていることを示すときに、コントローラ２４は、オペレータ１００の操作が意図的な操作であると判定してもよい。例えば、オペレータ１００は、作業機械１の周囲の状況を確認するために、立ったまま第１操作部材３３を操作することがある。従って、コントローラ２４は、図１３に示すようなオペレータの操作が意図的な操作であると適切に判定することができる。

図１５に示すように、オペレータ１００が手で第１操作部材３３を握っておらず、腕が第１操作部材３３に接触しているときに、コントローラ２４は、オペレータ１００の操作が非意図的な操作であると判定してもよい。図１６に示すように、オペレータ１００のヘルメットなどの着用物１０１によって操作部材が隠れることで、操作部材が画像に表れていないときには、コントローラ２４は、判定不能と判定してもよい。或いは、オペレータ１００の体によって操作部材が隠れることで、操作部材が画像に表れていないときには、コントローラ２４は、判定不能と判定してもよい。この場合、コントローラ２４は、ロックを維持してもよい。

本開示によれば、作業機械の誤操作を精度よく検出することができる。

１作業機械
２４コントローラ
３３第１操作部材
３９カメラ
４１画像認識モデル

Claims

作業機械の誤操作を防止するためのシステムであって、
オペレータによって操作可能な操作部材と、
前記操作部材の少なくとも一部を含む領域の画像を撮影し、前記画像を示す画像データを生成するカメラと、
前記カメラから前記画像データを取得するコントローラと、
を備え、
前記コントローラは、
前記画像に基づいて、オペレータによる前記操作部材の操作が、意図的な操作か非意図的な操作であるかを判定し、
オペレータによる前記操作部材の操作が、前記意図的な操作であるときには、前記操作部材の操作に応じて前記作業機械を制御し、
オペレータによる前記操作部材の操作が、前記非意図的な操作であるときには、前記操作部材の操作を無効とする、
システム。
前記操作部材は、オペレータの手で操作される部材であり、
前記画像が、オペレータの手が前記操作部材を握っていることを示しているときには、前記コントローラは、オペレータによる前記操作部材の操作が、前記意図的な操作であると判定する、
請求項１に記載のシステム。
前記画像が、オペレータの手以外の部分が前記操作部材に接触していることを示しているときには、前記コントローラは、オペレータによる前記操作部材の操作が、前記非意図的な操作であると判定する、
請求項２に記載のシステム。
前記画像が、オペレータの衣服が前記操作部材に引っ掛かっていることを示しているときには、前記コントローラは、オペレータによる前記操作部材の操作が、前記非意図的な操作であると判定する、
請求項２又は３に記載のシステム。
前記操作部材は、レバーである、
請求項２から４のいずれかに記載のシステム。
前記操作部材は、ステアリングホイールである、
請求項２から４のいずれかに記載のシステム。
前記コントローラは、学習済みの人工知能による画像認識モデルを有し、
前記画像を、前記画像認識モデルに適用して、オペレータによる前記操作部材の操作が、前記意図的な操作か前記非意図的な操作であるかを判定する、
請求項１から６のいずれかに記載のシステム。
前記作業機械は、ショベルである、
請求項１から７のいずれかに記載のシステム。
操作部材を備える作業機械の誤操作を防止するための作業機械の制御方法であって、
前記操作部材の少なくとも一部を含む領域の画像を示す画像データを取得することと、
前記画像に基づいて、オペレータによる前記操作部材の操作が、意図的な操作か非意図的な操作であるかを判定することと、
オペレータによる前記操作部材の操作が、前記意図的な操作であるときには、前記操作部材の操作に応じて前記作業機械を制御することと、
オペレータによる前記操作部材の操作が、前記非意図的な操作であるときには、前記操作部材の操作を無効とすること、
を備える制御方法。
前記操作部材は、オペレータの手で操作される部材であり、
前記画像が、オペレータの手が前記操作部材を握っていることを示しているときに、オペレータによる前記操作部材の操作が、前記意図的な操作であると判定することをさらに備える、
請求項９に記載の制御方法。
前記画像が、オペレータの手以外の部分が前記操作部材に接触していることを示しているときに、オペレータによる前記操作部材の操作が、前記非意図的な操作であると判定することをさらに備える、
請求項１０に記載の制御方法。
前記画像が、オペレータの衣服が前記操作部材に引っ掛かっていることを示しているときには、オペレータによる前記操作部材の操作が、前記非意図的な操作であると判定することをさらに備える、
請求項１０又は１１に記載の制御方法。
前記操作部材は、レバーである、
請求項１０から１２のいずれかに記載の制御方法。
前記操作部材は、ステアリングホイールである、
請求項１０から１２のいずれかに記載の制御方法。
前記画像を、学習済みの人工知能による画像認識モデルに適用して、オペレータによる前記操作部材の操作が、前記意図的な操作か前記非意図的な操作であるかを判定することをさらに備える、
請求項９から１４のいずれかに記載の制御方法。
前記作業機械は、ショベルである、
請求項９から１５のいずれかに記載の制御方法。
走行体と、
前記走行体に旋回可能に取り付けられた旋回体と、
前記旋回体に取り付けられた作業機と、
前記旋回体に設けられたキャブと、
前記キャブ内に配置され、前記走行体と、前記旋回体と、前記作業機との少なくとも１つを動作させるために、オペレータによって操作可能な操作部材と、
前記操作部材の少なくとも一部を含む領域の画像を撮影し、前記画像を示す画像データを生成するカメラと、
前記カメラから前記画像データを取得するコントローラと、
を備え、
前記コントローラは、
前記画像に基づいて、オペレータによる前記操作部材の操作が、意図的な操作か非意図的な操作であるかを判定し、
オペレータによる前記操作部材の操作が、前記意図的な操作であるときには、前記操作部材の操作に応じて、前記走行体と、前記旋回体と、前記作業機との少なくとも１つの動作を制御し、
オペレータによる前記操作部材の操作が、前記非意図的な操作であるときには、前記操作部材の操作を無効とする、
ショベル。