以下、図面を参照して発明を実施するための形態について説明する。
まず、図1を参照して、本実施形態に係る周辺監視システム100(図2参照)が搭載される作業機械について説明をする。
図1は、本実施形態に係る周辺監視システム100が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。
尚、本実施形態に係る周辺監視システム100は、ショベル以外の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。
本実施形態に係るショベルは、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、作業装置としてのブーム4、アーム5、及びバケット6と、オペレータが搭乗するキャビン10を備える。
下部走行体1は、例えば、左右1対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、自走する。
上部旋回体3は、旋回油圧モータ、或いは、電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及びバケット6は、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
また、本実施形態に係るショベルは、周辺監視システム100に関連する構成要素として、コントローラ30、撮像装置40、画面操作部44、表示装置50、音声出力装置52を備える。
コントローラ30は、ショベルの駆動制御を行う制御装置である。コントローラ30は、キャビン10内に搭載される。
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置40は、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。
後方カメラ40Bは、上部旋回体3の後端上部に取り付けられ、上部旋回体3の後方を撮像する。
左側方カメラ40Lは、上部旋回体3の左端上部に取り付けられ、上部旋回体3の左側方を撮像する。
右側方カメラ40Rは、上部旋回体3の右端上部に取り付けられ、上部旋回体3の右側方を撮像する。
画面操作部44(第1操作部、第2操作部の一例)は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから操作し易い位置に設けられ、オペレータにより表示装置50に表示される画面上における各種操作が行われる。画面操作部44は、表示装置50に表示される画面上の各種操作が可能であれば、任意の構成であってよい。例えば、画面操作部44は、表示装置50としての液晶ディスプレイの表示領域に一体として実装されるタッチパネルであってもよいし、表示装置50とは別体に設けられるタッチパッド、クリックホイール、ジョイスティック等の操作デバイスであってもよい。以下、画面操作部44は、表示装置50と一体に実装されるタッチパネルである前提で説明を行う。
表示装置50(通知部の一例)は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、コントローラ30(具体的には、後述する表示制御部302)による制御の下、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイである。
音声出力装置52は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置52は、例えば、スピーカやブザー等である。
次に、図2を参照して、本実施形態に係る周辺監視システム100の具体的な構成について説明をする。
図2は、本実施形態に係る周辺監視システム100の構成の一例を示すブロック図である。
周辺監視システム100は、ショベルの周辺の所定範囲内への所定の物体(本実施形態では、人)の侵入を監視し、所定の物体を検知した場合、警報を出力する。周辺監視システム100は、コントローラ30、撮像装置40、表示装置50、音声出力装置52を含む。
コントローラ30は、周辺監視システム100における各種制御処理を行う。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、CPU,RAM,ROM,I/O等を含むマイクロコンピュータを中心に構成される。コントローラ30は、例えば、ROMに格納される各種プログラムをCPU上で実行することにより実現される機能部として、人検知部301、表示制御部302、警報出力部303を含む。
撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲(画角)を有する。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、ショベルの運転中、所定周期(例えば、1/30秒)毎に、撮像画像を出力し、コントローラ30に送信する。
画面操作部44は、オペレータによる表示装置50の画面の操作状態に関する信号をコントローラ30に送信する。
表示装置50は、撮像装置40の撮像画像(スルー画像)や、コントローラ30(表示制御部302)が撮像装置40の撮像画像に基づき生成する周辺画像(例えば、後述する視点変換画像)等を表示する。また、表示装置50は、後述する表示制御部302の制御の下、後述する人検知部301により検知された人が含まれる撮像装置40の撮像画像或いは該撮像画像に基づき生成される周辺画像を表示することにより、人検知部301により人が検知された旨をオペレータ等に通知することができる。
音声出力装置52は、コントローラ30(警報出力部303)による制御の下、警報音を出力する。
人検知部301(物体検知部の一例)は、撮像装置40により撮像された撮像画像に基づき、ショベルの周辺の所定領域内、例えば、ショベルから所定距離D1(例えば、5メートル)以内の人を検知する。人検知部301は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置(ショベルから認識した人までの距離D等)を特定することができる。例えば、人検知部301は、撮像装置40の撮像画像から識別処理の対象画像を抽出する抽出機能、抽出された対象画像に含まれる候補画像が検知対象の物体(本実施形態の場合、人)に対応する検知対象画像であるかを識別する識別機能、及び識別結果を時系列的に追跡して最終的な検知結果を出力する追跡機能を利用して、検知対象である人を検知してよい。
具体的には、人検知部301は、抽出機能を利用して、局所的な輝度勾配或いはエッジに基づく簡易な特徴、ハフ変換等による幾何学的特徴、輝度に基づいて分割された領域の面積或いはアスペクト比に関する特徴等を抽出する比較的演算量の少ない画像処理によって識別処理の対象画像を抽出してよい。対象画像は、後段の画像処理の対象となる画像部分(撮像画像の一部)であり、検知対象の候補画像を含む。候補画像は、検知対象画像である可能性が高いと判断される画像部分(撮像画像の一部)である。
また、人検知部301は、識別機能を利用して、HOG(Histograms of Oriented Gradients)特徴量に代表される画像特徴量と機械学習により生成される既知の識別器とを用いた画像認識処理等の比較的演算量の多い画像処理によって、候補画像が検知対象画像であるかを識別する。
そして、人検知部301は、追跡機能により、連続する所定回数分の同一検知対象に関する識別結果が所定条件を満たす場合(例えば、連続する6回の識別結果のうちの4回で同一人の人画像であると識別された場合等)に、対応する候補画像が検知対象画像であると判定する(即ち、対応する三次元位置に検知対象の物体としての人を検知する)。
人検知部301は、検知対象(人)を検知する感度が異なる複数(本実施形態では、3つ)の感度別人検知部3011〜3013(感度別物体検知部の一例)を含む。検知対象(人)を検知する感度は、感度別人検知部3011〜3013のうち、感度別人検知部3013が最も高く、感度別人検知部3012がその次に高く、感度別人検知部3011が最も低い。換言すれば、検知対象(人)を見逃す確率は、感度別人検知部3013が最も低く、感度別人検知部3012がその次に低く、感度別人検知部3011が最も高い。一方、検知対象(人)を検知する感度が高くなると、検知対象(人)でない物体を検知対象であると誤検知してしまう可能性も高くなるため、検知対象(人)でない物体を誤検知してしまう確率は、感度別人検知部3011が最も低く、感度別人検知部3012がその次に低く、感度別人検知部3013が最も高い。人検知部301は、検知対象を検知する感度が相互に異なる複数の感度別人検知部3011〜3013のうちの何れか一つにより、検知対象としての人を検知する。
感度別人検知部3011〜3013の検知対象を検知する感度の相互間の相違は、例えば、相互に異なる機械学習の方法によって、上述した識別機能で利用される識別器を生成することにより実現されうる。具体的には、感度別人検知部3011で利用される識別器が機械学習により生成される際、教師画像に含まれる検知対象である物体を検知できなかった場合のペナルティよりも、教師画像に含まれる検知対象でない物体を検知対象であると誤検知した場合のペナルティが大きい値に設定された前提で、全体の教師画像に対するペナルティの合計が最小になるように最適化されてよい。一方、感度別人検知部3013で利用される識別器が機械学習により生成される際、教師画像に含まれる検知対象でない物体を検知対象であると誤検知した場合のペナルティよりも、検知対象である物体を検知できなかった場合のペナルティが大きい値に設定された前提で、全体の教師データに対する合計ペナルティが最小になるように最適化されてよい。そして、感度別人検知部3012で利用される識別器を機械学習させる際、教師画像に含まれる検知対象でない物体を検知対象であると誤検知した場合のペナルティと、検知対象である物体を検知できなかった場合のペナルティとが同じ値に設定される前提で、全体の教師データに対する合計ペナルティが最小になるように最適化されてよい。これにより、検知対象を検知する感度が相互に異なる感度別人検知部3011〜3013が生成される。
尚、人検知部301は、相互に検知対象を検知する感度が異なる複数の感度別人検知部3011〜3013を有する代わりに、感度に影響するパラメータを連続的、或いは、段階的に変化させることにより、感度を変更させる態様であってもよい。また、人検知部301は、監視対象である所定の物体として人を検知するが、他の所定の物体、例えば、車両等を検知してもよい。
表示制御部302は、オペレータによる各種操作に応じて、表示装置50に各種情報画像を表示させる。例えば、表示制御部302は、オペレータによる所定操作に応じて、撮像装置40(後方カメラ40B、左側方カメラ40L、右側方カメラ40R)の撮像画像(スルー画像)を表示装置50に表示させる。また、例えば、表示制御部302は、オペレータによる所定操作に応じて、撮像装置40の撮像画像に基づき周辺画像を生成し、表示装置50に表示させる。具体的には、表示制御部302は、周辺画像として、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像(仮想視点から見た画像)を生成し、表示装置50に表示させる。また、表示制御部302は、周辺画像を表示装置50に表示させる際、周辺画像に写る撮像装置40の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、表示制御部302は、ショベル画像と、ショベルと撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成し、表示装置50に表示させる。以下、図3を参照して、表示装置50に表示される監視用画像について説明をする。
図3は、表示装置50に表示される監視用画像の一例を示す図である。図3に示すように、表示装置50における横長の長方形の画面(例えば、アスペクト比4:3の画面)には、上述の如く、ショベル画像CGと、ショベル画像CGの周囲に配置される周辺画像EPとを含む監視用画像が表示されている。これにより、オペレータは、周辺画像EPに写っている人を含む物体と、ショベルとの位置関係を適切に把握することができる。
本例における周辺画像EPは、ショベル周辺を真上から見た路面画像と、その路面画像の周りに配置される、ショベル周辺を水平方向に見た水平画像とを組み合わせた視点変換画像である。周辺画像(視点変換画像)は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、上記路面画像と上記水平画像とを組み合わせた視点変換画像である前提で説明を続ける。
また、監視用画像には、ガイドラインLN1が重畳表示される。ガイドラインLN1は、ショベルからの距離が所定距離D2(<D1)の位置を表す。これにより、周辺画像に人を含む物体が写っている場合、オペレータは、ショベルからどの程度離れた位置にいるかを把握することができる。
図2に戻り、また、表示制御部302は、人検知部301により検知対象である人が検知された場合、表示装置50に表示されるスルー画像或いは周辺画像の中の当該検知対象(人)が含まれる領域(検知対象領域)を強調させる。以下、図4を参照して、スルー画像及び周辺画像の中の検知対象領域が強調される表示態様について説明をする。
尚、表示制御部302の上述した機能は、表示装置50に内蔵されてもよい。この場合、撮像装置40(後方カメラ40B、左側方カメラ40L、右側方カメラ40R)の撮像画像、及び人検知部301の検知結果等の情報は、それぞれ、撮像装置40及びコントローラ30から表示装置50に入力される。
図4は、表示装置50に表示されるスルー画像及び周辺画像の中の検知対象領域が強調される表示態様の一例を示す図である。具体的には、図4(a)は、スルー画像の中の検知対象領域が強調される表示態様の一例であり、図4(b)は、監視用画像に含まれる周辺画像の中の検知対象領域が強調される表示態様の一例である。本例では、図4(a),(b)に示すように、スルー画像TP及び周辺画像EPの中の検知対象(人)が含まれる検知対象領域は、太線枠FRで囲まれることにより、強調されている。これにより、オペレータ等は、人検知部301により検知された人がショベルの周辺のどこに存在するのかを容易に把握することができる。
尚、表示制御部302は、スルー画像及び周辺画像の中の検知対象領域を強調させる表示態様として、検知対象領域を太線枠で囲む以外の任意の方法を用いてよく、例えば、検知対象領域の輝度を他の領域より高くしたり、検知対象領域の色を他の領域と異ならせたりしてもよい。
図2に戻り、警報出力部303は、人検知部301によりショベルから所定距離D1以内で人を検知した場合、オペレータ等への警報を行う。例えば、警報出力部303は、音による警報を出力する。具体的には、警報出力部303は、音声出力装置52を通じて警告音を出力させる。また、例えば、警報出力部303は、ショベル周辺の所定範囲内(ショベルから所定距離D1以内)で距離が近いほど、危険度を表す警報レベルが高い警報を行ってもよい。具体的には、警報出力部303は、人検知部301により検知された人のショベルからの距離Dが、所定距離D1より小さい所定距離D2(例えば、2.5メートル)以下であるか否かにより警報レベル(警報の仕様)を変更してもよい。より具体的には、警報出力部303は、検知された人のショベルからの距離Dが所定距離D1以下且つ所定距離D2より大きい場合、比較的危険度が低い注意状態(警報レベル1)であるとして、予備的な警報(例えば、比較的小音量の警告音をスピーカに出力させる)を出力する。また、警報出力部303は、検知された人のショベルからの距離が所定距離D2以下である場合、比較的危険度が高い警戒状態(警報レベル2)であるとして、正式な警報(例えば、比較的大音量の警告音をスピーカ等に出力させる)を出力する。
尚、警報出力部303は、表示制御部302に表示要求を送ることにより、表示装置50にショベル周辺に人が存在する旨の警報表示を行ってもよい。
次に、図5〜図13を参照して、本実施形態に係る周辺監視システム100(人検知部301)による特徴的な処理について説明をする。
まず、図5は、周辺監視システム100(人検知部301)による処理の第1例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中、表示装置50にスルー画像或いは監視用画像が表示されている状態で、繰り返し実行されてよい。
尚、人検知部301は、初期状態として、感度別人検知部3011〜3013のうちの予め規定される何れか一つにより検知対象である人を検知するように設定されている。以下、人検知部301は、初期状態として、感度別人検知部3012により人を検知する前提で説明を行う。後述する図8、図9においても同様である。
ステップS102にて、人検知部301は、画面操作部44に対して、検知対象を検知する感度を変更する(即ち、上げる或いは下げる)操作(感度変更操作)が行われたか否かを判定する。感度変更操作は、本実施形態の場合、感度別人検知部3011〜3013の中で、人検知部301により人の検知に利用される感度別人検知部を変更する操作であり、例えば、後述の如く、スルー画像或いは監視用画像に重畳して表示される、感度別人検知部3011〜3013の各々に対応するアイコンがタッチパネル上でタッチされることにより実現される操作であってよい。人検知部301は、画面操作部44に対して、感度変更操作が行われた場合、ステップS104に進み、感度変更操作が行われていない場合、ステップS110に進む。
ステップS104にて、人検知部301は、感度変更操作の前に、画面操作部44に対して、スルー画像或いは周辺画像の全体の中で検知対象を検知する感度を変更する領域を選択する操作(領域選択操作)が行われているか否かを判定する。領域選択操作は、例えば、予めスルー画像及び周辺画像の全体が複数の小領域に区分されている前提で、タッチパネル上で所望の位置がタッチされることにより、複数の小領域のうちのタッチされた位置が含まれる小領域が選択される態様であってもよいし、タッチパネル上の所望の領域をなぞるように囲む動作が行われることにより、任意の領域が選択される態様であってもよい。人検知部301は、画面操作部44に対して、領域選択操作が行われていない場合、ステップS106に進み、領域選択操作が行われた場合、ステップS108に進む。
ステップS106にて、人検知部301は、感度変更操作の内容に応じて、スルー画像或いは周辺画像の全体に対応するショベルの周辺領域における検知対象を検知する感度を変更し、今回の処理を終了する。即ち、人検知部301は、スルー画像或いは周辺画像の全体に対応するショベルの周辺領域における検知対象の検知に利用する感度別人検知部を変更し、今回の処理を終了する。
一方、ステップS108にて、人検知部301は、感度変更操作の内容に応じて、スルー画像或いは周辺画像の一部領域(領域選択操作により選択された領域)に対応するショベルの周辺領域における検知対象を検知する感度を変更し、今回の処理を終了する。即ち、人検知部301は、スルー画像或いは周辺画像の一部領域に対応するショベルの周辺領域における検知対象の検知に利用する感度別人検知部を変更し、今回の処理を終了する。
尚、下部走行体1による走行によるショベルの移動や、上部旋回体3の旋回に応じて、撮像装置40により撮像される範囲が変化するため、例えば、人検知部301は、ショベルの起動時に対する移動量及び旋回量を算出し、バッファリングしておくことにより、スルー画像或いは周辺画像の全体或いは領域選択操作により選択された一部領域の絶対位置を判断することができる。
他方、ステップS110にて、人検知部301は、検知対象を検知する感度を初期状態に戻す操作(リセット操作)が行われたか否かを判定する。リセット操作は、例えば、スルー画像或いは監視用画像に重畳して表示される所定のアイコンをタッチする操作であってもよいし、画面操作部44に対する所定の動作(例えば、タッチパネルをダブルタップする動作)により一義的に実現される操作であってもよい。人検知部301は、画面操作部44に対して、リセット操作が行われた場合、ステップS112に進み、リセット操作が行われていない場合、今回の処理を終了する。
ステップS112にて、人検知部301は、検知対象を検知する感度を初期状態に戻す、即ち、感度別人検知部3011〜3013のうちの感度別人検知部3012を利用して、検知対象(人)を検知する状態に戻して、今回の処理を終了する。
このように、本実施例では、ショベルの周辺の所定領域(画面操作部44に対する感度変更操作に応じて、人検知部301による検知対象を検知する感度が変更される。これにより、オペレータ等は、必要に応じて、人検知部301の検知性能を調整することが可能となり、結果として、人検知部301による検知対象(人)の誤検知や検知漏れによる警報出力部303の誤警報の出力や警報漏れの発生を抑制できる。
例えば、図6は、検知対象の検知見逃し時(図6(a))及び誤検知時(図6(b))において、表示装置50に表示されるスルー画像TPの一例を示す図である。図7は、検知対象の検知見逃し時及び誤検知時において、表示装置50に表示される監視用画像の一例を示す図である。本例では、スルー画像TP及び監視用画像の下端部に、感度別人検知部3011〜3013の各々を選択するためのアイコンBT1〜BT3が設けられており、人検知部301により現在利用されている感度別人検知部3012が太枠で強調されている。
図6(a)に示す一例では、スルー画像に人が写っているにも関われず、スルー画像の人を含む領域AR1が太線枠FRで囲まれる等により強調されていないため、人検知部301は、当該人を検知できていないことが分かる。これに対して、オペレータ等は、タッチパネル上で、現在設定されている感度別人検知部3012よりも検知対象を検知する感度が高い感度別人検知部3011に対応するBT1をタッチする感度変更操作を行うとよい。また、この際、オペレータ等は、領域選択操作により、検知対象を検知する感度を変更する領域として、領域AR1を選択してもよい。これにより、スルー画像の全体或いは人が存在する領域AR1に対応するショベルの周辺領域における人検知部301の検知対象を検知する感度が上がるため、検知漏れを抑制することができる。
また、図6(b)に示す一例では、スルー画像に検知対象(人)が写っていないにも関わらず、スルー画像に含まれる検知対象以外の物体(茂みの植物)が太線枠FRで囲まれているため、人検知部301は、検知対象以外の物体を誤検知していることが分かる。これに対して、オペレータ等は、タッチパネル上で、現在設定されている感度別人検知部3012よりも検知対象を検知する感度が低い感度別人検知部3013に対応するBT3をタッチする感度変更操作を行うとよい。また、この際、オペレータ等は、領域選択操作により、検知対象を検知する感度を変更する領域として、太線枠FRで囲まれる領域AR2を選択してもよい。これにより、スルー画像の全体或いは誤検知された物体が存在する領域AR2に対応するショベルの周辺領域における人検知部301の検知対象を検知する感度が下がるため、誤検知を抑制することができる。
また、図7に示す一例では、周辺画像EPに写っている人を含む領域AR3が太線枠FRで囲まれる等により強調されていないため、人検知部301は、当該人を検知できていないことが分かる。また、周辺画像EPに写っている検知対象以外の物体(茂みの植物)が太線枠FRで囲まれているため、人検知部301は、検知対象以外の物体を誤検知していることが分かる。これに対して、オペレータ等は、領域選択操作により、周辺画像EPの人が含まれる領域AR3を選択した上で、タッチパネル上で、現在設定されている感度別人検知部3012よりも検知対象を検知する感度が高い感度別人検知部3011に対応するBT1をタッチする感度変更操作を行うとよい。これにより、周辺画像の人が存在する領域AR3に対応するショベルの周辺領域における人検知部301の検知対象を検知する感度が上がるため、検知漏れを抑制することができる。併せて、オペレータ等は、領域選択操作により、周辺画像EPの検知対象以外の物体が含まれる領域AR4(太線枠FRで囲まれる領域)を選択した上で、タッチパネル上で、現在設定されている感度別人検知部3012よりも検知対象を検知する感度が低い感度別人検知部3013に対応するBT3をタッチする感度変更操作を行うとよい。これにより、スルー画像の全体或いは誤検知された物体が存在する領域AR2に対応するショベルの周辺領域における人検知部301の検知対象を検知する感度が下がるため、誤検知を抑制することができる。
尚、本実施例(図5)において、人検知部301により人が検知された旨をオペレータ等に通知可能な表示装置50に代えて、他の通知手段(例えば、インジケータランプや人が検知された旨を通知する音声を出力する音声出力装置52)等が設けられてもよい。この場合、画面操作部44に代えて、他の操作部(例えば、押しボタンスイッチ等)が設けられ、人検知部301は、当該他の操作部に対する操作内容(感度を上げる操作或いは下げる操作)に応じて、検知対象である人を検知する感度を変更する。これにより、例えば、オペレータ等は、ショベルの周辺領域に人が侵入しているにも関わらず、他の通知手段による通知がされない場合、当該他の操作部を操作し、人検知部301による人を検知する感度を上げることにより、ショベルの周辺の人の検知漏れ等を抑制することができる。また、例えば、オペレータ等は、ショベルの周辺に人が侵入していないにも関わらず、他の通知手段による人が検知された旨の通知が行われている場合、当該他の操作部を操作し、人を検知する感度を下げることにより、ショベルの周辺の人の誤検知等を抑制することができる。
続いて、図8は、周辺監視システム100(人検知部301)による処理の第2例を概略的に示すフローチャートである。本フローチャートによる処理は、図5の場合と同様、例えば、ショベルの運転中、表示装置50にスルー画像或いは監視用画像が表示されている状態で、繰り返し実行されてよい。
ステップS202にて、人検知部301は、検知対象(人)を検知しているか否か、即ち、表示装置50のスルー画像或いは周辺画像上において、太線枠等により強調されている領域(強調領域)があるか否かを判定する。人検知部301は、検知対象(人)を検知している状態である場合、ステップS204に進み、それ以外の場合、ステップS208に進む。
ステップS204にて、人検知部301は、画面操作部44に対して、スルー画像或いは周辺画像の強調領域を選択する操作(強調領域選択操作)が行われたか否かを判定する。強調領域選択操作は、例えば、タッチパネル上で、強調領域がタッチされる操作であってもよいし、タッチパネル上で強調領域をなぞるように囲む動作が行われることにより実現される操作であってもよい。人検知部301は、画面操作部44に対して、強調領域選択操作が行われた場合、ステップS206に進み、強調領域選択操作が行われていない場合、ステップS208に進む。
ステップS206にて、人検知部301は、強調領域選択操作により選択された、スルー画像或いは周辺画像の強調領域に対応するショベルの周辺領域における検知対象を検知する感度を下げて、今回の処理を終了する。即ち、人検知部301は、スルー画像或いは周辺画像の強調領域に対応するショベルの周辺領域における検知対象の検知に利用する感度別人検知部を、現在設定されているものよりも感度が低いものに変更し、今回の処理を終了する。
尚、本ステップにて、人検知部301は、スルー画像或いは周辺画像の全体に対応するショベルの周辺領域における検知対象を検知する感度を下げてもよい。
一方、ステップS208にて、人検知部301は、検知対象を検知する感度を初期状態に戻す操作(リセット操作)が行われたか否かを判定する。人検知部301は、画面操作部44に対して、リセット操作が行われた場合、ステップS210に進み、リセット操作が行われていない場合、今回の処理を終了する。
ステップS210にて、人検知部301は、検知対象を検知する感度を初期状態に戻す、即ち、感度別人検知部3011〜3013のうちの感度別人検知部3012を利用して、検知対象(人)を検知する状態に戻して、今回の処理を終了する。
このように、本実施例では、画面操作部44に対する強調領域選択操作により、スルー画像或いは周辺画像の強調領域が選択されると、自動的に、人検知部301による検知対象を検知する感度が下がる。例えば、上述した図6(b)、図7に示す一例では、オペレータ等は、スルー画像、周辺画像に含まれる誤検知の対象である物体(茂みの植物)が含まれる領域AR2、AR4を選択する強調領域選択操作を行うことにより、自動的に、人検知部301による検知対象を検知する感度が下がる(具体的には、人検知部301により利用される感度別人検知部が、感度別人検知部3012から感度別人検知部3013に変更される)。これにより、オペレータ等は、検知対象以外の物体が検知される誤検知が発生している場合に、誤検知の対象である物体が含まれるスルー画像或いは周辺画像の強調領域を選択するだけで、当該強調領域における人検知部301による検知対象を検知する感度を下げることができる。そのため、より簡便な操作によって、人検知部301による検知対象(人)の誤検知による警報出力部303の誤警報の出力を抑制できる。
尚、本実施例(図8)に係る処理は、図5に示す実施例の処理と組み合わせて実行されてもよい。また、本実施例(図8)において、人検知部301により人が検知された旨をオペレータ等に通知可能な表示装置50に代えて、他の通知手段(例えば、インジケータランプや人が検知された旨を通知する音声を出力する音声出力装置52)等が設けられてもよい。この場合、画面操作部44に代えて、他の操作部(例えば、押しボタンスイッチ等)が設けられ、人検知部301は、当該他の通知手段により人が検知された旨が通知されている場合、当該他の操作部に対する操作が行われたときに、自動的に、検知対象である人を検知する感度を下げる。これにより、例えば、オペレータ等は、ショベルの周辺に人が侵入していないにも関わらず、他の通知手段による人が検知された旨の通知が行われている場合、当該他の操作部を操作するだけで、人を検知する感度を下げることができるため、より簡便な操作で、ショベルの周辺の人の誤検知等を抑制することができる。
続いて、図9は、周辺監視システム100(人検知部301)による処理の第3例を概略的に示すフローチャートである。本フローチャートによる処理は、図5、図8の場合と同様、例えば、ショベルの運転中、表示装置50にスルー画像或いは監視用画像が表示されている状態で、繰り返し実行されてよい。
ステップS302にて、人検知部301は、画面操作部44に対して、スルー画像或いは周辺画像の強調領域以外の他の領域を選択する操作(強調領域外選択操作)が行われたか否かを判定する。「強調領域以外の他の領域」には、人検知部301により検知対象(人)が検知されているか否か、即ち、スルー画像或いは周辺画像上に強調領域があるか否かに依らず、スルー画像或いは周辺画像の中の強調領域ではない領域全般が含まれる。強調領域外選択操作は、例えば、予めスルー画像及び周辺画像の全体が複数の小領域に区分されている前提で、タッチパネル上で強調領域以外の位置がタッチされることにより、複数の小領域のうちのタッチされた位置が含まれる小領域が選択される態様であってもよいし、タッチパネル上の強調領域以外の所望の領域をなぞるように囲む動作が行われることにより、任意の領域が選択される態様であってもよい。人検知部301は、画面操作部44に対して、強調領域外選択操作が行われた場合、ステップS304に進み、強調領域選択操作が行われていない場合、ステップS306に進む。
ステップS304にて、人検知部301は、人検知部301は、強調領域外選択操作により選択された、スルー画像或いは周辺画像の一部領域に対応するショベルの周辺領域における検知対象を検知する感度を上げて、今回の処理を終了する。即ち、人検知部301は、スルー画像或いは周辺画像の強調領域に対応するショベルの周辺領域における検知対象の検知に利用する感度別人検知部を、現在設定されているものよりも感度が低いものに変更し、今回の処理を終了する。
尚、本ステップにて、人検知部301は、スルー画像或いは周辺画像の全体に対応するショベルの周辺領域における検知対象を検知する感度を上げてもよい。
一方、ステップS306にて、人検知部301は、検知対象を検知する感度を初期状態に戻す操作(リセット操作)が行われたか否かを判定する。人検知部301は、画面操作部44に対して、リセット操作が行われた場合、ステップS308に進み、リセット操作が行われていない場合、今回の処理を終了する。
ステップS308にて、人検知部301は、検知対象を検知する感度を初期状態に戻す、即ち、感度別人検知部3011〜3013のうちの感度別人検知部3012を利用して、検知対象(人)を検知する状態に戻して、今回の処理を終了する。
このように、本実施例では、画面操作部44に対する強調領域外選択操作により、スルー画像或いは周辺画像の強調領域以外の他の領域が選択されると、自動的に、人検知部301による検知対象を検知する感度が上がる。例えば、上述した図6(a)、図7に示す一例では、オペレータ等は、スルー画像、周辺画像において、検知対象であるにも関わらず人検知部301により検知されていない人が含まれる領域AR1、AR3を選択する強調領域外選択操作を行うことにより、自動的に、人検知部301による検知対象を検知する感度が上がる(具体的には、人検知部301により利用される感度別人検知部が、感度別人検知部3012から感度別人検知部3011に変更される)。これにより、オペレータ等は、検知対象が検知されていない検知漏れが発生している場合に、人検知部301により検知されていない検知対象である物体が含まれるスルー画像或いは周辺画像の強調領域以外の他の領域を選択するだけで、当該他の領域における人検知部301による検知対象を検知する感度を上げることができる。そのため、より簡便な操作によって、人検知部301による検知対象(人)の検知漏れによる警報出力部303の警報漏れを抑制できる。
尚、本実施例(図9)に係る処理は、図5、図8に示す実施例の処理の少なくとも1つと組み合わせて実行されてもよい。また、本実施例(図9)において、人検知部301により人が検知された旨をオペレータ等に通知可能な表示装置50に代えて、他の通知手段(例えば、インジケータランプや人が検知された旨を通知する音声を出力する音声出力装置52)等が設けられてもよい。この場合、画面操作部44に代えて、他の操作部(例えば、押しボタンスイッチ等)が設けられ、人検知部301は、当該他の通知手段により人が検知された旨が通知されていない場合、当該他の操作部が操作されたときに、検知対象である人を検知する感度を上げる。これにより、例えば、オペレータ等は、ショベルの周辺領域に人が侵入しているにも関わらず、他の通知手段による通知がされない場合、当該他の操作部を操作することにより、人検知部301による人を検知する感度を上げることができるため、より簡便な操作で、ショベルの周辺の人の検知漏れ等を抑制することができる。
また、上述した図5、図8、図9に示す実施例において、人検知部301は、撮像装置40の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、LIDAR(LIght Detection And Ranging)、ステレオカメラ等の検出結果(距離画像等)に基づきショベルの周辺の検知対象となる所定の物体を検知してもよい。
続いて、図10は、周辺監視システム100(人検知部301)による処理の第4例を概略的に示すフローチャートである。図11は、周辺監視システム100の構成の他の例を示す図であり、図10の処理の前提となる構成を示す。本フローチャートによる処理は、図5、図8、図9の場合と同様、例えば、ショベルの運転中、表示装置50にスルー画像或いは監視用画像が表示されている状態で、繰り返し実行されてよい。
尚、人検知部301は、初期状態として、背景別人検知部301A〜301Cのうちの予め規定される一つが選択された状態にされると共に、選択された背景別人検知部301A〜301Cの何れか一つに含まれる感度別人検知部3011〜3013のうちの予め規定される何れか一つにより検知対象である人を検知するように設定されている。以下、人検知部301は、初期状態として、背景別人検知部301Aが選択された状態にされると共に、感度別人検知部3011A〜3013Aのうちの感度別人検知部3012Aにより人を検知する前提で説明を行う。
ここで、図11に示すように、本実施例では、人検知部301は、複数(本実施形態では3つ)の背景別人検知部301A〜301C(背景別物体検知部の一例)を含む。背景別人検知部301A〜301Cは、それぞれ、予め規定される複数の種類の背景(例えば、土の背景、コンクリートの背景、森林の背景、市街の背景等)のうち、1つの固有の背景を含む撮像装置40の撮像画像の中から検知対象を検知する能力が最も高くなるように設定されている。即ち、人検知部301は、撮像装置40の撮像画像から検知対象を検知する際に、撮像画像に含まれうる複数の種類の背景(即ち、対応可能な複数の種類の背景)の中から対応する背景(対応背景)を設定可能に構成される。以下、背景別人検知部301A〜301Cのうち、背景別人検知部301Aは、土の背景を含む撮像画像の中から検知対象を検知する能力が最も高く設定され、背景別人検知部301Bは、コンクリートの背景を含む撮像画像の中から検知対象を検知する能力が最も高く設定され、背景別人検知部301Cは、森林の背景を含む撮像画像の中から検知対象を検知する能力が最も高く設定されている前提で、説明を行う。また、背景別人検知部301A〜301Cは、それぞれ、上述した感度別人検知部3011〜3013(感度別人検知部3011A〜3013A,3011B〜3013B,3011C〜3013C)を含む。人検知部301は、対応背景及び検知対象を検知する感度の双方が相互に異なる複数の感度別人検知部3011A〜3013A,3011B〜3013B,3011C〜3013Cのうちの何れか一つにより、検知対象としての人を検知する。
背景別人検知部301A〜301Cの対応背景の相互間の相違は、例えば、相互に異なる教師画像を利用した機械学習によって、上述した識別機能で利用される識別器を生成することにより実現されうる。具体的には、背景別人検知部301A(感度別人検知部3011A〜3013A)で利用される識別器は、土の背景を含む教師画像が大部分を占めるデータセットを用いて、機械学習を行うことにより生成されてよい。また、背景別人検知部301B(感度別人検知部3011B〜3013B)で利用される識別器は、コンクリートの背景を含む教師画像が大部分を占めるデータセットを用いて、機械学習が行われることにより生成されてよい。また、背景別人検知部301C(感度別人検知部3011C〜3013C)は、森林の背景を含む教師画像が大部分を占めるデータセットを用いて、機械学習が行われることにより生成されてよい。これにより、撮像装置40の撮像画像から検知対象(人)を検知する際の対応する背景が相互に異なる背景別人検知部301A〜301Cが生成される。
図10に戻り、ステップS402にて、人検知部301は、画面操作部44に対して、対応背景を変更する操作(対応背景変更操作)が行われたか否かを判定する。対応背景変更操作は、例えば、後述の如く、スルー画像或いは監視用画像に重畳して表示される所定のアイコンがタッチパネル上でタッチされることにより実現される操作であってよい。ステップS402にて、人検知部301は、画面操作部44に対して対応背景変更操作が行われた場合、ステップS404に進み、対応背景変更操作が行われていない場合、ステップS408に進む。
ステップS404にて、人検知部301は、対応背景変更操作の前に、画面操作部44に対して、スルー画像或いは周辺画像の全体の中で対応する背景を変更する領域を選択する操作(領域選択操作)が行われたているか否かを判定する。人検知部301は、画面操作部44に対して、領域選択操作が行われていない場合、ステップS406に進み、領域選択操作が行われた場合、ステップS408に進む。
ステップS406にて、人検知部301は、対応背景変更操作の内容に応じて、スルー画像或いは周辺画像の全体に対応するショベルの周辺領域における対応背景を変更し、ステップS410に進む。即ち、人検知部301は、スルー画像或いは周辺画像の全体に対応するショベルの周辺領域において、検知対象の検知に利用する背景別人検知部(301A〜301Cの何れか)を変更し、ステップS410に進む。
一方、ステップS408にて、人検知部301は、対応背景変更操作の内容に応じて、スルー画像或いは周辺画像の一部領域(領域選択操作により選択された領域)に対応するショベルの周辺領域における対応背景を変更し、ステップS410に進む。即ち、人検知部301は、スルー画像或いは周辺画像の一部領域に対応するショベルの周辺領域において、検知対象の検知に利用する背景別人検知部(301A〜301Cの何れか)を変更し、ステップS410に進む。
ステップS410にて、人検知部301は、図5のステップS102と同様、画面操作部44に対して、検知対象を検知する感度を変更する(即ち、上げる或いは下げる)操作(感度変更操作)が行われたか否かを判定する。人検知部301は、画面操作部44に対して、感度変更操作が行われた場合、ステップS412に進み、感度変更操作が行われていない場合、ステップS418に進む。
ステップS412にて、人検知部301は、図5のステップS104と同様、感度変更操作の前に、画面操作部44に対して、スルー画像或いは周辺画像の全体の中で検知対象を検知する感度を変更する領域を選択する操作(領域選択操作)が行われているか否かを判定する。人検知部301は、画面操作部44に対して、領域選択操作が行われていない場合、ステップS414に進み、領域選択操作が行われた場合、ステップS416に進む。
ステップS414にて、人検知部301は、感度変更操作の内容に応じて、スルー画像或いは周辺画像の全体に対応するショベルの周辺領域における検知対象を検知する感度を変更し、今回の処理を終了する。即ち、人検知部301は、スルー画像或いは周辺画像の全体に対応するショベルの周辺領域において、検知対象の検知に利用する感度別人検知部を変更し、今回の処理を終了する。この際、人検知部301は、現在設定されている対応背景、即ち、現に検知対象の検知に利用されている背景別人検知部301A〜301Cの何れかの中で、検知対象を検知する感度を変更する。例えば、人検知部301は、スルー画像或いは周辺画像の全体に対応するショベルの周辺領域において、検知対象の検知に背景別人検知部301Aを利用している場合、感度別人検知部3011A〜3013Aの中で変更を行う。また、人検知部301は、スルー画像或いは周辺画像の部分領域毎に、設定されている対応背景、即ち、現に検知対象の検知に現に利用されている背景別人検知部(301A〜301C)が異なる場合、部分領域毎の対応シーンに合わせて、部分領域毎に異なる態様で検知対象を検知する感度を変更する。後述するステップS416の場合も同様である。
一方、ステップS416にて、人検知部301は、感度変更操作の内容に応じて、スルー画像或いは周辺画像の一部領域(領域選択操作により選択された領域)に対応するショベルの周辺領域における検知対象を検知する感度を変更し、今回の処理を終了する。即ち、人検知部301は、スルー画像或いは周辺画像の一部領域に対応するショベルの周辺領域における検知対象の検知に利用する感度別人検知部を変更し、今回の処理を終了する。
他方、ステップS418にて、人検知部301は、対応背景及び検知対象を検知する感度を初期状態に戻す操作(リセット操作)が行われたか否かを判定する。人検知部301は、画面操作部44に対して、リセット操作が行われた場合、ステップS420に進み、リセット操作が行われていない場合、今回の処理を終了する。
ステップS420にて、人検知部301は、検知対象を検知する感度を初期状態に戻す、即ち、背景別人検知部301Aが選択された状態にされると共に、感度別人検知部3011A〜3013Aのうちの感度別人検知部3012Aを利用して、検知対象(人)を検知する状態に戻して、今回の処理を終了する。
このように、本実施例では、画面操作部44に対する対応背景変更操作に応じて、人検知部301の対応背景を変更される。これにより、オペレータ等は、検知対象を検知する感度に加えて、スルー画像或いは周辺画像に含まれる背景の種類に合わせて、人検知部301の対応背景を変更することができるため、人検知部301の検知性能の調整自由度が更に向上する。そのため、結果として、人検知部301による検知対象(人)の誤検知や検知漏れによる警報出力部303の誤警報の出力や警報漏れの発生を更に抑制できる。
例えば、図12は、本実施例(図10)の処理に応じて、表示装置50に表示されるスルー画像TPの一例を示す図である。具体的には、図12(a)は、検知対象の検知見逃し時において、表示装置50に表示されるスルー画像TPの一例であり、図12(b)は、図12(a)に示す検知対象の検知見逃し時に実行される本実施例の処理に応じて、表示装置50に表示されるスルー画像TPである。図13は、本実施例の処理に応じて、表示装置50に表示されるスルー画像TPの他の例を示す図である。具体的には、図13(a)は、検知対象以外の物体の誤検知時において、表示装置50に表示されるスルー画像TPの一例であり、図13(b)は、図13(a)に示す検知対象以外の物体の誤検知時に実行される本実施例の処理に応じて、表示装置50に表示されるスルー画像TPである。本例では、図6の場合と同様、スルー画像TPの下端部に、感度別人検知部3011〜3013の各々を選択するためのアイコンBT1〜BT3が、スルー画像に重畳する態様で表示されており、人検知部301により現在利用されている感度別人検知部3012が太枠で強調されている。また、アイコンBT1〜BT3に表記される"A1"〜"A3"は、それぞれ、背景別人検知部301A(感度別人検知部3011A〜3013A)に対応し、"B1"〜"B3"は、それぞれ、背景別人検知部301B(感度別人検知部3011B〜3013B)に対応し、"C1"〜"C3"は、背景別人検知部301C(感度別人検知部3011C〜3013C)に対応する。また、スルー画像TPの左上端部に、対応背景を変更するためのアイコンBT0が、スルー画像に重畳される態様で表示されている。
図12に示す一例では、図12(a)に示すように、スルー画像TPに人が写っているにも関わらず、スルー画像TPの人を含む領域AR1太線枠FRで囲まれる等により強調されていないため、人検知部301は、当該人を検知できていないことが分かる。これに対して、オペレータ等は、タッチパネル上で、アイコンBT0をタッチ操作する対応背景変更操作を行い、現在設定される対応背景である背景別人検知部301Aに対応する土の背景を、スルー画像TPの実際の背景に合わせて、背景別人検知部301Bに対応するコンクリートの背景に変更するとよい。これにより、図12(b)に示すように、人検知部301は、コンクリートの背景を含むスルー画像TPに映っている人を検知できるようになるため、スルー画像TPの人が含まれる領域AR1は、太線枠FRで囲まれて強調されるようになり、検知対象の検知漏れを抑制することができる。
また、図13に示す一例では、図13(a)に示すように、スルー画像に検知対象(人)が写っていないにも関わらず、スルー画像に含まれる検知対象以外の物体(茂みの植物)が太線枠FRで囲まれているため、人検知部301は、検知対象以外の物体を誤検知していることが分かる。これに対して、オペレータ等は、タッチパネル上で、アイコンBT0をタッチ操作する対応背景変更操作を行い、現在設定される対応背景である背景別人検知部301Aに対応する土の背景を、スルー画像TPの実際の背景に合わせて、背景別人検知部301Cに対応する森林の背景に変更するとよい。これにより、図13(b)に示すように、人検知部301は、森林と類似する背景を含むスルー画像TPに映っている茂みの植物を検知対象でないと判断できるようになるため、スルー画像TPの植物が含まれる領域AR2を囲む太線枠FRは表示されなくなり、検知対象の誤検知を抑制することができる。
尚、本実施例(図10)に係る処理は、図8、図9に示す実施例の処理の少なくとも1つと組み合わせて実行されてもよい。
また、本実施例では、検知対象を検知する感度を変更する前提で、更に、対応背景を変更可能に構成したが、対応背景だけを変更することにより、人検知部301の検知機能を調整する態様であってもよい。即ち、図10の人検知部301の処理において、ステップS410〜S416を省略すると共に、ステップS402のNoの場合、ステップS418に進む構成を採用し、図11の人検知部301の構成において、背景別人検知部301A〜301Cの各々に含まれる感度別人検知部3011A〜3013A,3011B〜3013B,3011C〜3013Cを省略する構成を採用してもよい。この場合についても、オペレータ等は、必要に応じて、対応背景を変更し、人検知部301の検知性能を調整することができるため、結果として、人検知部301による検知対象(人)の誤検知や検知漏れによる警報出力部303の誤警報の出力や警報漏れの発生を抑制できる。
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。