JP7319541B2 - 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム - Google Patents

Description

本発明は、建設機械等の作業機械の周囲にいる検出対象物を検出するシステム、及び作業機械周辺検出対象物位置検出プログラムに関するものである。

例えば、下部走行体と、この下部走行体に旋回自在に装着される上部旋回体とを備えた油圧ショベル等、各種作業に特化した構造を有する作業機械（建設機械）では、操縦室に作業者（オペレータ）が乗り込んで操作レバー等の走行用操作部を操作することによって、車両を前進、後退、或いは旋回することができる。このような操作を行う場合、オペレータは、目視したり、車両の適宜箇所に設けた車載カメラによる映像を運転室内に設けたモニタで見ることで、車両周辺の状況を把握し、車両の動く方向に人や障害物が無いことを確認しているのが通常である。

また、目視不能または目視し難い周辺状況をカメラ映像によるモニタ表示で確認し、モニタに表示された映像中のオブジェクト（検出対象物）の位置を正確に把握することも事故を未然に防ぐ上で重要なことである。そこで、カメラに映った検出対象物までの距離を測定するセンサを作業機械に設ける構成も考えられるが、測距専用のセンサの実装はコスト増に直結する。

ところで、通常の乗用車等の車両では、交通事故予防のための装備（アクティブセーフティ）が搭載されている割合が多くなっている。アクティブセーフティの一例として、レーザーレーダなどの距離測定機器による認識や、車載カメラからの画像を解析することによる画像処理技術による認識を行うことにより、車両周辺に存在する障害物を運転者に警告する技術が知られている（例えば下記特許文献１）。

特開２０１１－４８４８５号公報

しかしながら、上述の通り、コスト面や作業機械に搭載されるコントローラの規模や性能等を考慮すると、このようなアクティブセーフティ技術は作業機械に適用され難いのが実情である。

本発明は、このような課題に着目してなされたものであって、主たる目的は、作業機械に適用可能な周辺検出対象物位置検出システムであって、距離を測定する専用のセンサやレーザーレーダを有しない作業機械においても、撮像装置に映った検出対象物の位置を高い精度で検出可能なシステム、さらには撮像装置から検出対象物までの距離を高い精度で算出可能なシステムを提供することである。

すなわち、作業機械周辺の検出対象物の位置を検出可能な本発明に係る作業機械周辺監視システムは、作業機械に取り付けられる撮像装置で撮像した映像に対して複数サイズの検出枠を用いて当該映像中における検出対象物の位置候補を検出する検出部と、検出部による検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出部とを備え、検出座標算出部が、映像中の検知対象画像を複数に分割した領域ごとに、検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数(密集度)に応じて、カウント数が多いほど重みを大きくする重み付けを行う重み付け処理部を有し、少なくとも重み付け処理部による処理結果に基づいて検知対象画像における検出対象物の位置を検出座標として算出するものであることを特徴としている。

このような、本発明に係る作業機械周辺検出対象物位置検出システムであれば、検出枠を用いて検出した検出対象物特定座標の個数を重みとする重み付け処理を行い、当該重み付け処理結果に基づいて検知対象画像における検出対象物の位置を検出座標として算出するように構成しているため、検出枠を用いた検出結果がばらついた場合であっても、カウント数が多いほど重みを大きくする重み付け処理によってばらつきを低減し、検知対象画像の検出対象物の位置を特定する検出座標を高い精度で算出することができる。

本発明における重み付け処理部の好適な構成として、検知対象画像全体を複数に分割した大領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行う大領域重み付け処理部と、各大領域をさらに複数に分割した小領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行う小領域重み付け処理部とを有するものを挙げることができる。この場合、大領域重み付け処理部及び小領域重み付け処理部による処理結果に基づいて検出座標を算出すれば、検知対象画像を細分化して検出対象物特定座標の密集度がより一層反映された高い精度で検出座標を算出することができる。

重み付け処理部における重み付けの具体例としては、検出対象物特定座標のカウント数に基づく加重平均処理を挙げることができる。

また、作業機械の周辺における検出対象物を検出する際、立った姿勢の検出対象物（人物）を検出対象とすれば十分である。したがって、本発明では、矩形状をなす検出枠のうち下辺に相当する座標を検出対象物特定座標として設定すればよい。

本発明は、リアルタイムの検出座標を速やかに最終検出座標として算出する構成も含むものであるが、検知対象画像中の同じ検出対象物に対して時系列の移動を考慮した検出座標を算出するには、リアルタイムの検出座標と直近の過去を含む複数回分の検出座標の移動平均を取ることで最終の検出座標を算出するように構成することが好ましい。特に、リアルタイムの検出座標が、作業機械から所定範囲内の近い位置である場合、つまり、作業機械の近傍に人がいる場合は即応性が必要となることから、リアルタイムの検出座標に応じて移動平均の重みを変更する（重みを動的に切り換える）構成を採用することで、作業機械から所定範囲内の近い位置に人がいる危険な状況を算出結果として即座に出力することが可能になる。

本発明に係る作業機械周辺検出対象物位置検出システムが、算出した検出座標に基づいて撮像装置から検出対象物までの距離を測定するように構成したものであれば、検出枠を用いた画像認識結果（具体例として検出枠の下辺の位置）のばらつきを抑えた算出結果である対象画像中の検出対象物の位置に基づいて、当該検出対象物までの距離を高い精度で算出することが可能になる。

また、本発明に係る作業機械周辺検出対象物位置検出プログラムは、コンピュータを、作業機械周辺の検出対象物の位置を検出する作業機械周辺検出対象物位置検出システムとして実行させるソフトウェアプログラムであって、作業機械に取り付けられる撮像装置で撮像した映像に対して複数サイズの検出枠を用いて映像中における検出対象物の位置候補を検出する検出ステップと、検出ステップによる検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出ステップとを含み、検出座標算出ステップが、映像中の検知対象画像を複数に分割した領域ごとに、検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行う重み付け処理を行い、少なくとも重み付け処理結果に基づいて検知対象画像における検出対象物の位置を検出座標として算出するステップであることを特徴としている。

このような作業機械周辺検出対象物位置検出プログラムによれば、検知対象画像を複数に分割した領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行い、その処理結果に基づいて検出対象物の位置を高い精度で算出することができる。

本発明によれば、検出枠を用いて画像認識した検出対象物特定座標の個数を重みとする重み付け処理の処理結果に基づいて検出対象物位置を算出する機能を発揮し、画像認識結果がばらついたとしても、算出結果に画像認識結果のばらつきがそのまま反映される事態を回避することができ、高い精度で検出対象物位置を検出可能な作業機械周辺検出対象物位置検出システムを提供することができる。このような本発明は、専用のセンサやレーザーレーダを有しない作業機械に適用することで、高コスト化を回避しつつ、作業機械周辺の検出対象物の位置を高精度で特定することができ、実用性に優れた技術である。

本発明の一実施形態に係る作業機械周辺検出対象物位置検出システムの適用例を模式的に示す図。 同実施形態に係る作業機械周辺検出対象物位置検出システムの全体構成図。 同実施形態における検出対象物位置検出処理を実施した検知対象画像の一例示す図。 同実施形態に係る作業機械周辺検出対象物位置検出プログラムのフローチャート。 同実施形態における大領域重み付け部の処理内容を説明する図。 同実施形態における小領域重み付け部の処理内容を説明する図。 同実施形態における検出座標算出処理に使用する式を示す図。 正確な検出座標を算出できていない画像を図３に対応して示す図。

以下、本発明の一実施形態を、図面を参照して説明する。

本実施形態に係る作業機械周辺検出対象物位置検出システムＸは、図１に示すように、例えば油圧ショベル（バックホーとも称される）等の作業機械Ｈの周辺を監視する用途で利用可能なものである。作業機械周辺検出対象物位置検出システムＸは、作業機械Ｈに取り付けられた撮像装置Ｉの映像を取り込んで出力先に出力可能なコントローラＣを備えている。本実施形態に用いる撮像装置Ｉは、一般的な車載カメラである。撮像装置Ｉを作業機械Ｈに取り付ける位置は、操縦室Ｈ１に入室中のオペレータから見えない範囲（死角）や見えにくい範囲を撮像可能な位置であれば特に限定されず、本実施形態では、油圧ショベルＨの後方の所定範囲を撮像可能な位置に撮像装置Ｉを取り付けている。なお、オペレータ室の上空から作業機械周辺を３６０度鳥瞰可能な撮像装置を適用することもできる。図１では、作業機械周辺検出対象物位置検出システムＸの実施に用いる機器（撮像装置Ｉや後述する表示部Ｄ）をそれぞれ誇張して模式的に示している。

コントローラＣは、図１及び図２に示すように、撮像装置Ｉで撮像した映像に対して検出枠Ｆを用いて映像中における検出対象物の位置候補を検出する検出部Ｃ１と、検出部Ｃ１による検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出部Ｃ２とを備えている。

本実施形態における検出対象物は作業機械周辺の人物Ｗである。また、撮像装置Ｉは、作業機械Ｈの周辺環境の検出対象物を含む映像（画像）を撮影し、それを画像データとして取り込むものである。検出部Ｃ１が検出枠Ｆを用いて検出する検知対象画像（映像画面）は、画像データそのもの（加工されていない生データ）であってもよいが、処理用にデータサイズを小さくした画像データであってもよい。

検出部Ｃ１は、例えば、図３で示すように、検知対象画像に対して、矩形の検出枠Ｆを用いて画像全体を漏れなく探索するように走査しながら、人物Ｗの存在する領域を検出するものである。また、検出部Ｃ１における検出枠Ｆは、検出対象とする人物Ｗの想定される身長や体型等に応じてサイズを変えるようにしてもよい。本実施形態では、検知対象画像中の人物Ｗの検出に用いる特徴量として例えばＨＯＧ（Hi4tograms of Oriented Gradients）を適用し、検出の学習に用いる学習手法として例えばＳＶＭ（Support Vector Machine）を適用している。

本実施形態における検出部Ｃ１の検出対象物検出ロジック（検出ステップＳ１；図４参照）は以下の通りである。なお、図４は、作業機械Ｈに搭載したコンピュータを作業機械周辺検出対象物位置検出システムＸとして実行させるソフトウェアプログラムである作業機械周辺検出対象物位置検出プログラムのフローチャートである。このコンピュータは、コントローラＣにその構成要素として備えられたもの又はコントローラＣ自体の何れかである。

先ず、検出処理開始時の検知対象画像に対して検出枠Ｆでサーチし、検出対象物である人物Ｗの位置候補を検出する。次いで、検知対象画像を規定比率分縮小し、同じサイズの検出枠Ｆで再度サーチして人物Ｗの位置候補を検出する。そして、検知対象画像の縮小を所定回数実施するか、検知対象画像が検出枠Ｆよりも小さくなった時点で検出処理を終了する。以上の処理を行うことで、人物Ｗ一人あたりにつき複数の位置候補が検出され、しかも候補毎に検知対象画像における検出枠Ｆの位置やサイズが異なる。図３には、同じ人物Ｗに対して複数の位置候補が検出された（複数の検出枠Ｆが表示された）場合の検知対象画像を模式的に示す。同図に示すように、人物Ｗの位置候補を、人物Ｗに密着した検出枠Ｆ（人物Ｗの画像と同じサイズの検出枠Ｆ）で検出する場合もあれば、人物Ｗに密着する検出枠よりも一回り大きい枠で検出する場合もある。

検出座標算出部Ｃ２は、検出部Ｃ１による検出結果に基づいて検知対象画像中における人物Ｗの位置を検出対象物特定座標ＦＬとして設定する検出対象物特定座標設定部Ｃ３を備えている。検出対象物特定座標設定部Ｃ３は、検知対象画像内での検出枠Ｆの位置は、所定の計算によって座標値として求めることができる。本実施形態では、検出部Ｃ１において矩形の検出枠Ｆを適用し、検出対象物特定座標設定部Ｃ３が、検出枠Ｆのうち下辺Ｆ１の位置を検出対象物特定座標ＦＬに設定するように構成している。すなわち、本実施形態の検出対象物特定座標設定部Ｃ３は、検知対象画像における人物Ｗの足元の位置を検出対象物特定座標ＦＬとして算出するものである。

ところで、上述したように、検出部Ｃ１による検出結果（検出対象物領域抽出結果）には検出対象物Ｗに密着する検出枠Ｆで検出した結果のみならず、検出対象物Ｗに密着しない検出枠Ｆで検出した結果も含まれる。このような場合に、検出座標算出部Ｃ２において検出対象物Ｗに密着しない検出枠Ｆで検出した検出結果を、前者のような検出対象物Ｗに密着する検出枠Ｆで検出した検出結果と同等に扱って算術平均を行い、検知対象画像の検出対象物Ｗの位置を検出座標として算出した場合、その算出結果による検出対象物Ｗの位置は、実際の検出対象物Ｗの位置から離れた不正確な位置になる。例えば、複数の位置候補が検出された様子を模式的に示す図８から把握できるように、検出部Ｃ１による検出結果に基づいて検出対象物特定座標設定部Ｃ３が算出・設定した検出対象物特定座標ＦＬ（検知対象画像中における検出対象物Ｗの位置であり、本実施形態では検出枠Ｆの下辺Ｆ１）の位置にばらつきがある。このような複数の候補Ｆ１から、検知対象画像中の検出対象物Ｗの位置を検出座標（代表座標）として算出する場合に、複数の候補Ｆ１（検出枠Ｆの下辺Ｆ１の座標）の算術平均を行い、検知対象画像の検出対象物Ｗの位置を検出座標として算出した場合、その算出結果による検出対象物Ｗの位置ＦＬ’は、同図に示すように、大きいサイズの検出枠Ｆの座標に影響されて、同図中１点鎖線で示す本来算出したい座標ＦＬ（実際の距離）よりも手前側（カメラに近い側）に算出されるという問題がある。また逆に、実際の検出対象よりも小さいサイズの検出枠Ｆで検出される場合があり、この場合は、実際の距離よりも奥方側（カメラから遠い側）に算出される。以上の通り、検知対象画像に対して検出枠Ｆでサーチして複数の検出対象の候補を検出する処理を採用する場合、算術平均であれば算出結果が安定しない。

このような不具合を解消すべく、本実施形態では、検出部Ｃ１による検出結果に基づいて検出対象物Ｗの位置を検出座標として算出する検出座標算出部Ｃ２において、重み付け処理部Ｃ４による所定の重み付け処理を実施する。重み付け処理部Ｃ４による所定の重み付け処理は、検出対象物特定座標設定部Ｃ３によって検出対象物特定座標ＦＬを設定する処理に続いて行う処理である。

本実施形態の重み付け処理部Ｃ４は、図２に示すように、検知対象画像全体を複数に分割した大領域毎に、検出枠Ｆのうち検出対象物Ｗの位置を特定可能な検出対象物特定座標ＦＬ（検出枠Ｆの下辺Ｆ１）のカウント数(密集度)に応じた所定の重み付けを行う大領域重み付け処理部Ｃ５と、各大領域をさらに複数に分割した小領域毎に、検出対象物特定座標ＦＬ（検出枠Ｆの下辺Ｆ１）のカウント数(密集度)に応じた所定の重み付けを行う小領域重み付け処理部Ｃ６とを有している。このような大領域重み付け処理部Ｃ５及び小領域重み付け処理部Ｃ６を用いた検出座標算出部Ｃ２の処理内容を以下に説明する。

図５（ａ）に、幅７２０ピクセル、高さ４８０ピクセルの検知対象画像に対して検出対象物特定座標設定部Ｃ３で算出・設定した検出対象物特定座標ＦＬ（検出枠Ｆのうち下辺Ｆ１の位置、人物Ｗの足元の座標位置）を水平線で表現した一例を示す。図５（ａ）には、検知対象画像を高さ方向に１０等分した複数の領域である大領域毎に分けて、５つの検出対象物特定座標ＦＬが検出されたとして５本の水平線を記載している。また、図５（ｂ）は、大領域毎に検出対象物特定座標ＦＬがいくつ属しているか（検出対象物特定座標ＦＬのカウント数）を表したヒストグラムであり、同図から、大領域１に１つの検出対象物特定座標ＦＬが属し、大領域３に４つの検出対象物特定座標ＦＬが属していることが把握できる。

図６（ａ）は、図５（ａ）に示す複数の大領域のうち検出対象物特定座標ＦＬのカウント数が最大であった大領域３を更に高さ方向に８等分した小領域（高さ４８ピクセル）に分割した状態を示す図である。図６（ｂ）は、小領域毎に検出対象物特定座標ＦＬがいくつ属しているか（検出対象物特定座標ＦＬのカウント数）を表したヒストグラムであり、同図から、小領域３に３つの検出対象物特定座標ＦＬが属し、小領域４に１つの検出対象物特定座標ＦＬが属していることが把握できる。なお、大領域の数及び小領域の数は、それぞれ１０、８に限らず適宜の値に変更してもよい。

本実施形態の重み付け処理部Ｃ４は、これらの情報を用いて、検出対象物特定座標ＦＬが密集している座標近辺の重みを大きくし、検出対象物特定座標ＦＬが密集している座標から離れていれば重みを小さくする加重平均を取る重み付け処理を行う。具体的には、ヒストグラムから把握可能な検出対象物特定座標ＦＬのカウント数を何乗倍（例えば３乗）する重み付け処理を行う。重みを何乗倍にするかは、演算コストとのトレードオフとなり、乗数が大きいほど特徴がより強くなる。

検出対象物特定座標設定部Ｃ３による検出対象物特定座標ＦＬの算出・設定処理及び重み付け処理部Ｃ４による重み付け処理を伴う検出座標算出部Ｃ２による検出座標算出処理（検出座標算出ステップＳ２）は、図７に示す式による演算処理にて実施される。

先ず、同図に示す式（１）を用いて、各大領域の代表座標を算出する。具体的には、各大領域を小領域に分け、小領域毎に属する検出対象物特定座標ＦＬ（足元座標）の個数を何乗倍かし、それを重みとする。各小領域に属する検出対象物特定座標ＦＬ（足元座標）の算術平均を小領域の代表座標とし、これらから加重平均を算出する。算出結果が各大領域の代表座標である。このように、各大領域の代表座標を算出する際に小領域重み付け処理部Ｃ６による小領域重み付け処理を行っている。

次いで、図７に示す式（２）を使用して今回の検知対象画像（現検知対象画像）の検出座標（検出対象物特定座標ＦＬ）を算出する。具体的には、各大領域に属する足元座標の個数を何乗倍かし、それを重みとする。式（１）で算出した各大領域の代表座標を用いて、これらから加重平均を算出する。算出結果が現検知対象画像の検出対象物特定座標ＦＬ（本発明の「リアルタイムの検出座標」）である。このように、現検知対象画像の検出対象物特定座標ＦＬを算出する際に大領域重み付け処理部Ｃ５による大領域重み付け処理を行っている。

ここで、撮像装置Ｉの取付位置及び取付角度と検知対象画像上の座標との関係から、検知対象画像の検出対象物特定座標ＦＬ（足元座標）に基づいて撮像装置Ｉから検出対象物Ｗまでの距離を算出することが可能である。本実施形態では、予め検知対象画像上の座標毎に撮像装置Ｉから検出対象物Ｗまでの距離を対応付けたテーブルを用意しておき、テーブルを参照することで検知対象画像の検出対象物特定座標ＦＬから瞬時に撮像装置Ｉから検出対象物Ｗまでの距離を算出するように設定している。

続いて、図７に示す式（３）を使用して最終検出座標を算出する。具体的には、式（２）で算出した現検知対象画像の検出座標と過去の検出座標（直近の過去を含む複数回分の検出座標）を使い、移動平均を取ることで最終検出座標を算出する。ただし、作業機械Ｈの近傍に人がいる場合は、即応性が必要となることから、現検知対象画像の検出座標に応じて移動平均の重みを変更する（図７の式（３）参照）。なお、式（３）の例では、撮像装置Ｉからの危険な距離を２ｍとしているが、この距離は適宜変更してもよい。さらに、式（３）の例では、今回画像とｎ回前画像の重みの値をそれぞれ明示しているが、重みの値はこの限りではない。また、式（３）の例では、移動平均の個数を５（リアルタイムの検出座標１つと、直近の過去を含む４回分の検出座標の５つを用いる式）としているが、移動平均の個数もこれに限定されない。このように、本実施形態では、最終検出座標を算出する際に、加重平均で算出した距離（検出座標）に応じて、検出座標が危険距離より大きい場合には移動平均の重み付けをしない処理と、検出座標が危険距離以下の場合には移動平均の処理が進むほど重み付けを徐々に小さくしていく処理とを選択して行う手法を採用し、早く警告をする必要がある場合には、精度よりも即応性を優先している。

そして、本実施形態では、コントローラＣが備える測距部Ｃ７が、検出座標算出部Ｃ２による算出結果（検出座標）に基づき、上述のテーブルを参照することで作業機械Ｈ（具体的には撮像装置Ｉ）から検出対象物Ｗまでの距離を測定（特定）する（測距ステップＳ３）。本実施形態の測距部Ｃ７は、測定結果（検出対象物Ｗまでの距離）をモニタＤに映像として出力する。本実施形態では、モニタＤへの測定結果の出力例として、図３に示すように、何れの検出枠Ｆよりも幅方向に長い水平線ＦＬによって測定結果（検出対象物Ｗまでの距離）を表示する処理を採用している。特に、検出枠Ｆと異なる色で水平線ＦＬをモニタＤに表示することで、オペレータは検出対象物Ｗまでの距離を直感的に把握することができる。なお、測距部Ｃ７が、適宜のスピーカや発光機を介して音または光を出力して、人が作業機械Ｈに近い位置にいることを報知・警告する機能を備えたものであってもよい。

このように、本実施形態に係る作業機械周辺検出対象物位置検出システムＸによれば、検出座標を算出する際に、検出対象物特定座標ＦＬ（足元座標）の数が多い領域ほど重みを大きくする上述の重み付け処理を行うため、検知対象画像の検出対象物Ｗの位置を検出座標として算出したその算出結果には、検出枠Ｆの密集度で重み付けした処理内容が反映されることになる。その結果、検出枠Ｆを用いた画像認識で作業機械周辺における検出対象物Ｗの位置候補にばらつきがある場合でも、検知対象画像の検出対象物Ｗの位置を特定する検出座標のばらつきが小さくなり、検知対象画像中の検出対象物Ｗに関する検出座標を高い精度で算出することができる。

また、本実施形態に係る作業機械周辺検出対象物位置検出システムＸによれば、リアルタイムの検出座標と直近の過去を含む複数回分の検出座標の移動平均を取ることで最終の検出座標を算出するように構成しているため、リアルタイムの検出座標を最終の検出座標とする態様と比較して、検知対象画像中の同じ検出対象物Ｗに対して時系列の移動を考慮した高い精度で最終の検出座標を算出することができる。特に、リアルタイムの検出座標に応じて移動平均の重みを変更する（重みを動的に切り換える）構成を採用し、最寄りの検出対象物である人物Ｗが作業機械Ｈから離れている場合には、移動平均の重みを相対的に大きく設定することで、最終の検出座標を精度良く検出することができる一方、リアルタイムの検出座標が作業機械Ｈから所定範囲内の近い位置である場合、作業機械Ｈから所定範囲内の近い位置に人がいる危険な状況を算出結果として即座に出力することが可能になり、即応性を優先した検出処理ができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態の構成に限られるものではない。例えば、上述の実施形態では、作業機械として油圧ショベルを例示したが、油圧ショベル以外の作業機械（建設機械、農林作業機械等、特定の用途で特殊な性能を発揮する機械、あるいは船や飛行機以外の各種車両）にも本発明の周辺検出対象物位置検出システムを適用することができる。

また、上述の実施形態では、大領域重み付け処理部及び少領域重み付け処理部の両方を備えた態様を例示したが、何れか一方の重み付け処理部のみを備えた態様（例えば、精度は落ちるものの、大領域の代表座標は算術平均で求める態様）を採用したり、あるいは小領域をさらに複数に分割した領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行う態様を採用することもできる。

また、リアルタイムの検出座標を最終検出座標として算出する構成であってもよい。

１機（１台）の作業機械に複数の撮像装置を取り付け、各撮像装置の映像ごとに個別に重み付け処理を伴う検出座標算出処理を実施してもよいし、各撮像装置の現在の映像であって且つ同時刻の映像をまとめて重み付け処理を伴う検出座標算出処理を実施してもよい。オペレータが視認可能なモニタの数も複数設定しても構わない。

上述の実施形態における大領域の区分数や小領域の区分数は適宜変更することができる。

さらには、重み付け処理部における重み付けが、検出対象物特定座標のカウント数に基づく加重平均とは異なる重み付けであってもよい。

本発明では、検出枠による検出処理で検知対象画像中に複数の検出対象物を検出した場合、それぞれの検出対象物について上述の重み付け処理を伴う検出座標算出処理で位置を検出するように構成することもできる。また、検出枠による検出処理で検知対象画像中に複数の検出対象物を検出した場合、作業機械から最寄りの検出対象物のみを抽出（選択）して、当該検出対象物の位置を優先して検出する構成を採用してもよい。

上述の実施形態では、検出対象物特定座標が矩形状をなす検出枠のうち下辺に相当する座標である態様を例示したが、検出枠の下辺以外の辺あるいは角に相当する座標を検出対象物特定座標としても構わない。

検知対象画像中の検出対象物の検出に用いる特徴量として例えばＨＯＧ（Histograms of Oriented Gradients）以外の特徴量、例えばCoHOG、LBP、edgelet、Haar、Joint-Haar等を適用したり、検出の学習に用いる学習手法としてＳＶＭ（Support Vector Machine）以外の手法、例えば、boosting、random trees、k-NN、Perceptron、Passive Agressive、AROW、Confidence weighted等を適用することもできる。

表示部として、モニタ以外に、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）を適用してもよい。

また、本発明における検出対象物は人物に限らず、人以外の生物（動物等）、あるいは小型の建設機械、作業支援ロボット（例えば、災害支援ロボット、地上ドローン等）を検出対象物とする場合であっても本発明に係る作業機械周辺検出対象物位置検出システム及び作業機械周辺検出対象物位置検出プログラムによれば検出対象物の位置を検出することができる。

その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。

Ｃ１…検出部
Ｃ２…検出座標算出部
Ｃ４…重み付け処理部
Ｃ５…大領域重み付け処理部
Ｃ６…小領域重み付け処理部
Ｈ…作業機械
Ｉ…撮像装置
Ｘ…作業機械周辺検出対象物位置検出システム

Claims (9)

1. 作業機械周辺の検出対象物の位置を検出可能な作業機械周辺検出対象物位置検出システムであって、
   作業機械に取り付けられる撮像装置で撮像した映像に対して、複数の異なるサイズの検出枠のそれぞれについて、当該検出枠を用いて当該映像全体を漏れなく探索するように走査することによって、当該映像中における検出対象物の位置候補を検出する検出部と、
   前記検出部による検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出部とを備え、
   前記検出座標算出部が、
   前記映像中の検知対象画像を複数に分割した領域ごとに、前記検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行う重み付け処理部を有し、少なくとも前記重み付け処理部による処理結果に基づいて前記検知対象画像における検出対象物の位置を検出座標として算出するものであることを特徴とする作業機械周辺検出対象物位置検出システム。
2. 作業機械周辺の検出対象物の位置を検出可能な作業機械周辺検出対象物位置検出システムであって、
   作業機械に取り付けられる撮像装置で撮像した映像に対して、検出枠を用いて当該映像全体を漏れなく探索するように走査することによって前記検出対象物の位置候補を検出する処理に次いで、前記映像を縮小する処理と、当該縮小後の映像全体を前記検出枠と同じサイズの検出枠を用いて漏れなく探索するように走査することによって再度前記検出対象物の位置候補を検出する処理とを交互に１回以上実施することで、当該映像中における検出対象物の位置候補を複数検出する検出部と、
   前記検出部による検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出部とを備え、
   前記検出座標算出部が、
   前記映像中の検知対象画像を複数に分割した領域ごとに、前記検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行う重み付け処理部を有し、少なくとも前記重み付け処理部による処理結果に基づいて前記検知対象画像における検出対象物の位置を検出座標として算出するものであることを特徴とする作業機械周辺検出対象物位置検出システム。
3. 前記重み付け処理部は、
   前記検知対象画像全体を複数に分割した大領域ごとに、前記検出対象物特定座標のカウント数に応じた重み付けを行う大領域重み付け処理部と、
   前記各大領域をさらに複数に分割した小領域ごとに、前記検出対象物特定座標のカウント数に応じた重み付けを行う小領域重み付け処理部とを有するものであり、
   前記小領域重み付け処理部による処理結果に基づいて算出した前記各大領域の検出対象物の位置を前記各大領域における検出対象物特定座標とし、当該検出対象物特定座標を前記大領域重み付け処理部における検出対象物特定座標として前記大領域重み付け処理部で重み付けを行うことにより前記検出座標を算出するものである請求項１または２に記載の作業機械周辺検出対象物位置検出システム。
4. 前記重み付けが、前記検出対象物特定座標のカウント数に基づく加重平均処理である請求項１乃至３の何れかに記載の作業機械周辺検出対象物位置検出システム。
5. 前記検出対象物特定座標が矩形状をなす前記検出枠のうち下辺に相当する座標である請求項１乃至４の何れかに記載の作業機械周辺検出対象物位置検出システム。
6. リアルタイムの前記検出座標と直近の過去を含む複数回分の前記検出座標の移動平均を取ることで最終の検出座標を算出するものである請求項１乃至５の何れかに記載の作業機械周辺検出対象物位置検出システム。
7. 算出した前記検出座標に基づいて前記撮像装置から検出対象物までの距離を測定するように構成している請求項１乃至６の何れかに記載の作業機械周辺検出対象物位置検出システム。
8. コンピュータを、作業機械周辺の検出対象物の位置を検出する作業機械周辺検出対象物位置検出システムとして実行させるソフトウェアプログラムであって、
   作業機械に取り付けられる撮像装置で撮像した映像に対して、複数の異なるサイズの検出枠のそれぞれについて、当該検出枠を用いて当該映像全体を漏れなく探索するように走査することによって、当該映像中における検出対象物の位置候補を検出する検出ステップと、
   前記検出ステップによる検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出ステップとを含み、
   前記検出座標算出ステップが、前記映像中の検知対象画像を複数に分割した領域ごとに、前記検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行い、少なくとも重み付け処理結果に基づいて前記検知対象画像における検出対象物の位置を検出座標として算出するステップであることを特徴とする作業機械周辺検出対象物位置検出プログラム。
9. コンピュータを、作業機械周辺の検出対象物の位置を検出する作業機械周辺検出対象物位置検出システムとして実行させるソフトウェアプログラムであって、
   作業機械に取り付けられる撮像装置で撮像した映像に対して、検出枠を用いて当該映像全体を漏れなく探索するように走査することによって前記検出対象物の位置候補を検出する処理に次いで、前記映像を縮小する処理と、当該縮小後の映像全体を前記検出枠と同じサイズの検出枠を用いて漏れなく探索するように走査することによって再度前記検出対象物の位置候補を検出する処理とを交互に１回以上実施することで、当該映像中における検出対象物の位置候補を複数検出する検出ステップと、
   前記検出ステップによる検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出ステップとを含み、
   前記検出座標算出ステップが、前記映像中の検知対象画像を複数に分割した領域ごとに、前記検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行い、少なくとも重み付け処理結果に基づいて前記検知対象画像における検出対象物の位置を検出座標として算出するステップであることを特徴とする作業機械周辺検出対象物位置検出プログラム。

Images