JP7319541B2 - 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム - Google Patents

作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム Download PDF

Info

Publication number
JP7319541B2
JP7319541B2 JP2019173679A JP2019173679A JP7319541B2 JP 7319541 B2 JP7319541 B2 JP 7319541B2 JP 2019173679 A JP2019173679 A JP 2019173679A JP 2019173679 A JP2019173679 A JP 2019173679A JP 7319541 B2 JP7319541 B2 JP 7319541B2
Authority
JP
Japan
Prior art keywords
detection
detection target
coordinates
image
work machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019173679A
Other languages
English (en)
Other versions
JP2021051524A (ja
Inventor
悠介 淺井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinfonia Technology Co Ltd
Original Assignee
Sinfonia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinfonia Technology Co Ltd filed Critical Sinfonia Technology Co Ltd
Priority to JP2019173679A priority Critical patent/JP7319541B2/ja
Priority to PCT/JP2020/035232 priority patent/WO2021060136A1/ja
Publication of JP2021051524A publication Critical patent/JP2021051524A/ja
Application granted granted Critical
Publication of JP7319541B2 publication Critical patent/JP7319541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、建設機械等の作業機械の周囲にいる検出対象物を検出するシステム、及び作業機械周辺検出対象物位置検出プログラムに関するものである。
例えば、下部走行体と、この下部走行体に旋回自在に装着される上部旋回体とを備えた油圧ショベル等、各種作業に特化した構造を有する作業機械(建設機械)では、操縦室に作業者(オペレータ)が乗り込んで操作レバー等の走行用操作部を操作することによって、車両を前進、後退、或いは旋回することができる。このような操作を行う場合、オペレータは、目視したり、車両の適宜箇所に設けた車載カメラによる映像を運転室内に設けたモニタで見ることで、車両周辺の状況を把握し、車両の動く方向に人や障害物が無いことを確認しているのが通常である。
また、目視不能または目視し難い周辺状況をカメラ映像によるモニタ表示で確認し、モニタに表示された映像中のオブジェクト(検出対象物)の位置を正確に把握することも事故を未然に防ぐ上で重要なことである。そこで、カメラに映った検出対象物までの距離を測定するセンサを作業機械に設ける構成も考えられるが、測距専用のセンサの実装はコスト増に直結する。
ところで、通常の乗用車等の車両では、交通事故予防のための装備(アクティブセーフティ)が搭載されている割合が多くなっている。アクティブセーフティの一例として、レーザーレーダなどの距離測定機器による認識や、車載カメラからの画像を解析することによる画像処理技術による認識を行うことにより、車両周辺に存在する障害物を運転者に警告する技術が知られている(例えば下記特許文献1)。
特開2011-48485号公報
しかしながら、上述の通り、コスト面や作業機械に搭載されるコントローラの規模や性能等を考慮すると、このようなアクティブセーフティ技術は作業機械に適用され難いのが実情である。
本発明は、このような課題に着目してなされたものであって、主たる目的は、作業機械に適用可能な周辺検出対象物位置検出システムであって、距離を測定する専用のセンサやレーザーレーダを有しない作業機械においても、撮像装置に映った検出対象物の位置を高い精度で検出可能なシステム、さらには撮像装置から検出対象物までの距離を高い精度で算出可能なシステムを提供することである。
すなわち、作業機械周辺の検出対象物の位置を検出可能な本発明に係る作業機械周辺監視システムは、作業機械に取り付けられる撮像装置で撮像した映像に対して複数サイズの検出枠を用いて当該映像中における検出対象物の位置候補を検出する検出部と、検出部による検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出部とを備え、検出座標算出部が、映像中の検知対象画像を複数に分割した領域ごとに、検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数(密集度)に応じて、カウント数が多いほど重みを大きくする重み付けを行う重み付け処理部を有し、少なくとも重み付け処理部による処理結果に基づいて検知対象画像における検出対象物の位置を検出座標として算出するものであることを特徴としている。
このような、本発明に係る作業機械周辺検出対象物位置検出システムであれば、検出枠を用いて検出した検出対象物特定座標の個数を重みとする重み付け処理を行い、当該重み付け処理結果に基づいて検知対象画像における検出対象物の位置を検出座標として算出するように構成しているため、検出枠を用いた検出結果がばらついた場合であっても、カウント数が多いほど重みを大きくする重み付け処理によってばらつきを低減し、検知対象画像の検出対象物の位置を特定する検出座標を高い精度で算出することができる。
本発明における重み付け処理部の好適な構成として、検知対象画像全体を複数に分割した大領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行う大領域重み付け処理部と、各大領域をさらに複数に分割した小領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行う小領域重み付け処理部とを有するものを挙げることができる。この場合、大領域重み付け処理部及び小領域重み付け処理部による処理結果に基づいて検出座標を算出すれば、検知対象画像を細分化して検出対象物特定座標の密集度がより一層反映された高い精度で検出座標を算出することができる。
重み付け処理部における重み付けの具体例としては、検出対象物特定座標のカウント数に基づく加重平均処理を挙げることができる。
また、作業機械の周辺における検出対象物を検出する際、立った姿勢の検出対象物(人物)を検出対象とすれば十分である。したがって、本発明では、矩形状をなす検出枠のうち下辺に相当する座標を検出対象物特定座標として設定すればよい。
本発明は、リアルタイムの検出座標を速やかに最終検出座標として算出する構成も含むものであるが、検知対象画像中の同じ検出対象物に対して時系列の移動を考慮した検出座標を算出するには、リアルタイムの検出座標と直近の過去を含む複数回分の検出座標の移動平均を取ることで最終の検出座標を算出するように構成することが好ましい。特に、リアルタイムの検出座標が、作業機械から所定範囲内の近い位置である場合、つまり、作業機械の近傍に人がいる場合は即応性が必要となることから、リアルタイムの検出座標に応じて移動平均の重みを変更する(重みを動的に切り換える)構成を採用することで、作業機械から所定範囲内の近い位置に人がいる危険な状況を算出結果として即座に出力することが可能になる。
本発明に係る作業機械周辺検出対象物位置検出システムが、算出した検出座標に基づいて撮像装置から検出対象物までの距離を測定するように構成したものであれば、検出枠を用いた画像認識結果(具体例として検出枠の下辺の位置)のばらつきを抑えた算出結果である対象画像中の検出対象物の位置に基づいて、当該検出対象物までの距離を高い精度で算出することが可能になる。
また、本発明に係る作業機械周辺検出対象物位置検出プログラムは、コンピュータを、作業機械周辺の検出対象物の位置を検出する作業機械周辺検出対象物位置検出システムとして実行させるソフトウェアプログラムであって、作業機械に取り付けられる撮像装置で撮像した映像に対して複数サイズの検出枠を用いて映像中における検出対象物の位置候補を検出する検出ステップと、検出ステップによる検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出ステップとを含み、検出座標算出ステップが、映像中の検知対象画像を複数に分割した領域ごとに、検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行う重み付け処理を行い、少なくとも重み付け処理結果に基づいて検知対象画像における検出対象物の位置を検出座標として算出するステップであることを特徴としている。
このような作業機械周辺検出対象物位置検出プログラムによれば、検知対象画像を複数に分割した領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行い、その処理結果に基づいて検出対象物の位置を高い精度で算出することができる。
本発明によれば、検出枠を用いて画像認識した検出対象物特定座標の個数を重みとする重み付け処理の処理結果に基づいて検出対象物位置を算出する機能を発揮し、画像認識結果がばらついたとしても、算出結果に画像認識結果のばらつきがそのまま反映される事態を回避することができ、高い精度で検出対象物位置を検出可能な作業機械周辺検出対象物位置検出システムを提供することができる。このような本発明は、専用のセンサやレーザーレーダを有しない作業機械に適用することで、高コスト化を回避しつつ、作業機械周辺の検出対象物の位置を高精度で特定することができ、実用性に優れた技術である。
本発明の一実施形態に係る作業機械周辺検出対象物位置検出システムの適用例を模式的に示す図。 同実施形態に係る作業機械周辺検出対象物位置検出システムの全体構成図。 同実施形態における検出対象物位置検出処理を実施した検知対象画像の一例示す図。 同実施形態に係る作業機械周辺検出対象物位置検出プログラムのフローチャート。 同実施形態における大領域重み付け部の処理内容を説明する図。 同実施形態における小領域重み付け部の処理内容を説明する図。 同実施形態における検出座標算出処理に使用する式を示す図。 正確な検出座標を算出できていない画像を図3に対応して示す図。
以下、本発明の一実施形態を、図面を参照して説明する。
本実施形態に係る作業機械周辺検出対象物位置検出システムXは、図1に示すように、例えば油圧ショベル(バックホーとも称される)等の作業機械Hの周辺を監視する用途で利用可能なものである。作業機械周辺検出対象物位置検出システムXは、作業機械Hに取り付けられた撮像装置Iの映像を取り込んで出力先に出力可能なコントローラCを備えている。本実施形態に用いる撮像装置Iは、一般的な車載カメラである。撮像装置Iを作業機械Hに取り付ける位置は、操縦室H1に入室中のオペレータから見えない範囲(死角)や見えにくい範囲を撮像可能な位置であれば特に限定されず、本実施形態では、油圧ショベルHの後方の所定範囲を撮像可能な位置に撮像装置Iを取り付けている。なお、オペレータ室の上空から作業機械周辺を360度鳥瞰可能な撮像装置を適用することもできる。図1では、作業機械周辺検出対象物位置検出システムXの実施に用いる機器(撮像装置Iや後述する表示部D)をそれぞれ誇張して模式的に示している。
コントローラCは、図1及び図2に示すように、撮像装置Iで撮像した映像に対して検出枠Fを用いて映像中における検出対象物の位置候補を検出する検出部C1と、検出部C1による検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出部C2とを備えている。
本実施形態における検出対象物は作業機械周辺の人物Wである。また、撮像装置Iは、作業機械Hの周辺環境の検出対象物を含む映像(画像)を撮影し、それを画像データとして取り込むものである。検出部C1が検出枠Fを用いて検出する検知対象画像(映像画面)は、画像データそのもの(加工されていない生データ)であってもよいが、処理用にデータサイズを小さくした画像データであってもよい。
検出部C1は、例えば、図3で示すように、検知対象画像に対して、矩形の検出枠Fを用いて画像全体を漏れなく探索するように走査しながら、人物Wの存在する領域を検出するものである。また、検出部C1における検出枠Fは、検出対象とする人物Wの想定される身長や体型等に応じてサイズを変えるようにしてもよい。本実施形態では、検知対象画像中の人物Wの検出に用いる特徴量として例えばHOG(Hi4tograms of Oriented Gradients)を適用し、検出の学習に用いる学習手法として例えばSVM(Support Vector Machine)を適用している。
本実施形態における検出部C1の検出対象物検出ロジック(検出ステップS1;図4参照)は以下の通りである。なお、図4は、作業機械Hに搭載したコンピュータを作業機械周辺検出対象物位置検出システムXとして実行させるソフトウェアプログラムである作業機械周辺検出対象物位置検出プログラムのフローチャートである。このコンピュータは、コントローラCにその構成要素として備えられたもの又はコントローラC自体の何れかである。
先ず、検出処理開始時の検知対象画像に対して検出枠Fでサーチし、検出対象物である人物Wの位置候補を検出する。次いで、検知対象画像を規定比率分縮小し、同じサイズの検出枠Fで再度サーチして人物Wの位置候補を検出する。そして、検知対象画像の縮小を所定回数実施するか、検知対象画像が検出枠Fよりも小さくなった時点で検出処理を終了する。以上の処理を行うことで、人物W一人あたりにつき複数の位置候補が検出され、しかも候補毎に検知対象画における検出枠Fの位置やサイズが異なる。図3には、同じ人物Wに対して複数の位置候補が検出された(複数の検出枠Fが表示された)場合の検知対象画像を模式的に示す。同図に示すように、人物Wの位置候補を、人物Wに密着した検出枠F(人物Wの画像と同じサイズの検出枠F)で検出する場合もあれば、人物Wに密着する検出枠よりも一回り大きい枠で検出する場合もある。
検出座標算出部C2は、検出部C1による検出結果に基づいて検知対象画像中における人物Wの位置を検出対象物特定座標FLとして設定する検出対象物特定座標設定部C3を備えている。検出対象物特定座標設定部C3は、検知対象画像内での検出枠Fの位置は、所定の計算によって座標値として求めることができる。本実施形態では、検出部C1において矩形の検出枠Fを適用し、検出対象物特定座標設定部C3が、検出枠Fのうち下辺F1の位置を検出対象物特定座標FLに設定するように構成している。すなわち、本実施形態の検出対象物特定座標設定部C3は、検知対象画像における人物Wの足元の位置を検出対象物特定座標FLとして算出するものである。
ところで、上述したように、検出部C1による検出結果(検出対象物領域抽出結果)には検出対象物Wに密着する検出枠Fで検出した結果のみならず、検出対象物Wに密着しない検出枠Fで検出した結果も含まれる。このような場合に、検出座標算出部C2において検出対象物Wに密着しない検出枠Fで検出した検出結果を、前者のような検出対象物Wに密着する検出枠Fで検出した検出結果と同等に扱って算術平均を行い、検知対象画像の検出対象物Wの位置を検出座標として算出した場合、その算出結果による検出対象物Wの位置は、実際の検出対象物Wの位置から離れた不正確な位置になる。例えば、複数の位置候補が検出された様子を模式的に示す図8から把握できるように、検出部C1による検出結果に基づいて検出対象物特定座標設定部C3が算出・設定した検出対象物特定座標FL(検知対象画像中における検出対象物Wの位置であり、本実施形態では検出枠Fの下辺F1)の位置にばらつきがある。このような複数の候補F1から、検知対象画像中の検出対象物Wの位置を検出座標(代表座標)として算出する場合に、複数の候補F1(検出枠Fの下辺F1の座標)の算術平均を行い、検知対象画像の検出対象物Wの位置を検出座標として算出した場合、その算出結果による検出対象物Wの位置FL’は、同図に示すように、大きいサイズの検出枠Fの座標に影響されて、同図中1点鎖線で示す本来算出したい座標FL(実際の距離)よりも手前側(カメラに近い側)に算出されるという問題がある。また逆に、実際の検出対象よりも小さいサイズの検出枠Fで検出される場合があり、この場合は、実際の距離よりも奥方側(カメラから遠い側)に算出される。以上の通り、検知対象画像に対して検出枠Fでサーチして複数の検出対象の候補を検出する処理を採用する場合、算術平均であれば算出結果が安定しない。
このような不具合を解消すべく、本実施形態では、検出部C1による検出結果に基づいて検出対象物Wの位置を検出座標として算出する検出座標算出部C2において、重み付け処理部C4による所定の重み付け処理を実施する。重み付け処理部C4による所定の重み付け処理は、検出対象物特定座標設定部C3によって検出対象物特定座標FLを設定する処理に続いて行う処理である。
本実施形態の重み付け処理部C4は、図2に示すように、検知対象画像全体を複数に分割した大領域毎に、検出枠Fのうち検出対象物Wの位置を特定可能な検出対象物特定座標FL(検出枠Fの下辺F1)のカウント数(密集度)に応じた所定の重み付けを行う大領域重み付け処理部C5と、各大領域をさらに複数に分割した小領域毎に、検出対象物特定座標FL(検出枠Fの下辺F1)のカウント数(密集度)に応じた所定の重み付けを行う小領域重み付け処理部C6とを有している。このような大領域重み付け処理部C5及び小領域重み付け処理部C6を用いた検出座標算出部C2の処理内容を以下に説明する。
図5(a)に、幅720ピクセル、高さ480ピクセルの検知対象画像に対して検出対象物特定座標設定部C3で算出・設定した検出対象物特定座標FL(検出枠Fのうち下辺F1の位置、人物Wの足元の座標位置)を水平線で表現した一例を示す。図5(a)には、検知対象画像を高さ方向に10等分した複数の領域である大領域毎に分けて、5つの検出対象物特定座標FLが検出されたとして5本の水平線を記載している。また、図5(b)は、大領域毎に検出対象物特定座標FLがいくつ属しているか(検出対象物特定座標FLのカウント数)を表したヒストグラムであり、同図から、大領域1に1つの検出対象物特定座標FLが属し、大領域3に4つの検出対象物特定座標FLが属していることが把握できる。
図6(a)は、図5(a)に示す複数の大領域のうち検出対象物特定座標FLのカウント数が最大であった大領域3を更に高さ方向に8等分した小領域(高さ48ピクセル)に分割した状態を示す図である。図6(b)は、小領域毎に検出対象物特定座標FLがいくつ属しているか(検出対象物特定座標FLのカウント数)を表したヒストグラムであり、同図から、小領域3に3つの検出対象物特定座標FLが属し、小領域4に1つの検出対象物特定座標FLが属していることが把握できる。なお、大領域の数及び小領域の数は、それぞれ10、8に限らず適宜の値に変更してもよい。
本実施形態の重み付け処理部C4は、これらの情報を用いて、検出対象物特定座標FLが密集している座標近辺の重みを大きくし、検出対象物特定座標FLが密集している座標から離れていれば重みを小さくする加重平均を取る重み付け処理を行う。具体的には、ヒストグラムから把握可能な検出対象物特定座標FLのカウント数を何乗倍(例えば3乗)する重み付け処理を行う。重みを何乗倍にするかは、演算コストとのトレードオフとなり、乗数が大きいほど特徴がより強くなる。
検出対象物特定座標設定部C3による検出対象物特定座標FLの算出・設定処理及び重み付け処理部C4による重み付け処理を伴う検出座標算出部C2による検出座標算出処理(検出座標算出ステップS2)は、図7に示す式による演算処理にて実施される。
先ず、同図に示す式(1)を用いて、各大領域の代表座標を算出する。具体的には、各大領域を小領域に分け、小領域毎に属する検出対象物特定座標FL(足元座標)の個数を何乗倍かし、それを重みとする。各小領域に属する検出対象物特定座標FL(足元座標)の算術平均を小領域の代表座標とし、これらから加重平均を算出する。算出結果が各大領域の代表座標である。このように、各大領域の代表座標を算出する際に小領域重み付け処理部C6による小領域重み付け処理を行っている。
次いで、図7に示す式(2)を使用して今回の検知対象画像(現検知対象画像)の検出座標(検出対象物特定座標FL)を算出する。具体的には、各大領域に属する足元座標の個数を何乗倍かし、それを重みとする。式(1)で算出した各大領域の代表座標を用いて、これらから加重平均を算出する。算出結果が現検知対象画像の検出対象物特定座標FL(本発明の「リアルタイムの検出座標」)である。このように、現検知対象画像の検出対象物特定座標FLを算出する際に大領域重み付け処理部C5による大領域重み付け処理を行っている。
ここで、撮像装置Iの取付位置及び取付角度と検知対象画像上の座標との関係から、検知対象画像の検出対象物特定座標FL(足元座標)に基づいて撮像装置Iから検出対象物Wまでの距離を算出することが可能である。本実施形態では、予め検知対象画像上の座標毎に撮像装置Iから検出対象物Wまでの距離を対応付けたテーブルを用意しておき、テーブルを参照することで検知対象画像の検出対象物特定座標FLから瞬時に撮像装置Iから検出対象物Wまでの距離を算出するように設定している。
続いて、図7に示す式(3)を使用して最終検出座標を算出する。具体的には、式(2)で算出した現検知対象画像の検出座標と過去の検出座標(直近の過去を含む複数回分の検出座標)を使い、移動平均を取ることで最終検出座標を算出する。ただし、作業機械Hの近傍に人がいる場合は、即応性が必要となることから、現検知対象画像の検出座標に応じて移動平均の重みを変更する(図7の式(3)参照)。なお、式(3)の例では、撮像装置Iからの危険な距離を2mとしているが、この距離は適宜変更してもよい。さらに、式(3)の例では、今回画像とn回前画像の重みの値をそれぞれ明示しているが、重みの値はこの限りではない。また、式(3)の例では、移動平均の個数を5(リアルタイムの検出座標1つと、直近の過去を含む4回分の検出座標の5つを用いる式)としているが、移動平均の個数もこれに限定されない。このように、本実施形態では、最終検出座標を算出する際に、加重平均で算出した距離(検出座標)に応じて、検出座標が危険距離より大きい場合には移動平均の重み付けをしない処理と、検出座標が危険距離以下の場合には移動平均の処理が進むほど重み付けを徐々に小さくしていく処理とを選択して行う手法を採用し、早く警告をする必要がある場合には、精度よりも即応性を優先している。
そして、本実施形態では、コントローラCが備える測距部C7が、検出座標算出部C2による算出結果(検出座標)に基づき、上述のテーブルを参照することで作業機械H(具体的には撮像装置I)から検出対象物Wまでの距離を測定(特定)する(測距ステップS3)。本実施形態の測距部C7は、測定結果(検出対象物Wまでの距離)をモニタDに映像として出力する。本実施形態では、モニタDへの測定結果の出力例として、図3に示すように、何れの検出枠Fよりも幅方向に長い水平線FLによって測定結果(検出対象物Wまでの距離)を表示する処理を採用している。特に、検出枠Fと異なる色で水平線FLをモニタDに表示することで、オペレータは検出対象物Wまでの距離を直感的に把握することができる。なお、測距部C7が、適宜のスピーカや発光機を介して音または光を出力して、人が作業機械Hに近い位置にいることを報知・警告する機能を備えたものであってもよい。
このように、本実施形態に係る作業機械周辺検出対象物位置検出システムXによれば、検出座標を算出する際に、検出対象物特定座標FL(足元座標)の数が多い領域ほど重みを大きくする上述の重み付け処理を行うため、検知対象画像の検出対象物Wの位置を検出座標として算出したその算出結果には、検出枠Fの密集度で重み付けした処理内容が反映されることになる。その結果、検出枠Fを用いた画像認識で作業機械周辺における検出対象物Wの位置候補にばらつきがある場合でも、検知対象画像の検出対象物Wの位置を特定する検出座標のばらつきが小さくなり、検知対象画像中の検出対象物Wに関する検出座標を高い精度で算出することができる。
また、本実施形態に係る作業機械周辺検出対象物位置検出システムXによれば、リアルタイムの検出座標と直近の過去を含む複数回分の検出座標の移動平均を取ることで最終の検出座標を算出するように構成しているため、リアルタイムの検出座標を最終の検出座標とする態様と比較して、検知対象画像中の同じ検出対象物Wに対して時系列の移動を考慮した高い精度で最終の検出座標を算出することができる。特に、リアルタイムの検出座標に応じて移動平均の重みを変更する(重みを動的に切り換える)構成を採用し、最寄りの検出対象物である人物Wが作業機械Hから離れている場合には、移動平均の重みを相対的に大きく設定することで、最終の検出座標を精度良く検出することができる一方、リアルタイムの検出座標が作業機械Hから所定範囲内の近い位置である場合、作業機械Hから所定範囲内の近い位置に人がいる危険な状況を算出結果として即座に出力することが可能になり、即応性を優先した検出処理ができる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態の構成に限られるものではない。例えば、上述の実施形態では、作業機械として油圧ショベルを例示したが、油圧ショベル以外の作業機械(建設機械、農林作業機械等、特定の用途で特殊な性能を発揮する機械、あるいは船や飛行機以外の各種車両)にも本発明の周辺検出対象物位置検出システムを適用することができる。
また、上述の実施形態では、大領域重み付け処理部及び少領域重み付け処理部の両方を備えた態様を例示したが、何れか一方の重み付け処理部のみを備えた態様(例えば、精度は落ちるものの、大領域の代表座標は算術平均で求める態様)を採用したり、あるいは小領域をさらに複数に分割した領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行う態様を採用することもできる。
また、リアルタイムの検出座標を最終検出座標として算出する構成であってもよい。
1機(1台)の作業機械に複数の撮像装置を取り付け、各撮像装置の映像ごとに個別に重み付け処理を伴う検出座標算出処理を実施してもよいし、各撮像装置の現在の映像であって且つ同時刻の映像をまとめて重み付け処理を伴う検出座標算出処理を実施してもよい。オペレータが視認可能なモニタの数も複数設定しても構わない。
上述の実施形態における大領域の区分数や小領域の区分数は適宜変更することができる。
さらには、重み付け処理部における重み付けが、検出対象物特定座標のカウント数に基づく加重平均とは異なる重み付けであってもよい。
本発明では、検出枠による検出処理で検知対象画像中に複数の検出対象物を検出した場合、それぞれの検出対象物について上述の重み付け処理を伴う検出座標算出処理で位置を検出するように構成することもできる。また、検出枠による検出処理で検知対象画像中に複数の検出対象物を検出した場合、作業機械から最寄りの検出対象物のみを抽出(選択)して、当該検出対象物の位置を優先して検出する構成を採用してもよい。
上述の実施形態では、検出対象物特定座標が矩形状をなす検出枠のうち下辺に相当する座標である態様を例示したが、検出枠の下辺以外の辺あるいは角に相当する座標を検出対象物特定座標としても構わない。
検知対象画像中の検出対象物の検出に用いる特徴量として例えばHOG(Histograms of Oriented Gradients)以外の特徴量、例えばCoHOG、LBP、edgelet、Haar、Joint-Haar等を適用したり、検出の学習に用いる学習手法としてSVM(Support Vector Machine)以外の手法、例えば、boosting、random trees、k-NN、Perceptron、Passive Agressive、AROW、Confidence weighted等を適用することもできる。
表示部として、モニタ以外に、ヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイ(HMD)を適用してもよい。
また、本発明における検出対象物は人物に限らず、人以外の生物(動物等)、あるいは小型の建設機械、作業支援ロボット(例えば、災害支援ロボット、地上ドローン等)を検出対象物とする場合であっても本発明に係る作業機械周辺検出対象物位置検出システム及び作業機械周辺検出対象物位置検出プログラムによれば検出対象物の位置を検出することができる。
その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
C1…検出部
C2…検出座標算出部
C4…重み付け処理部
C5…大領域重み付け処理部
C6…小領域重み付け処理部
H…作業機械
I…撮像装置
X…作業機械周辺検出対象物位置検出システム

Claims (9)

  1. 作業機械周辺の検出対象物の位置を検出可能な作業機械周辺検出対象物位置検出システムであって、
    作業機械に取り付けられる撮像装置で撮像した映像に対して、複数の異なるサイズの検出枠のそれぞれについて、当該検出枠を用いて当該映像全体を漏れなく探索するように走査することによって、当該映像中における検出対象物の位置候補を検出する検出部と、
    前記検出部による検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出部とを備え、
    前記検出座標算出部が、
    前記映像中の検知対象画像を複数に分割した領域ごとに、前記検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行う重み付け処理部を有し、少なくとも前記重み付け処理部による処理結果に基づいて前記検知対象画像における検出対象物の位置を検出座標として算出するものであることを特徴とする作業機械周辺検出対象物位置検出システム。
  2. 作業機械周辺の検出対象物の位置を検出可能な作業機械周辺検出対象物位置検出システムであって、
    作業機械に取り付けられる撮像装置で撮像した映像に対して、検出枠を用いて当該映像全体を漏れなく探索するように走査することによって前記検出対象物の位置候補を検出する処理に次いで、前記映像を縮小する処理と、当該縮小後の映像全体を前記検出枠と同じサイズの検出枠を用いて漏れなく探索するように走査することによって再度前記検出対象物の位置候補を検出する処理とを交互に1回以上実施することで、当該映像中における検出対象物の位置候補を複数検出する検出部と、
    前記検出部による検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出部とを備え、
    前記検出座標算出部が、
    前記映像中の検知対象画像を複数に分割した領域ごとに、前記検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行う重み付け処理部を有し、少なくとも前記重み付け処理部による処理結果に基づいて前記検知対象画像における検出対象物の位置を検出座標として算出するものであることを特徴とする作業機械周辺検出対象物位置検出システム。
  3. 前記重み付け処理部は、
    前記検知対象画像全体を複数に分割した大領域ごとに、前記検出対象物特定座標のカウント数に応じた重み付けを行う大領域重み付け処理部と、
    前記各大領域をさらに複数に分割した小領域ごとに、前記検出対象物特定座標のカウント数に応じた重み付けを行う小領域重み付け処理部とを有するものであり、
    前記小領域重み付け処理部による処理結果に基づいて算出した前記各大領域の検出対象物の位置を前記各大領域における検出対象物特定座標とし、当該検出対象物特定座標を前記大領域重み付け処理部における検出対象物特定座標として前記大領域重み付け処理部で重み付けを行うことにより前記検出座標を算出するものである請求項1または2に記載の作業機械周辺検出対象物位置検出システム。
  4. 前記重み付けが、前記検出対象物特定座標のカウント数に基づく加重平均処理である請求項1乃至の何れかに記載の作業機械周辺検出対象物位置検出システム。
  5. 前記検出対象物特定座標が矩形状をなす前記検出枠のうち下辺に相当する座標である請求項1乃至の何れかに記載の作業機械周辺検出対象物位置検出システム。
  6. リアルタイムの前記検出座標と直近の過去を含む複数回分の前記検出座標の移動平均を取ることで最終の検出座標を算出するものである請求項1乃至の何れかに記載の作業機械周辺検出対象物位置検出システム。
  7. 算出した前記検出座標に基づいて前記撮像装置から検出対象物までの距離を測定するように構成している請求項1乃至の何れかに記載の作業機械周辺検出対象物位置検出システム。
  8. コンピュータを、作業機械周辺の検出対象物の位置を検出する作業機械周辺検出対象物位置検出システムとして実行させるソフトウェアプログラムであって、
    作業機械に取り付けられる撮像装置で撮像した映像に対して、複数の異なるサイズの検出枠のそれぞれについて、当該検出枠を用いて当該映像全体を漏れなく探索するように走査することによって、当該映像中における検出対象物の位置候補を検出する検出ステップと、
    前記検出ステップによる検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出ステップとを含み、
    前記検出座標算出ステップが、前記映像中の検知対象画像を複数に分割した領域ごとに、前記検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行い、少なくとも重み付け処理結果に基づいて前記検知対象画像における検出対象物の位置を検出座標として算出するステップであることを特徴とする作業機械周辺検出対象物位置検出プログラム。
  9. コンピュータを、作業機械周辺の検出対象物の位置を検出する作業機械周辺検出対象物位置検出システムとして実行させるソフトウェアプログラムであって、
    作業機械に取り付けられる撮像装置で撮像した映像に対して、検出枠を用いて当該映像全体を漏れなく探索するように走査することによって前記検出対象物の位置候補を検出する処理に次いで、前記映像を縮小する処理と、当該縮小後の映像全体を前記検出枠と同じサイズの検出枠を用いて漏れなく探索するように走査することによって再度前記検出対象物の位置候補を検出する処理とを交互に1回以上実施することで、当該映像中における検出対象物の位置候補を複数検出する検出ステップと、
    前記検出ステップによる検出結果に基づいて映像中における検出対象物の位置を検出座標として算出する検出座標算出ステップとを含み、
    前記検出座標算出ステップが、前記映像中の検知対象画像を複数に分割した領域ごとに、前記検出枠のうち検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行い、少なくとも重み付け処理結果に基づいて前記検知対象画像における検出対象物の位置を検出座標として算出するステップであることを特徴とする作業機械周辺検出対象物位置検出プログラム。
JP2019173679A 2019-09-25 2019-09-25 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム Active JP7319541B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019173679A JP7319541B2 (ja) 2019-09-25 2019-09-25 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム
PCT/JP2020/035232 WO2021060136A1 (ja) 2019-09-25 2020-09-17 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019173679A JP7319541B2 (ja) 2019-09-25 2019-09-25 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム

Publications (2)

Publication Number Publication Date
JP2021051524A JP2021051524A (ja) 2021-04-01
JP7319541B2 true JP7319541B2 (ja) 2023-08-02

Family

ID=75158234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019173679A Active JP7319541B2 (ja) 2019-09-25 2019-09-25 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム

Country Status (2)

Country Link
JP (1) JP7319541B2 (ja)
WO (1) WO2021060136A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615422B1 (ko) * 2019-10-08 2023-12-20 삼성디스플레이 주식회사 물체 검출 후-처리 장치, 및 이를 포함하는 표시 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4528212B2 (ja) * 2005-06-23 2010-08-18 日本放送協会 トリミング制御装置及びトリミング制御プログラム
JP6271212B2 (ja) * 2013-10-17 2018-01-31 ヤマハ発動機株式会社 自律走行車両
JP2016006626A (ja) * 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法

Also Published As

Publication number Publication date
JP2021051524A (ja) 2021-04-01
WO2021060136A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
CN102792314B (zh) 交叉通行碰撞警报系统
CN111695402B (zh) 用于标注3d点云数据中人体姿态的工具和方法
JP4970926B2 (ja) 車両周辺監視装置
JP4171501B2 (ja) 車両の周辺監視装置
JP5251800B2 (ja) 対象物追跡装置及びプログラム
US10719699B2 (en) Pedestrian detection method and system in vehicle
JP4173902B2 (ja) 車両周辺監視装置
JP5687702B2 (ja) 車両周辺監視装置
CN112014845A (zh) 一种车辆障碍物定位方法、装置、设备及存储介质
JP2008113296A (ja) 車両周辺監視装置
JP2007304033A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
JP2014085920A (ja) 車両周辺監視装置
Ray et al. Dynamic blindspots measurement for construction equipment operators
JP2013137767A (ja) 障害物検出方法及び運転者支援システム
JP5927110B2 (ja) 車両用外界認識装置
WO2022135594A1 (zh) 目标物体的检测方法及装置、融合处理单元、介质
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
CN114359714A (zh) 基于事件相机的无人体避障方法、装置及智能无人体
JP7319541B2 (ja) 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム
CN110298237B (zh) 头部姿势识别方法、装置、计算机设备及存储介质
CN118212605A (zh) 车辆安全性的检测方法、设备、存储介质及计算机产品
US20210049382A1 (en) Non-line of sight obstacle detection
US11875518B2 (en) Object feature extraction device, object feature extraction method, and non-transitory computer-readable medium
JP2022156045A (ja) 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム
JP2000125288A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R150 Certificate of patent or registration of utility model

Ref document number: 7319541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150