JP6088944B2

JP6088944B2 - 作業機械の周囲監視装置

Info

Publication number: JP6088944B2
Application number: JP2013180322A
Authority: JP
Inventors: 小沼　知恵子; 小沼　　知恵子; 加藤　学; 加藤　　学; 守飛太田; 石本　英史; 英史石本
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 2013-08-30
Filing date: 2013-08-30
Publication date: 2017-03-01
Anticipated expiration: 2033-08-30
Also published as: JP2015049651A

Description

本発明は、作業機械周囲の障害物を監視する作業機械の周囲監視装置に係り、特に、自車に接近する物体を認知するための認知性を向上できる作業機械の周囲監視装置に関する。

本技術分野の背景技術として、「カメラで自車両の側後方を撮影し、画像処理で、カメラの撮影により得られた画像を基に自車両からの後方の距離を検出し、検出した距離に基づいて右左折時と車線変更時の車両の運転を支援するためのガイド線を生成し、生成されたガイド線をカメラによる画像に重畳させてモニタに表示する。これにより、右左折や車線変更の際の他車との位置関係を容易に判断でき、運転者の目視による確認を十分に補助することができる」運転支援装置が知られている（例えば、特許文献１参照）。

特開２００６−５１８５０号公報

特許文献１記載の装置などにおいて、自車に接近する物体を判定するには、自車領域と，それ以外の領域を分離する境界を用いる必要がある。しかしながら、カメラで撮影された画像にはノイズがあるため、そのノイズの影響で境界がずれて設定される場合がある。このような場合、自車に接近する物体を認知するための認知性が低下することになる。

本発明の目的は、自車に接近する物体を認知するための認知性を向上できる作業機械の周囲監視装置を提供することにある。

上記目的を達成するために、本発明は、カメラ画像を入力する画像入力部と、該画像入力部により入力された、自車周辺に車両が存在しない画像を基準画像として記憶する基準画像記憶部と、該基準画像記憶部に記憶された画像から作業機械自身（自車）を検出し、前記自車とそれ以外の領域との境界を検出する自車検出部と、該自車検出部で検出した境界を用いて処理対象領域を設定する処理対象領域設定部とを備える作業機械の周辺監視装置であって、前記自車検出部は、自車の領域とそれ以外の領域である背景の領域を分離する前記境界を決定する背景分離部と、該背景分離部にて決定された前記境界を設定する境界設定部とを有し、前記背景分離部は、前記境界の位置を補正できるものである。

本発明によれば、自車に接近する物体を認知するための認知性を向上し得るものとなる。

本発明の第１の実施形態による作業機械の周囲監視装置が搭載される作業機械の全体構成を示す平面構成図である。本発明の第１の実施形態による作業機械の周囲監視装置が搭載される作業機械の全体構成を示す側面構成図である。本発明の第１の実施形態による作業機械の周囲監視装置の構成を示すブロック図である。本発明の第１の実施形態による作業機械の周囲監視装置における背景分離部の処理内容を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置における背景分離部の処理内容の説明図である。本発明の第１の実施形態による作業機械の周囲監視装置における背景分離部の処理内容の説明図である。本発明の第１の実施形態による作業機械の周囲監視装置における物体検知部の処理内容を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置における物体接近度判定部の処理内容を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置における物体接近度判定部の処理内容の説明図である。本発明の第１の実施形態による作業機械の周囲監視装置における表示例の説明図である。本発明の第１の実施形態による作業機械の周囲監視装置における表示例の説明図である。本発明の第１の実施形態による作業機械の周囲監視装置が搭載される作業機械の他の例の全体構成を示す平面構成図である。本発明の第１の実施形態による作業機械の周囲監視装置が搭載される作業機械の他の例の全体構成を示す側面構成図である。本発明の第２の実施形態による作業機械の周囲監視装置の構成を示すブロック図である。本発明の第２の実施形態による作業機械の周囲監視装置における背景分離部の処理内容を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の構成を示すブロック図である。本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の動作を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の第２の動作を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の第３の動作を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の第４の動作を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の構成を示すブロック図である。本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の動作を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の他の動作を示すフローチャートである。本発明の第１の実施形態による作業機械の周囲監視装置の第３の変形例の構成を示すブロック図である。本発明の第１の実施形態による作業機械の周囲監視装置の第３の変形例の他の動作を示すフローチャートである。

以下、図１〜図１３を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の構成及び動作について説明する。
最初に、図１及び図２を用いて、本実施形態による作業機械の周囲監視装置が搭載される作業機械の全体構成について説明する。
図１は、本発明の第１の実施形態による作業機械の周囲監視装置が搭載される作業機械の全体構成を示す平面構成図である。図２は、本発明の第１の実施形態による作業機械の周囲監視装置が搭載される作業機械の全体構成を示す側面構成図である。なお、図１及び図２において、同一符号は同一部分を示している。

ここでは、作業機械の一例はダンプトラックであり、ダンプトラックに本実施形態による作業機械の周囲監視装置が搭載されている。なお、作業機械はダンプトラックには限定されないものであり、所定の作業（運搬や掘削等）を行う任意の作業機械に本実施形態の装置を適用することができる。

図１に示すように、ダンプトラック１は、車体フレーム２と、前輪３（３Ｌ，３Ｒ）と、後輪４（４Ｌ，４Ｒ）と、ベッセル５と、カメラ６（６ａ，６ｂ）と、運転席７と、画像処理装置５０と、モニタ６１とを備えている。車体フレーム２はダンプトラック１の本体を形成するものであり、車体フレーム２の前方に前輪３、後方に後輪４を設けている。なお，前輪３Ｒは右方の前輪３であり、前輪３Ｌは左方の前輪３である。また、後輪４Ｒは右方の後輪４であり、後輪４Ｌは左方の後輪４である。ベッセル５は荷台であり、土砂や鉱物等を積載する。ベッセル５は起伏可能に構成されている。

ダンプトラック１には任意の位置に撮像部としてのカメラを設置することができる。

本例では、カメラ６ａはダンプトラック１の前方の斜め下方を俯瞰するような前方視野範囲１１（図２の破線の範囲）が撮影されるように設置した場合、自車の前方の一部１５が視野範囲になる。

また、図２に示すように、カメラ６ａは運転席７の前方に取り付けられ、カメラ６ｂは運転席７の右側方に取り付けられている。そして、カメラ６ａはダンプトラック１の前方の斜め下方を俯瞰するような前方視野範囲１１（図中の破線の範囲）で、カメラ６ｂはダンプトラック１の右側方の斜め下方を俯瞰するような右側方視野範囲１２（図中の破線の範囲）で行なっている。カメラ６ａ及びカメラ６ｂが撮影した映像は画像データとして画像処理装置５０に出力される。

運転席７はオペレータが搭乗してダンプトラック１を操作する各種の操作手段が設けられている。例えば，ダンプトラック１を前進または後進させるシフトレバー等が操作手段として設けられている。運転席７には画像処理装置５０とモニタ６１とが設けられており、カメラ６ａ及びカメラ６ｂが撮影することにより生成される画像データは画像処理装置５０で所定の画像処理が行なわれる。画像処理が行なわれた画像データはモニタ６１に表示される。モニタ６１は表示装置であり、基本的にモニタ６１にはカメラ６ａ及びカメラ６ｂが撮影する映像が表示されている。

ここで、図２においては，前方視野範囲１１はダンプトラック１の前方の斜め下方の領域となっている。なお，図２に示した前方視野範囲１１は一例であり，作業員，他の作業機械，サービスカー等が視野範囲に含まれることもある。右側方視野範囲１２も同様である。

次に、図３を用いて、本実施形態による作業機械の周囲監視装置の構成について説明する。
図３は、本発明の第１の実施形態による作業機械の周囲監視装置の構成を示すブロック図である。

画像処理装置５０は、自車検出部５１と、画像入力部５４と、基準画像記憶部５５と、画像記憶部５６と、処理対象領域設定部５７と、物体検知部５８と、物体接近度判定部５９と、表示制御部６０とを備えている。自車検出部５１は、背景分離部５２と、境界設定部５３とを備えている。背景分離部５２には、境界補正器８１からの信号が入力し、境界を補正することができる。

画像入力部５４は、カメラ６により撮影されてカメラ画像を入力する。ここで、予め、カメラ設置時等に作業機械の周囲の自車周辺に車両が存在しない画像を画像入力部５４から入力して、基準画像記憶部５５に基準とする画像として記憶しておく。自車検出部５１の背景分離部５２は、基準画像記憶部５５に記憶した基準画像から作業機械自身（以下、「自車」とする）と背景を分離し、境界設定部５３は、背景と自車の境界データを設定する。背景分離部５２の処理の詳細は、図４を用いて後述する。境界設定部５３の処理の詳細は、図７を用いて後述する。処理対象領域設定部５７は、境界設定部５３で設定した境界データを用いて処理対象領域を設定する。

次に、画像記憶部５６は、処理対象領域設定部５７に設定された処理対象領域を用いて、画像入力部５４から入力した、監視対象とする作業機械の周囲を撮影している画像を入力して記憶する。物体検知部５８は、画像記憶部５６の入力画像に対して処理対象領域設定部５７の処理対象領域を用いて、車や作業員等の物体を検知する。物体接近度判定部５９は、物体検知部５８が検知した物体の位置と境界設定部５３で設定した境界データの位置から物体の接近度を判定する。

更に、表示制御部６０は、境界設定部５３で設定した境界データや物体接近度判定部５９で判定した接近度に応じて、画像入力部５４で入力して記憶した画像記憶部５６の画像に物体の接近度を重畳して表示する制御を行って、モニタ６１に表示する。これにより、作業機械の運転者は、作業機械の停止時及び移動時でも、作業機械の下に潜る車や作業員等の物体、及び、作業機械の周囲に存在する車や作業員等の物体の接近度をモニタ６１で判断することができる。

一方、物体接近度判定部５９は、物体検知部５８で検知した物体の位置と境界設定部５３で設定した境界データの位置から、境界データに接触している場合は、接近度最大とし、境界データから離れるに従って接近度を大、中、小等と判定して、表示制御部６０は、接近度の大小に応じた表示制御を行って、モニタ６１に表示する。これにより、運転員は、表示装置６１の結果を目視等で把握して機械の操作を判断することに加えて、運転を停止し、周囲に存在する物体の内、接近度の高い物体を機械周囲から速やかに他の支障のない場所に移動させる指示等を行うことにより、物体との接触の可能性を低減することができる。

なお、本例は、カメラ６ａでそのまま入力された映像の説明であるが、カメラ６ａ及びカメラ６ｂ等、複数のカメラ映像を合成した俯瞰画像等に適用しても同様であり、自車や自車に準ずる模擬自車と背景シーンが存在している映像ならば何でもよい。

次に、図４〜図６を用いて、本実施形態による作業機械の周囲監視装置における背景分離部５２の処理内容について説明する。
図４は、本発明の第１の実施形態による作業機械の周囲監視装置における背景分離部の処理内容を示すフローチャートである。図５及び図６は、本発明の第１の実施形態による作業機械の周囲監視装置における背景分離部の処理内容の説明図である。

まず、図４のステップＳ１において、背景分離部５２は、基準画像記憶部５５に記憶された画像を用いて、平滑化処理を行い、画像のノイズを低減する。次に、ステップＳ２において、最大値フィルタ等の処理を行い、黒い細い線を除去する。そして、ステップＳ３において、輪郭を抽出する処理を行う。ステップＳ４において、ステップＳ３で抽出した輪郭を所定の閾値で２値化する処理を行い、ステップＳ５において、ステップＳ４の２値画像に対して、膨張及び収縮等の整形処理を行う。

一方、ステップＳ６において、最小値フィルタ等の処理を行い、白い細い線を除去する。次に、ステップＳ７において、輪郭を抽出する処理を行う。ステップＳ８において、ステップＳ７で抽出した輪郭を、所定の閾値で２値化する処理を行い、ステップＳ９において、ステップＳ８の２値画像に対して、膨張及び収縮等の整形処理を行う。

次に、ステップＳ１０において、ステップＳ５で整形処理した画像とステップＳ９で整形処理した画像の共通領域を抽出する。すなわち、両画像の平均画像を算出する。そして、ステップＳ１１において、Ｙ方向の投影分布の算出を行い、ステップＳ１２において、Ｙ方向の投影分布の最大値を算出する。そして、ステップＳ１３において、ステップＳ１２で算出したＹ方向の最大値の位置（Ｙ座標）の線を境界候補として算出する。

更に、ステップＳ１４において、基準画像記憶部５５で記憶した画像に境界候補位置の線を重畳し、ステップＳ１５において、作業員が、モニタ６１に表示した境界候補の良否を確認して境界候補の補正処理の必要性を判定する。

補正処理が必要の場合、ステップＳ１６において、作業員が境界補正処理を行い、ステップＳ１７において補正がＯＫになるまで、ステップＳ１６で境界補正処理を続ける。ステップＳ１５で補正処理が必要のないと判断した場合、ステップＳ１８において、境界として決定し、境界設定部５３へ出力する。

これにより、自車と背景を分離する境界を画像に重畳して表示するため、カメラを上下左右に動かすことにより、自車と背景の境界が入力画像に追随して表示できるため、最適なカメラ設置の支援が可能になる。

次に、図５を用いて、図４に示した処理の具体例について説明する。

図５は、カメラ６ａが広角でない場合の入力映像の例であり、自車の前方の一部１５が歪まない映像となる。

図５（Ａ）に示すように、図４のステップＳ１１で算出したＹ投影分布８０から、ステップＳ１２で算出した投影分布の最大値を用いて、ステップＳ１３で境界候補を算出し、ステップＳ１４で、境界候補位置として画像に線８７を重畳する。なお、本来であれば、ステップＳ１２で算出した投影分布８０の最大値の位置は自車１５と背景１６の境界の位置に一致するものである。しかし、図５（Ａ）に示す例では、投影分布８０の最大値の位置は自車１５と背景１６の境界の位置とはずれている。これは、画像のノイズ等の影響によるものであり、背景画像のノイズ状態によっては、図４のステップＳ１〜Ｓ１３の処理により求められる境界の候補が、実際の境界の位置とずれていることがある。このようなズレがあると、自車に接近する物体を認知するための認知性が低下することになる。

このようにズレが生じた場合、カメラを設置する作業員は、モニタ６１を見て、自車１５と背景１６の境界がずれているため、図５（Ｄ）に示す境界補正器８１を用いて補正する操作を行う。

境界補正器８１のうち、下方移動ボタン８４の押下と離す動作を繰り返すことで、図５（Ｂ）に示すように、１回押下して離してｎ画素（例えば１画素）ずつ下方へ移動８９させて、補正中の境界候補８８を確認しながら、自車１５と背景１６の境界が前方の一部１５と一致したところで、確定ボタン８６を押して境界として確定し、図５（Ｃ）に示すように、境界９０として決定する（ステップＳ１８）。

一方、上方で移動する場合は、境界補正器８１のうち、上方移動ボタン８２を用い、左方へ移動する場合は、左方移動ボタン８３を用い、右方へ移動する場合は、右方移動ボタン８５を用いる。

なお、上述した自車１５と背景１６との境界に重畳する境界線９０は、運転員に目立つような黄色や赤色等を表示してもよい。

これにより、自車と背景を分離する境界を自動検知する際に、カメラ画像のノイズ等の影響で、境界の位置がずれることがあるが、このような場合でも、境界補正器を用いて、境界の位置を補正できるため、自車に接近する物体を認知するための認知性を向上できるものとなる。

また、カメラを用いた画像処理により、自車と背景を分離する境界を検知して、入力画像に境界を重畳して表示するため、カメラを上下左右に動かしても、自車と背景の境界が入力画像に追随して表示できるため、最適なカメラ設置の支援が可能になる。

なお、境界補正器８１は、作業員が操作しやすい場所ならどこでもよいが、例えばハンドル等の近くに置いてもよい。

次に、図６を用いて、図４に示した処理の他の具体例について説明する。

図６は、カメラ６ａが広角の場合の入力映像の例であり、自車の前方の一部１５が歪む映像となる。

図６の境界補正処理Ｓ１６の動作のうち、図５にて説明したものと同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。

カメラを設置する作業員は、モニタ６１を見て、自車１５と背景１６の境界がずれているため、境界補正器８１を用いて、境界を補正する操作を行う。

境界補正器８１のうち、まず、下方移動ボタン８４の押下と離す動作を繰り返し、図６（Ｂ）に示すように、１回押下して離してｎ画素（例えば１画素）ずつ下方へ移動８９させて、自車１５の左端位置９３と右端位置９４が一致したところを、境界候補９１とする。

次に、図６（Ｃ）に示すように、左端位置９２と右端位置９３の中央位置９４を基軸にして、下方移動ボタン８４を押下し続けて（矢印９５）自車１５の境界と一致するところを確認しながら操作を行い、一致したところで、下方移動ボタン８４を離して、確定ボタン８６を押して境界として確定させ、図６（Ｄ）に示すように、境界９７として決定する（ステップＳ１８）。

次に、図７を用いて、本実施形態による作業機械の周囲監視装置における物体検知部５８の処理内容について説明する。
図７は、本発明の第１の実施形態による作業機械の周囲監視装置における物体検知部の処理内容を示すフローチャートである。なお、図４と同一ステップ番号は、同様の処理内容を示している。

まず、ステップＳ５０において、物体検知部５８は、境界設定部５３で設定した境界を、検知対象として入力したカメラ画像を記憶する画像記憶部５６に重畳して描画する境界描画処理を行う。

次に、ステップＳ５１において、入力した画像記憶部５６の画像の輝度情報等を用いて昼夜判定を行う。ステップＳ５２において、昼間と判定した場合、ステップＳ５３において、昼間用の平滑化パラメータを設定する。一方、ステップＳ５２で昼間でないと判定した場合、ステップＳ５４において、夜間用の平滑化パラメータを設定する。ここで、昼間は明るいため、例えば、ステップＳ５３で設定した昼間用の平滑化パラメータは、ステップＳ５４で設定した夜間用の平滑化パラメータより、平滑化回数を大きくする。

次に、ステップＳ１で平滑化処理を行い、ステップＳ２で黒い細い線の除去を行った後、ステップＳ５５において輝度の低い部分を明るくするガンマ補正を行って、ステップＳ５６において、輝度を正規化する。

また、ステップＳ１で平滑化処理を行い、ステップＳ６で白い細い線の除去を行った後、ステップＳ５７において輝度の低い部分を明るくするガンマ補正を行って、ステップＳ５８において、輝度を正規化する。

更に、ステップＳ１で平滑化処理を行った画像に対して、ステップＳ５９において輝度の低い部分を明るくするガンマ補正を行って、ステップＳ６０において、輝度を正規化する。ステップＳ６１において、ステップＳ６０が正規化した画像を用いて、物体の特徴を示すコーナーを検知し、検知したコーナー（コーナー付近でもよい）を抽出して２値画像を作成する。物体が車両の場合は、車両の輪郭の角部がコーナーとして検知される。また、物体が人体である場合は、肩や腕等がコーナーとして検知される。

次に、ステップＳ６２において、ステップＳ６１とステップＳ５とステップＳ９で算出した２値画像の共通領域を抽出する。そして、ステップＳ６３において、処理対象領域設定部５７で設定した処理対象領域内に所定値以上の面積（画素数）部を物体候補として抽出する。

最後に、ステップＳ６４において、直前に取り込んだ画像と、ステップＳ６３で抽出した物体候補が今回取り込んだ画像においても、同一位置付近に存在するかをチェックする追跡を行う。そして、ステップＳ６５において、所定回数以上追跡できたか否か判定し、所定回数以上追跡できた場合、ステップＳ６６において、物体を検知したと判定して、物体接近度判定部５９へ出力する。ステップＳ６５で、追跡が所定回数未満の場合、ステップＳ５１へ戻って処理を行う。所定回数としては、例えば、数回（２回〜５回）である。この処理により、ノイズ等の影響で物体と誤検出した場合でも、その誤検出を回避できる。

次に、図８及び図９を用いて、本実施形態による作業機械の周囲監視装置における物体接近度判定部５９の処理内容について説明する。
図８は、本発明の第１の実施形態による作業機械の周囲監視装置における物体接近度判定部の処理内容を示すフローチャートである。図９は、本発明の第１の実施形態による作業機械の周囲監視装置における物体接近度判定部の処理内容の説明図である。

ステップＳ７０において、境界設定部５３と物体検知部５８から、境界と物体の位置関係をチェックする。境界に接触している場合は、ステップＳ７１において接近度が最大と判定し、境界に近い場合は、ステップＳ７２において接近度が大と判定する。また、境界にやや近い場合は、ステップＳ７３において接近度がやや大と判定し、境界からやや遠い場合は、ステップＳ７４において接近度が中程度と判定する。さらに、境界から遠い場合は、ステップＳ７５において注意と判定する。

更に、ステップＳ７６において、ステップＳ７の場合、自車に潜る物体ありとする。また、ステップＳ７７において、ステップＳ７２とステップ７３の場合、自車の近くに物体ありとする。また、ステップＳ７８において、ステップＳ７４とステップ７５の場合、自車の遠方に物体ありとする。

ここで、図９を用いて、作業機械の周囲監視装置のモニタ６１の表示例について説明する。

例えば、自車１５と背景１６の境界９７に接触している場合、ステップＳ７６が潜る物体８０があるとして、図８のステップＳ７１により接近度最大とするため、接近度最大マーク８１と文字列の接近度最大８２を、モニタ６１に表示する。

また、自車１５と背景１６の境界９７からやや近い場合、ステップＳ７７が近くに物体８３があるとして、ステップＳ７３により接近度やや大とするため、接近度マーク８４と文字列の接近度８５を、モニタ６１に表示する。

更に、自車１５と背景１６の境界９７から遠い場合、ステップＳ７８が遠方に物体８６があるとして、ステップＳ７５により注意とするため、注意マーク８７と文字列の注意８８を、モニタ６１に表示する。

本例は、車や作業員等の物体の検知にカメラを用いた画像処理により、自車の停止時に下に潜る車や作業員等の物体を検知して最も強調表示するため、発進直前に最も接近した状態にある物体が一目瞭然となり、不要な接近を回避することが可能になるとともに、作業効率の向上が実現できる。

また、車や作業員等の物体の検知にカメラを用いて画像処理を行うことにより、作業機械の停止時及び移動時でも、自車の周囲に存在する車や作業員等の物体を検知して強調表示するため、停止時及び移動時に接近した物体が一目瞭然となり、不要な接近を回避することが可能になるとともに、作業効率の向上が実現できる。

次に、図１０及び図１１を用いて、本実施形態による作業機械の周囲監視装置における表示例について説明する。
図１０及び図１１は、本発明の第１の実施形態による作業機械の周囲監視装置における表示例の説明図である。

最初に、図１０は、作業機械の周囲監視装置のカメラ６ａにずれが発生した場合の表示例を示している。

作業機械の周囲監視装置の境界設定部５３で設定した自車１５と背景１６の境界９０は、周囲監視中は、逐次取り込んだカメラ画像に重畳して常時表示するため、時間経過に伴い、振動等でカメラがずれる場合もある。

例えば、カメラが上方にずれる（俯角が小さくなる）と、境界９０は、自車１５の上方に重畳された状態になる。作業機械の運転員は、作業中にモニタ６１を目視で確認すれば、撮影範囲が初期設置から上方にずれたことをリアルタイムに確認でき、カメラの設置を修正することや、カメラの設置者に報知することができる。

これにより、自車と背景を分離する境界を検知して、入力画像に境界を重畳して表示するため、作業機械の振動等でカメラがずれた場合、初期に設置した位置からのカメラずれが一目瞭然となり、撮影範囲が初期設置からずれたことをリアルタイムに確認することが可能になる。

図１１は、作業機械の周囲監視装置のカメラ６ａにずれが発生した場合を説明する他の例を示している。

例えば、カメラが下方にずれる（俯角が大きくなる）と、境界９０は、自車１５の下方に重畳された状態になる。作業機械の運転員は、作業中にモニタ６１を目視で確認すれば、撮影範囲が初期設置から下方にずれたことをリアルタイムに確認でき、カメラの設置を修正することや、カメラの設置者に報知することができる。

次に、図１２及び図１３を用いて、本実施形態による作業機械の周囲監視装置が搭載される作業機械の他の全体構成について説明する。
図１２は、本発明の第１の実施形態による作業機械の周囲監視装置が搭載される作業機械の他の例の全体構成を示す平面構成図である。図１３は、本発明の第１の実施形態による作業機械の周囲監視装置が搭載される作業機械の他の例の全体構成を示す側面構成図である。なお、図１２及び図１３において、同一符号は同一部分を示している。

ここでは、作業機械の一例は油圧ショベルであり、油圧ショベルに本実施形態による作業機械の周囲監視装置が搭載されている。

図１２及び図１３に示すように、油圧ショベル１Ａは、アーム，ブーム，バケットなどからなる作業機１００と、下部走行体１０１，１０２と、上部旋回体１０３と、カメラ６（６Ａ，６Ｂ，６Ｃ，６Ｄｃ）と、運転席７と、画像処理装置５０と、モニタ６１とを備えている。上部旋回体１０３は、下部走行体１０１，１０２の上部に先回可能に保持されている。下部走行体１０１，１０２は、上部旋回体１０３を前後左右方向に走行する。作業機１００は、上部旋回体１０３に取り付けられている。

油圧ショベル１Ａには任意の位置に撮像部としてのカメラを設置することができる。本例では、カメラ６Ａは油圧ショベル１Ａの前方の斜め下方を俯瞰するような前方視野範囲が撮影されるように設置されている。カメラ６Ｂ，６Ｃは、それぞれ油圧ショベル１Ａの左右の斜め下方を俯瞰するような左右視野範囲が撮影されるように設置されている。カメラ６Ｄは油圧ショベル１Ａの後方の斜め下方を俯瞰するような後方視野範囲が撮影されるように設置されている。

運転席７には画像処理装置５０とモニタ６１とが設けられており、カメラ６が撮影することにより生成される画像データは画像処理装置５０で所定の画像処理が行なわれる。画像処理が行なわれた画像データはモニタ６１に表示される。モニタ６１は表示装置であり、基本的にモニタ６１にはカメラ６が撮影する映像が表示されている。

以上説明したように、本実施形態によれば、境界の位置を補正することができるため、自車に接近する物体を認知するための認知性を向上できる。

また、車や作業員等の物体の検知にカメラを用いた画像処理により、自車の停止時に下に潜る車や作業員等の物体を検知して最も強調表示するため、発進直前に最も接近した状態にある物体が一目瞭然となり、物体の接近を回避することが可能になるとともに、作業効率の向上が実現できる。

また、作業機械の停止時及び移動時でも、自車の周囲に存在する車や作業員等の物体を検知して強調表示するため、停止時及び移動時に接近した物体が一目瞭然となり、不要な接近を回避することが可能になるとともに、作業効率の向上が実現できる。

更に、自車と背景を分離する境界を検知して、入力画像に境界を重畳して表示するため、カメラを上下左右に動かしても、自車と背景の境界が入力画像に追随して表示できるため、最適なカメラ設置の支援が可能になる。

更に、自車と背景を分離する境界を検知して、入力画像に境界を重畳して表示するため、作業機械の振動等でカメラがずれた場合、初期に設置した位置からのカメラずれが一目瞭然となり、撮影範囲が初期設置からずれたことをリアルタイムに確認することが可能になる。

次に、図１４及び図１５を用いて、本発明の第２の実施形態による作業機械の周囲監視装置の構成及び動作について説明する。なお、本実施形態による作業機械の周囲監視装置が搭載される作業機械の全体構成は、図１及び図２や図１２及び図１３に示したものと同様である。

最初に、図１４を用いて、本実施形態による作業機械の周囲監視装置の構成について説明する。
図１４は、本発明の第２の実施形態による作業機械の周囲監視装置の構成を示すブロック図である。なお、図３と同一符号は同一部分を示している。

画像処理装置５０Ａは、自車検出部５１Ａと、画像入力部５４と、直前画像記憶部５５Ａと、画像記憶部５６と、処理対象領域設定部５７と、物体検知部５８と、物体接近度判定部５９と、表示制御部６０とを備えている。自車検出部５１Ａは、背景分離部５２Ａと、境界設定部５３と、走行判別部６３とを備えている。走行判定部６３には、車速センサ８２からの車速の信号を用いて作業機械が走行中か否かを判定する。背景分離部５２には、走行判定部６３からの走行状態と判定した信号が入力すると、そのときの画像を用いて、境界を自動補正することができる。

画像入力部５４は、カメラ６により撮影されてカメラ画像を入力する。直前画像記憶部５５Ａには、直前の画像を記憶されている。例えば、カメラ６により毎秒３０フレームの画像を撮影していたとすると、現在の画像を含めて１フレーム分前の画像を直前画像記憶部５５Ａに記憶される。直前画像記憶部５５Ａに記憶された画像は、後述するように、他の画像と比較される画像であるため、基準となる画像とも言える。従って、直前画像記憶部５５Ａは、図３に示した基準画像記憶部５５の一種の態様でもある。自車検出部５１Ａの背景分離部５２Ａは、走行判定部６３により走行状態と判定されると、直前画像記憶部５５Ａに記憶した画像と、画像入力部５４からの現在の画像を比較して、共通している箇所を作業機械自身（以下、「自車」とする）と判定する。すなわち、作業機械の走行状態において、カメラは作業機械に固定されているため、カメラにより撮影された画像の中で自車の部分は複数フレームに同じ画像として捉えられているのに対して、背景の画像は作業機械の走行により刻一刻と変化する。それにより、背景分離部５２Ａは、自車と背景を分離し、境界設定部５３は、背景と自車の境界データを設定する。背景分離部５２Ａの処理の詳細は、図１５を用いて後述する。処理対象領域設定部５７は、境界設定部５３で設定した境界データを用いて処理対象領域を設定する。

次に、図１５を用いて、本実施形態による作業機械の周囲監視装置における背景分離部５２Ａの処理内容について説明する。
図１５は、本発明の第２の実施形態による作業機械の周囲監視装置における背景分離部の処理内容を示すフローチャートである。

ステップＳ８０において、背景分離部５２Ａは、走行判定部６３からの情報により、車両が走行状態か否かを判定する。走行状態と判定されると、ステップＳ８１において、画像入力部５４から入力した現在の画像と、直前画像記憶部５５Ａに記憶された１フレーム前の画像とに対して、画素毎の差分処理を施す。そして、ステップＳ８２において、２値化処理を施し、ステップＳ８３において、変化のない領域を抽出する。さらに、ステップＳ８４において、ステップＳ８３で抽出された変化のない領域の輪郭を算出する。そして、ステップＳ８４において、変化のない領域の最上部を位置を抽出して、境界候補とする。

更に、ステップＳ１４において、直前画像記憶部５５Ａで記憶した画像に境界候補位置の線を重畳し、ステップＳ１５において、作業員が、モニタ６１に表示した境界候補の良否を確認して境界候補の補正処理の必要性を判定する。

以上説明したように、本実施形態によれば、境界の位置を自動的に補正することができるため、自車に接近する物体を認知するための認知性を向上できる。

次に、図１６〜図２０を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の構成及び動作について説明する。
最初に、図１６を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の構成について説明する。
図１６は、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の構成を示すブロック図である。なお、図３と同一符号は同一部分を示している。

本例は、カメラ６ａが広角の場合であって、画像処理装置５０Ｂは、カメラデータ入力部６２、自車検出部５１Ｂの背景分離部５２Ｂ及び境界設定部５３と、画像入力部５４、基準画像記憶部５５、画像記憶部５６、処理対象領域設定部５７、物体検知部５８、物体接近度判定部５９、表示制御部６０とを備えている。

画像処理装置５０Ｂは、図３に示した画像処理装置５０とは、カメラデータ入力部６２を備えた点であり、それに伴い、背景分離部５２Ｂの動作が背景分離部５２とは異なっている。

画像処理装置５０Ｂのカメラデータ入力部６２は、カメラ６ａの内部パラメータとして、焦点距離、画像の光軸中心、レンズ歪み係数等を予め取り込んでおく。

次に、カメラ画像を入力する画像入力部５４で、予め、カメラ設置時等に作業機械の周囲の自車周辺に車両が存在しない画像を入力して、該入力画像を基準とする基準画像記憶部５５を用い、自車検出部５１Ｂの背景分離部５２Ｂが、記憶した基準画像記憶部５５の基準画像に対して、カメラデータ入力部６２で取り込んだ焦点距離、画像の光軸中心、レンズ歪み係数等の内部パラメータを与えて歪補正を行い、歪補正を行った基準画像記憶部５５の基準画像から作業機械自身（以下自車とする）と背景を分離する。背景分離部５２Ｂの動作は、図１７を用いて後述する。境界設定部５３が背景と自車の境界データを設定すると、処理対象領域設定部５７は、境界設定部５３で設定した境界データを用いて処理対象領域を設定する。

次に、図１７を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の動作について説明する。
図１７は、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の動作を示すフローチャートである。なお、図９と同一のステップ番号は、同一処理内容を示している。

カメラ６ａが広角の場合、図６に示したに、自車１５の画像は、歪んだ画像となる。そこで、ステップＳ２０において、背景分離部５２Ｂは、基準画像記憶部５５で記憶した画像に対して、歪補正処理を行う。ステップＳ２０の歪補正処理は、カメラデータ入力部６２で入力した、カメラ６ａの焦点距離、画像の光軸中心、レンズ歪み係数等の内部パラメータを用いて、歪を補正する処理を行う。カメラ６ａの内部パラメータは、予め、カメラ６ａで撮影した市松模様や等間隔の水玉模様の映像を処理して算出しておく。

次に、図１８を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の第２の動作について説明する。
図１８は、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の第２の動作を示すフローチャートである。なお、図１０と同一のステップ番号は、同一処理内容を示している。

ステップＳ２０により歪補正処理をした画像を用いて、ステップＳ２１において、背景分離部５２Ｂは、距離データを算出する。距離データの算出は、周知の方法を用いて行われる。そして、ステップＳ２２において、ステップＳ２１の０ｍにおける位置（カメラ６ａの真下）を中央部にして広げた付近の矩形領域を０ｍ付近の領域として設定し、ステップＳ１がステップＳ２２で設定した領域内に限定して平滑化処理を行う。また、ステップＳ２１の距離データは、カメラデータ入力部６２で入力したカメラ６ａの設置高さ、俯角、画角等のカメラパラメータを用いてキャリブレーションにより算出する。

次に、図１９を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の第３の動作について説明する。
図１９は、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の第３の動作を示すフローチャートである。なお、図１０と同一のステップ番号は、同一処理内容を示している。

本例は、カメラ６ａが広角でない場合であって、図５に示したように自車１５は、歪みのない映像となる。そこで、ステップＳ２０の歪補正処理を行う必要がない。ステップＳ２１において、距離データを算出する。ステップＳ２２では、ステップＳ２１の０ｍにおける位置（カメラ６ａの真下）を中央部にして広げた付近の矩形領域を０ｍ付近の領域として設定し、ステップＳ１がステップ２２で設定した領域内に限定して平滑化処理を行う。

次に、図２０を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の第４の動作について説明する。
図２０は、本発明の第１の実施形態による作業機械の周囲監視装置の第１の変形例の第４の動作を示すフローチャートである。なお、図９と同一のステップ番号は、同一処理内容を示している。

ステップＳ２１において算出した距離データを用いて、ステップＳ２５において、０ｍ位置（カメラ６ａの真下）を算出して、ステップＳ１３において、境界候補として算出する。

次に、図２１〜図２３を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の構成及び動作について説明する。
最初に、図２１を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の構成について説明する。
図２１は、本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の構成を示すブロック図である。なお、図３と同一符号は同一部分を示している。

画像処理装置５０Ｃは、作業機械データ入力部６３、自車検出部５１Ｃの背景分離部５２Ｃ及び境界設定部５３と、画像入力部５４、基準画像記憶部５５、画像記憶部５６、処理対象領域設定部５７、物体検知部５８、物体接近度判定部５９、表示制御部６０とを備えている。

作業機械データ入力部６３は、作業機械の色、大きさ、形状等のパラメータを予め取り込んでおく。カメラ画像を入力する画像入力部５４は、予め、カメラ設置時等に作業機械の周囲の自車周辺に車両が存在しない画像を入力して、基準画像として基準画像記憶部５５に記憶している。背景分離部５２Ｃは、記憶した基準画像記憶部５５の基準画像に対して、作業機械データ入力部６３で取り込んだ作業機械の色、大きさ、形状等のパラメータを用いて、基準画像記憶部５５の基準画像から作業機械自身（以下自車とする）の色成分及び形状等を抽出して検出する。そして、境界設定部５３は背景と自車の境界データを設定し、処理対象領域設定部５７は、境界設定部５３で設定した境界データを用いて処理対象領域を設定する。

次に、図２２を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の動作について説明する。
図２２は、本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の動作を示すフローチャートである。なお、図９と同一のステップ番号は、同一処理内容を示している。

ステップＳ３０において、作業機械データ入力部６３が予め取り込んだ作業機械の色、大きさ、形状等のパラメータをのうち、作業機械の色として指定された色情報を用いて、ステップＳ３１において、指定した色成分抽出処理を行う。例えば、作業機械のボディの色がオレンジである場合には、色情報として、オレンジを指定する。ステップＳ３２において、指定された色成分が存在するか否かの判定を行う。存在する場合、ステップＳ３３において、指定色成分の抽出を行った後、ステップＳ３４において、色成分は画面の下方か否か判定する。カメラはボディに取り付けられているため、通常、手前側の画像，すなわち、画面の下方がボディになるので、下方と判定できれば、その領域をボディと判定できる。下方の場合は、ステップＳ７の輪郭抽出処理を行い、下方でない場合は、ステップＳ３５の処理を行う。

ステップＳ３２で指定された色成分が存在しない場合、ステップＳ３５において、色指定の判定を行い、色指定がＯＫの場合、ステップＳ３１の処理を行う。ステップＳ３５で、色指定がＯＫでない場合、ステップＳ３０の処理を行う。

次に、図２３を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の他の動作について説明する。
図２３は、本発明の第１の実施形態による作業機械の周囲監視装置の第２の変形例の他の動作を示すフローチャートである。なお、図９と同一のステップ番号は、同一処理内容を示している。

ステップＳ３６において、ステップＳ３４で色成分が画面の下方と判定した場合、抽出した色領域の上端を算出し、ステップＳ３７において、境界候補１として算出する。

一方、ステップＳ３８において、ステップＳ２５で０ｍとして算出した位置を、境界候補２として算出する。ステップＳ３９において、ステップＳ３７が算出した境界候補１とステップＳ３８が算出した境界候補２を比較し、ステップＳ３９の比較で、境界候補が一致しない場合、ステップＳ４０において境界候補２を最終候補とし、境界候補が一致した場合、ステップＳ１８で、境界として決定する。

次に、図２４を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第３の変形例の構成及び動作について説明する。
図２４は、本発明の第１の実施形態による作業機械の周囲監視装置の第３の変形例の構成を示すブロック図である。なお、図３と同一符号は同一部分を示している。

本例はカメラ６ａが広角の場合であり、画像処理装置５０Ｄは、カメラデータ入力部６２、作業機械データ入力部６３、自車検出部５１Ｄの背景分離部５２Ｄ及び境界設定部５３と、画像入力部５４、基準画像記憶部５５、画像記憶部５６、処理対象領域設定部５７、物体検知部５８、物体接近度判定部５９、表示制御部６０とを備えている。

カメラデータ入力部６２は、カメラ６ａの内部パラメータとして、焦点距離、画像の光軸中心、レンズ歪み係数等を予め取り込む。作業機械データ入力部６３は、作業機械の色、大きさ、形状等のパラメータを予め取り込む。

カメラ画像を入力する画像入力部５４で、予め、カメラ設置時等に作業機械の周囲の自車周辺に車両が存在しない画像を入力して、該入力画像を基準とする基準画像記憶部５５に記憶する。自車検出部５１Ｄの背景分離部５２Ｄは、記憶した基準画像記憶部５５の基準画像に対して、カメラデータ入力部６２で取り込んだ焦点距離、画像の光軸中心、レンズ歪み係数等の内部パラメータを与えて歪補正を行う。さらに、背景分離部５２Ｄは、歪補正を行った基準画像記憶部５５の基準画像から、作業機械データ入力部６３で取り込んだ作業機械の色、大きさ、形状等のパラメータを用いて、基準画像記憶部５５の基準画像から作業機械自身（自車）の色成分及び形状等を抽出して検出する。境界設定部５３は背景と自車の境界データを設定し、処理対象領域設定部５７は、境界設定部５３で設定した境界データを用いて処理対象領域を設定する。

次に、図２５を用いて、本発明の第１の実施形態による作業機械の周囲監視装置の第３の変形例の他の動作について説明する。
図２５は、本発明の第１の実施形態による作業機械の周囲監視装置の第３の変形例の他の動作を示すフローチャートである。なお、図９と同一のステップ番号は、同一処理内容を示している。

ステップＳ６２で抽出した共通領域に対して、ステップＳ６７において、所定面積以下を除外した面積フィルタ付きラべリングを行い、ステップＳ６３の物体候補の抽出処理を行う。ノイズ成分等は、一般に面積が小さくなっているので、小さい面積（所定面積以下）を除外することで、ノイズが除外され、抽出が容易となる。

以上説明した各変形例においても、境界の位置を自動的に補正することができるため、自車に接近する物体を認知するための認知性を向上できる。

なお、図４、図７、図８、図１４、図１５、図１６、図１７、図１８、図１９、図２０、図２１、図２２、図２３、図２５のフローチャートで示した処理は、初期設定時に限って行うか、または、一定周期で行ってもよい。

６…カメラ
１５…自車
５０…画像処理装置
５１…自車検出部
５２…背景分離部
５３…境界設定部
５４…画像入力部
５５…基準画像記憶部
５６…画像記憶部５６
５７…処理対象領域設定部
５８…物体検知部
５９…物体接近度判定部
６０…表示制御部
６１…モニタ
９０…境界線

Claims

カメラ画像を入力する画像入力部と、
該画像入力部により入力された、自車周辺に車両が存在しない画像を基準画像として記憶する基準画像記憶部と、
該基準画像記憶部に記憶された画像から作業機械自身（自車）を検出し、前記自車とそれ以外の領域との境界を検出する自車検出部と、
該自車検出部で検出した境界を用いて処理対象領域を設定する処理対象領域設定部とを備える作業機械の周辺監視装置であって、
自車の色として指定された指定色が予め取り込まれるデータ入力部を備え、
前記自車検出部は、
前記基準画像記憶部に記憶された画像の下方に前記指定色が位置するか否かを判定し、前記指定色が下方に位置すると判定された場合には前記指定色の領域を自車の領域と判定し、この判定結果に基づいて、自車の領域とそれ以外の領域である背景の領域を分離する前記境界を決定する背景分離部と、
該背景分離部にて決定された前記境界を設定する境界設定部とを有し、
前記背景分離部は、前記境界の位置を補正できることを特徴とする作業機械の周辺監視装置。
請求項１記載の作業機械の周辺監視装置において、
さらに、外部入力により、前記境界の位置を補正する境界補正部を備え、
前記背景分離部は、前記境界補正部の出力信号に応じて、前記境界の位置を補正できることを特徴とする作業機械の周辺監視装置。
請求項２記載の作業機械の周辺監視装置において、
さらに、車速が所定速度以上であることを判定する車速判定部を備え、
前記基準画像記憶部は、現時点の直前の画像を記憶するものであり、
前記背景分離部は、前記車速判定部の信号に応じて、前記基準画像記憶部に記憶された現時点の直前の画像と現時点での画像を比較して、前記境界を決定し、前記境界の位置を補正できることを特徴とする作業機械の周辺監視装置。