JP6700644B2 - 放土状態監視装置 - Google Patents

Description

本発明は放土状態監視装置に関する。

運搬作業を目的とした建設機械として、車輪やクローラ等を有する車体フレーム部と、車体フレーム部に載積されたコックピットおよび土砂を運搬するための上下に起伏可能な荷台（以下、ベッセルという）とを備えた、鉱山用大型ダンプトラック（以下、ダンプトラックという）がある。このようなダンプトラックの主な作業内容は、他の建設機械から積み込まれた土砂を目的地まで運搬する運搬作業と、目的地に到達した後に、ベッセルを起立傾斜させてベッセル内の積載物である土砂を排出する放土作業とがあり、鉱山においては、これらの作業が繰り返し行なわれる。

このような鉱山現場において、ダンプトラックの放土作業は、オペレータがベッセル内の土砂の状況を直接確認できないため、放土作業の終了の判断がオペレータ毎に異なる。このことにより、放土作業に要する時間のばらつきが発生する。積載物の運搬と放土の繰り返し作業を行なうダンプトラックにおいて、放土作業に要する時間のばらつきは、鉱山現場における全体の運用効率を大幅に低減する。

このような運搬車両の作業効率の向上を図るために、起伏可能なベッセル内及びベッセルの後方を監視する監視カメラ装置を備え、この監視カメラ装置はベッセル監視カメラと、後方監視カメラと、これら監視カメラにより撮影した映像を映し出し可能な運転室内のモニタと、ベッセルの後部扉の開閉状態を検出するセンサと、このセンサからの信号に基づき、後部扉が開状態にあると判定したとき、ベッセル監視カメラにより撮影した映像をモニタに写し出させる制御部とを有する運搬車両がある（例えば、特許文献１参照）。

特開２０１１−１０５１２４号公報

上述した特許文献１に記載された運搬車両は、ベッセル監視カメラをベッセルの前方壁上部に設置し、この映像を後方カメラの映像と共にコックピット内のオペレータに提示する。これにより、オペレータは放土作業時にベッセル内の土砂落下状況を認識可能となる。そして、最終的に放土が終了したか否かはオペレータ自身がモニタ上の土砂を確認して判断する。一方、放土終了間際にベッセルから落下する土砂の量やその落下傾向は、積載されている土砂の質や放土環境等に大きく依存する。このため、放土作業の終了の判断はオペレータによって異なる。したがって、この運搬車両を用いても、放土終了の判断に要するオペレータごとの時間のばらつきは完全には解消されない。

また、上述した運搬車両は、ベッセル下部に設置する後方カメラに加え、ベッセルの前方壁上部にベッセルカメラを別途設置している。このベッセル監視カメラは、ベッセル自身の移動による上下振動やベッセルに積載される土砂から巻き上がる粉塵の影響により、故障やレンズ汚れが頻繁に起こる可能性があり、設置や管理にコストがかかるという問題がある。

したがって、特許文献１に記載された運搬車両をダンプトラックに適用した場合、ベッセル内の様子が確認可能となり、作業効率向上が期待されるものの、その効果はオペレータごとに異なり、放土終了の判断に要するオペレータごとの時間のばらつきは解消されない。また、ベッセル監視カメラの設置および管理に多くの費用と時間を要することから、鉱山全体の運用効率の向上には繋がらない。

本発明は上述の事柄に基づいてなされたもので、その目的は、ベッセル下部に設置した車体後方を撮影する後方カメラを有し、ベッセル内の土砂が地面に落ちきった放土終了状態か否かを判定する放土状態監視装置を提供するものである。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、前輪及び後輪を支持するフレームを有する車体と、積荷を積載するベッセルと、前記車体の後方を撮影する後方カメラとを備えたダンプトラックの前記後方カメラが撮影した後方映像を取得する後方映像入力部を有する放土状態監視装置において、前記後方カメラが撮影した後方映像を逐次記録する記憶部と、前記後方映像入力部が取得した現在の後方映像内及び前記記憶部が記憶した過去の後方映像内の上側の一部領域に、ベッセル起立判定領域を設定し、前記記憶部が記録した前記過去の後方映像と前記後方映像入力部が取得した前記現在の後方映像を用いて、前記ベッセル起立判定領域内の画素値の時間変化を演算することで、前記ベッセルの起立を判定するベッセル起立判定部と、前記車体の形状情報を記憶した自車形状情報保持部と、前記現在および過去の後方映像内に設定された前記ベッセル起立判定領域の底辺を上辺とし、前記自車形状情報保持部に記憶された前記車体の形状情報から算出される自車構造物領域を底辺とする矩形領域に、放土終了判定領域を設定し、前記記憶部が記録した前記過去の後方映像と前記後方映像入力部が取得した前記現在の後方映像を用いて、前記放土終了判定領域内の画素値の時間変化を算出することで放土終了を判定する放土終了判定部とを備える。

本発明によれば、後方カメラより取得した映像に対し時間差分を算出する画像処理を施すことで、人手を介することなく自動で放土終了を検出可能となる。このことにより、放土作業に要する時間のばらつきが抑制される。この結果、鉱山現場における全体の運用効率が大幅に向上する。

第１の実施の形態に係るダンプトラックの全体構成を概略的に示す側面図である。 第１の実施の形態に係る放土状態監視システムの制御装置を示す概念図である。 第１の実施の形態に係るダンプトラックに設置した後方カメラの撮影範囲を説明する概念図である。 第１の実施の形態に係るダンプトラックに設置した後方カメラの映像の一例を示す概念図である。 第１の実施の形態に係るダンプトラックに設置した後方カメラの映像の他の例を蓄積した状態を示す概念図である。 第１の実施の形態に係る放土状態監視システムの構成を示すブロック図である。 第１の実施の形態に係る放土状態監視システムにおける全体処理の流れを示すフローチャート図である。 第１の実施の形態に係る放土状態監視システムの合成映像のうち放土前状態を示す概念図である。 第１の実施の形態に係る放土状態監視システムの合成映像のうち放土中状態を示す概念図である。 第１の実施の形態に係る放土状態監視システムの合成映像のうち放土終了状態を示す概念図である。 第１の実施の形態に係る放土状態監視システムにおける放土状態判定処理の流れを示すフローチャート図である。 第１の実施の形態に係る放土状態監視システムを説明するためのベッセル起立前の映像を示す概念図である。 第１の実施の形態に係る放土状態監視システムを説明するためのベッセル起立時の映像を示す概念図である。 第１の実施の形態に係る放土状態監視システムを説明するためのベッセル起立判定領域の映像を示す概念図である。 第１の実施の形態に係る放土状態監視システムの放土終了判定領域を説明するための現状映像を示す概念図である。 第１の実施の形態に係る放土状態監視システムの放土終了判定領域を説明するための過去映像を示す概念図である。 第１の実施の形態に係る放土状態監視システムの放土終了判定領域における差分ピクセルを説明するための概念図である。 第２の実施の形態に係る放土状態監視システムの構成を示すブロック図である。 第２の実施の形態に係る放土状態監視システムにおける放土状態判定処理の流れを示すフローチャート図である。 第２の実施の形態における放土開始前のダンプトラックの側面を示す概念図である。 第２の実施の形態における放土開始前の後方カメラ映像を示す概念図である。 第２の実施の形態における放土開始中のダンプトラックの側面を示す概念図である。 第２の実施の形態における放土開始中の後方カメラ映像を示す概念図である。 第２の実施の形態における放土終了（ベッセル内土砂滞留なし）のダンプトラックの側面を示す概念図である。 第２の実施の形態における放土終了（ベッセル内土砂滞留なし）の後方カメラ映像を示す概念図である。 第２の実施の形態における放土終了（ベッセル内土砂滞留有り）のダンプトラックの側面を示す概念図である。 第２の実施の形態における放土終了（ベッセル内土砂滞留有り）の後方カメラ映像を示す概念図である。 第２の実施の形態に係る放土状態監視システムの合成映像のうち放土前状態を示す概念図である。 第２の実施の形態に係る放土状態監視システムの合成映像のうち放土中状態を示す概念図である。 第２の実施の形態に係る放土状態監視システムの合成映像のうち放土終了状態を示す概念図である。 第２の実施の形態に係る放土状態監視システムの合成映像のうち土砂残留状態を示す概念図である。

以下、本発明の実施の形態を図面を用いて説明する。
本発明の実施の形態は、鉱山等で採掘した砕石や鉱物等を運搬する大型の作業車両であるダンプトラック向けの放土状態監視システムに係るものであり、後方カメラより取得した映像に対して時間差分の算出処理を行うベッセル起立判定部および放土終了判定部を用いることで、ダンプトラックがベッセルより土砂を放土する際の放土の開始や終了などの状態（すなわち放土状態）を自動で検出するものである。

＜第１の実施の形態＞
本発明の第１の実施の形態について図面を参照しつつ詳細に説明する。
図１Ａは、本実施の形態に係るダンプトラックの全体構成を概略的に示す側面図、図１Ｂは第１の実施の形態が備えた放土状態監視システムの制御装置を示す概念図である。
図１Ａに示すダンプトラック２００は、前後方向に延在して支持構造体を形成するフレーム２０１と、フレーム２０１の上部に前後方向に延在するように配置され、その後端をピン結合部２０５を介してフレーム２０１に傾動可能に設けられたベッセル２０２と、フレーム２０１に装着された左前輪２０３Ａ（Ｌ）及び左後輪２０３Ｂ（Ｌ）と、フレーム２０１の前側に構成された運転室コックピット２０８とを主に備えている。フレーム２０１と運転室コックピット２０８は車体を構成する。

ベッセル２０２は、土砂等の荷物を積載するために設けられた容器であり、ピン結合部２０５を支点としてフレーム２０１に対して前方側を立ち上げ可能に、すなわち起伏可能に連結されている。ベッセル２０２の下部には、車体の幅方向に所定の間隔を介して２つの起伏シリンダ２０６が設置されている。起伏シリンダ２０６の一端はベッセル２０２に、他端はフレーム２０１にそれぞれ接続されており、起伏シリンダ２０６に圧油が供給・排出されると、起伏シリンダ２０６が伸長・縮短してベッセル２０２が起伏される。また、ベッセル２０２の前側上部には運転室コックピット２０８の上方を覆うように配置された庇部２０７が設けられている。

庇部２０７は、その下側（すなわちフレーム２０１の前部）に設置された運転室コックピット２０８を岩石等の飛散物から保護するとともに、車両転倒時等に運転室コックピット２０８を保護する機能を有している。運転室コックピット２０８の内部には、操舵用のハンドル（図示せず）と、アクセルペダル及びブレーキペダル等（図示せず）とが設置されている。加えて、図１Ｂに示す通り、後述する放土状態監視システムを構成する放土状態判定端末２１０（図３参照）と、出力部１０３（図３参照）の一例を示すディスプレイ２１１とが設置されている。また、フレーム２０１の後端部には、後述する後方カメラ１００が取付けられている。

図２Ａは、本実施の形態に係るダンプトラックに設置した後方カメラの撮影範囲を概念的に説明するダンプトラックの側面図、図２Ｂは後方カメラの映像の一例を示す概念図、図２Ｃは後方カメラの映像を蓄積した状態の一例を示す概念図である。

図２Ａは、上述した起伏シリンダ２０６を伸長させてベッセル２０２を立ち上げているダンプトラック２００の側面を示している。図２Ａに示すように後方カメラ１００は、ダンプトラック２００の後方を撮影するものであって、ベッセル２０２と地表面の間を主に撮影するために、フレーム２０１の後端部の幅方向中央部に俯角（下向きの角度）を付けて取り付けられている。このような後方カメラ１００の撮影範囲３００の一例を図２Ａ中に示す。

次に、後方カメラの撮影映像について図２Ｂ及び図２Ｃを用いて説明する。
図２Ｂ及び図２Ｃは、後方カメラで撮影される映像の例を示す図であり、図２Ｂは最新の映像を、図２Ｃは最新の映像より前の複数の映像の映像群を示す図である。ここで、後方カメラ１００で得られる映像は１フレーム単位で取り扱うもとし、最新の１フレーム分の映像を後方カメラ映像３０１、最新の映像（後方カメラ映像３０１）より前に得られた映像を後方カメラ過去映像３０３と称する。後方カメラ１００で得られる最新の映像は現在の映像（現在映像）と言うことができ、最新の映像より前に得られた映像は現在の映像に対して過去の映像（過去映像）と言うことができる。図２Ｂではベッセル起立後の状態（例えば、図２Ａの状態）を例示した後方カメラ映像３０１を示しており、図２Ｃではベッセル起立前の状態（例えば、図１Ａの状態）を例示した複数の後方カメラ過去映像３０３が蓄積された後方カメラ過去映像群３０２を示している。上述したように、後方カメラ１００は俯角をつけてフレーム２０１の後端部に取り付けられており、後方カメラ映像３０１と後方カメラ過去映像３０３において（すなわち、ベッセル２０２の起立前後の状態において）映像上部にベッセル２０２が、映像下部に自車（ダンプトラック）２００のフレーム２０１の後端部である自車構造物が映るように配置されている。

ここで、ベッセル起立後の状態を示す図２Ｂの後方カメラ映像３０１の上部のベッセル２０２が映る領域の面積は、ベッセル起立前の状態を示す図２Ｃの後方カメラ過去映像３０３の上部のベッセル２０２が映る領域の面積より大きい。したがって、映像上部のベッセル２０２が映る領域の面積を、予め設定した設定値と比較することで、ベッセル２０２が起立状態か否かを判断できる。

図３は放土状態監視システムの構成を示す機能ブロック図である。
図３において、放土状態監視システムは、後方カメラ１００と、放土状態判定端末２１０（コントローラ）と、出力部１０３と、ダンプトラック２００の移動速度（車速）を検出する車速センサ１０９とを備えている。

後方カメラ１００は、ダンプトラック２００の車体後方を撮影し、撮影した映像を放土状態判定端末２１０の映像入力部１０１へ送出する。

放土状態判定端末２１０は、映像入力部１０１と、合成映像構築部１０２と、放土状態判定部１０４とを備えている。
映像入力部１０１は、後方カメラ１００で撮影された後方カメラ映像３０１を取得し、後方カメラ映像３０１を放土状態判定部１０４及び合成映像構築部１０２に送出する。

放土状態判定部１０４は、自車情報取得部１０５と、ベッセル起立判定部１０６と、放土終了判定部１０７と、放土状態判定結果取得部１０８と、記憶部１１０と、自車形状情報保持部１１１とを備えている。放土状態判定部１０４の各処理の機能については、後で詳細に説明する。

本実施の形態においては、数フレーム分の後方カメラ過去映像３０３を後方カメラ過去映像群３０２として保存し蓄積する。複数の後方カメラ過去映像３０３からなる後方カメラ過去映像群３０２は映像入力部１０１に備えた記憶部１１０に記憶する。なお、記憶部１１０は映像入力部１０１に備える必要はなく、後方カメラ１００の内部に設ける構成としてもよい。なお、放土状態監視システムの起動時（または起動直後）は、記憶部１１０には後方カメラ過去映像３０３は蓄積されていない。

また、本実施の形態では、ダンプトラック２００の車体の形状情報、後方カメラ１００の設置位置や焦点距離、画角といったカメラの内部パラメータなどを保持する自車形状情報保持部１１１をベッセル起立判定部１０６に備えている。また、車速センサ１０９が検出したダンプトラック２００の車体の移動速度（車速）は、自車情報取得部１０５に入力される。

合成映像構築部１０２は、放土状態判定部１０４内の放土状態判定結果取得部１０８より取得した放土状態の判定結果を後方カメラ映像３０１中に重畳表示するように合成映像を構築し、得られた合成映像を出力部１０３に送出する。出力部１０３は、例えば、運転室コックピット２０８の内部に設置されたディスプレイ２１１等の映像表示機器であり、合成映像構築部１０２から入力した合成映像をオペレータに対して提示する。

次に、放土状態監視システムにおいて放土の開始及び終了などの放土状態を判定し、判定結果を出力部に送出するまでの放土状態監視処理の流れを図４乃至図５Ｃを用いて説明する。
図４は放土状態監視システムにおける処理全体の流れを示すフローチャートであり、図５Ａは放土状態監視システムの合成映像のうち放土前状態を示す概念図、図５Ｂは放土状態監視システムの合成映像のうち放土中状態を示す概念図、図５Ｃは放土状態監視システムの合成映像のうち放土終了状態を示す概念図である。

図４において、放土状態監視システムの放土状態判定部１０４は、例えば、自車（ダンプトラック）２００のシフトレバーがニュートラルになったことを検知し、放土状態の判定動作（つまり、放土状態監視処理）を開始する。

まず、映像入力部１０１は、後方カメラ映像３０１の取得を行なう（ステップＳ４００）。後方カメラ１００の映像は例えば、図２Ｂに例示したベッセル起立後の状態や図２Ｃに例示したベッセル起立前の状態のものが考えられる。また、映像入力部１０１は、後方カメラ過去映像３０３の蓄積である後方カメラ過去映像群３０２を記憶部１１０から取得した後、後方カメラ１００から取得した後方カメラ映像３０１を後方カメラ過去映像群３０２に加えて記憶部１１０に保存することで、後方カメラ過去映像群３０２を刷新する。なお、放土状態監視システムの起動直後など、記憶部１１０に後方カメラ過去映像群３０２が記憶されていない場合のステップＳ４００の処理では、最新の後方カメラ映像３０１が後方カメラ過去映像群３０２として記憶部１１０に記憶される。

次に、放土状態判定部１０４は、ベッセル２０２における放土状態を判定する放土状態判定処理を実行する（ステップＳ４０１）。具体的には、後方カメラ映像３０１および後方カメラ過去映像群３０２を入力とし、放土状態判定部１０４における自車情報取得部１０５、ベッセル起立判定部１０６、放土終了判定部１０７、および放土状態判定結果取得部１０８を用いて放土状態を判定する。なお、本実施の形態では、放土状態として「放土前」、「放土中」、「放土終了」の３種類を定義し、放土状態判定部１０4において自車がいずれの放土状態であるのかを判定し、その判定結果を出力する。ここで、「放土前」の示す放土状態は、自車が放土作業以外を行っている全ての状態であり、「放土中」の示す放土状態は、ベッセル２０２から土砂が落下している最中の状態であり、「放土終了」の示す放土状態は、ベッセル２０２の内部の土砂が全て地面に落下した状態である。

次に、放土状態判定部１０４の放土状態判定結果取得部１０８は、放土状態の判定結果を取得する（ステップＳ４０２）。具体的には、放土状態判定結果取得部１０８は、放土終了判定部１０７から得た放土状態の判定結果（「放土前」、「放土中」または「放土終了」）を取得し、その情報を合成映像構築部１０２に出力する。放土状態判定部１０４から出力される判定結果は放土状態を示す情報であり、本実施の形態では、例えば、放土状態の判定結果に対応する「放土前」、「放土中」、又は「放土終了」といった文字列情報に変換して出力する。

合成映像構築部１０２は、放土状態判定部１０４から得られた放土状態の判定結果（ここでは、判定結果に対応する文字列情報）に基づいて放土状態を示す合成映像の構築を行なう（ステップＳ４０３）。具体的には、合成映像構築部１０２は、ステップＳ４０２にて取得した放土状態の判定結果を示す文字列情報を後方カメラ映像３０１に重畳表示するようにして合成映像を構築する。
ここで、本実施の形態における合成映像例を説明する。
図５Ａ乃至図５Ｃは、出力部の一例であるディスプレイに表示される合成映像例を示す図であり、図５Ａは放土状態の判定結果が「放土前」である場合の合成映像例を、図５Ｂは放土状態の判定結果が「放土中」である場合の合成映像例を、図５Ｃは放土状態の判定結果が「放土終了」である場合の合成映像例をそれぞれ示している。

例えば、ステップＳ４０２で取得した自車の放土状態の判定結果が「放土前」の場合は図５Ａに示したように文字列情報を重畳表示しない合成映像５００を表示し、自車の放土状態の判定結果が「放土中」の場合は対応する文字列情報を重畳表示した合成映像５０１を表示し、自車の放土状態の判定結果が「放土終了」の場合は対応する文字列情報を重畳表示した合成映像５０２を表示する。ここでは例として、自車の放土状態が「放土中」または「放土終了」の場合は、合成映像５０１、合成映像５０２の下部にオペレータにこれら状況を告知するための文字列情報を合成した場合を示している。

図４に戻り、合成映像構築部１０２は、ステップＳ４０３にて構築した合成映像を出力部１０３へ出力する（ステップＳ４０４）。

次に、放土状態判定部１０４は、システム終了要求があるか否かを判定する（ステップＳ４０５）。例えば、放土状態判定部１０４は、ダンプトラック２００のベッセル２０２の着座を検知する着座センサ１１８から得られる着座信号がベッセル２０２が未着座状態から着座状態になったことを示す信号である場合にシステム終了要求有りと判断する。ステップＳ４０５での判定結果がＹＥＳの場合、すなわち、システム終了要求がある場合は放土状態監視処理を終了し、判定結果がＮＯの場合には判定結果がＹＥＳになるまでステップＳ４００〜Ｓ４０４の処理を繰り返す。なお、着座センサ１１８から得られる着座信号に代えて、起伏シリンダ２０６の根元に搭載される角度センサ（図示せず）からの角度信号をＣＡＮ通信等を介して取得することでベッセル２０２が着座状態となったことを検知するように構成してもよい。

次に、本実施の形態における放土状態監視システムの放土状態監視処理における放土状態判定処理（図４のステップＳ４０１）の詳細を図６乃至図８Ｃを用いて説明する。
図６は放土状態判定処理の流れを示すフローチャートである。また、図７Ａ〜図７Ｃはベッセルの起立判定方法の概念の説明に用いる映像例を示す図であり、図７Ａはベッセル起立前の映像例を示す概念図、図７Ｂはベッセル起立時の映像例を示す概念図、図７Ｃはベッセル起立判定領域の映像例を示す概念図である。また、図８Ａ〜図８Ｃは放土状態の判定方法の概念の説明に用いる図であり、図８Ａは放土終了判定領域を説明するための現在の映像例を示す概念図、図８Ｂは放土終了判定領域を説明するための過去の映像例を示す概念図、図８Ｃは放土終了判定領域における差分ピクセルを説明するための概念図である。なお、図６乃至図８Ｃにおいて、図１乃至図５に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

本実施の形態においては、後方カメラ映像３０１（現在の映像）及び後方カメラ過去映像３０３（過去の映像）における映像内に以下に示す領域を定義する。
ベッセル起立判定領域７００：後方カメラ映像３０１内において、自車形状情報保持部１１１から取得した自車形状情報に基づいた演算によってベッセル２０２下部が描画されると推定される矩形領域をベッセル起立判定領域７００と定義する。ベッセル起立判定領域７００は、ベッセル２０２が起立した場合に必ず画素値が変化する領域を含むよう定義するものであり、ここではその一例として、後方カメラ映像３０１の上部３分の１の矩形領域をベッセル起立判定領域７００としている（図７Ａ参照）。

放土終了判定領域８００：ベッセル起立判定領域７００の底辺を上辺とし、後方カメラ映像３０１内に映し出されるフレーム２０１との境界付近を底辺とする矩形領域を放土終了判定領域８００と定義する（図８Ａ参照）。

本実施の形態における放土状態判定部１０４は、後方カメラ映像３０１のベッセル起立判定領域７００および放土終了判定領域８００内において映像を構成する各ピクセルが有する画素値の時間変化を算出することで、自車の放土状態を検出する。

図６において、放土状態監視システムの放土状態判定部１０４は、例えば、自車（ダンプトラック）２００の走行方向を指示するためのシフトレバーがニュートラルになったことをシフトレバーセンサ１１９で検知した場合に処理動作を開始する。

放土状態判定部１０４の映像入力部１０１は、映像取得を行なう（ステップＳ６００）。具体的には映像入力部１０１及び記憶部１１０から判定対象映像を取得する。判定対象映像は、上述したように、映像入力部１０１から入力された後方カメラ映像３０１および過去の判定処理に使用した後方カメラ過去映像群３０２である。

放土状態判定部１０４の映像入力部１０１は、後方カメラ過去映像３０３が予め定めた枚数（例えば１０枚）以上あるか否かを判定する（ステップＳ６０１）。放土状態監視システムの起動直後は、以降説明する映像の時間差分を算出するために必要な入力映像が十分蓄積できていない。そのため、ステップＳ６０１の処理では、ステップＳ６００にて取得した後方カメラ過去映像群３０２に含まれる後方カメラ過去映像３０３が予め定めたフレーム数（例えば１０フレーム）以上存在しない場合は、システムの起動直後であって入力映像の蓄積が時間差分の算出には不十分であると判断し、処理をステップＳ６１５に移す。一方、過去映像が予め定めたフレーム数（例えば１０フレーム）以上存在する場合は、処理をステップＳ６０２に移す。

放土状態判定部１０４の自車情報取得部１０５は、自車情報を取得する（ステップＳ６０２）。ここでは、自車（ダンプトラック２００）の車体の現在の移動速度（車速）を取得する。移動速度は自車の車体に備えられた車速センサ１０９から自車情報取得部１０５に入力される。

放土状態判定部１０４の自車情報取得部１０５は、自車速度が０ｋｍか否かを判定する（ステップＳ６０３）。ステップＳ６０２にて得られた自車速度が０ｋｍでない場合、すなわち車体が停止以外の場合は自車走行中のため放土作業は行わないとして処理をステップＳ６１５に移す。一方、自車速度が０ｋｍ、すなわち車体が停止している場合は、ベッセル２０２を起立させ放土作業を行う可能性があるとして、処理をステップＳ６０４に移す。

放土状態判定部１０４において、前回の放土状態判定処理において「放土中」と判定されているか否かを判定する（ステップＳ６０４）。前回の放土状態判定処理において「放土中」と判定されている場合は、既にベッセル２０２が起立し土砂が落下している状態であるとし、ベッセル起立判定部１０６の処理内容は実行せず処理をステップＳ６０８に移す。一方、前回の放土状態判定処理が「放土前」の場合は処理をステップＳ６０５に移行する。なお、初回の放土判定処理のように記憶部１１０に前回の放土状態判定処理における判定結果が記録されていない場合は、前回の放土状態判定処理において「放土中」と判定されていないと仮定して判定を行い、処理をステップＳ６０５に移行する。

ベッセル起立判定部１０６は、自車形状情報を設定する（ステップＳ６０５）。具体的には、自車形状情報保持部１１１から取得した自車形状情報、後方カメラの設置位置、および焦点距離や画角といったカメラの内部パラメータを取得する。

ベッセル起立判定部１０６は、ベッセル起立判定領域７００を設定する（ステップＳ６０６）。具体的には、ステップＳ６０５にて得られた自車形状情報から、後方カメラ映像内部にてベッセル２０２が描画される領域を算出し、ベッセル２０２が描画される領域下部の矩形領域をベッセル起立判定領域７００と設定する。

ベッセル起立判定部１０６は、時間差分（背景差分）を算出する（ステップＳ６０７）。具体的には、後方カメラ映像３０１のベッセル起立判定領域７００内部のピクセルが持つ画素値を対象とし、ベッセル２０２の移動によって発生する画素値の時間差分を算出することで、映像情報のみからベッセル２０２の起立動作を判定する。

ここで、ベッセル起立判定部１０６は実時間で結果を出力するため、比較的高速に時間差分を算出可能な画像処理手法を用いる必要がある。ここではその一例として、背景差分法を利用することで映像中のベッセル起立動作を検知する。なお、背景差分法とは、現在映像（後方カメラ映像３０１）と事前に取得した過去映像群（後方カメラ過去映像群３０２）から生成した背景モデル画像７０１とを比較することで、背景モデル画像７０１には存在しない領域を抽出する処理である。

より具体的には、ベッセル起立判定部１０６は、記憶部１１０から取得した後方カメラ過去映像群３０２を用いて、ベッセル起立前の映像を示す背景モデル画像７０１を生成し（図７Ａ参照）、この背景モデル画像７０１の内部のベッセル起立判定領域７００内のピクセル（画素）と、現在の後方カメラ映像３０１の内部のベッセル起立判定領域７００内のピクセルとを対象に比較を行う。そして、図７Ｃに示すように、画素値の時間変化があったピクセル７０２と時間変化がなかったピクセル７０３とに判別する。その後、画素値の時間変化があったピクセル７０３として判定されたピクセル数を算出することで、ステップＳ６０７の時間差分（背景差分）が算出される。

ベッセル起立判定部１０６は画素値の差分がベッセル起立判定領域７００の画素の半分以上に発生したか否かを判定する（ステップＳ６０８）。ベッセル２０２が起立を開始すると、ベッセル起立判定領域７００では、領域の上部から下部に向けて徐々にベッセル全体が映し出され、最終的にベッセル２０２に埋め尽くされる（図７Ｂ参照）。そこで、ステップＳ６０８の処理は、ベッセル起立判定領域７００において画素値の時間変化があったピクセルが十分発生しているか否かを確認する。ここでは一例として、ベッセル起立判定領域７００内にて画素値の時間変化があったピクセルとして判定されたピクセル数の和が、ベッセル起立判定領域７００の面積（総画素数）の予め定めた割合（例えば半分）以上存在する場合はベッセル２０２が起立したと判定し、処理をステップＳ６０８Aに移す。ステップＳ６０８Aではベッセル起立判定部１０６実行の結果、ベッセル起立中と判定し処理をステップ６０９に移行する。一方、画素値の時間差分が発生したピクセルの数の和がベッセル起立判定領域７００の面積（総画素数）の半分に満たない場合は、ベッセル２０２は起立していない、もしくは起立動作開始直後であるとして処理をステップＳ６１５に移す。

放土終了判定部１０７は、放土終了判定領域８００を設定する（ステップＳ６０９）。具体的には、自車形状情報保持部１１１から取得した自車形状情報を用いて、後方カメラ映像３０１内にてフレーム２０１の一部が描画される領域を算出した後、現状のベッセル起立判定領域７００の設定位置にもとづき、図８Ａに示すように、放土終了判定領域８００を設定する。放土終了判定領域８００の定義は、例えば、ベッセル起立判定領域７００の底辺を上辺とし、後方カメラ映像内に映し出されるフレーム２０１との境界付近を底辺とする矩形領域である。

放土終了判定部１０７は、時間差分（オプティカルフロー）を算出する（ステップＳ６１０）。具体的には、放土終了判定部１０７は、後方カメラ映像３０１の放土終了判定領域８００内において、ベッセル２０２から落下する土砂によって発生する画素値の時間差分を算出することで、映像情報のみから現在の放土状態を判定する。

放土終了判定部１０７もベッセル起立判定部１０６と同様に、リアルタイムで処理を遂行する必要がある。そこで一例として、ブロックマッチング法を用いたオプティカルフロー算出処理を用いて時間差分を算出する。このオプティカルフローは、連続する画像（映像）においてフレーム間の輝度変化を算出することで、対象ピクセルの動きベクトルを概算する手法である。本実施の形態では、この映像内における画素の動きベクトルの中から、ベッセル２０２から落ちる土砂によって発生するものと同等の動きベクトルを有する画素を抽出し、この結果から得られた画素が占める領域を落下している土砂が描画されている領域（差分発生領域）とみなす。

より具体的には、放土終了判定部１０７は、図４に示すステップＳ４００にて取得した後方カメラ映像３０１（図８Ａ参照）と、後方カメラ過去映像群３０２のうち直近のフレームを示す後方カメラ過去映像３０３（図８Ｂ参照）との差分を算出して、フレーム間で輝度変化があったピクセルとその動きベクトル８０５（図８Ｃ参照）を抽出する。ここでは、ステップＳ６１０のオプティカルフロー算出処理において、オプティカルフローが算出され、かつその動きベクトル８０５の方向が鉛直下方向と判別されたピクセル数のみを算出している。なお、本実施の形態で示す鉛直下方向の定義としては、図８Ｃに示す通り、注目ピクセル８０２を中心とした画像座標系８０４において、移動後ピクセル８０３が第３または第４象限にある場合、この動きベクトル８０５を鉛直下方向として扱う。

図６に戻り、放土終了判定部１０７は、差分発生領域が放土終了判定領域８００の面積の５％以上で発生したか否かを判定する（ステップＳ６１１）。ベッセル２０２内の土砂が完全に地面に落下し放土が完了するまで、放土終了判定領域８００の内部では、領域上部から下部に向けて移動する土砂による画素値の時間差分が発生し続ける。したがって、放土終了判定領域８００内部において領域上部から下部に向けて落下する土砂が微量でも存在するか否かを判定する。具体的には、例えば、ステップＳ６１０にて取得したピクセル数の和が、放土終了判定領域８００の面積の予め定めた割合（例えば５％）以上存在する場合は、放土中であると判定して、ステップＳ６１４に処理を移す。一方、差分発生領域が５％未満の場合は、この後方カメラ映像３０１ではベッセル２０２から落下する土砂が存在しないと判定し、ステップＳ６１２に処理を移す。

放土終了判定部１０７は、ステップＳ６１１にて差分発生領域が５％未満と判定された場合に、さらに、この状態（差分発生領域が５％未満）が予め定めた時間（例えば１０秒）以上連続しているか否かを判定する（ステップＳ６１２）。ここで、設定している１０秒とは、ベッセル２０２から落下する土砂が存在しない時間の一例であり、これと同等な検知回数で設定しても良い。１０秒以上連続して差分発生領域が５％未満の場合は、放土終了と判定してステップＳ６１３に処理を移す。一方、１０秒未満の場合は、放土中の可能性があると判定してステップＳ６１４に処理を移す。

放土終了判定部１０７は、ステップＳ６１２にて差分発生領域の５％未満が１０秒以上連続していると判定された場合に、放土状態が「放土終了」であると判定する（ステップＳ６１３）。放土終了判定部１０７は、放土状態の判定結果（すなわち「放土終了」の情報）を放土状態判定結果取得部１０８へ出力し、処理を終了する。

放土終了判定部１０７は、ステップＳ６１１にて差分発生領域が５％以上と判定された場合、またはステップＳ６１２にて差分発生領域の５％未満が１０秒以上連続しないと判定された場合に、放土状態が「放土中」であると判定する（ステップＳ６１４）。放土終了判定部１０７は、放土状態の判定結果（すなわち「放土中」の情報）を放土状態判定結果取得部１０８へ出力し、ステップＳ６００に処理を移す。

放土終了判定部１０７は、ステップＳ６０１にて後方カメラ過去映像３０３が１０フレーム以上存在しないと判定された場合、または、ステップＳ６０３にて自車速度が０ｋｍでないと判定された場合、またはステップＳ６０８にて画素値の差分が発生したピクセル数の和がベッセル起立判定領域７００の面積の半分に満たないと判定された場合に「放土前」と判定する（ステップＳ６１５）。放土終了判定部１０７は、「放土前」を設定して放土状態判定結果取得部１０８へ出力し、ステップＳ６００に処理を移す。

なお、ステップＳ６１３、ステップＳ６１４、ステップＳ６１５の処理の実行後に、放土状態判定部１０４は、全体処理として図４のステップＳ４０２に処理を移す。

上述したように、本実施の形態においては、後方カメラ１００より取得した映像に対し、ベッセル起立判定部１０６と放土終了判定部１０７とを用いることで、人手を介することなく自動で放土状態（「放土前」、「放土中」、及び「放土終了」を検出可能としている。

上述した第１の実施の形態によれば、後方カメラ１００より取得した映像に対し時間差分を算出する画像処理を施すことで、人手を介することなく自動で放土状態検出可能となる。このことにより、放土作業に要する時間のばらつきが抑制される。この結果、鉱山現場における全体の運用効率が大幅に向上する。

なお、本実施の形態においては、放土状態監視システムを構成する放土状態判定端末２１０が、ダンプトラックの運転室コックピット２０８の内部に配置されている場合を例に説明したが、これに限定されるものではない。例えば、放土状態判定端末２１０と同様の構成を基地局に配置し、ダンプトラックの後方カメラ１００からの映像を通信手段によって基地局に配置した放土状態判定端末２１０の映像入力部１０１に送信する様にすれば本実施の形態と同様の放土状態監視システムを構成するもできる。

＜第２の実施の形態＞
本発明の第２の実施の形態を図面を参照しつつ詳細に説明する。
鉱山現場では、ベッセル２０２内の土砂の粘土が高い場合や、放土によって地面に盛土が生成される場合が多々ある。このような状況では、土砂がベッセル２０２内に滞留してしまい、一度のベッセル起立でベッセル２０２内の土砂を全て地面に排出できるとは限らない。そのため、オペレータは一度ベッセル２０２を起立させ、ある程度土砂を放土した後に、自車を前進させることでベッセル２０２内に滞留した残りの土砂をふるい落とすといった動作を行う。

本実施の形態は、以上のような、放土の際に発生するベッセル２０２内の土砂滞留を示す放土状態を「土砂残留状態（放土中）」と定義し、この「土砂残留状態（放土中）」を後方カメラ映像３０１により自動で検出する放土状態監視システムに係るものである。

以下、本実施の形態に係る放土状態監視システムを図面を用いて説明する。
図９は、本発明のダンプトラックの第２の実施の形態が備えた放土状態監視システムの構成を示すブロック図、図１０は本実施の形態に係るダンプトラックが備えた放土状態監視システムにおける放土状態判定処理の流れを示すフローチャートである。また、図１１は本実施の形態における各状態のダンプトラックを示す側面図および各状態に対応する後方カメラ映像を示す概念図であり、図１１Ａ１は放土開始前のダンプトラックの側面を示す概念図、図１１Ａ２は放土開始前の後方カメラ映像を示す概念図、図１１Ｂ１は放土開始中のダンプトラックの側面を示す概念図、図１１Ｂ２は放土開始中の後方カメラ映像を示す概念図、図１１Ｃ１は放土終了（ベッセル内土砂滞留なし）のダンプトラックの側面を示す概念図、図１１Ｃ２は放土終了（ベッセル内土砂滞留なし）の後方カメラ映像を示す概念図、図１１Ｄ１は放土終了（ベッセル内土砂滞留有り）のダンプトラックの側面を示す概念図、図１１Ｄ２は放土終了（ベッセル内土砂滞留有り）の後方カメラ映像を示す概念図である。また、図１２は本実施の形態における放土状態監視システムの合成映像を示す概念図であり、図１２Ａは放土前状態を示す概念図、図１２Ｂは放土中状態を示す概念図、図１２Ｃは放土終了状態を示す概念図、図１２Ｄは土砂残留状態を示す概念図である。なお、図９乃至図１２Ｄにおいて、第１の実施の形態で示した図１乃至図８Ｃに示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

本実施の形態におけるダンプトラックが備えた放土状態監視システムの構成および処理の流れは第１の実施の形態と概ね同等であるが、ベッセル２０２内の土砂滞留を検出する処理を行なう点が第１の実施の形態と異なる。本実施の形態における放土状態監視システムの構成は、図９に示すように、第１の実施の形態と概ね同等であるが、ベッセル２０２内の土砂滞留の検出処理が追加された放土終了判定部１０７Ａを備えている。

本実施の形態における放土状態判定部１０４の全体処理の流れは第１の実施の形態と同様である。放土状態監視システムにおける放土状態判定処理が図６で説明した第１の実施の形態と異なる。この変更を反映した放土状態判定部１０４の処理の流れを図１０を用いて説明する。図１０に示すように、第１の実施の形態で説明した放土状態判定部１０４の処理内容と概ね同等であるが、ステップＳ１０００、ステップＳ１００１、ステップＳ１００２、ステップＳ１００３、ステップＳ１００４の処理が追加されている。

図１０において、放土終了判定部１０７Ａは、自車（車体）移動に伴うオプティカルフローの減算を行なう（ステップＳ１０００）。ステップＳ６１０にて時間差分（オプティカルフロー）を算出した後に、自車（車体）が再度走行した場合、すなわち、上述した自車を前進させることでベッセル２０２内に滞留した残りの土砂をふるい落とすといった動作がされた場合、まず、自車速度情報を基に、自車移動により映像上で見かけ上発生しているオプティカルフローの算出を行なう。次に、ステップＳ６１０にて算出したオプティカルフローから自車移動に伴うオプティカルフローを減算する。このことにより、自車移動によって発生するオプティカルフローを除外し、土砂の落下によるオプティカルフローのみを取得することができる。

このステップＳ１０００により、後述する土砂残留状態における自車（車体）前進に伴い発生する時間差分（オプティカルフロー）が除外できるので、自車（車体）前進中であっても正確に放土状態判定部１０４の処理が実行可能になる。

本実施の形態ので得られる放土状態の判定結果の一つである「土砂残留状態（放土中）」を後方カメラ映像３０１により自動で検出する際に行う処理内容を説明する。
放土終了判定部１０７Ａが、ステップＳ６１５にて、「放土前」と判定する以下の条件（ステップＳ６０１にて過去映像が１０フレーム以上存在しないと判定された場合、または、ステップＳ６０３にて自車速度が０ｋｍでないと判定された場合、またはステップＳ６０８にて差分発生ピクセル数の和がベッセル起立判定領域７００の面積の半分に満たないと判定された場合）が成立した場合、本実施の形態においては、放土終了判定領域内の輝度平均値を算出する（ステップＳ１００１）。具体的には、ベッセル２０２が起立していない状態での後方カメラ映像３０１の放土終了判定領域８００の輝度値平均値を算出する。この平均輝度値に関しては、図９における記憶部１１０に記録され、ステップＳ１００１の処理が実行される度に値が刷新される。

第１の実施の形態と同様にステップＳ６０９〜Ｓ６１２が実行されて、土砂の落下による時間差分が第１の実施の形態で述べた閾値以上発生せず、かつステップＳ６１２にて１０秒以上連続して時間差分が発生しなかった場合は、本実施の形態にて新規追加されたステップＳ１００２に処理を移す。

放土終了判定部１０７Ａは、放土終了判定領域８００内の輝度平均値を算出する（ステップＳ１００２）。具体的には、ベッセル２０２の起立後の状態での放土終了判定領域８００の輝度値平均値を算出する。

放土終了判定部１０７Ａは、時間差分（輝度変化）を算出する（ステップＳ１００３）。具体的には、ステップＳ１００２にて算出した輝度平均値と、記憶部１１０に記録されているステップＳ１００１にて算出した輝度平均値との差分を算出する。ここで、放土開始後のダンプの様子およびその際の後方カメラ映像３０１に映し出される映像例を図１１Ａ１乃至図１１Ｄ２に示している。土砂が完全にベッセル２０２から落下した場合（図１１Ｃ１および図１１Ｃ２参照）は、放土終了判定領域８００にはベッセル２０２が起立し土砂が落下する以前の情報が映し出されている可能性が高い。

一方で、本実施の形態の冒頭にて述べた通り、地面に生成された盛土により、土砂が完全に落ちきらずベッセル２０２内に滞留してしまう状況の場合（図１１Ｄ１および図１１Ｄ２参照）は、放土終了判定領域８００には盛土が映し出されている可能性が高い。撮影環境により一概には言えないものの、例えば日中の場合、地面に生成された盛土は太陽光をさえぎる働きをするため、土砂滞留時の後方カメラ映像３０１内の放土終了判定領域８００は全体的に暗い傾向にある（図１１Ｄ２参照）。したがって、算出した時間差分（輝度変化）から放土状態が「放土終了」であるか「土砂残留状態（放土中）」（後述）であるかを判定できる。

図１０に戻り、放土終了判定部１０７Ａは、時間差分（輝度変化）が閾値以上発生したか否かを判定する（ステップＳ１００４）。これは、上述した輝度平均値の差分を基に、放土動作前後で、後方カメラ映像３０１内の放土終了判定領域８００において明暗差が十分発生している状態であるか否かを確認するものである。閾値としては、例えば、２５５階調の明るさの程度を示す指標の中で、３０階調以上の差分が発生しているか否かに設定しても良い。したがって、時間差分が閾値以上発生している場合は、地面に盛土が生成されベッセル２０２内に土砂が滞留している放土状態（つまり「土砂残留状態（放土中）」）であると判定して、ステップＳ１００５に処理を移す。一方、時間差分が閾値以上発生していない場合は、放土状態を「放土終了」であると判定してステップＳ６１３に処理を移す。

放土終了判定部１０７Ａは、ステップＳ１００４にて時間差分（輝度変化）が閾値以上発生したと判定された場合に、「土砂残留状態（放土中）」と判定する（ステップＳ１００５）。放土終了判定部１０７Ａは、放土状態の判定結果として「土砂残留状態（放土中）」を放土状態判定結果取得部１０８へ出力し、ステップＳ６００に処理を移す。

ここで、本実施の形態における合成映像例を説明する。図１２Ａ乃至図１２Ｄにおいて、符号５００乃至５０２と１２００は、出力部１０３に備え付けられているディスプレイ等に写し出された映像を示している。
第１の実施の形態と同様に、図１２Ａ乃至図１２Ｃにおいて、自車の放土状態が「放土前」の場合は合成映像５００、自車の放土状態が「放土中」の場合は合成映像５０１、自車の放土状態が「放土終了」の場合は合成映像５０２としている。図１２Ｄの合成映像１２００は、本実施の形態で新規追加された放土状態の「土砂残留状態（放土中）」を示すものである。また、各映像の下部にオペレータにこれら状況を告知するための文字表示を合成している。

上述したように、本実施の形態においては、ベッセル２０２起立動作前後の後方カメラ映像３０１内における放土終了判定領域８００の輝度変化を算出し、時間差分と閾値とを比較することで、放土の際に発生するベッセル２０２内の土砂滞留を「土砂残留状態（放土中）」として自動で検出することが可能となる。このことにより、オペレータの作業効率を向上できる。

上述した本実施の形態によれば、上述した第１の実施の形態と同様の効果を得ることができる。

また、上述した本実施の形態によれば、ベッセル２０２起立動作前後の後方カメラ映像３０１内における放土終了判定領域８００の輝度変化演算から、ベッセル２０２内の土砂滞留を自動で検出できるので、オペレータの作業効率を向上できる。

なお、上述した各実施の形態では、放土状態の判定結果をオペレータの操作性向上を目的とし出力したが、これに限るものではない。例えば、放土状態の判定結果を鉱山全体の運用を管理する管制システムに対し出力してもよい。また、例えば、放土状態の判定結果を無人走行システム(ＡＨＳ：Ａｕｔｏｎｏｍｏｕｓ Ｈａｕｌａｇｅ Ｓｙｓｔｅｍ) 等に利用しても良い。

なお、本発明は上述した各実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した各実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００：後方カメラ、１０１：映像入力部、１０２：合成映像構築部、１０３：出力部、１０４：放土状態判定部、１０５：自車情報取得部、１０６：ベッセル起立判定部、１０７：放土終了判定部、１０８：放土状態判定結果取得部、１０９：車速センサ、１１０：記憶部、１１１：自車形状情報保持部、１１８：着座センサ、１１９：シフトレバーセンサ、２００：ダンプトラック（自車）、２０１：フレーム、２０２：ベッセル、２０３Ａ（Ｌ）：左前輪２０３Ａ、２０３Ｂ（Ｌ）：左後輪２０３Ｂ、２０５：ピン結合部、２０６：起伏シリンダ、２０７：庇部、２０８：運転室コックピット、２１０：放土状態判定端末、２１１：出力結果表示用ディスプレイ、３０１：後方カメラ映像、３０２：後方カメラ過去映像群、３０３：後方カメラ過去映像、５００：放土前の合成映像、５０１：放土中の合成映像、５０２：放土終了の合成映像、１２００：土砂残留状態の合成映像

Claims (5)

1. 前輪及び後輪を支持するフレームを有する車体と、積荷を積載するベッセルと、前記車体の後方を撮影する後方カメラとを備えたダンプトラックの前記後方カメラが撮影した後方映像を取得する後方映像入力部を有する放土状態監視装置において、
   前記後方カメラが撮影した後方映像を逐次記録する記憶部と、
   前記後方映像入力部が取得した現在の後方映像内及び前記記憶部が記憶した過去の後方映像内の上側の一部領域に、ベッセル起立判定領域を設定し、前記記憶部が記録した前記過去の後方映像と前記後方映像入力部が取得した前記現在の後方映像を用いて、前記ベッセル起立判定領域内の画素値の時間変化を演算することで、前記ベッセルの起立を判定するベッセル起立判定部と、
   前記車体の形状情報を記憶した自車形状情報保持部と、
   前記現在および過去の後方映像内に設定された前記ベッセル起立判定領域の底辺を上辺とし、前記自車形状情報保持部に記憶された前記車体の形状情報から算出される自車構造物領域を底辺とする矩形領域に、放土終了判定領域を設定し、前記記憶部が記録した前記過去の後方映像と前記後方映像入力部が取得した前記現在の後方映像を用いて、前記放土終了判定領域内の画素値の時間変化を算出することで放土終了を判定する放土終了判定部と
   を備えたことを特徴とする放土状態監視装置。
2. 請求項１に記載の放土状態監視装置において、
   前記放土終了判定部は、前記記憶部が記録した前記過去の後方映像と前記後方映像入力部が取得した前記現在の後方映像を用いて、前記放土終了判定領域内の各ピクセルが持つ画素値の時間変化を算出することで、前記放土終了判定領域内にて画素値の時間変化があったピクセルの位置や個数の時間差分を算出し、前記時間差分が予め定めた一定時間以上発生しなくなった場合には放土終了と判定することを特徴とする放土状態監視装置。
3. 請求項２に記載の放土状態監視装置において、
   前記放土終了判定部は、前記放土終了判定領域内の画素値の時間変化が一定時間発生しない場合に、前記現在の後方映像の放土終了判定領域の輝度平均と、前記ベッセル起立判定部にて前記ベッセルが起立したと判定される以前の前記過去の後方映像の放土終了判定領域の輝度平均とを比較して、前記ベッセル内の土砂が地面に落ちきった放土終了状態か、もしくは前記ベッセル内に滞留している放土中を示す状態かを判断し、放土中と判定したときは、オペレータに前進を促す情報を出力することを特徴とする放土状態監視装置。
4. 請求項２に記載の放土状態監視装置において、
   前記車体の速度を取得する自車情報取得部を備え、
   前記放土終了判定部は、前記自車情報取得部において前記車体の移動が検知された場合に、前記放土終了判定領域において算出した前記時間差分から、前記自車情報取得部が検知した前記車体の移動により発生する前記放土終了判定領域内の画素値の時間変化があったピクセルの位置や個数の時間差分を減算し、前記ベッセル内の土砂が地面に落ちる際に発生する、前記放土終了判定領域内の画素値の時間差分のみを取得することを特徴とする放土状態監視装置。
5. 請求項１に記載の放土状態監視装置において、
   前記ベッセル起立判定部は、前記現在および過去の後方映像内の上側の一部領域に、前記自車形状情報保持部に保持される前記車体の形状情報から算出されるベッセル起立判定領域を設定するとともに、前記記憶部が記録した過去の後方映像と前記後方映像入力部が取得した現在の後方映像を用いて、前記ベッセル起立判定領域内の各ピクセルが持つ画素値の時間変化を算出することで、前記ベッセル起立判定領域内にて画素値の時間変化があったピクセルの位置や個数の時間差分を算出して、前記時間差分が予め定めた閾値以上発生した場合には前記ベッセルが起立し放土中または放土終了となったことを判定することを特徴とする放土状態監視装置。

Images