JP6802196B2 - 運搬車両 - Google Patents

Description

本発明は、運搬車両の周囲を監視する技術に関する。

車両近傍に存在する物体との接触を回避するため、カメラを車両周囲に配置して映像を運転者に提示し、また近傍に物体が存在する場合は通知する技術がある。この技術を、鉱山で作業を行う大型ダンプトラックなどの運搬車両に適用させ、車両上方に視点を設けた俯瞰画像に変換して運転者に提示する車両周囲検知システムが知られている。

俯瞰画像を運転者に提示するシステムでは、俯瞰画像に変換する際に、映像の一部を除去することから、除去した箇所が死角となり安全性が低下する。これに対し、俯瞰映像として表示されない箇所においても物体の検知を行うとともに、その結果を運転者に報知するシステムが考案されている（例えば特許文献１）。

特開２０１５−６５５１５号公報

大型の運搬車両では、タイヤのサイズ（直径２ｍ以上）に応じて車体下に広い空間が形成される。したがって大型の運搬車両では、安全な作業を確保するために、車体下の空間に物体が潜り込んでいないことを確認することが重要となる。上記特許文献１の技術では、運搬車両の車体で遮られることにより車体下部を撮像することができず、車体下に存在する物体に関して報知することができない。

また、車体の底面下部にカメラなどの撮像部を別途設け、この撮像部からの映像を監視することで、車体下の領域についても、物体が存在する場合に報知する態様も考えられる。しかしながら、舗装されていない路面を走行する運搬車両では、跳ね返りなどによって石や土砂が撮像部に接触し、損傷、破損する可能性が非常に高いため、頻繁に撮像部を交換することになる。

本発明は、このような課題に鑑みてなされたものであり、運搬車両の車体下に物体が存在する場合でも適切に報知を行うことができる技術を提供することを目的とする。

上記課題を解決するために、代表的な本発明の運搬車両は、運搬車両の周囲を撮像するカメラと、警報器と、コンピュータにより構成され、前記カメラと前記警報器とに接続されており、前記カメラにより撮像される周囲画像を、前記カメラのフレームレートに基づき時系列に沿って連続して取得する周囲監視装置とを備える運搬車両であって、前記周囲監視装置は、各フレームを構成する周囲画像から、障害物が撮像された障害物領域を抽出する障害物領域抽出部と、前記障害物領域を構成する画素の座標値から、代表となる座標値である障害物座標値を設定する座標設定部と、前記周囲画像において、前記運搬車両が撮像された車両領域の外郭形状に基づき設定される第１領域の境界を示す第１境界座標値を記憶する境界座標記憶部と、前記障害物座標値と、前記第１境界座標値とを比較し、前記第１領域内に前記障害物座標値が含まれている否かの比較結果を出力する座標比較部と、前記座標比較部による比較結果を一時的に記憶する一時記憶部と、前記一時記憶部から今回および前回のフレームに対する比較結果をそれぞれ取得し、これら比較結果の時系列変化に基づき、前記運搬車両の車体下に前記障害物が潜り込んだかを判定する潜り込み判定部と、前記障害物が潜り込んだと判定される場合、前記警報器に対して報知指示を出力する警報出力部と、を備えることを特徴とする。

本発明によれば、運搬車両の車体下に物体が存在する場合でも、適切に報知を行うことができるため、安全性の向上を図ることができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

実施形態の運搬車両の側面を示す図である。 実施形態のカメラの配置例、およびカメラが撮影した画像を例示する図である。 実施形態の周囲監視装置のハードウェア構成の一例を示す図である。 第１実施形態の周囲監視装置のブロック構成の一例を示す図である。 第１実施形態の動作例を示すフローチャートである。 実施形態の第１領域および第２領域を例示する図である。 障害物が第１領域から車体下に移動した場合の例を示す図である。 障害物が第１領域から第２領域に移動した場合の例を示す図である。 第１実施形態の潜り込み判定処理の動作例を示すフローチャートである。 第１実施形態の警報器の表示例を示す模式図である。 第２実施形態の周囲監視装置のブロック構成の一例を示す図である。 第２実施形態の動作例を示すフローチャートである。 障害物が接近してくる場合の例を示す図である。 車体下に存在していた障害物が離脱する場合の例を示す図である。 第２実施形態の離脱判定の動作例を示すフローチャートである。 車体下に存在する障害物の数を算出する動作例を示すフローチャートである。 第２実施形態の警報器の表示例を示す図である。 第３実施形態の潜り込み判定について説明するための図である。 第３実施形態の潜り込み判定の動作例を示すフローチャートである。 第３実施形態の離脱判定について説明するための図である。 第３実施形態の離脱判定について説明するための図である。 第３実施形態の離脱判定の動作例を示すフローチャートである。 俯瞰合成画像に第１領域、第２領域を設けた場合を例示する図である。 障害物が自車両の左後方に存在する場合の撮像状態を示した図である。

以下、本実施形態の態様を図面を参照しながら説明する。以下の説明では、鉱山などで採掘した砕石や鉱物を運搬する、大型の運搬車両に適用した場合を例にしている。尚、大型の運搬車両に限定されるものではなく、他の建設機械や一般車両などにも、本実施形態の態様を適用させることができる。

（第１実施形態）
＜運搬車両構成概要＞
図１は、実施形態の運搬車両を例示する側面図である。図１に示す運搬車両１は、大型ダンプトラックであり、頑丈なフレーム構造で形成された車体フレーム２（vehicle frame）と、車体フレーム２上に起伏可能に搭載されたベッセル（vessel:荷台）３とを備える。また運搬車両１は、車体フレーム２に装着された、前方を照らすライト４Ｃ、左右一対の前輪４Ａ、および後輪４Ｂを主に備えている。また車体フレーム２には、後輪４Ｂを駆動するエンジン（図示せず）が配設されている。エンジンは、例えば、エンジン制御装置（以下ＥＣＵという）を備え、ＥＣＵからの指令信号に基づき、供給される燃料流量が制御されることで、その回転数が制御されている。

ベッセル３は、砕石物などの荷物を積載するために設けられた容器であり、ピン結合部５などを介して車体フレーム２に対して起伏可能に連結されている。ベッセル３の下部には、車両の幅方向に所定の間隔を介して２つのホイストシリンダ６が設けられている。ホイストシリンダ６に圧油が供給／排出されると、ホイストシリンダ６が伸長／縮短してベッセル３が起伏される。

ベッセル３の前部には庇部７が設けられている。庇部７は、その下側（すなわち車体フレーム２の前部）に設けられた運転室８を岩石等の飛散物から保護するとともに、車両転倒時などに運転室８を保護する機能を備えている。運転室８の内部には、周囲監視装置１００と、警報器１０とが設けられている。また運転室８の内部には、操作装置である操舵用のハンドル（図示せず）、アクセルペダルおよびブレーキペダルなど（図示せず）とが設けられている。

周囲監視装置１００は、カメラ（図１のカメラ３０２など）および警報器１０と接続しているコンピュータであり、その詳細構成については後述する。警報器１０は、本実施形態では、平面のディスプレイにタッチパネルの入力部が積層配置されたタッチパネルディスプレイとする。警報器１０は、カメラ（図１のカメラ３０２など）が撮像したフレームを、連続して運搬車両１の運転者に表示したり、タッチパネル上での接触を検出し、その位置を特定して周囲監視装置１００に出力する。また警報器１０には、スピーカが内蔵されており、音声による操作案内を出力したり、注意喚起を促すためのアラーム報知を行う。警報器１０は、ディスプレイに映像を映し出すことによる報知やスピーカによる音声報知を行う報知部として機能する。

以下、参考までに、大型ダンプトラックの仕様寸法などを例示する。ダンプ種別によってサイズが異なるが、いずれにしても、通常の一般車両よりも規模の大きな構成となっており、運搬車両１の下部の空間である車体下９には、地表面から車体フレーム２の底部まで高さ１ｍ程度の、人などが容易に立ち入ることができる広めの空間が形成される。
・車両総質量・・・３２０ｔｏｎｓ〜５００ｔｏｎｓ
・ボディ容量（山積状態時）・・・１２０ｍ^３〜２００ｍ^３
・全長・・・１３．０ｍ〜１５．０ｍ
・全幅・・・９．０ｍ〜９．６ｍ
・全高・・・７．０ｍ〜７．５ｍ

＜カメラ映像概要＞
図２は、本実施形態のカメラの配置を示す図である。図２において、運搬車両１の車体フレーム２の前側面と後側面とには、運搬車両１の前方を広角レンズで撮影する前方カメラ３０１と、後方を広角レンズで撮影する後方カメラ３０３とが設けられている。また、車体フレーム２の左側面と右側面とには、運搬車両１の左方向を広角レンズで撮影する左方向カメラ３０２と、右方向を広角レンズで撮影する右方向カメラ３０４とが設けられている。カメラ３０１〜３０４は、広角レンズを介して得られた像の明暗を、電荷量に変換し、電気信号として画像を出力するＣＣＤ（Charge Coupled Device）デバイスを備える撮像部である。上記のとおりカメラ３０１〜３０４が配置されることで、本実施形態では、運搬車両１の四方周囲を、カメラ３０１〜３０４のフレームレートに従い撮像し、その連続したフレーム画像を運転者に提示したり、後述の俯瞰画像などを提示したりすることができる。尚、夜間作業や明りの少ない坑道を走行する際にも、好適な光量を得て周囲状況を撮像するため、撮像方向を照らすライトなどが備えられてもよい。

図２には、各カメラ３０１〜３０４がそれぞれ撮影した周囲画像４０１〜４０４も示されている。周囲画像４０１は前方カメラ３０１が撮影した前方映像であり、周囲画像４０２は左方向カメラ３０２が撮影した左方向映像である。周囲画像４０３は後方カメラ３０３が撮影した後方映像であり、周囲画像４０４は右方向カメラ３０４が撮影した右方向映像である。

周囲画像４０１〜４０４は、それぞれ広角レンズで撮影されるため、各画像の上方に位置する遠方の地平線が湾曲状態に映し出される。また各映像の下方には、カメラ３０１〜３０４のそれぞれの位置に応じて、車体フレーム２の右側ライト４Ｃ（Ｒ）、左側ライト４Ｃ（Ｌ）、右側前輪４Ａ（Ｒ）、左側前輪４Ａ（Ｌ）、右側後輪４Ｂ（Ｒ）、左側後輪４Ｂ（Ｌ）が映し出される。

＜周囲監視装置のシステム構成＞
図３は、周囲監視装置１００のハードウェア構成例を示す図である。周囲監視装置１００は、上記のとおりコンピュータシステムであり、カメラ３０１〜３０４、警報器１０などの周辺機器を統括的に制御する機能を備える。周囲監視装置１００は、以下の構成を備えている。

ＣＰＵ１５１（ＣＰＵ：Central Processing Unit）は、ＲＯＭ１５３やストレージ１５４に記憶されているプログラムを、ＲＡＭ１５２に展開して演算実行する処理装置である。ＣＰＵ１５１は、プログラムを演算実行することで、周囲監視装置１００の内部の各ハードウェアを統括的に制御する。ＲＡＭ１５２は揮発性メモリであり、ＣＰＵ１５１との間で直接的にデータの入出力を行うワークメモリである。ＲＡＭ１５２は、ＣＰＵ１５１がプログラムを演算実行している間、必要なデータを一時的に記憶する。

ＲＯＭ１５３は不揮発性メモリであり、ＣＰＵ１５１で実行されるファームウェアを記憶している。ストレージ１５４は、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ハードディスクドライブなどの補助記憶装置である。ストレージ１５４は、ＣＰＵ１５１が演算実行するプログラムや、パラメータなどの制御データを不揮発的に記憶する。ストレージ１５４は、カメラ３０１〜３０４で撮像された画像などを蓄積してもよい。

映像入力Ｉ／Ｆ１５５は、カメラ３０１〜３０４のそれぞれに撮像指示信号を出力し、またカメラ３０１〜３０４で撮像された映像を入力するインターフェイスである。映像入力Ｉ／Ｆ１５５は、本実施形態では、例えばＵＳＢ（Universal Serial Bus）規格に準拠したシリアルバス端子を備え、この規格に準拠したデータの送受信を行うものとする。モニタＩ／Ｆ１５６は、表示用の画像や音声データを警報器１０に出力し、また警報器１０から運転者がタッチした接触位置を示した信号を入力するためのインターフェイスである。

周囲監視装置１００は、上記のような構成を備えているが、構成の一部もしくは全てを、例えばＡＳＩＣ（application specific integrated circuit）などの集積回路で実装してもよい。尚、一部もしくは全てが集積回路などで実装されている場合においても、当該構成はコンピュータの一形態とみなされる。

図４は、周囲監視装置１００の機能ブロックの構成例を示す図である。周囲監視装置１００は、障害物領域抽出部１０１、座標設定部１０２、障害物情報記憶部１０３、識別情報付加部１０４を有する。また周囲監視装置１００は、座標比較部１０５、境界座標記憶部１０６、潜り込み判定部１０７、一時記憶部１７１、上方視点変換部１０８、画像合成部１０９、俯瞰合成画像構築部１１０、警報出力部１１１を備える。図４の周囲監視装置１００内の各ユニットは、図２に示すＣＰＵ１５１が、ＲＯＭ１５３やストレージ１５４に記憶されているプログラムおよびデータを、ＲＡＭ１５２に展開して演算実行し、プログラムコードに従い各種ハードウェアと協働することで実現される。また各ユニットは、カメラ３０１〜３０４のフレームレートに基づき、フレームごとに連続して処理を行う。

障害物領域抽出部１０１は、カメラ３０１〜３０４が撮像したフレームを構成する周囲画像４０１〜４０４を取得し、画像内に物体が映し出されている場合に、当該物体が撮像された障害物領域を抽出する。障害物領域抽出部１０１は、障害物領域の形状などを判別するための特徴点（画像内の座標値）を、座標設定部１０２に出力する。尚、複数の障害物が検知される場合、障害物領域それぞれの特徴点を座標設定部１０２に出力する。

座標設定部１０２は、障害物領域を構成する画素の座標値から、代表値となる障害物座標値を設定する。本実施形態では、障害物とみなされた領域を構成する各特徴点の重心位置の座標を、障害物座標値とする。座標設定部１０２は、障害物領域の特徴点、および障害物座標値を、識別情報付加部１０４に出力する。

識別情報付加部１０４は、障害物領域の特徴点、および障害物座標値を入力し、これらに対応付けて一意となる識別情報を付加する。この識別情報を、障害物ＩＤと称する。識別情報付加部１０４は、障害物ＩＤ、特徴点、障害物座標値とを対応付けて、障害物情報記憶部１０３に記憶する。そして識別情報付加部１０４は、障害物ＩＤ、障害物座標値を対応付けて、座標比較部１０５および俯瞰合成画像構築部１１０に出力する。

障害物情報記憶部１０３は、障害物ＩＤ、特徴点、障害物座標値を対応付けて、これらを規定のフレーム数分、時系列に記憶する記憶部である。障害物情報記憶部１０３に記憶されている情報は、過去のフレーム内の障害物と今回のフレーム内の障害物とが同じであるかを判別するために用いられる。

識別情報付加部１０４は、今回得た特徴点が、障害物情報記憶部１０３に既に記憶されている特徴点と一致もしくは近似している場合、すなわち、双方で同じ障害物と認められる場合は、過去に割り振った障害物ＩＤと同じＩＤを付加するものとする。

座標比較部１０５は、境界座標記憶部１０６に記憶されている、車体近傍の領域（後述の第１領域４１６、第２領域４１７）の境界を示す境界座標値を取得する。座標比較部１０５は、障害物ＩＤごとに、取得した境界座標値と識別情報付加部１０４から入力する障害物座標値とを比較し、当該領域内に障害物座標値が含まれているか否かを比較する。座標比較部１０５は、比較結果を、障害物ＩＤに対応付けて潜り込み判定部１０７に出力する。

境界座標記憶部１０６は、上記のとおり車体近傍の領域の境界を示している境界座標値を記憶しており、座標比較部１０５からの要求に従い、境界座標値を座標比較部１０５に出力する。

上記の障害物領域抽出部１０１、座標設定部１０２、識別情報付加部１０４、座標比較部１０５の動作は、カメラ３０１〜３０４のフレームレートに基づき連続して行われ、また割り振られる障害物ＩＤごとに行われる。

潜り込み判定部１０７は、フレームレートに基づき、時系列に沿って連続して障害物ＩＤと比較結果とを座標比較部１０５から入力する。潜り込み判定部１０７は、今回の処理対象フレームに関する障害物ＩＤと比較結果とのセットを、座標比較部１０５から取得し、今回の処理対象フレームの一つ前のフレームの障害物ＩＤと比較結果とのセットを、一時記憶部１７１から取得する。潜り込み判定部１０７は、このようにして得られる連続したフレームの時系列変化に基づき、障害物が車体下９に潜り込んだか否かを、障害物ＩＤごとに判定する。潜り込んだと判定する場合、潜り込み判定部１０７は、このことを示す情報（以下、潜り込み情報と称する）を、俯瞰合成画像構築部１１０に出力する。また今回処理対象のフレームに関する障害物ＩＤと比較結果とのセットを、次回の処理のため一時記憶部１７１に記憶する。

一時記憶部１７１は、前回処理したフレームに対しての座標比較部１０５による比較結果を、一時的に記憶するバッファ記憶領域である。一時記憶部１７１は、今回の処理対象の一つ前のフレームに関する障害物ＩＤと比較結果とを記憶する。

上方視点変換部１０８は、カメラ３０１〜３０４が撮像した画像データを、上方視点となる画像、すなわち運搬車両１を上方から視認したとする画像となるように、ピクセルごとに座標変換を行う。上方視点変換部１０８は、カメラ３０１〜３０４の前後左右の各位置に応じた変換パラメータを用いて、各カメラ３０１〜３０４より得られた撮像画像を、上方視点となる画像にそれぞれ変換する。

画像合成部１０９は、上方視点変換部１０８によって座標変換された前後左右の各画像をつなぎ合わせて、運搬車両１を中心とした１つの俯瞰画像を作成する。画像合成部１０９は、上方視点変換部１０８によって座標変換された画像から、ひずみの大きい端部領域などを除去し、これらを繋ぎ合わせて俯瞰画像を作成する。尚、上方視点変換部１０８や画像合成部１０９の各機能については、既存の技術を用いてもよい。

俯瞰合成画像構築部１１０は、画像合成部１０９が作成した俯瞰画像、座標設定部１０２が設定した、障害物ＩＤごとの障害物座標値、および潜り込み判定部１０７が出力した潜り込み情報を入力とする。俯瞰合成画像構築部１１０は、障害物座標値に基づき、検知された障害物を強調するため、マークなどを俯瞰映像に重畳させる。また、俯瞰合成画像構築部１１０は、潜り込み情報を入力すると、車体下９に障害物が潜り込んだことを強調するためのマークなどを俯瞰映像に重畳させる。このように俯瞰合成画像構築部１１０が生成された画像を、俯瞰合成画像と称する。

警報出力部１１１は、俯瞰合成画像構築部１１０が生成した俯瞰合成画像を、警報器１０に対して出力する。警報器１０は、俯瞰合成画像を表示することで、運転者に報知する。潜り込み判定部１０７によって障害物が潜り込んだと判定される場合、潜り込みを示すマークなどが俯瞰合成画像に重畳されるため、運転者は、これを確認することができる。また警報出力部１１１は、潜り込み判定部１０７によって障害物が潜り込んだと判定される場合、警報器１０に対して報知指示を出力し、警報器１０は、これを受けて音声メッセージやアラーム報知を行う。

図４に示す各ブロックは、上記のとおり、カメラ３０１〜３０４からの入力フレームごとに、同期をとりながら繰り返し処理を行う。このように繰り返し行われることで、俯瞰合成画像は連続した映像（動画）となって警報器１０に映し出される。

＜処理内容詳細＞
次に、車体下９に潜り込んだ障害物の検知と表示の具体的な処理内容について説明する。

図５は、周囲監視装置１００の動作例を示すフローチャートである。ステップＳ０１０において、障害物領域抽出部１０１、上方視点変換部１０８は、カメラ３０１〜３０４により撮影された周囲画像４０１〜４０４を取得する。

ステップＳ０２０において、障害物領域抽出部１０１は、周囲画像４０１〜４０４に映り込んでいる障害物領域の抽出処理を行う。抽出処理は、周囲画像４０１〜４０４を用いた処理であれば特に制限を設けない。障害物領域抽出部１０１は、パターンマッチングなどの画像処理技術を用いて障害物領域を抽出する。

またステップＳ０２０において、座標設定部１０２は、障害物が存在すると判定された領域の障害物座標値を設定する。尚、障害物座標値は、上記のとおり障害物領域の重心座標とするが、障害物が存在すると判定された領域内に含まれているものであれば、例えば障害物領域の端などに設定してもよい。

障害物領域が抽出された場合、識別情報付加部１０４は、上記のとおり一意となる障害物ＩＤを付与して、障害物ＩＤ、特徴点、障害物座標値を、障害物情報記憶部１０３に記憶する。識別情報付加部１０４は、障害物ＩＤと障害物座標値とを対応付けて、俯瞰合成画像構築部１１０および座標比較部１０５に出力する。

ステップＳ０３０において、座標比較部１０５は、境界座標記憶部１０６から車体近傍領域の境界座標値を取得し、境界座標値と障害物座標値とを比較する。

ステップＳ０４０において、潜り込み判定部１０７は、座標比較部１０５および一時記憶部１７１から取得した比較結果を用いて、車体下９に障害物の潜り込みが発生したか否かの判定を行う。潜り込みが発生したと判定する場合、潜り込み判定部１０７は、潜り込み情報を俯瞰合成画像構築部１１０に出力する。

ここで、潜り込み判定について説明する。図６は、潜り込み判定に用いられる車体近傍領域を例示する図である。ここでは、後方カメラ３０３が撮影した周囲画像４０３を用いて説明する。

車体近傍領域として、本実施形態では、第１領域４１６と第２領域４１７の２つの領域を設ける。第１領域４１６は、周囲画像４０３において、運搬車両１が撮像された車両領域の外郭形状と接するように設けられる。第１領域４１６は、車体下９への潜り込み経路である左右後輪４Ｂの間４５１を含むように設けられている。また第１領域４１６の横幅４５０の長さは、左右後輪４Ｂの間４５１の長さ以上となっている。

第２領域４１７は、第１領域４１６を挟んで運搬車両１の領域とは反対側において第１領域４１６を取り囲んで設定される。尚、第１領域４１６と第２領域４１７は、運搬車両１が映り込む範囲を含まないように設定される。

本実施形態の第１領域４１６は、車体、前輪、後輪を含んだ運搬車両の外郭に対し、隣接するように設けられるが、運搬車両の外郭に基づき設定されていれば、態様はこれに限定されない。例えば、運搬車両１の外郭と接しない程度に、且つ運搬車両１の外郭に沿うように第１領域４１６を設けてもよい。

図７は、車体近傍の障害物が車体フレーム２に潜り込んだ場合について説明する図である。図７（Ａ）は、任意時間における周囲画像４０３のフレーム画像を示しており、第１領域４１６、第２領域４１７も図示している。障害物４１１が車体近傍に存在するとき、その障害物座標値４１２が第１領域４１６に含まれるため、第１領域４１６での障害物４１１の検知状態は、検知（領域内に障害物座標値が含まれている状態、以下同様）である。また、第２領域４１７での障害物４１１の検知状態は、非検知（領域内に障害物座標値が含まれていない状態、以下同様）である。

図７（Ｂ）は、図７（Ａ）に示すフレームの次のフレームを示している。障害物４１１が車体の下に潜り込んだとき、図７（Ｂ）に示すフレームにおいて、第１領域４１６での障害物４１１の検知状態は、検知から非検知に遷移する。一方で、第２領域４１７での障害物４１１の検知状態は、非検知のままである。

このように、２つの連続したフレームにおいて、第１領域４１６では障害物４１１の検知状態が検知から非検知に遷移し、第２領域４１７での検知状態は非検知のままのとき、潜り込み判定部１０７は、障害物４１１が車体下９に潜り込んだと判定する。そして潜り込み判定部１０７は、潜り込みが発生したことを示す潜り込み情報を、俯瞰合成画像構築部１１０に出力する。

図８は、車体近傍の障害物４１１が車体に潜り込まない場合について説明する図である。図８（Ａ）は、任意時間における周囲画像４０３のフレーム（図７（Ａ）と同じ画像）である。障害物４１１が車体近傍に存在するとき、障害物座標値４１２が第１領域４１６に含まれるため、第１領域４１６での障害物４１１の検知状態は、検知である。一方、第２領域４１７での障害物４１１の検知状態は、非検知である。

図８（Ｂ）は、図８（Ａ）に示すフレームの次のフレームを示している。次フレームにおいて、障害物４１１が車体フレーム２から離れる方向に移動する場合、第１領域４１６での障害物４１１の検知状態は、検知から非検知に遷移する。また第２領域４１７にでの障害物４１１の検知状態は、非検知から検知に遷移する。この場合、潜り込み判定部１０７は、障害物４１１が車体フレーム２から離れる方向に移動したと判定し、潜り込み情報を俯瞰合成画像構築部１１０に出力しない。

尚、第１領域４１６に障害物４１１が存在するかについての判定手法については以下のとおりである。まずは座標比較部１０５が、第１領域４１６の境界を示す各頂点座標である第１境界座標値と、障害物４１１の障害物座標値４１２との比較を行い、比較結果（領域内での検知または非検知の結果）を、潜り込み判定部１０７に出力する。そして潜り込み判定部１０７が、この比較結果を今回の比較結果として入力し、また前回の比較結果を一時記憶部１７１から取得して、潜り込みの判定を行う。障害物４１１が第２領域４１７内に存在するかの判定も同様に、第２領域４１７の境界を示す各頂点座標である第２境界座標値と障害物４１１の障害物座標値４１２との比較により行われる。

図９は、潜り込み判定の動作例を示すフローチャートである。図９に示す判定処理は、障害物ＩＤごとに行われるものとする。

潜り込み判定部１０７は、処理対象のフレームとその一つ前のフレームの比較結果を、それぞれ座標比較部１０５および一時記憶部１７１から入力し、第１領域４１６における検知状態が検知から非検知に遷移したかを判定する（Ｓ１００）。検知から非検知に遷移した場合（Ｓ１００：Ｙｅｓ）、ステップＳ１１０に進む。遷移しなかった場合（Ｓ１００：Ｎｏ）、潜り込み判定部１０７は、当該フレームについての処理を終了し、次のフレームの処理へと進める（Ｓ１００に戻る）。尚、潜り込み判定部１０７は、次フレームの処理のため、処理終了の際に、今回処理対象としたフレームに関する障害物ＩＤおよび比較結果を、一時的に一時記憶部１７１に記憶しておく。

ステップＳ１１０において、潜り込み判定部１０７は、第２領域４１７における検知状態が非検知から検知に遷移したかを判定する（Ｓ１１０）。非検知から検知に遷移した場合（Ｓ１１０：Ｙｅｓ）、潜り込み判定部１０７は、第１領域４１６から第２領域４１７に障害物４１１が移動したものとし、当該フレームについての処理を終了して次フレーム画像の処理へと進める。遷移せずに非検知のままである場合（Ｓ１１０：Ｎｏ）、潜り込み判定部１０７は、潜り込みが発生したと判定し、潜り込み情報を障害物ＩＤに対応付けて俯瞰合成画像構築部１１０に出力する（Ｓ１２０）。その後、当該フレーム画像についての処理を終了して次フレーム画像の処理へと進める。

図５のフローチャートの説明に戻る。ステップＳ０５０において、上方視点変換部１０８は、カメラ３０１〜３０４より取得した周囲画像４０１〜４０４の画像が上方視点となるように変換する。そして画像合成部１０９が、座標変換された前後左右の各画像をつなぎ合わせて、運搬車両１を中心とした１つの俯瞰画像を作成する。

次いでステップＳ０６０において、俯瞰合成画像構築部１１０は、入力した障害物座標値４１２を俯瞰画像に合致するように座標変換することで、俯瞰画像内に映し出された障害物４１１の領域に、強調表示マーク（後述）を重畳させる。また俯瞰合成画像構築部１１０は、潜り込み判定部１０７から入力した潜り込み情報を基に、障害物４１１の潜り込みが発生したことを示す車体下情報表示マーク（後述）を俯瞰画像に重畳させて、俯瞰合成画像を生成する。

ステップＳ０７０において、警報出力部１１１は、このようにして生成された俯瞰合成画像を警報器１０に出力する。警報器１０は、俯瞰合成画像を映像出力することで、車体周囲の情報を運転者に提供する。また障害物４１１が車体下９に潜り込んでいる場合、車体下情報表示マークを提示することで、これを報知する。

図１０は、最終的に生成される俯瞰合成画像の一例を示した模式図である。上方視点変換部１０８は、入力した周囲画像４０１〜４０４のそれぞれに対し、必要な範囲の切り出しと座標変換を行い、俯瞰前方画像４０６、俯瞰左方向画像４０７、俯瞰後方画像４０８、俯瞰右方向画像４０９を生成する。その後画像合成部１０９は、俯瞰前方画像４０６、俯瞰左方向画像４０７、俯瞰後方画像４０８、俯瞰右方向画像４０９を運搬車両１の方向に応じた位置に配置する。そして俯瞰合成画像構築部１１０は、中央に車体アイコン４１０を重畳することで俯瞰合成画像４０５を生成する。

また俯瞰合成画像構築部１１０は、入力した障害物座標値４１２を基に、障害物４１１を囲む矩形状の強調表示マーク４１３を付加する。俯瞰合成画像構築部１１０は、入力された潜り込み情報を基に、潜り込みが発生したことを示す車体下情報表示マーク４１４を、俯瞰合成画像４０５に重畳させる。尚、本実施形態では、車体下情報表示マーク４１４としてエクスクラメーションマークを示しているが、車体アイコン４１０の色を変更したり、文章を表示したり、音声によるメッセージ出力により報知を行ってもよい。また、潜り込みが発生した方向を矢印で示したり、経過時間に応じて車体下情報表示マーク４１４の表示形態を切り替えてもよい。

俯瞰合成画像構築部１１０は、切り出し処理の都合で俯瞰合成画像４０５には映らないが周囲画像４０１〜４０４には映っている障害物４１１がある場合、これらの存在も運転者に報知する。本実施形態では、車体近傍情報通知マーク４２１として三角形状のマークを付すものとする。

本実施形態により、障害物が車体下に潜り込んだ場合でも、潜り込みが発生したことを運転者に報知することができ、運転者は、車体下に障害物が存在していることを認識することができる。これにより、作業上の安全を確保するための確認作業を効率的に行うことができ、作業全体の運用効率を向上させることができる。

（第２実施形態）
第２実施形態では、車体下に今現在潜り込んでいる障害物の数をカウントし、運転者にこの数を報知する実装例について説明する。

図１１は、第２実施形態の周囲監視装置１００の機能ブロックの構成例を示す図である。第２実施形態の周囲監視装置１００は、離脱判定部１２０、潜り込み数算出部１２１をさらに備える。これら以外の機能ブロックについては、第１実施形態で説明した機能ブロックを流用して説明する。

座標比較部１０５は、第１実施形態の機能に加え、障害物ＩＤと比較結果とを離脱判定部１２０に出力する。潜り込み判定部１０７は、第１実施形態の機能を備えるが、潜り込み情報の出力先が潜り込み数算出部１２１となる。

離脱判定部１２０は、座標比較部１０５の比較結果に基づき、車体下９に潜り込んでいた障害物４１１が車体下９から離脱したか否かを判定する。離脱したと判定する場合、離脱判定部１２０は、このことを示す離脱情報を、潜り込み数算出部１２１に出力する。

潜り込み数算出部１２１は、潜り込み判定部１０７から入力した潜り込み情報と、離脱判定部１２０から入力した離脱情報とから、車体下９に今現在潜り込んでいる障害物の数を算出する。その後、算出した障害物の数を俯瞰合成画像構築部１１０に出力する。

俯瞰合成画像構築部１１０は、第１実施形態の機能に加え、潜り込み数算出部１２１から障害物の数を入力し、障害物の数を俯瞰合成画像に重畳し、この画像を警報器１０に出力する。

図１２は、第２実施形態における処理内容を示すフローチャートである。ステップＳ０１０、Ｓ０２０の周囲画像の入力、検知処理については、第１実施形態と同様である。ステップＳ０３０については、座標比較部１０５は、比較結果（第１領域４１６、第２領域４１７それぞれでの検知または非検知の結果）を、障害物ＩＤに対応付けて潜り込み判定部１０７および離脱判定部１２０に出力する。

ステップＳ０４０において、潜り込み判定部１０７は、第１実施形態と同様に座標比較部１０５から入力する比較結果を基に、潜り込みの有無を判定する。そして潜り込み判定部１０７は、潜り込み情報を潜り込み数算出部１２１に出力する。

ステップＳ０４１において、離脱判定部１２０は、座標比較部１０５から入力する比較結果を基に、車体下９から障害物４１１が離脱したか否かを判定し、離脱したと判定する場合、離脱情報を潜り込み数算出部１２１に出力する。

離脱したか否かの判定方法について、図１３および図１４を用いて説明する。図１３は、車体外部から障害物４１１が接近してくる場合の例を示す図である。また図１３（Ａ）は、任意時間における周囲画像４０３のフレームであり、図１３（Ｂ）は、図１３（Ａ）の次のフレームである。

障害物４１１が車体フレーム２に接近してくるとき、まずは第２領域４１７に障害物座標値４１２が含まれるようになる（図１３（Ａ）参照）。このときの第２領域４１７における障害物４１１の検知状態は、検知となる。次に、障害物４１１が車体フレーム２にさらに接近したとき、図１３（Ｂ）に示すように、第１領域４１６に障害物座標値４１２が含まれるようになるため、第１領域４１６における障害物４１１の検知状態は、非検知から検知に遷移する。一方、第２領域４１７における障害物４１１の検知状態は、検知から非検知に遷移する。

図１４は、車体下９に存在していた障害物４１１が車体下９から離脱した場合について示している。また図１４（Ａ）は、任意時間における周囲画像４０３のフレーム画像であり、図１４（Ｂ）は、図１４（Ａ）の次のフレーム画像である。

障害物４１１が車体下９に存在するとき（図１４（Ａ）参照）、障害物座標値４１２は、第１領域４１６および第２領域４１７に含まれない。よって、第１領域４１６および第２領域４１７における検知状態は、いずれも非検知である。次に、障害物４１１が車体下９から離脱したとき（図１４（Ｂ）参照）、第１領域４１６における障害物４１１の検知状態は、非検知から検知に遷移する。また第２領域４１７における障害物４１１の検知状態は、非検知のままである。

以上のことから、第１領域４１６の検知状態が非検知から検知に遷移した場合において、第２領域４１７の検知状態が非検知のままであるかを判定することで、障害物４１１が車体下９から離脱したか否かを判別することができる。

図１５は、第２実施形態の離脱判定の動作例を示すフローチャートである。尚、このフローチャートに示す判定処理は、障害物ＩＤごとに行われるものとする。

離脱判定部１２０は、座標比較部１０５および一時記憶部１７１から、第１領域４１６に対する今回および前回のフレームそれぞれの比較結果を取得する。そしてこれらに基づき、離脱判定部１２０は、第１領域４１６において検知状態が非検知から検知に遷移したかどうかを判定する（Ｓ２００）。非検知から検知に遷移した場合（Ｓ２００：Ｙｅｓ）、離脱判定部１２０はステップＳ２１０に処理を進める。遷移しなかった場合（Ｓ２００：Ｎｏ）、処理は終了となる。

離脱判定部１２０は、座標比較部１０５、一時記憶部１７１から、第２領域４１７に対する今回および前回のフレームの比較結果を、それぞれ取得する。そして離脱判定部１２０は、これら比較結果に基づき、第２領域４１７において検知状態が検知から非検知に遷移したかを判定する（Ｓ２１０）。検知から非検知に遷移した場合（Ｓ２１０：Ｙｅｓ）、離脱判定部１２０は、第２領域４１７から第１領域４１６に障害物４１１が移動したと判定し、処理を終了する。遷移しなかった場合（Ｓ２１０：Ｎｏ）、離脱判定部１２０は、障害物４１１が車体下９から第１領域４１６へ離脱したものと判定し、離脱情報を障害物ＩＤに対応付けて潜り込み数算出部１２１に出力し（Ｓ２２０）、処理を終了する。離脱判定部１２０は、次回処理のため、今回の処理対象フレームでの比較結果などを、必要に応じて一時記憶部１７１に記憶する。

図１２のフローチャートの説明に戻る。次いでステップＳ０４２において、潜り込み数算出部１２１は、潜り込み判定部１０７および離脱判定部１２０の判定結果（潜り込み情報、離脱情報）を基に、車体下９に存在する障害物４１１の数を算出し、俯瞰合成画像構築部１１０に出力する。

図１６は、潜り込み数算出部１２１による、車体下９に存在する障害物４１１の数を算出する動作例を示したフローチャートである。潜り込み数算出部１２１は、潜り込み判定部１０７からの潜り込み情報を入力したかを判定すことで、新たに潜り込みが発生したか否かを判定する（Ｓ３００）。潜り込みが発生していない場合（Ｓ３００：Ｎｏ）、潜り込み数算出部１２１は、処理をステップＳ３２０に進める。新たに潜り込みが発生した場合（Ｓ３００：Ｙｅｓ）、潜り込み数算出部１２１は、車体下障害物数のカウントを１つ追加して（Ｓ３１０）、処理をステップＳ３２０に進める。尚、車体下障害物数は、車体下９に存在する障害物４１１の数を数えるための変数である。

次いで潜り込み数算出部１２１は、離脱判定部１２０からの離脱情報を入力したかを判定することで、新たに離脱が発生したか否かを判定する（Ｓ３２０）。離脱が発生していない場合（Ｓ３２０：Ｎｏ）、潜り込み数算出部１２１は、処理をステップＳ３４０に進める。新たに離脱が発生した場合（Ｓ３２０：Ｙｅｓ）、潜り込み数算出部１２１は、車体下障害物数のカウントを１つ減らして（Ｓ３３０）、処理をステップＳ３４０に進める。尚、システムが起動する以前に、既に車体下９に潜り込んでいる障害物４１１については検出できないため、車体下障害物数は負の値を取らないこととする。

潜り込み数算出部１２１は、車体下障害物数が１以上かどうかを判定する（Ｓ３４０）。車体下障害物数がゼロの場合（Ｓ３４０：Ｎｏ）、処理はこのまま終了する（Ｓ３００に戻る）。車体下障害物数が１以上である場合（Ｓ３４０：Ｙｅｓ）、潜り込み数算出部１２１は、車体下障害物数に設定されている数値を、俯瞰合成画像構築部１１０に出力し（Ｓ３５０）、処理を終了する（Ｓ３００に戻る）。尚、車体下障害物数４１９がゼロのときにも、車体下障害物数がゼロであることを示す情報を俯瞰合成画像構築部１１０に出力しても構わない。

図１２の説明に戻る。ステップＳ０５０では、上方視点変換部１０８および画像合成部１０９が第１実施形態と同様処理により俯瞰画像を生成する。またステップＳ０６０では、俯瞰合成画像構築部１１０が、第１実施形態と同様処理により俯瞰合成画像を生成するが、第２実施形態では、さらに潜り込み数算出部１２１から入力された車体下障害物数も、俯瞰合成画像に付与する。ステップＳ０７０では、警報出力部１１１は、車体下障害物数の値が含まれている俯瞰合成画像を、警報器１０へ出力する。警報器１０は、この俯瞰合成画像を映像出力することで、運転者に報知する。

図１７は、第２実施形態の俯瞰合成画像４０５の一例を示す模式図である。第２実施形態の俯瞰合成画像４０５には、車体下障害物数を表示する欄４１８が付与されている。また、車体下障害物数がゼロのとき、もしくは離脱判定によりゼロになったとき、警報器１０は、欄４１８を表示しない。車体下障害物数が１以上の場合、欄４１８に車体下障害物数が表示され、運転者に報知される。

尚、第２実施形態では、俯瞰合成画像構築部１１０は、潜り込み情報を取得しない代わりに、車体下障害物数の値に基づき、潜り込みが発生していることを示す車体下情報表示マーク４１４を重畳する。

第２実施形態により、今現在車体下に潜り込んでいる障害物の数を運転者に報知することが可能となり、運転者は、より詳細な状況を把握することができる。

（第３実施形態）
第３実施形態では、第１、第２実施形態で説明した潜り込み判定および離脱判定の別形態について説明する。第３実施形態では、過去の障害物座標値（ｔ−１）と現在の障害物座標値（ｔ）とを結んだ移動経路を用いる方法により、潜り込み判定および離脱判定を行う。尚、第３実施形態では、第１、第２実施形態で説明した機能ブロックをそのまま流用して説明する。

まずは第３実施形態の潜り込み判定について説明する。図１８は、障害物４１１が車体下９に潜り込んだときの状況を説明する図である。また図１８（Ａ）は過去（ｔ−１）のフレーム画像の模式図とし、図１８（Ｂ）は現在（ｔ）のフレーム画像（図１８（Ａ）の次のフレーム画像）の模式図とする。

図１８（Ａ）において、障害物４１１が車体近傍に存在するとき、過去（ｔ−１）の障害物座標値４２２は第１領域４１６に含まれるため、第１領域４１６での検知状態は、検知である。

次のフレーム画像である図１８（Ｂ）において、障害物４１１（実線で示される障害物４１１）が車体から離れていったとき、障害物座標値４２２は第１領域４１６に含まれなくなるため、第１領域４１６での検知状態は、検知から非検知に遷移する。このとき、過去（ｔ−１）の障害物座標値４２２と現在（ｔ）の障害物座標値４２３Ａを結んだ移動経路４２４は、第１領域４１６の境界と交差する。

一方、障害物４１１が車体下９に潜り込んだときは、障害物閾値（破線で示される障害物４１１）は第１領域４１６に含まれなくなるため、第１領域４１６における検知状態は、検知から非検知に遷移する。また、障害物４１１が完全に潜り込む場合は、カメラ３０３と障害物４１１との間に車体フレーム２が入り込むため、障害物４１１に対する撮像が遮られ、周囲画像４０３には障害物４１１が映らなくなる。よって、障害物４１１の現在（ｔ）の障害物座標値を設けることができないため、移動経路が形成されず、第１領域４１６の境界とは交差しないこととなる。

尚、カメラ３０３による撮像タイミングが車体フレーム２により遮られる直前であっても、図１８（Ｂ）に示すように、障害物４１１の障害物座標値は、検知状態が検知から非検知に遷移する直前の障害物座標値４２３Ｂとなる。この場合においても、過去（ｔ−１）の障害物座標値４２２と現在（ｔ）の障害物座標値４２３を結んだ移動経路４２４は、第１領域４１６の境界と交差しない。

以上のことから、過去（ｔ−１）の障害物座標値４２２と現在（ｔ）の障害物座標値４２３とを結んだ移動経路４２４が、第１領域４１６の境界と交差するかを判定することで、障害物４１１が車体下９に潜り込んだかの判定を行うことができる。

図１９は、第３実施形態の潜り込み判定のフローチャートである。尚、ここでの説明では、潜り込み判定部１０７は、障害物ＩＤ、比較結果に加え、障害物座標値も座標比較部１０５から入力し、前回フレームにおける障害物ＩＤ、比較結果、障害物座標値を一時記憶部１７１から取得する。また図１９の処理後、潜り込み判定部１０７は、次回処理のために一時記憶部１７１に今回の処理対象フレームでの障害物ＩＤ、比較結果、障害物座標値を記憶する。これらの動作は、後述の図２２でも同様である。

第３実施形態の潜り込み判定部１０７は、座標比較部１０５の比較結果を受けて、第１領域４１６における検知状態が検知から非検知に遷移したかを判定する（Ｓ４００）。検知状態が検知から非検知に遷移していない場合（Ｓ４００：Ｎｏ）、潜り込み判定部１０７は、障害物４１１が第１領域４１６から移動していないと判定し、処理を終了する。

第１領域４１６における検知状態が検知から非検知に遷移した場合（Ｓ４００：Ｙｅｓ）、潜り込み判定部１０７は、過去（ｔ−１）および現在（ｔ）の各障害物座標値を結んだ移動経路４２４が、第１領域４１６の境界と交差するかを判定する（Ｓ４１０）。交差している場合（Ｓ４１０：Ｙｅｓ）、潜り込み判定部１０７は、障害物４１１の潜り込みが発生していないと判定し、処理を終了する。一方、第１領域４１６の境界と障害物４１１の移動経路４２４とが交差していない場合（Ｓ４１０：Ｎｏ）、潜り込み判定部１０７は、障害物４１１の潜り込みが発生したと判定し、潜り込み情報を出力して（Ｓ４２０）、処理を終了する。

次に、第３実施形態の離脱判定について説明する。図２０は、障害物４１１が車体下９から離脱したときを示す図である。また図２０（Ａ）は過去（ｔ−１）のフレーム画像の模式図とし、図２０（Ｂ）は現在（ｔ）のフレーム画像（図２０（Ａ）の次のフレーム画像）の模式図とする。

図２０（Ａ）において、障害物４１１が車体下９に存在するとき、障害物閾値は第１領域４１６に含まれないため、第１領域４１６における検知状態は、非検知である。

次に図２０（Ｂ）において、障害物４１１が車体下９から離脱したとき、障害物座標値４２３は第１領域４１６に含まれるため、第１領域４１６における障害物４１１の検知状態は、非検知から検知に遷移する。このとき、過去（ｔ−１）の障害物座標値４２２と現在（ｔ）の障害物座標値４２３を結んだ移動経路４２４は、図１８（Ｂ）を用いた上記の説明と同様の理由で、第１領域４１６の境界と交差しない。

図２１は、障害物４１１が離れた位置から車体下９に接近するときを示す図である。また図２１（Ａ）は過去（ｔ−１）のフレーム画像の模式図とし、図２１（Ｂ）は現在（ｔ）のフレーム画像（図２１（Ａ）の次のフレーム画像）の模式図とする。

図２１（Ａ）において、障害物４１１が第１領域４１６より車体下９から離れた位置に存在するとき、第１領域４１６における検知状態は、非検知である。次に障害物４１１が車体下９に接近したとき（図２１（Ｂ）参照）、現在（ｔ）の障害物座標値４２３は、第１領域４１６に含まれるため、第１領域４１６における検知状態は、非検知から検知に遷移する。このとき、過去（ｔ−１）の障害物座標値４２２と現在（ｔ）の障害物座標値４２３を結んだ移動経路４２４は、第１領域４１６の境界と交差する。

図２２は、第３実施形態における離脱判定のフローチャートである。第３実施形態の離脱判定部１２０は、座標比較部１０５の比較結果を受けて、第１領域４１６における検知状態が非検知から検知に遷移したかを判定する（Ｓ５００）。検知状態が非検知から検知に遷移していない場合（Ｓ５００：Ｎｏ）、離脱判定部１２０は、車体下９からの離脱または離れた位置からの第１領域４１６への進入が発生していないと判定し、処理を終了する。

第１領域４１６における検知状態が非検知から検知に遷移した場合（Ｓ５００：Ｙｅｓ）、離脱判定部１２０は、過去（ｔ−１）および現在（ｔ）の各障害物座標値を結んだ移動経路４２４が、第１領域４１６の境界線と交差するかを判定する（Ｓ５１０）。交差している場合（Ｓ５１０：Ｙｅｓ）、離脱判定部１２０は、離脱が発生していないと判定し、処理を終了する。第１領域４１６の境界と障害物４１１の移動経路４２４とが交差していない場合（Ｓ５１０：Ｎｏ）、離脱判定部１２０は、障害物４１１の離脱が発生したと判定し、離脱情報を出力して（Ｓ５２０）、処理を終了する。

第３実施形態の運搬車両１は、第１領域４１６で検知状態が遷移し、且つ、障害物４１１のフレーム前後の座標値を結ぶ移動経路と、第１領域４１６の境界線とが交差するか否かについて判定した。そして運搬車両１は、この判定結果に基づき、障害物４１１が潜り込んだか、離脱したかを判定した。このような態様でも、潜り込みまたは離脱を判定することができる。

（その他の実装例）
上記各実施形態では、障害物座標値を用いて、車体下への潜り込みまたは車体下からの離脱を判定しているが、障害物座標値以外を用いて判定を行ってもよい。例えば、パターンマッチングを用いる際に障害物の一部のみが検知されていると判定した場合、車体下９に障害物が潜り込みかけている、もしくは離脱しかけていると判定することができる。

上記各実施形態では、カメラから得られた周囲画像を用いて、第１領域、第２領域の車体近傍領域の設定や、潜り込み判定などを行っている。これに限らず、例えば俯瞰合成画像４０５を用いて車体近傍領域の設定および潜り込み判定を行ってもよい。図２３は、カメラ３０１〜３０４により取得された映像を座標変換した後、運搬車両１の位置に車体アイコン４１０を重畳した俯瞰合成画像４０５である。この俯瞰合成画像４０５における、車体アイコン４１０と接する領域を第１領域４１６とし、第１領域４１６の外周を囲んだ領域を第２領域４１７として設定することが考えられる。この場合、上記各実施形態の境界座標記憶部１０６は、第１領域４１６、第２領域４１７の各領域の頂点座標を記憶しておく。そして座標比較部１０５、潜り込み判定部１０７、離脱判定部１２０は、図２３に示す第１領域４１６、第２領域４１７に基づき、潜り込み判定や離脱判定を行う。

上記各実施形態では、車体近傍領域である第１領域４１６、第２領域４１７を１つずつ設定したが、この態様に限定されない。第１領域４１６および第２領域４１７の範囲および個数は本システムの用途や車体の形状に応じて適宜設定してよい。例えば車体近傍領域を１つの周囲画像４０１〜４０４に対し複数設定してもよい。また、複数のカメラ３０１〜３０４により構成されている場合において、１つもしくは複数の周囲画像４０１〜４０４に対し、車体近傍領域を１つも設定しなくてもよい。

また、車体近傍領域を用いた潜り込みの判定のみでは高い精度とならない場合、他の手法と組み合わせても構わない。一例として、いずれか１つのカメラ３０１〜３０４からでは車体に隠れているが、隣接する他のカメラからは検知できているケースが考えられる。図２４は、障害物４１１が自車両の運搬車両１の左後方に存在する状態を示した図である。周囲画像４０３において、障害物４１１の一部が自車両に重なっている一方で、周囲画像４０２においては障害物４１１は自車両と重なっていない。このとき、周囲画像４０３では障害物４１１が車体フレーム２に重なっているため潜り込み状態と判定する可能性がある。これに対し周囲画像４０２では、障害物４１１が車体フレーム２に重なっていないため、潜り込み判定とはならない。周囲監視装置１００全体としてみれば、障害物４１１はカメラ映像に映っているため、潜り込み判定を行う必要がない。この様なケースでは、複数のカメラに映る障害物４１１に対し、障害物座標値４１２もしくは移動方向情報などから、同一の障害物か否かを判定する。そして、同一の障害物である場合には、障害物４１１が映るカメラ全てで潜り込みの条件を満たしている時に限り、潜り込み状態と判定する。これにより、潜り込み判定をより正確に行うことが可能になる。

上記各実施形態では、カメラの数を４台としたが、台数はこれに限らない。検知を要する範囲や目的に応じて、適宜台数を変更することができる。

上記各実施形態の第１領域４１６は、画像内に映り込んだ運搬車両の外郭形状と接するように、もしくは運搬車両の外郭形状に沿うように設定されるものとして説明した。また第１領域４１６は、運搬車両が映り込む範囲を含まないように設定されるものとして説明した。これらのように、第１領域４１６は、各カメラ３０１〜３０３に映り込まれる、運搬車両の外郭形状に基づき規定される。

上記各実施形態の第１領域４１６、第２領域４１７は、映像のフレームレートやカメラ３０１〜３０４の向き、運搬車両１の走行速度などに応じて、適宜設定される。第１領域４１６、第２領域４１７は、連続したフレーム画像の中の少なくとも１フレームに、障害物４１１が入り込む程度の大きさに設定されていればよい。

上記各実施形態の説明において、潜り込み判定部１０７や離脱判定部１２０は、今回の処理対象フレームに関する比較結果、障害物ＩＤなどを、座標比較部１０５から直接取得し、前回のフレームに関する比較結果などを、一時記憶部１７１から取得するものとして説明した。これに対し、今回のフレームに関する比較結果なども、一時記憶部１７１を介して取得しても構わない。この場合、座標比較部１０５は、今回の処理対象フレームに関する比較結果や障害物ＩＤを含んだセットを、一時記憶部１７１に記憶する。そして潜り込み判定部１０７や離脱判定部１２０は、今回および前回のフレームに関する比較結果と障害物ＩＤとのセットを、一時記憶部１７１から取得して、各判定処理を行う。尚、上記各実施形態の説明においても、潜り込み判定部１０７や離脱判定部１２０が処理する際、自らが管理している記憶領域（自らで領域を割り当て、確保した記憶領域）に、今回のフレームに関する比較結果などを記憶している。一時記憶部に今回のフレームに関する比較結果などを記憶するとは、このように、潜り込み判定部や離脱判定部が自らで管理している記憶領域に記憶する動作も含まれる。

以上に詳説したように、本実施形態によって、運搬車両の車体下に物体が存在する場合でも、適切に報知を行うことができるため、安全性の向上を図ることができる。

尚、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１：運搬車両
１０：警報器
１００：周囲監視装置
１０１：障害物領域抽出部
１０２：座標設定部
１０３：障害物情報記憶部
１０４：識別情報付加部
１０５：座標比較部
１０６：境界座標記憶部
１０７：潜り込み判定部
１０８：上方視点変換部
１０９：画像合成部
１１０：俯瞰合成画像構築部
１１１：警報出力部
１２０：離脱判定部
１２１：込み数算出部
１７１：一時記憶部
３０１〜３０４：カメラ
４１６：第１領域
４１７：第２領域

Claims (7)

1. 運搬車両の周囲を撮像するカメラと、
   警報器と、
   コンピュータにより構成され、前記カメラと前記警報器とに接続されており、前記カメラにより撮像される周囲画像を、前記カメラのフレームレートに基づき時系列に沿って連続して取得する周囲監視装置とを備える運搬車両であって、
   前記周囲監視装置は、
   各フレームを構成する周囲画像から、障害物が撮像された障害物領域を抽出する障害物領域抽出部と、
   前記障害物領域を構成する画素の座標値から、代表となる座標値である障害物座標値を設定する座標設定部と、
   前記周囲画像において、前記運搬車両が撮像された車両領域の外郭形状に基づき設定される第１領域の境界を示す第１境界座標値を記憶する境界座標記憶部と、
   前記障害物座標値と、前記第１境界座標値とを比較し、前記第１領域内に前記障害物座標値が含まれている否かの比較結果を出力する座標比較部と、
   前記座標比較部による比較結果を一時的に記憶する一時記憶部と、
   前記一時記憶部から今回および前回のフレームに対する比較結果をそれぞれ取得し、これら比較結果の時系列変化に基づき、前記運搬車両の車体下に前記障害物が潜り込んだかを判定する潜り込み判定部と、
   前記障害物が潜り込んだと判定される場合、前記警報器に対して報知指示を出力する警報出力部と、を備えることを特徴とする運搬車両。
2. 請求項１に記載の運搬車両において、
   前記境界座標記憶部は、さらに、前記第１領域を挟んで前記車両領域とは反対側において前記第１領域を取り囲んで設定される第２領域の境界を示す第２境界座標値を記憶し、
   前記座標比較部は、さらに、前記第２境界座標値と、前記障害物座標値とを比較し、前記第２領域内に前記障害物座標値が含まれているか否かの比較結果を出力し、
   前記潜り込み判定部は、前記第１領域、前記第２領域それぞれに関する今回および前回のフレームに対する比較結果を、前記一時記憶部から取得し、これらの比較結果が、前記障害物座標値が前記第１領域内に含まれる状態から含まれない状態へ遷移するものであり、且つ、前記障害物座標値が前記第２領域内に含まれない状態のまま遷移しないものである場合、前記障害物が潜り込んだと判定することを特徴とする運搬車両。
3. 請求項１に記載の運搬車両において、
   前記潜り込み判定部は、今回および前回のフレームに対する前記比較結果を、前記一時記憶部から取得し、これらの比較結果が、前記障害物座標値が前記第１領域内に含まれる状態から含まれない状態へ遷移するものであり、且つ、前回の障害物座標値と今回の障害物座標値とを結ぶ移動経路と、前記第１領域の境界線とが交差しない場合、前記障害物が潜り込んだと判定することを特徴とする運搬車両。
4. 請求項１に記載の運搬車両において、
   さらに、前記一時記憶部から今回および前回のフレームに対する比較結果をそれぞれ取得し、これら比較結果の時系列変化に基づき、前記運搬車両の車体下から前記障害物が離脱したかを判定する離脱判定部を備えることを特徴とする運搬車両。
5. 請求項４に記載の運搬車両において、
   前記境界座標記憶部は、さらに、前記第１領域を挟んで前記車両領域とは反対側において前記第１領域を取り囲んで設定される第２領域の境界を示す第２境界座標値を記憶し、
   前記座標比較部は、さらに、前記第２境界座標値と、前記障害物座標値とを比較し、前記第２領域内に前記障害物座標値が含まれているか否かの比較結果を出力し、
   前記離脱判定部は、前記第１領域、前記第２領域それぞれに関する今回および前回のフレームに対する前記比較結果を、前記一時記憶部から取得し、これらの比較結果が、前記障害物座標値が前記第１領域内に含まれない状態から含まれる状態へ遷移するものであり、且つ、前記障害物座標値が前記第２領域内に含まれた状態から含まれない状態に遷移しないものである場合、前記障害物が離脱したと判定することを特徴とする運搬車両。
6. 請求項４に記載の運搬車両において、
   前記離脱判定部は、今回および前回のフレームに対する前記比較結果を、前記一時記憶部から取得し、これらの比較結果が、前記障害物座標値が前記第１領域内に含まれない状態から含まれる状態へ遷移するものであり、且つ、前回の障害物座標値と今回の障害物座標値とを結ぶ移動経路と、前記第１領域の境界線とが交差しない場合、前記障害物が離脱したものと判定することを特徴とする運搬車両。
7. 請求項４に記載の運搬車両において、
   前記潜り込み判定部による判定結果、および前記離脱判定部による判定結果に基づき、前記運搬車両の車体下に潜り込んでいる障害物の数を算出する潜り込み数算出部を備え、
   前記警報出力部は、前記警報器に対して前記障害物の数を出力することを特徴とする運搬車両。

Images