JP6072064B2 - 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 - Google Patents

自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 Download PDF

Info

Publication number
JP6072064B2
JP6072064B2 JP2014545734A JP2014545734A JP6072064B2 JP 6072064 B2 JP6072064 B2 JP 6072064B2 JP 2014545734 A JP2014545734 A JP 2014545734A JP 2014545734 A JP2014545734 A JP 2014545734A JP 6072064 B2 JP6072064 B2 JP 6072064B2
Authority
JP
Japan
Prior art keywords
range
image data
image
pixels
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014545734A
Other languages
English (en)
Other versions
JPWO2014073571A1 (ja
Inventor
守飛 太田
守飛 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of JPWO2014073571A1 publication Critical patent/JPWO2014073571A1/ja
Application granted granted Critical
Publication of JP6072064B2 publication Critical patent/JP6072064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P1/00—Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Description

本発明は、自走式産業機械に設けた撮影部が撮影する画像データに対して所定の画像処理を行う自走式産業機械の画像処理装置およびその画像処理方法に関するものである。
自走式産業機械には、ダンプトラック等の運搬機械や油圧ショベル等の作業機械がある。このうち、ダンプトラックは、車体のフレームに起伏可能としたベッセルを備えている。ダンプトラックのベッセルには、油圧ショベル等が掘削した掘削物が積載される。ベッセルに所定量の掘削物が積載された後に、ダンプトラックは所定の集積場まで走行されて、当該集積場で積載した掘削物が排土される。
ダンプトラックは大型の運搬車両であり、運転室に搭乗するオペレータが視認不能な多くの死角が存在する。このために、ダンプトラックにカメラを搭載して、カメラが撮影している映像を運転室のモニタに表示する。カメラはオペレータの死角となる範囲を撮影する。そして、カメラが撮影した映像をモニタに表示することで、オペレータは補助的に死角の視野を得ることができる。これにより、オペレータはダンプトラックの周囲の状況を詳細に認識することができる。
自走式産業機械には下部走行体を有する油圧ショベルがある。この油圧ショベルにもカメラを搭載して、周囲の状況を詳細に確認する。油圧ショベルのカメラが取得した映像に対して所定の画像処理を行って、障害物を認識する技術が特許文献１に開示されている。この特許文献１の技術では、油圧ショベルの作業範囲に侵入移動体が入っているか否かを画像処理により検出している。この画像処理を行うことで、侵入移動体の距離や人体としての確信度の評価を行っている。
特開平１０−７２８５１号公報
ところで、カメラには所定の視野範囲が存在しており、この視野範囲の映像が画像データとしてモニタの画面に表示される。そして、前述した特許文献１の技術のように、画像データに対して所定の画像処理を行うことで、作業員やサービスカー、他の作業機械等の障害物を検出する。これにより、運転室に搭乗するオペレータは、障害物が検出されたときに、その旨を了知することができる。
ここで、ダンプトラック等の自走式産業機械に近接した範囲は警戒を行う必要があり、この範囲を要警戒範囲とする。この要警戒範囲はダンプトラックと障害物とが接触の可能性がある範囲として設定することができる。従って、要警戒範囲の全てはカメラの視野範囲に含まれている必要がある。つまり、要警戒範囲はカメラの視野範囲の一部の範囲となる。このため、カメラの視野範囲には要警戒範囲以外の範囲が発生する。要警戒範囲以外の範囲は警戒不要範囲であり、この範囲に障害物が存在していたとしても、支障を生じることはない。つまり、オペレータに了知する必要はない。
この警戒不要範囲についてまで画像処理を行って障害物を検出すると、オペレータに認識させる必要のない情報までオペレータに報知することになり、オペレータを混乱させる要因となる。これにより、作業効率が低下する。また、警戒不要範囲はカメラの視野範囲のうち遠方の範囲となり、この範囲を画像化したときの画素は粗くなる。これにより、障害物でないものまで障害物として誤検出する可能性があり、正常な障害物の検出を行うことができなくなる。さらには、警戒不要範囲にまで画像処理を行うと、処理すべき情報量が多くなり、処理に要する時間が長くなるといった問題も生じる。
従って、カメラの視野範囲のうち要警戒範囲を設定することは重要である。ただし、カメラから取得される画像データに基づいて要警戒範囲を人手により設定することは非常に困難であり、設定する手間が著しく煩雑になる。また、ダンプトラック等の自走式産業機械は過酷な現場で運用されるため、車体の振動等により、カメラの取り付け位置や角度等にずれを生じるおそれがある。これにより、初期的に要警戒範囲の設定を行ったとしても、事後的に要警戒範囲がずれてしまい、障害物の検出を正常に行うことができなくなる。
そこで、本発明は、カメラの視野範囲のうち障害物を検出する要警戒範囲を自動的に設定し、事後的にカメラの視野範囲にずれを生じたとしても要警戒範囲にはずれを生じさせないことを目的とする。
以上の課題を解決するため、本発明の自走式産業機械の画像処理装置は、自走式産業機械に設けられ、この自走式産業機械を構成する構造物の一部を視野に含めた周辺領域を撮影する撮影部と、前記撮影部が撮影した画像データに基づいて、この画像データの中の前記構造物を検出する構造物検出部と、前記画像データのうち、周辺領域内に位置する障害物を検出し、この障害物が含まれる所定の範囲を要警戒範囲として、この要警戒範囲を前記構造物検出部が検出した前記構造物に基づいて前記画像データの中に設定する要警戒範囲設定部と、を備えている。
また、前記画像データの中の前記要警戒範囲のみに対して前記障害物を検出する処理を行う障害物検出部を備えてもよい。
また、前記画像データのうち前記要警戒範囲以外の範囲を警戒不要範囲として、時間的に前後する前記警戒不要範囲における各画素の画素値の差分を演算して、この画素値の差分が所定の閾値以上である画素の画素数に基づいて、前記撮影部の視野範囲に許容範囲以上のずれを生じたか否かを判定するずれ判定部を備えてもよい。
また、前記自走式産業機械は走行速度を検出する走行速度検出部を備え、この走行速度検出部が検出する走行速度に基づいて前記要警戒範囲を変化させるようにしてもよい。
撮影部により撮像した画像は、画像表示手段に表示されるが、その表示態様としては、前述したものの他、撮像部の画像を信号処理による視点変換を行って、上方視点とした俯瞰画像とする構成としても良い。
また、本発明の自走式産業機械の画像処理方法は、自走式産業機械に撮影部を設けて、この自走式産業機械の構造物の一部を含めた周辺領域を撮影し、前記撮影部が撮影した画像データに基づいて、この画像データの中の前記構造物を検出し、検出した前記構造物に基づいて所定の範囲を要警戒範囲として前記画像データの中に設定し、前記画像データの中の前記要警戒範囲のみに対して障害物を検出し、前記画像データのうち前記要警戒範囲以外の範囲を警戒不要範囲として、時間的に前後する前記警戒不要範囲における各画素の画素値の差分を演算して、この画素値の差分が所定の閾値以上である画素の画素数に基づいて、前記撮影部の視野範囲に許容範囲以上のずれを生じたか否かを判定する処理を行う。
本発明は、自走式産業機械の構造物が視野に含まれるように撮影部が撮影を行い、構造物エッジを検出して、この構造物エッジに基づいて要警戒範囲を設定している。これにより、カメラの視野範囲のうち障害物を検出する要警戒範囲を自動的に設定することができる。また、事後的にカメラの視野範囲にずれを生じたとしても要警戒範囲にずれを生じることがない。
ダンプトラックの上面図である。 ダンプトラックの側面図である。 第１の実施形態の画像処理装置の構成を示すブロック図である。 第１の実施形態の画像処理装置の動作を示すフローチャートである。 画像データの一例を示す図である。 歪み補正を行った画像データの一例を示す図である。 画像データに対する平滑化処理の一例を説明する図である。 平滑化処理を行った画像データの一例を示す図である。 エッジ抽出処理の一例を説明する図である。 エッジ抽出処理がされた画像データの一例を示す図で、（ａ）はエッジ画素が抽出された画像データ、（ｂ）は（ａ）で示した画像データを画像変換処理後の画像データである。 要警戒範囲および警戒不要範囲の一例を示す図で、（ａ）はエッジ線分データに基づいて、要警戒範囲が設定されている画像データ、（ｂ）は（ａ）で示した画像データに歪み復元処理を加えた画像データである。 第１の実施形態の表示画像の一例を示す図である。 第２の実施形態の画像処理装置の構成を示すブロック図である。 第２の実施形態の画像処理装置の動作を示すフローチャートである。 要警戒範囲画像の一例を示す図である。 ブロックマッチング手法を用いた移動体の検出手法の一例を示す図である。 検索範囲の中で比較範囲をスキャンするときの一例を示す図である。 ブロックマッチング手法を３次元的に説明した図である。 第２の実施形態の表示画像の一例を示す図である。 マスク画像から差分画像を得るための一例を示す図である。 ずれ情報が重畳された表示画像の一例を示す図である。 視野範囲にずれを生じている場合の前方構造物を特定する一例を示す図で、（ａ）はエッジ画素が抽出された画像データ、（ｂ）は（ａ）で示した画像データを画像変換処理後の画像データである。 視野範囲にずれを生じている場合の要警戒範囲および警戒不要範囲の一例を示す図で、（ａ）はエッジ線分データに基づいて要警戒範囲が設定されている画像データ、（ｂ）は（ａ）で示した画像データに歪み復元処理を加えた画像データである。 視野範囲にずれを生じている場合の要警戒範囲の一例を示す図である。 第３の実施形態の画像処理装置の構成を示すブロック図である。 第４の実施形態の画像データの一例を示す図である。 図２６の画像データを二値化した画像の一例を示す図である。 第４の実施形態の表示画像の一例を示す図である。 カメラ画像を俯瞰画像化処理する原理を示す説明図である。 第２の実施形態の表示画像を俯瞰表示した一例を示す図で、（ａ）は図１９の画像データに俯瞰する領域を示し、（ｂ）は俯瞰した画像の一例である。 第３の実施形態の表示画像の一例を示す図である。
Ａ：本発明の第１の実施形態
以下、図面を参照して、本発明の第１の実施形態について説明する。ここでは、自走式産業機械に運搬車両としてのダンプトラックを適用している。勿論、ダンプトラック以外の任意の自走式産業機械、例えば下部走行体を有する油圧ショベル等を適用してもよい。ダンプトラックとしてはリジットタイプとアーティキュレートタイプとがあるが、何れを適用してもよい。要は、所定の作業（運搬や掘削等）を行う任意の自走式産業機械に本実施形態を適用することができる。なお、以下において、「左」とは運転室から見たときの左方であり、「右」とは運転室から見たときの右方である。
図１は、本実施形態のダンプトラック１の一例を示している。ダンプトラック１は、車体フレーム２と前輪３（３Ｌおよび３Ｒ）と後輪４（４Ｌおよび４Ｒ）とベッセル５とカメラ６と運転室７と画像処理装置８とモニタ９とを備えて構成している。車体フレーム２はダンプトラック１の本体を形成するものであり、車体フレーム２の前方に前輪３、後方に後輪４を設けている。なお、前輪３Ｒは右方の前輪３であり、前輪３Ｌは左方の前輪３である。また、後輪４Ｒは右方の後輪４であり、後輪４Ｌは左方の後輪４である。ベッセル５は荷台であり、土砂や鉱物等を積載する。ベッセル５は起伏可能に構成されている。
ダンプトラック１には任意の位置に撮影部としてのカメラ６を設置することができる。図２はダンプトラック１の側面図を示しており、カメラ６は運転室７の前方に取り付けられている。そして、カメラ６はダンプトラック１の前方の斜め下方を俯瞰するような視野範囲６Ａ（図中の破線の範囲）で、このダンプトラック１の周辺領域の撮影を行っている。この視野範囲６Ａの中には作業員Ｍが接触を避けるべき障害物として存在している。障害物としては他に作業機械やサービスカー等があり、これらが視野範囲６Ａに含まれることもある。
カメラ６の視野範囲６Ａはダンプトラック１の前方の斜め下方となっており、視野範囲６Ａの中に前方構造物１０の一部が含まれるようにする。図２の破線で示すように、視野範囲６Ａには前方構造物１０の一部が含まれている。なお、カメラ６により撮影される周辺領域である視野範囲６Ａはダンプトラック１の前方以外の方向でもよく、ダンプトラック１の後方や左方、右方等の任意の方向を視野としてもよい。視野範囲６Ａをダンプトラック１の後方とすることで、ダンプトラック１を後進させるときに、後方の状況を画像表示することができる。このときには、視野範囲６Ａには後方構造物の一部が含まれるようにする。
運転室７はオペレータが搭乗してダンプトラック１を操作する各種の操作手段が設けられている。例えば、ダンプトラック１を前進または後進させるシフトレバー等が操作手段として設けられている。運転室７には、画像処理装置８とモニタ９とが設けられており、カメラ６が撮影することにより生成される画像データは画像処理装置８で所定の画像処理が行われる。画像処理が行われた画像データはモニタ９に表示される。モニタ９は表示装置であり、基本的にモニタ９にはカメラ６が撮影する映像が表示されている。
画像処理装置８はカメラ６が撮影した映像の画像データに対して画像処理を行う画像処理コントローラである。そして、画像処理を行った画像データを表示画像としてモニタ９に表示する。図３に示すように、画像処理装置８は、歪み補正部２１と平滑化処理部２２とエッジ抽出部２３と構造物エッジ判定部２４とエッジ線分データ確定部２５と要警戒範囲設定部２６と歪み復元部２７と表示画像作成部２８とを備えている。
カメラ６が撮影した映像は画像データとして歪み補正部２１に入力される。歪み補正部２１は、カメラ６のレンズパラメータ（焦点距離や画像の光軸中心、レンズ歪係数等）を用いて、画像データの歪みを補正する。カメラ６のレンズの映り込む映像は中心では歪みを生じていないが、中心から離間するほど歪みを生じる。従って、カメラ６が撮影して得られる画像データは全体的に歪曲されている。これに対して、前記のパラメータを用いて補正を行うことで、直線性の高い画像データを得ることができる。
平滑化処理部２２は、歪み補正部２１により補正された画像データを入力して、平滑化処理を行う。平滑化処理は、画像データの各画素の間の画素値の変化を少なくし、滑らかな画像を生成する処理である。画像データに対して平滑化処理を行うことで、画素値の変化を滑らかにすることができ、全体的に平滑化された画像データにすることができる。平滑化処理には、任意の手法を用いることができるが、例えば移動平均フィルタや中央値フィルタ、ガウシアンフィルタ等を用いることができる。
エッジ抽出部２３は、平滑化処理部２２により平滑化処理された画像データに対してエッジ抽出処理を行う。このために、隣接する画素間の画素値の変化が大きい画素をエッジ画素として抽出し、エッジ画素が連続して形成される形状をエッジとする。これにより、画像データの中から画素値の変化が大きいエッジが抽出される。エッジ抽出処理には任意の手法を用いることができるが、例えばソーベルフィルタやキャニーのアルゴリズム等の手法を用いることができる。
構造物検出部である構造物エッジ判定部２４は、エッジ抽出部２３が抽出したエッジのうち、その形状が画像データの中の前方構造物１０の境界に近いエッジを前方構造物１０のエッジとして判定する。このために、構造物エッジ判定部２４はハフ変換等の直線化手法を用いて、画像データの中のエッジの直線化を行う。そして、直線化されたエッジをエッジ線分として、連結性の高いエッジ線分を前方構造物１０の境界（エッジ）として判定する。エッジ線分は画像データ中の座標を用いて表現することができ、ここではエッジ線分同士の交点座標およびエッジ線分と画像データの下端（画像データＰのうち最もダンプトラック１に近接している端部）との交点座標をエッジ線分データとして記憶する。
エッジ線分データ確定部２５は、最新のエッジ線分データを含めて、任意の数のエッジ線分データを比較する。カメラ６には所定の撮影周期があり、周期的に画像データが取得されることから、エッジ線分データも周期的に取得される。エッジ線分データ確定部２５は過去のエッジ線分データを記憶しており、最新のエッジ線分データとの平均値を演算する。そして、演算されたエッジ線分データの平均値を確定されたエッジ線分データとする。なお、歪み補正部２１からエッジ線分データ確定部２５までの各部は前方構造物１０を検出するための構造物検出部となる。
要警戒範囲設定部２６は、エッジ線分データ確定部２５から入力したエッジ線分データに基づいて、要警戒範囲を設定する。要警戒範囲とダンプトラック１の前方構造物１０との相対位置関係は一定であり、カメラ６の取り付け高さや俯角、カメラ６の画素数、画角等に基づいて、要警戒範囲と前方構造物１０との相対位置関係は既知のものとして認識することができる。従って、要警戒範囲設定部２６は、エッジ線分データにより得られる前方構造物１０の境界に基づいて、所定範囲を要警戒範囲として設定する。
歪み復元部２７は、歪み補正部２１が歪み補正したカメラレンズのパラメータを用いて、歪みを復元する。歪み復元部２７までの画像データはカメラ６のカメラレンズの歪みを補正したデータであり、本来のカメラ６の映像には歪みを生じている。よって、本来的なカメラ６の映像を表示するときには、歪み復元部２７が画像データに対して歪みを復元する処理を行う。この歪みの復元により画像データ中の要警戒範囲にも歪みが発生する。
表示画像作成部２８はモニタ９に表示する表示画像を生成する。このときの表示画像は歪みが復元された画像データであり、この中に要警戒範囲が設定されている。表示画像作成部２８は要警戒範囲が設定された表示画像をモニタ９に出力し、モニタ９に表示画像を表示する。これにより、運転室７に搭乗するオペレータはモニタ９を視認することにより、カメラ６の映像を認識することができる。
次に、図４のフローチャートに基づいて、動作について説明する。ダンプトラック１に設置されたカメラ６は斜め下方を視野とした視野範囲６Ａを撮影しており、所定の撮影周期（例えば、フレーム／秒）で撮影を行っている。これにより、撮影周期ごとに得られる１フレーム分の画像データを画像処理装置８に周期的に出力する（ステップＳ１）。視野範囲６Ａに前方構造物１０が含まれるようにカメラ６が設置しており、画像データの中には前方構造物１０が含まれる。
カメラ６が視野範囲６Ａを撮影することにより得られる画像データの一例を図５に示す。カメラ６は斜め下方を視野としており、同図に示すように、画像データＰにはカメラ６の撮影方向の地面が背景として映し出されている。ダンプトラック１が運用される現場は過酷な環境下にあり、地面は整地状態となっておらず、多くの凹凸が存在する。画像データＰの中では凹凸部Ｒとして映し出されている。また、視野範囲６Ａにダンプトラック１の前方構造物１０が映し出されるようにカメラ６の視野を設定している。よって、画像データＰには前方構造物１０も含まれている。
以上の画像データＰが画像処理装置８の歪み補正部２１に出力され、且つ表示画像作成部２８にも出力される。歪み補正部２１に入力された画像データＰはカメラ６のレンズパラメータに基づいて歪み補正がされる（ステップＳ２）。カメラ６のレンズパラメータを用いて画像データＰの歪み補正を行うことで、画像データＰの中心から離間した部位の歪みが補正される。これにより、画像データＰは、図６に示すような直線性の高い画像に補正される。
歪み補正処理がされた画像データＰは平滑化処理部２２に入力される。平滑化処理部２２は画像データＰに対して平滑化処理を行う（ステップＳ３）。平滑化処理部２２は、前述したように、画像データＰの各画素について、隣接する画素間の画素値の差分を少なくして、滑らかな画像データＰを生成する。前述したように、エッジ抽出部２３によりエッジ抽出処理が行われる。このとき、地面の凹凸や照度の違い等に起因して画像データＰの画素値がまばらな値になり、これらがエッジとして検出されるおそれがある。ただし、これらはノイズ成分であり、平滑化処理部２２は予めノイズ成分を除去するために平滑化処理を行う。この平滑化処理を行うことで、まばらな画素値が平滑化され、ノイズ成分が除去される。ここでは、図７に示す平滑化フィルタを用いて平滑化処理を行っているが、隣接する画素間の画素値の差分を少なくすることができれば任意の手法を用いることができる。
図７は、平滑化フィルタとしてガウシアンフィルタを適用した例を示している。ガウシアンフィルタは、画素の空間的配置を考慮して、画像データＰの中の１つの画素（中心画素）に近い画素のフィルタ係数が大きく、中心画素から遠い画素のフィルタ係数が小さいフィルタである。そして、ガウシアンフィルタはフィルタリングした各画素の加重平均を取る。フィルタ係数としては、例えば下記のガウス関数（式１）を用いることができる。なお、式１の中のσは標準偏差である。

図７の例では３画素×３画素の合計９画素のガウシアンフィルタを用いる。なお、ガウシアンフィルタの画素数は９画素ではなく、５画素×５画素の合計２５画素としてもよいし、それ以上としてもよい。前述の式１のガウス関数を用いたガウシアンフィルタは、中心画素と周辺画素（８画素）とにより構成される。中心画素のフィルタ係数Ｋが最も大きく、中心画素の上下左右の４画素のフィルタ係数Ｌが次に大きく、それ以外の４画素のフィルタ係数Ｍが最も小さい。つまり、「Ｋ＞Ｌ＞Ｍ」となる。なお、フィルタ係数は重み付けであり、フィルタ係数の合計は「１」となる。
平滑化処理部２２は画像データＰの全ての画素に対して、前述したガウシアンフィルタを用いた平滑化処理を行う。具体的には、中心画素の画素値に対してフィルタ係数Ｋを乗算し、中心画素の上下左右の４画素の画素値に対してフィルタ係数Ｌを乗算し、それ以外の４画素の画素値に対してフィルタ係数Ｍを乗算する。そして、フィルタ係数Ｋを乗算した中心画素の画素値に対して、フィルタ係数Ｌ、Ｍを乗算した周辺の８画素の画素値を加算する。この加算を行ったときの中心画素の画素値が平滑化値となる。この処理を画像データＰの全ての画素に対して行う。
ところで、前述したように、画像データＰには地面の凹凸部Ｒと前方構造物１０とが映し出されている。凹凸部Ｒの画素はその周囲の画素と画素値に差分を有している。従って、平滑化処理部２２が画像データＰに対して平滑化処理を行うことで、凹凸部Ｒと周囲の画素との間の画素値の差分が少なくなり、平滑化される。そして、前述のフィルタ係数Ｋ、Ｌ、Ｍの値は、画像データＰの中の前方構造物１０の境界はエッジとして検出されるが、それ以外の凹凸部Ｒ等はエッジとして検出されないような値に設定する。これにより、図８に示したように、画像データＰの中の凹凸部Ｒを大幅に低減することができる。フィルタ係数Ｋ、Ｌ、Ｍの値はガウス関数の標準偏差σにより決定されるため、凹凸部Ｒが検出されなくなるような標準偏差σを設定する。
勿論、凹凸部Ｒの中にはその大きさや照度条件等により、凹凸部Ｒの画素とその周囲の画素との差分が大きくなることがある。この場合には、平滑化処理を行ったとしても、完全に画像データＰの中から凹凸部Ｒを除去することができず、一部の凹凸部Ｒは残存する。ただし、図８に示すように、その数を大幅に低減させることができる。
一方、前方構造物１０については、背景と前方構造物１０との境界は明確に区別可能になっている。一般に、ダンプトラック１は、周囲状況を把握する観点から地面や周囲の環境と容易に区別が可能なような色に着色されていることが多い。これに伴い、前方構造物１０も地面や周囲環境等の背景とは明確に異なる色となっている。このため、背景と前方構造物１０との境界、つまり前方構造物１０における背景の画素値と前方構造物１０の画素値との差分は大きい。これにより、前方構造物１０の境界における画素値の差分は非常に大きいため、平滑化処理を行ったとしても、大半は残存する。
次に、エッジ抽出部２３の処理について説明する。図８に示したように、平滑化処理を行った画像データＰには、その数が大幅に低減された凹凸部Ｒおよび前方構造物１０の境界が映し出されている。エッジ抽出部２３は、この平滑化処理を行った画像データＰから隣接する画素の間の画素値の差分が所定の閾値以上の画素（差分が大きい画素）をエッジ画素として抽出する（ステップＳ４）。
ここでは、エッジ画素を抽出するエッジ抽出処理としてキャニーのアルゴリズムを用いる。勿論、他の手法を用いてエッジ画素を抽出してもよい。キャニーのアルゴリズムでは、図９に示すような水平方向（横方向：Ｘ方向）のソーベルフィルタおよび垂直方向（縦方向：Ｙ方向）のソーベルフィルタの２種類のソーベルフィルタを用いる。Ｘ方向のソーベルフィルタは画像データＰのＸ方向の輪郭を強調し、Ｙ方向のソーベルフィルタはＹ方向の輪郭を強調する。これら２種類のソーベルフィルタを用いて画像データＰの全ての画素に対してエッジ画素を抽出する。
Ｘ方向およびＹ方向のソーベルフィルタを画像データＰの全ての画素に対して施すことにより、画像データＰの全ての画素について、当該画素とその周囲の画素との間の微分値（ｆｘ、ｆｙ）を抽出する。ｆｘはＸ方向の微分値であり、ｆｙはＹ方向の微分値である。そして、画像データのＰの全ての画素に対して、ｆｘ、ｆｙに基づいて、エッジ強度ｇを「ｇ＝（ｆｘ２＋ｆｙ２）１／２」として演算する。エッジ強度ｇは１つの画素と周囲の画素との間の画素値の差分を示しており、演算されたエッジ強度ｇに基づいて、エッジ画素を検出する。
エッジ抽出部２３は、ソーベルフィルタが施された画像データＰの全ての画素のエッジ強度ｇに対して、第１閾値Ｔ１および第２閾値Ｔ２（ただし、Ｔ１＞Ｔ２）を用いて比較を行う。画像データＰの１つの画素に着目して、当該画素のエッジ強度ｇが第１閾値Ｔ１以上であれば、当該画素はエッジ画素として検出する。一方、着目した画素のエッジ強度ｇが第２閾値Ｔ２未満であれば、当該画素はエッジ画素ではないとして検出する。着目した画素のエッジ強度が第１閾値Ｔ１以上且つ第２閾値Ｔ２未満のときには、当該画素の近傍（特に、当該画素に隣接している画素）にエッジ画素が存在しているときには当該画素をエッジ画素として検出し、それ以外の場合はエッジ画素として検出しない。
以上のエッジ抽出処理を行うと、図１０（ａ）に示すようなエッジ画素が抽出された画像データＰが生成される。そして、エッジ画素が連続した形状をエッジＥとして抽出される。エッジＥが抽出された画像データＰに対して構造物エッジ判定処理を行うことにより、画像データＰの中から前方構造物１０を判定する（ステップＳ５）。エッジ抽出処理では、隣接する画素間の差分が大きい画素をエッジ画素として抽出している。これにより、もともと凹凸部Ｒを映し出していた画素は殆どエッジ画素として検出されなくなるため、前方構造物１０を検出する精度は飛躍的に向上する。
一方、前方構造物１０の境界は画素値の差分が大きいため、エッジ画素として検出されやすくなる。ただし、ソーベルフィルタを用いたエッジ抽出処理を行うことにより、図１０（ａ）に示すように、エッジＥは直線性を示さず、不規則な変化を示すことがある。例えば、本来なら直線性を有している前方構造物１０の境界も直線性を失い、当該境界の一部が検出されなくなる場合もある。
構造物エッジ判定部２４は、画像データＰのエッジ画素から直線を抽出する。直線を抽出する手段としては任意の手段を用いることができるが、ここでは既知の手法としてハフ変換を用いる。勿論、エッジ画素から直線を抽出できれば、ハフ変換以外の手法を用いてもよい。図１０（ａ）に示した画像データＰに対して、ハフ変換の演算処理を行うことで、不規則な変化を示す線分は、同図（ｂ）に示すように直線Ｌ、Ｌ１乃至Ｌ４になる。このうち、Ｘ方向に延在する直線Ｌ１、Ｌ２およびＹ方向に延在する直線Ｌ３、Ｌ４に着目する。そして、構造物エッジ判定部２４は直線Ｌ１、Ｌ２のうち最も長い直線Ｌ１を選択し、２つの直線Ｌ３、Ｌ４を選択する。
構造物エッジ判定部２４は画像データＰの中で直線Ｌ１、Ｌ３、Ｌ４を延長する。直線Ｌ１はＸ方向の延在する直線であり、直線Ｌ３、Ｌ４はＹ方向に延在する直線であることから、これらを延長することにより、直線Ｌ１と直線Ｌ３および直線Ｌ４が交わる。直線Ｌ１と直線Ｌ３との交点をＣ１、直線Ｌ１と直線Ｌ４との交点をＣ２とする。また、直線Ｌ３と画像データＰの下端との交点をＣ３、直線Ｌ４と画像データＰの下端との交点をＣ４とする。交点Ｃ１乃至Ｃ４は２次元の画像データＰの中の画素の座標を示している。
交点Ｃ１乃至Ｃ４を直線で結ぶと前方構造物１０のエッジ線分が形成される。従って、交点Ｃ１乃至Ｃ４の情報は前方構造物１０のエッジ線分を特定するためのデータとなり、これをエッジ線分データとする。エッジ線分データ（交点Ｃ１乃至Ｃ４の座標情報）により囲まれた領域が前方構造物１０となる。構造物エッジ判定部２４はエッジ線分データに基づいて、前方構造物１０のエッジを判定する。１枚の画像データＰから得られるエッジ線分データに基づいて前方構造物１０を特定してもよいが、画像データＰの中の前方構造物１０を検出する確度を向上させるために、エッジ線分データ確定部２５がエッジ線分データの比較を行う（ステップＳ６）。
前述したように、カメラ６から所定周期で画像データＰが画像処理装置８に入力されており、複数枚の画像データＰが得られる。エッジ線分データ確定部２５は過去の画像データＰに基づくエッジ線分データを記憶しており、最新の画像データＰに基づくエッジ線分データと過去のエッジ線分データとの平均値を算出する。エッジ線分データ確定部２５は、算出されたエッジ線分データ（平均値）を確定されたエッジ線分データとする。つまり、確定されたエッジ線分データにより画像データＰの中の前方構造物１０が特定される。
なお、エッジ線分データ確定部２５が複数の画像データＰのエッジ線分データの平均値の演算を行うときには、所定枚数の画像データＰのエッジ線分データがエッジ線分データ確定部２５に蓄積されるまで、エッジ線分データの確定は行わない。また、多くのエッジ線分データの平均値を算出することにより、エッジ線分データの確度は向上するが、処理時間が長くなる。従って、エッジ線分データの確度と処理時間とのバランスを考慮して、平均値の演算を行うエッジ線分データの個数を決定する。
エッジ線分データ確定部２５が確定したエッジ線分データは要警戒範囲設定部２６に出力される。要警戒範囲設定部２６はエッジ線分データに基づいて要警戒範囲を設定する（ステップＳ７）。要警戒範囲は障害物を検出する範囲であり、ダンプトラック１から所定の範囲となる。前述したように、ダンプトラック１の前方構造物１０と要警戒範囲との相対位置関係は既知のものとして認識することができる。従って、画像データＰの中の前方構造物１０が特定できれば、要警戒範囲を自動的に認識することができる。
図１１（ａ）は、エッジ線分データに基づいて、要警戒範囲３１が設定される状態を示している。確定されたエッジ線分データは交点Ｃ１乃至Ｃ４の情報であり、交点Ｃ１乃至Ｃ４を連結することにより前方構造物１０が特定される。従って、同図（ａ）の中で交点Ｃ１乃至Ｃ４により囲まれた領域が前方構造物１０となる。前方構造物１０と要警戒範囲３１との相対位置関係に基づいて、画像データＰの中で要警戒範囲３１が設定される。
一方、画像データＰの中で要警戒範囲３１以外の領域は警戒が不要な警戒不要範囲３２となる。従って、画像データＰの中から障害物を検出するときに、要警戒範囲３１のみを対象として障害物の検出を行い、警戒不要範囲３２については障害物の検出は行わない。障害物の検出の手法は任意の手法を採用することができる。そして、障害物の検出を行うときに、警戒不要範囲３２はマスク領域として、当該範囲をマスクすることで、要警戒範囲３１に絞って障害物の検出を行うことができる。
要警戒範囲３１は歪み補正部２１により歪み補正がされた画像データＰに基づいて設定されている。モニタ９に表示される表示画像はカメラ６から出力される画像データＰであり、歪み補正がされていない画像になる。そこで、歪み復元部２７は、要警戒範囲３１が設定された画像データＰに対して歪み補正を復元する（ステップＳ８）。歪み復元部２７は歪み補正部２１が使用したカメラ６のレンズパラメータを使用して、画像データＰの歪み補正を復元する。これにより、要警戒範囲３１は、図１１（ｂ）のように変形する。歪み復元処理がされた要警戒範囲３１の情報は表示画像作成部２８に出力される。
表示画像作成部２８はモニタ９に表示する画像（表示画像）を生成する（ステップＳ９）。表示画像作成部２８は、カメラ６から周期的に画像データＰを入力する。この画像データＰは歪み補正がされていない画像になる。また、表示画像作成部２８は歪み復元部２７から歪み復元処理がされた要警戒範囲３１の情報を入力している。そして、表示画像作成部２８は、カメラ６から入力した画像データＰに要警戒範囲３１を重畳する。その状態を図１２に示している。つまり、同図に示す画像データＰのうち要警戒範囲３１は仮想線で囲まれた領域になる。なお、要警戒範囲３１は障害物を検出するための領域であり、図１２のように格別に要警戒範囲３１を表示させる必要はない。
そして、表示画像作成部２８はカメラ６から入力した画像データＰをモニタ９に出力する。運転室７に搭乗したオペレータはモニタ９に表示されている画像データＰを視認することで、補助的な視野を得ることができる。
以上説明したように、本実施形態では、画像データＰに基づいてダンプトラック１の前方構造物１０を特定し、前方構造物１０から要警戒範囲３１を設定している。これにより、障害物を検出する要警戒範囲３１を手動によらず自動的に設定することができ、設定する手間を大幅に省略することができる。また、ダンプトラック１が激しく振動してカメラ６の視野範囲６Ａにずれを生じたとしても、要警戒範囲３１にずれを生じることはない。つまり、画像データＰの中の前方構造物１０と要警戒範囲３１との相対位置関係は、視野範囲６Ａにずれを生じたとして一定であるため、前方構造物１０を基準として要警戒範囲３１を設定することで、要警戒範囲３１にずれを生じることがなくなる。
以上において、構造物エッジ判定部２４はエッジ画素の直線性を検出して、前方構造物１０のエッジ線分を判定していたが、前方構造物１０と背景との境界を検出することができれば、前方構造物１０のエッジ線分を検出する手法以外の手法を用いてもよい。例えば、前方構造物１０と背景との間で画素値の差分が極端に大きい場合等は、画素値の差分に基づいて前方構造物１０を検出することができる。この場合、歪み補正部２１により歪み補正を行う必要もなく、歪み復元部２７により歪み復元の補正を行う必要もない。ただし、前方構造物１０には特有の直線性が存在するため、前方構造物１０のエッジ線分を検出する手法を採用することで、前方構造物１０と背景との境界を検出する精度が向上する。
また、平滑化処理部２２により画像データＰに対して平滑化処理を行っており、これにより画像データＰの中の凹凸部Ｒを低減させている。この点、カメラ６が撮影している地面がある程度整地されている場合等においては、画像データＰの中の凹凸部Ｒは少なくなる。従って、平滑化処理を行わなくても前方構造物１０のエッジＥを抽出することはできる。ただし、前方構造物１０のエッジＥの検出精度を向上させるためには、平滑化処理を行った方が望ましい。
また、エッジ線分データ確定部２５によりエッジ線分データの確度を向上させているが、１枚の画像データＰに基づいてエッジ線分が明確に識別できる場合等は、エッジ線分データ確定部２５により処理を省略してもよい。ただし、複数の画像データＰのエッジ線分データの平均値を演算することにより、エッジ線分データを確定させることで、エッジ線分データの確度が向上する。このため、エッジ線分データ確定部２５による処理を行うことが望ましい。
Ｂ：本発明の第２の実施形態
次に、第２の実施形態について説明する。図１３は第２の実施形態の画像処理装置８の構成を示している。図１３に示すように、要警戒範囲画像生成部４１と障害物検出部４２とマスク画像生成部４３とずれ判定部４４とが第１の実施形態に対して新たに追加されたが、それ以外の構成は第１の実施形態と同じであるので説明を省略する。
視野範囲６Ａを撮影しているカメラ６から周期的に画像データＰが画像処理装置８に出力される。画像データＰは歪み補正部２１および表示画像作成部２８だけでなく、要警戒範囲画像生成部４１に対しても出力される。要警戒範囲画像生成部４１は、図１２等で示したように、画像データＰのうち要警戒範囲３１のみの画像を生成する。このために、歪み復元部２７から歪みが復元された要警戒範囲３１を入力し、カメラ６から画像データＰを入力する。そして、画像データＰのうち要警戒範囲３１の領域内の画像のみを要警戒範囲画像として生成する。
要警戒範囲画像は障害物検出部４２に入力される。障害物検出部４２は要警戒範囲画像の中の障害物を検出する。接触を避けなければならない障害物としては主に作業員やサービスカー等が想定されるが、例えば他の作業機械等も障害物となる。障害物を検出する手法には任意の手法を用いることができる。障害物には静止状態と移動状態とがあり、静止状態の障害物を静止体、移動状態の障害物を移動体とする。
静止体を検出する手法にも任意の手法を用いることができるが、例えば画像中の輪郭や輝度、色等を複合的に判断して静止体の領域を検出する手法を用いることができる。静止体は一定の領域を有しており、当該一定の領域の輪郭が所定の形状をしている場合、輝度値が所定の値を有する場合、色が特定の色を示している場合等において、前記の一定の領域を静止体として検出することができる。
静止体を検出する具体的な手法としては、例えば背景と静止体との輪郭の情報に基づいて事前に学習した形状情報を用いてマッチングし、障害物を判定するパターンマッチング手法を用いることができる。また、特定の輝度や色情報を持つが画素のみを抽出し、抽出した画素領域の面積や周囲長、モーメントといった形状特徴を抽出し、形状を識別することにより障害物と判定する手法を用いることができる。
移動体を検出する手法にも任意の手法を用いることができ、例えば時間的に異なる画像データＰを比較したときに、一定の領域が異なる位置に移動しているときには移動体が移動していることを検出する。移動体の検出には例えばブロックマッチング手法を適用することができる。このブロックマッチング手法については後述する。他にも、画像データＰの各画素における明るさの空間的勾配と時間的勾配との間の関係性を用いて検出する勾配法や移動体の領域がないときの画像データと最新の画像データとの差分を検出する背景差分法、時間の異なる３枚の画像データを用いて２枚の差分画像を生成して移動体領域を検出するフレーム差分法等を用いることができる。
マスク画像生成部４３はマスク画像を生成する。第１の実施形態で説明したように、要警戒範囲設定部２６は画像データＰの中で要警戒範囲３１を設定し、それ以外の領域を警戒不要範囲３２として設定している。このうち、マスク画像生成部４３は警戒不要範囲３２をマスク領域としたマスク画像を生成する。マスク画像は画像データＰと同じサイズの画像であり、画素数も等しい。そして、マスク画像のうちマスク領域（警戒不要範囲３２）とそれ以外の領域（要警戒範囲３１）とが明確に区別されている。例えば、マスク画像のうちマスク領域は全て黒（画素値ゼロ）で構成し、要警戒範囲３１の領域は全て白（画素値２５６）で構成することができる。
ずれ判定部４４はマスク画像生成部４３からマスク画像を入力して、ずれを判定する。ずれ判定部４４には過去のマスク画像が保持されており、新しく入力したマスク画像と過去のマスク画像との比較を行う。そして、全ての画素について新しいマスク画像と過去のマスク画像との差分演算を行い、所定値以上の画素値の差分を持つ画素が所定数以上存在している場合、カメラ６にずれを生じていると判定し、それ以外の場合にはずれを生じていないと判定する。判定結果は表示画像作成部２８に出力される。
次に、図１４のフローチャートを用いて、第２の実施形態の動作について説明する。図１４に示すステップＳ１乃至ステップＳ８は第１の実施形態と同じであるため、説明を省略する。ステップＳ８において、歪みが復元された要警戒範囲３１が生成される。この要警戒範囲３１の情報が要警戒範囲画像生成部４１に入力される。要警戒範囲画像生成部４１はカメラ６から画像データＰを入力しており、画像データＰのうち要警戒範囲３１以外の領域、すなわち警戒不要範囲３２を不感領域３３として、不感領域３３では画像データＰの情報は削除されている。不感領域３３は前述したマスク領域と同じ機能を持つ。ここでは、不感領域３３は全て黒い画素（画素値ゼロ）で構成する（なお、図面の都合上、図１５では、黒い画素を網掛けで示している）。
これにより、図１５に示すような要警戒範囲画像Ｐ１が生成される（ステップＳ１０）。この要警戒範囲画像Ｐ１には障害物として作業員Ｍが含まれている。要警戒範囲画像Ｐ１は画像データＰとＸ方向およびＹ方向に同じ画素数を有しており、要警戒範囲３１の部分には画像データＰが表示されるが、不感領域３３の部分には黒い画素が表示されているだけになる。不感領域３３の黒い画素は、換言すればマスクであり、画像データＰのうちマスクされていない領域が要警戒範囲３１となる。同図に示されるように、要警戒範囲３１に多数の凹凸部Ｒが存在し、また障害物として作業員Ｍが存在している。このような要警戒範囲画像Ｐ１は障害物検出部４２に出力される。
障害物検出部４２は要警戒範囲画像Ｐ１から障害物を検出する（ステップＳ１１）。障害物を検出するために任意の手法を用いることができるが、ここではブロックマッチング手法を用いた場合を説明する。図１６はブロックマッチング手法を用いた移動体の検出手法の一例を示している。障害物検出部４２は、過去の要警戒範囲画像Ｐ１を記憶しており、最新の要警戒範囲画像Ｐ１と過去の要警戒範囲画像Ｐ１との比較を行う。ここでは、カメラ６の撮影周期の１周期前の要警戒範囲画像Ｐ１を過去の要警戒範囲画像Ｐ１としている。
図１６の例では、Ｘ方向に４画素、Ｙ方向に４画素の合計１６画素を注目領域Ａ１とする。勿論、注目領域Ａ１は１６画素以外の画素数を採用してもよい。そして、注目領域Ａ１を中心として、Ｘ方向に８画素、Ｙ方向に８画素の合計６４画素を検索範囲Ａ２とする。勿論、検索範囲Ａ２の画素数も任意に設定することができる。
障害物検出部４２は、検索範囲Ａ２を画像データＰの所定位置、例えばＸ方向およびＹ方向の端部に設定する。そして、検索範囲Ａ２の中を検索する。検索範囲Ａ２の中の検索手法について図１７を用いて説明する。検索範囲Ａ２の中に比較領域Ａ３を設定する。比較領域Ａ３は注目領域Ａ１と同じくＸ方向に４画素、Ｙ方向に４画素の合計１６画素を有している。そして、比較領域Ａ３をＸ方向およびＹ方向の端部に設定する。
障害物検出部４２は、過去の要警戒範囲画像Ｐ１における注目領域Ａ１と最新の要警戒範囲画像Ｐ１における比較領域Ａ３との対応する画素間の画素値の差分の演算を行う。注目領域Ａ１と比較領域Ａ３とは共に、Ｘ方向に４画素、Ｙ方向に４画素により構成されており、注目領域Ａ１の１つの画素と比較領域Ａ３の１つの画素とは１：１で対応している。そこで、前述したように、対応する画素間の画素値の差分演算を行う。この演算を行うことにより、１６画素分の差分値を得ることができる。そして、１６画素分の差分値をそれぞれ二乗して、二乗した１６個の差分値を加算する演算を行う。この演算を行うことにより得られる値を加算値とする。
障害物検出部４２は、前記の加算値が所定の閾値以下であるか否かを判定する。このときの閾値は注目領域Ａ１と比較領域Ａ３とが同一であるとみなせるか否かを判定できる値とする。障害物検出部４２は、前記の加算値が所定の閾値以下であるときには、過去の注目領域Ａ１と最新の比較領域Ａ３とが一致しているものと判定する。一方、それ以外の場合は、過去の注目領域Ａ１と最新の比較領域Ａ３とは一致していないと判定する。
過去の注目領域Ａ１と最新の比較領域Ａ３とが一致しており、且つ両者が検索範囲Ａ２の中で完全に一致していなければ、注目領域Ａ１が検索範囲Ａ２の中で移動していることを認識することができる。図１７に示すように、比較領域Ａ３をＸ方向に１画素ずつずらして比較を行う。これをＸ方向の検索（スキャン）とする。Ｘ方向のスキャンが完了したときには、次に、比較領域Ａ３をＹ方向に１画素ずらして、再びＸ方向のスキャンを行う。Ｙ方向に１画素ずらしてＸ方向のスキャンを行うことをＹ方向のスキャンとする。従って、Ｘ方向およびＹ方向にスキャンが行なわれることになる。このスキャンの手法を３次元的に示したのが図１８である。
Ｘ方向およびＹ方向のスキャンは、過去の注目領域Ａ１と最新の比較領域Ａ３とが一致することが検出されるまで行われる。従って、過去の注目領域Ａ１と最新の比較領域Ａ３とが一致していることが検出されれば、その時点でスキャンを終了する。一方、Ｘ方向およびＹ方向の全てのスキャンが完了した時点で、一致している過去の注目領域Ａ１と最新の比較領域Ａ３とが検出されなければ、検索範囲Ａ２の中には移動体（障害物：作業員Ｍ）が存在していないことが認識される。
検索範囲Ａ２は、過去の要警戒範囲画像Ｐ１が取得された時点から最新の要警戒範囲画像Ｐ１が取得されるまでの間に、作業員Ｍが通常に歩行したときに移動可能な限界範囲を基準として決定する。前述したように、過去の要警戒範囲画像Ｐ１は最新の要警戒範囲画像Ｐ１の１周期前の画像である。従って、カメラ６の撮影周期の１周期の間に作業員Ｍが通常に歩行したときの限界量を基準として検索範囲Ａ２を設定する。
ところで、カメラ６には、撮影周期が高速な場合と低速な場合とがある。このとき、カメラ６の撮影周期が高速である場合には、作業員Ｍが移動していたとしても、殆ど移動していないように認識される。一方、撮影周期が低速である場合には、作業員Ｍが低速に移動していたとしても、高速に移動しているように認識される。そこで、カメラ６の撮影周期が高速な場合には、比較的過去の複数周期前の要警戒範囲画像Ｐ１を過去の要警戒範囲画像Ｐ１とする。一方、カメラ６の撮影周期が低速な場合には、比較的直近（例えば、１周期前）の要警戒範囲画像Ｐ１を過去の要警戒範囲画像Ｐ１とする。
障害物検出部４２は、要警戒範囲画像Ｐ１の全画素について検索範囲Ａ２による検索が行われるようにする。従って、検索範囲Ａ２がＸ方向およびＹ方向の端部にあるときに、その検索が完了すると、次に検索範囲Ａ２のＸ方向の画素分（８画素）だけＸ方向にシフトさせて、再び同様の検索を行う。そして、要警戒範囲画像Ｐ１のＸ方向の全ての画素について検索が終了したときに、検索範囲Ａ２をＹ方向の画素分（８画素）だけＹ方向にシフトさせて、再び同様の検索を行う。そして、要警戒範囲画像Ｐ１の全画素について検索範囲Ａ２の中の検索が行われるようにする。
ここで、図１６にも示しているように、要警戒範囲画像Ｐ１は障害物を検出する要警戒範囲３１と不感領域３３とに区別されている。障害物検出部４２は要警戒範囲画像Ｐ１の中の不感領域３３を認識している。つまり、不感領域３３に含まれる画素を認識している。よって、障害物検出部４２は検索範囲Ａ２による検索を行うときに、不感領域３３を除外して行う。これにより、要警戒範囲３１に限定して障害物としての作業員Ｍを検出することができる。そして、障害物検出部４２は、検出された障害物としての作業員Ｍの情報を表示画像作成部２８に出力する。
表示画像作成部２８はカメラ６から画像データＰを入力しており、且つ障害物検出部４２より障害物としての作業員Ｍの情報を入力している。従って、表示画像作成部２８は画像データＰの要警戒範囲３１の中での作業員Ｍを認識している。表示画像作成部２８は障害物を明示的に表示するために、作業員Ｍの周囲に障害物マーキング表示Ｍ１を重畳している。ここでは、障害物マーキング表示Ｍ１は作業員Ｍの周囲に形成される外接矩形となっているが、勿論矩形でなくてもよい。
障害物マーキング表示Ｍ１が重畳された画像データＰを図１９に示す。この画像データＰが表示画像となり、モニタ９に出力される。そして、同図に示されるように、障害物としての作業員Ｍの周囲に障害物マーキング表示Ｍ１が重畳されていることで、オペレータは障害物マーキング表示Ｍ１に基づいて作業員Ｍの存在を一見して認識することができる。なお、図１９で要警戒範囲３１を仮想線で示しているが、この範囲内でのみ障害物の検出が行われたことを示している。モニタ９には基本的に要警戒範囲３１は表示されないが、表示されるようにしてもよい。
ところで、カメラ６で取得したカメラ画像を画像処理により視点変換して、俯瞰画像化することにより周囲監視を行うようになし、この周囲監視画像をモニタ９に表示する構成は、従来から知られている。即ち、図２９に示したように、所定の高さ位置にカメラ６を配置して、角度αをもって斜め下方に対物レンズの光軸ＣＡを向けた状態で撮影すると、スルー画像Ｐが得られる。この角度θを持ったスルー画像Ｐから、同図に仮想線で示したように、仮想視点ＶＦからスルー画像Ｐに対して光軸ＶＡが垂直になるように座標変換した画像が作成される。これによって、角度αをもった斜め上方からのカメラ画像を平面視した俯瞰画像とすることができる。（なお、画像データＰはスルー画像であり、このスルー画像のデータを上方視点となるように視点変換した画像は俯瞰画像である。従って、ここでは、俯瞰画像と区別するために、カメラ６から取得した画像データをスルー画像Ｐという。）
前述した各実施形態においてはカメラ６で取得したカメラ画像（スルー画像）を表示するようにしているが、このカメラ画像から信号処理を行って俯瞰画像化してモニタ９に表示することもできる。即ち、図３０（ａ）に示したように、スルー画像Ｐを上方視点となる視点変換処理が行われる。
そして、図３０（ｂ）に示したように、ダンプトラック１に、その前部位置と、左右の両側位置と、後部位置との４箇所にそれぞれカメラを設置して、このダンプトラック１の周囲のカメラ画像を取得し、これらのカメラ画像を俯瞰画像化処理して、モニタ９に表示するに当って、ダンプトラック１の前部側カメラ，左右の両側部側カメラ及び後部側カメラについて、それぞれ各画像領域ＳＰＦ，ＳＰＬ，ＳＰＲ，ＳＰＢにおける各俯瞰画像を取得して、モニタ９に表示することができる。なお、図３０（ａ）には前部側カメラによる画像領域ＳＰＦが示されている。この表示の際には、ダンプトラック１を平面形状としたアイコン画像Ｑをモニタ９の画面の中央に配置し、このアイコン画像Ｑの周囲４方向に各画像領域ＳＰＦ，ＳＰＬ，ＳＰＲ，ＳＰＢにそれぞれ対応する俯瞰画像を表示する。
このように、アイコン画像Ｑを中心として、その周囲に合成して周囲の状況の俯瞰画像を表示することによって、ダンプトラック１の周囲全体を俯瞰するようにして表示される監視画像が得られる。しかも、この監視画像は作業員Ｍを示す障害物マーキング表示Ｍ１を図３０（ａ）のスルー画像Ｐと同様に表示することができ、さらに俯瞰画像のため、ダンプトラック１との相対的な位置も把握できる表示態様とすることができる。
次に、ダンプトラック１に設置しているカメラ６の視野範囲６Ａにずれを生じた場合について説明する。前述したように、ダンプトラック１の振動によりカメラ６の視野範囲６Ａにずれを生じる場合がある。そこで、視野範囲６Ａにずれを生じているか否かを判定する。ただし、視野範囲６Ａのずれには許容範囲があり、ずれ量が許容範囲を超過したときにずれが生じていると判定し、許容範囲内であればずれが生じていないと判定する。
図１３に示したように、要警戒範囲設定部２６から要警戒範囲３１の情報がマスク画像生成部４３に入力される。マスク画像生成部４３は画像データＰと要警戒範囲３１とに基づいてマスク画像を生成する（ステップＳ１２）。マスク画像は、図２０に示すように、画像データＰのうち要警戒範囲３１を白い画素（画素値２５６）で構成し、警戒不要範囲３２を黒い画素（画素値ゼロ）で構成する。
マスク画像生成部４３は過去（例えば、１周期前）の画像データＰおよび要警戒範囲３１の情報を保持しており、過去のマスク画像を保持している。そして、最新の画像データＰおよび要警戒範囲３１の情報が入力されたときに、最新のマスク画像を生成する。マスク画像生成部４３は過去のマスク画像および最新のマスク画像をずれ判定部４４に出力する。
ずれ判定部４４は、入力した過去のマスク画像と最新のマスク画像とに基づいてずれ量を算出し、算出されたずれ量に基づいて視野範囲６Ａのずれが許容範囲内であるか否かを判定する（ステップＳ１３）。このために、ずれ判定部４４は過去のマスク画像と最新のマスク画像との画素の差分を演算する。
過去のマスク画像と最新のマスク画像とで要警戒範囲３１が重複している画素の差分を演算すると、画素値はゼロになる。つまり、画素は黒くなる。また、過去のマスク画像と最新のマスク画像とで警戒不要範囲３２が重複している画素の差分を演算すると、画素値はゼロになる。つまり、画素は黒くなる。一方、要警戒範囲３１と警戒不要範囲３２とが重複している画素の差分を演算すると、演算結果の絶対値は２５６になる。つまり、画素は白くなる。図２０の差分画像Ｐ２は、この差分の演算を行った結果の画像になる。
視野範囲６Ａにずれを生じている場合、差分画像Ｐ２に白い画素が生じる。この白い画素の画素数がずれ量を示す。つまり、視野範囲６Ａに全くずれを生じていなければ、過去のマスク画像と最新のマスク画像とは完全に一致するため、要警戒範囲３１と警戒不要範囲３２とが重複する画素は存在しなくなる。このため、白い画素は存在しなくなる。一方、視野範囲６Ａにずれを生じれば、要警戒範囲３１と警戒不要範囲３２とが重複している部分が存在するため、当該部分の画素は白い画素となる。
ずれ判定部４４には所定の画素数が閾値として設定されており、差分画像Ｐ２の白い画素の画素数と閾値とを比較する。この閾値は視野範囲６Ａのずれの許容範囲を示している。この許容範囲は任意に設定することができ、例えばオペレータの視認性に影響を与える程度のずれを許容範囲として設定することができる。そして、ずれ判定部４４は、白い画素の画素数と閾値とを比較した結果、白い画素の画素数が閾値未満であれば、視野範囲６Ａにずれを生じていないと判定する。一方、白い画素の画素数が閾値以上であれば、視野範囲６Ａにずれを生じていると判定する。
ずれ判定部４４は、ずれを生じているか否かの情報を表示画像作成部２８に出力する。表示画像作成部２８は、ずれ判定部４４からずれを生じている旨の情報を入力したときに、ずれ情報Ｇを画像データＰに表示する。図２１はずれ情報Ｇが重畳された画像データＰの一例を示している。ずれ情報Ｇは画像データＰの角隅部に表示されており、カメラ６にずれが生じていることを視覚的に認識させるマークになっている。
ずれ情報Ｇは、カメラ６に許容範囲以上のずれが発生していることをオペレータに認識させる報知手段であり、オペレータはモニタ９に表示されているずれ情報Ｇに基づいて、許容範囲以上のずれを認識することができる。これを認識したオペレータは、カメラ６を正常な位置に戻すことができ、視野範囲６Ａのずれを解消することができる。または、オペレータがメンテナンス要員等に連絡をすることにより、メンテナンス要員等がカメラ６を正常な位置に戻すことができる。
前述したように、視野範囲６Ａにずれを生じたとしても、画像データＰの中で前方構造物１０と要警戒範囲３１との相対位置関係は一定であるため、要警戒範囲３１は常に正しく設定される。図２２（ａ）は、エッジ抽出部２３が画像データＰに対してエッジ抽出処理を行い、エッジ画素が抽出された画像データＰを示している。そして、構造物エッジ判定部２４はハフ変換等の手法を用いて、画像データＰから直線の抽出を行う。図２２（ｂ）は画像データＰから直線が抽出された状態を示している。
前述した第１の実施形態では、視野範囲６Ａにずれを生じていなかったため、構造物エッジ判定部２４はＸ方向およびＹ方向の直線を検出していた。しかし、本実施形態では、視野範囲６Ａに傾きのずれを生じているため、画像データＰの中の前方構造物１０にも傾きを生じている。そこで、本実施形態の構造物エッジ判定部２４はＸ方向およびＹ方向から所定角度傾斜している直線も抽出する。つまり、所定角度を傾斜角θとし、抽出された直線のうち傾斜角θの範囲内の直線を抽出する。
そして、Ｘ方向から傾斜角θの範囲内で傾斜した直線のうち、最も長い直線を前方構造物１０のＸ方向の直線が傾斜したものとして判定する。ここでは、直線Ｌ５が最も長い直線となる。次に、直線Ｌ５を画像データＰの両端まで延長した直線よりも下端（画像データＰのうち最もダンプトラック１に近接している端部）側で検出された直線のうちＹ方向からの傾斜角θの範囲内の直線を抽出する。ここでは、直線Ｌ７およびＬ８が抽出される。そして、直線Ｌ７およびＬ８を延長する。これにより、図２２（ｂ）に示したように、直線Ｌ５と直線Ｌ７、Ｌ８との４つの交点Ｃ５乃至Ｃ８が検出される。これら交点Ｃ５乃至Ｃ８がエッジ線分データとなる。
図２３（ａ）は、エッジ線分データに基づいて、要警戒範囲３１が設定されている状態を示している。視野範囲６Ａに傾き方向のずれを生じていることから、要警戒範囲３１も傾きを生じている。同時に、警戒不要範囲３２も傾きを生じている。ただし、要警戒範囲３１は全て画像データＰの中に含まれている。そして、図２３（ａ）の画像データＰに対して歪み復元処理を行った画像が図２３（ｂ）に示す画像データＰになる。図２３（ｂ）に示す画像データＰが要警戒範囲画像生成部４１に出力され、図２４に示すような要警戒範囲画像が生成される。この要警戒範囲画像が障害物検出部４２に出力され、障害物検出部４２により作業員Ｍが障害物として検出される。
従って、ダンプトラック１の振動により、視野範囲６Ａにずれを生じたとしても、要警戒範囲３１を再び設定する必要はなく、前方構造物１０に基づいて正しい要警戒範囲３１が設定される。これにより、視野範囲６Ａにずれを生じたとしても、要警戒範囲３１に限定して障害物の検出を行うことができる。ただし、視野範囲６Ａに傾きのずれを生じることで、オペレータの視認性は低下する。このような場合には、カメラ６の位置の修正を行い、傾きのずれを解消するようにしてもよい。
Ｃ：本発明の第３の実施形態
次に、第３の実施形態について説明する。本実施形態では、ダンプトラック１の走行速度に応じて、要警戒範囲３１を変化させている。ダンプトラック１が停止状態の場合と低速に走行している場合と高速に走行している場合とでは、障害物を警戒すべき範囲も変化する。ダンプトラック１が停止状態のときには、それほど広範な範囲を要警戒範囲３１とする必要がないが、ある程度の速度で走行しているときには、広範な範囲を要警戒範囲３１とする必要がある。
そこで、図２５に示すように、本実施形態では、第２の実施形態に走行速度検出部４５を追加している。ダンプトラック１には走行速度を検出する手段が備えられており、検出した走行速度を要警戒範囲設定部２６に出力している。要警戒範囲設定部２６は入力した走行速度の情報に基づいて、要警戒範囲３１の大きさを変化させている。
ここで、ダンプトラック１が停止している場合、低速または高速に走行している場合の何れの場合であっても、前方構造物１０と要警戒範囲３１との相対位置関係は一定である。よって、要警戒範囲３１は走行速度を基準として、所定の範囲を要警戒範囲３１とすることができる。具体的には、図３１に示したように、要警戒範囲３１の大きさを停止域から微速域における要警戒範囲３１１と、低速走行時の要警戒範囲３１２と、高速走行時の要警戒範囲３１３となるように変化させることができる。ここで、微速域は走行停止操作を行ったときには、ほぼその位置でダンプトラック１が停止する程度の速度である。なお、前述したダンプトラック１の作動時における要警戒範囲は警戒を必要とする範囲であり、モニタ９における画像表示範囲ではない。
Ｄ：本発明の第４の実施形態
第１の実施形態、第２の実施形態および第３の実施形態では、自走式産業機械としてダンプトラック１を適用したが、第４の実施形態では、自走式産業機械として油圧ショベルを適用している。ここでは、油圧ショベルにカメラ６を設置して、当該油圧ショベルの後方構造物５０を抽出し、後方構造物５０に基づいて要警戒範囲３１を設定する場合を説明する。
図２６は、歪み補正部２１により歪み補正処理がされた画像データＰを示している。油圧ショベルの後方構造物５０は丸みを帯びているものが多く、画像データＰの中の後方構造物５０と背景との境界は所定の曲率半径で曲線性を有している。油圧ショベルの後方構造物５０は背景色とは明確に異なる色に着色されている。従って、後方構造物５０の輝度値と背景の輝度値とは大きく異なることになる。そこで、本実施形態では、画像データＰの全画素について所定の輝度値（閾値）以上の輝度値を持つ画素を抽出する。なお、このときの閾値は、後方構造物５０に着色された色を抽出できるような輝度値に設定する。
これにより、画像データＰは閾値を境界にして二値化され、図２７に示すように、後方構造物５０を構成する画素が抽出される。ただし、後方構造物５０以外にも、凹凸部Ｒの中に閾値以上の輝度値を有するエッジ画素が存在することもある。そこで、抽出された画素のうち画面下端に接触している画素の領域を後方構造物５０として判定する。これにより、画像データＰの中で後方構造物５０が特定される。
図２８はモニタ９に表示されている表示画像の一例を示している。後方構造物５０と要警戒範囲５１との相対位置関係は一定であり、画像データＰの中で後方構造物５０を特定することで、仮想線で示す要警戒範囲５１も設定される。そして、要警戒範囲５１に限定して作業員Ｍを障害物として検出するができる。なお、同図は、視野範囲に傾きを生じている場合を示しており、このため画面全体が傾いて表示される。そして、ずれ情報Ｇが画像データＰに重畳される。
本実施形態では、二値化により後方構造物５０を特定していたため、前述してきた平滑化処理部２２、エッジ抽出部２３、構造物エッジ判定部２４、エッジ線分データ確定部２５による各処理は不要である。ただし、所定の曲線性を有する後方構造物５０を検出できるのであれば、これら各部の処理により後方構造物５０を特定してもよい。また、前述してきた実施形態、つまりダンプトラック１において、前方構造物１０を特定するときに、本実施形態のように二値化の手法を用いてもよい。
なお、前述した各実施形態において、モニタ９に表示される画像はカメラ画像そのものであっても良く、また図２９の原理に基づいて視点変換処理を行って俯瞰画像として表示することもできる。
１ ダンプトラック
６ カメラ
６Ａ 視野範囲
８ 画像処理装置
９ モニタ
１０ 前方構造物
２１ 歪み補正部
２２ 平滑化処理部
２３ エッジ抽出部
２４ 構造物エッジ判定部
２５ エッジ線分データ確定部
２６ 要警戒範囲設定部
２７ 歪み復元部
２８ 表示画像作成部
３１，３１１，３１２，３１３ 要警戒範囲
３２ 警戒不要範囲
３３ 不感領域
４１ 要警戒範囲画像生成部
４２ 障害物検出部
４３ マスク画像生成部
４４ ずれ判定部
４５ 走行速度検出部
Ｇ ずれ情報
Ｍ 作業員
Ｍ１ 障害物マーキング表示
Ｐ 画像データ（スルー画像）
Ｐ１ 要警戒範囲画像
ＳＰＦ，ＳＰＬ，ＳＰＲ，ＳＰＢ 画像領域

Claims (4)

  1. 自走式産業機械に設けられ、この自走式産業機械を構成する構造物の一部を視野に含めた周辺領域を撮影する撮影部と、
    前記撮影部が撮影した画像データに基づいて、この画像データの中の前記構造物を検出する構造物検出部と、
    前記構造物検出部が検出した前記構造物に基づいて所定の範囲を要警戒範囲として前記画像データの中に設定する要警戒範囲設定部と、
    前記画像データの中の前記要警戒範囲のみに対して障害物を検出する処理を行う障害物検出部と、
    前記画像データのうち前記要警戒範囲以外の範囲を警戒不要範囲として、時間的に前後する前記警戒不要範囲における各画素の画素値の差分を演算して、この画素値の差分が所定の閾値以上である画素の画素数に基づいて、前記撮影部の視野範囲に許容範囲以上のずれを生じたか否かを判定するずれ判定部と、
    を備えた自走式産業機械の画像処理装置。
  2. 前記自走式産業機械は走行速度を検出する走行速度検出部を備え、この走行速度検出部が検出する走行速度に基づいて前記要警戒範囲を変化させる
    請求項１記載の自走式産業機械の画像処理装置。
  3. 前記画像データを俯瞰画像として表示する
    請求項１又は２記載の自走式産業機械の画像処理装置。
  4. 自走式産業機械に撮影部を設けて、この自走式産業機械の構造物の一部を含めた周辺領域を撮影し、
    前記撮影部が撮影した画像データに基づいて、この画像データの中の前記構造物を検出し、
    検出した前記構造物に基づいて所定の範囲を要警戒範囲として前記画像データの中に設定し、
    前記画像データの中の前記要警戒範囲のみに対して障害物を検出し、
    前記画像データのうち前記要警戒範囲以外の範囲を警戒不要範囲として、時間的に前後する前記警戒不要範囲における各画素の画素値の差分を演算して、この画素値の差分が所定の閾値以上である画素の画素数に基づいて、前記撮影部の視野範囲に許容範囲以上のずれを生じたか否かを判定する処理を行う
    自走式産業機械の画像処理方法。
JP2014545734A 2012-11-08 2013-11-06 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 Active JP6072064B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012246190 2012-11-08
JP2012246190 2012-11-08
PCT/JP2013/080022 WO2014073571A1 (ja) 2012-11-08 2013-11-06 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2014073571A1 JPWO2014073571A1 (ja) 2016-09-08
JP6072064B2 true JP6072064B2 (ja) 2017-02-01

Family

ID=50684673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014545734A Active JP6072064B2 (ja) 2012-11-08 2013-11-06 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法

Country Status (2)

Country Link
JP (1) JP6072064B2 (ja)
WO (1) WO2014073571A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6474396B2 (ja) * 2014-06-03 2019-02-27 住友重機械工業株式会社 人検知システム及びショベル
JP6434507B2 (ja) * 2014-06-03 2018-12-05 住友重機械工業株式会社 建設機械用人検知システム及びショベル
JP6420657B2 (ja) * 2014-12-17 2018-11-07 日立建機株式会社 作業機械およびその周囲監視装置
JP6456173B2 (ja) * 2015-02-04 2019-01-23 日立建機株式会社 車体外部移動物体検知装置
JP2017030688A (ja) * 2015-08-06 2017-02-09 日立建機株式会社 作業機械の周囲監視装置
JP6572156B2 (ja) * 2016-03-02 2019-09-04 株式会社神戸製鋼所 建設機械の干渉防止装置
JP6868996B2 (ja) * 2016-10-13 2021-05-12 日立建機株式会社 障害物検知システム及び建設機械
JP6794879B2 (ja) * 2017-03-10 2020-12-02 株式会社タダノ 作業車両用の人物検知システムおよびこれを備える作業車両
JP6926020B2 (ja) * 2018-03-29 2021-08-25 ヤンマーパワーテクノロジー株式会社 障害物検知システム
EP3832034B1 (en) 2018-07-31 2023-08-23 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Excavator

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301782A (ja) * 1993-04-16 1994-10-28 N T T Data Tsushin Kk 監視装置
JP4694032B2 (ja) * 2001-05-02 2011-06-01 株式会社小松製作所 作業機械の表示装置
JP2008027309A (ja) * 2006-07-24 2008-02-07 Sumitomo Electric Ind Ltd 衝突判定システム、及び衝突判定方法
JP2008108135A (ja) * 2006-10-26 2008-05-08 Sumitomo Electric Ind Ltd 障害物検出システム、及び障害物検出方法
JP4996928B2 (ja) * 2007-01-05 2012-08-08 日立建機株式会社 作業機械の周囲監視装置
JP4847913B2 (ja) * 2007-03-30 2011-12-28 日立建機株式会社 作業機械周辺監視装置
JP2009086788A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 車両周辺監視装置
JP2009193494A (ja) * 2008-02-18 2009-08-27 Shimizu Corp 警報システム
JP5208790B2 (ja) * 2009-02-04 2013-06-12 アイシン精機株式会社 画像処理装置、画像処理方法ならびにプログラム
JP5227841B2 (ja) * 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
JP5287392B2 (ja) * 2009-03-17 2013-09-11 トヨタ自動車株式会社 物体識別装置
JP5853206B2 (ja) * 2011-03-31 2016-02-09 パナソニックＩｐマネジメント株式会社 車載用表示装置

Also Published As

Publication number Publication date
WO2014073571A1 (ja) 2014-05-15
JPWO2014073571A1 (ja) 2016-09-08

Similar Documents

Publication Publication Date Title
JP6072064B2 (ja) 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
KR101448411B1 (ko) 입체물 검출 장치 및 입체물 검출 방법
JP5995899B2 (ja) 自走式産業機械の画像処理装置
JP4930046B2 (ja) 路面判別方法および路面判別装置
KR101464489B1 (ko) 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템
WO2018225446A1 (ja) 地図変化点検出装置
JP5551595B2 (ja) 滑走路監視システムおよび方法
JP5902990B2 (ja) 自走式産業機械の画像処理装置
JP3780922B2 (ja) 道路白線認識装置
JP6542539B2 (ja) 車両用進入可否判定装置
WO2016076449A1 (en) Method and system for detecting an approaching obstacle based on image recognition
JP2010218226A (ja) 計測マップ生成装置及び走行環境確認装置
JP2019003606A (ja) 地図変化点検出装置
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
JP5955404B2 (ja) 距離測定装置及びそれを用いた車両
JP2019049918A (ja) 作業機械の障害物検知システム
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
JP6088944B2 (ja) 作業機械の周囲監視装置
JP7280852B2 (ja) 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
KR101531313B1 (ko) 차량 하부의 물체 탐지장치 및 방법
JP6949090B2 (ja) 障害物検知装置及び障害物検知方法
JP3532896B2 (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP2005217482A (ja) 車両周辺監視方法および装置
US20190102902A1 (en) System and method for object detection

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161227

R150 Certificate of patent or registration of utility model

Ref document number: 6072064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150