JP5933004B2 - 周辺監視システム、作業車両、及び周辺監視方法 - Google Patents

周辺監視システム、作業車両、及び周辺監視方法 Download PDF

Info

Publication number
JP5933004B2
JP5933004B2 JP2014526331A JP2014526331A JP5933004B2 JP 5933004 B2 JP5933004 B2 JP 5933004B2 JP 2014526331 A JP2014526331 A JP 2014526331A JP 2014526331 A JP2014526331 A JP 2014526331A JP 5933004 B2 JP5933004 B2 JP 5933004B2
Authority
JP
Japan
Prior art keywords
detection
radar
dump truck
area
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014526331A
Other languages
English (en)
Other versions
JPWO2015162800A1 (ja
Inventor
栗原 毅
毅 栗原
幸宏 中西
幸宏 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Application granted granted Critical
Publication of JP5933004B2 publication Critical patent/JP5933004B2/ja
Publication of JPWO2015162800A1 publication Critical patent/JPWO2015162800A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04Display arrangements
    • G01S7/06Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/10Providing two-dimensional and co-ordinated display of distance and direction
    • G01S7/12Plan-position indicators, i.e. P.P.I.
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、周辺監視システム、作業車両、及び周辺監視方法に関する。
鉱山の採掘現場において、ダンプトラック及び油圧ショベルのような作業車両が稼働する。鉱山において使用される作業車両は大型である。そのため、サイドミラーなどによって周辺の状況をオペレータが認識しやすくするため、作業車両の周辺の物体を検出可能な検出装置を用いて作業車両の周辺を監視する周辺監視システムが提案されている。カメラを使った周辺監視装置の一例が特許文献1に開示されている。
特開2008−248613号公報
周辺監視システムにおいて、検出装置が正常に作動しない状況をオペレータに認識させるようにすることが好ましい。
本発明の態様は、検出装置の状態の認識を支援できる周辺監視システム、作業車両、及び周辺監視方法を提供することを目的とする。
本発明の第1の態様は、作業車両に配置され、前記作業車両の周辺の物体を検出可能な検出装置と、前記検出装置の点検のための動作確認モードを示す指令信号を取得する取得部と、前記指令信号の取得後、前記検出装置の検出結果に基づいて前記検出装置の作動状態の良否を判断する判定部と、前記判定部により前記作動状態が不良と判断された前記検出装置の識別情報を表示する表示装置と、を備える周辺監視システムを提供する。
本発明の第1の態様において、前記検出装置は、前記作業車両の周辺の異なる領域が検出されるように複数配置され、前記判定部は、複数の前記検出装置ごとに作動状態の良否を判断することが好ましい。
本発明の第1の態様において、前記識別情報は、不良と判断された前記検出装置の検出エリアを含み、前記表示装置は、画面に前記作業車両を表示するとともに前記画面において前記作業車両の周辺に前記検出エリアを表示することが好ましい。
本発明の第1の態様において、前記作業車両に配置され、前記作業車両の周辺を撮像する撮像装置を備え、前記表示装置は、前記撮像装置の撮像結果に基づいて生成された前記作業車両の周辺の俯瞰画像を前記作業車両の周辺に表示し、前記俯瞰画像に重なるように前記検出エリアを表示することが好ましい。
本発明の第1の態様において、前記検出装置は、前記作業車両の周辺の異なる領域が検出されるように複数配置され、前記判定部は、複数の前記検出装置ごとに作動状態の良否を判断し、前記表示装置は、不良と判断された前記検出装置の検出エリアを表示し、良好と判断された前記検出装置の検出エリアを表示しないことが好ましい。
本発明の第1の態様において、前記指令信号の取得後、前記表示装置は、複数の前記検出装置それぞれの検出エリアを表示し、前記判定部により前記作動状態が良好と判断された前記検出装置の検出エリアを消去することが好ましい。
本発明の第1の態様において、前記作業車両がパーキング状態において前記指令信号が取得されたときに前記動作確認モードを開始し、前記パーキング状態が解除されたときに前記動作確認モードを終了する制御部を備えることが好ましい。
本発明の第1の態様において、前記動作確認モードの終了後、前記表示装置は、前記動作確認モードにおいて不良と判断された前記検出装置の存在を示す警告情報を表示することが好ましい。
本発明の第1の態様において、前記表示装置は、前記動作確認モード開始前又は終了後の通常作業状態において物体を検出した前記検出装置の識別情報と、前記動作確認モードにおいて不良と判断された前記検出装置の識別情報とを異なる形態で表示することが好ましい。
本発明の第1の態様において、前記動作確認モードの実施時期及び前記動作確認モードにおける前記検出装置の検出結果を記憶する記憶部を備えることが好ましい。
本発明の第2の態様は、第1の態様の周辺監視システムを備える作業車両を提供する。
本発明の第3の態様は、作業車両に配置され前記作業車両の周辺の物体を検出可能な検出装置の点検のための動作確認モードの開始後、前記検出装置の検出エリアに物体を配置することと、前記検出装置の検出結果に基づいて前記検出装置の作動状態の良否を判断することと、前記作業車両に配置された表示装置の画面に前記作業車両を表示するとともに前記画面において前記作業車両の周辺に前記作動状態が不良と判断された前記検出装置の検出エリアを表示することと、を含む周辺監視方法を提供する。
本発明の態様によれば、検出装置の状態の認識を支援できる。
図1は、本実施形態に係る作業車両の一例を示す斜視図である。 図2は、本実施形態に係るキャブの一例を示す図である。 図3は、本実施形態に係る周辺監視システムの一例を示すブロック図である。 図4は、ダンプトラックに設けられる撮像装置の配置位置を示す図である。 図5は、ダンプトラックに設けられるレーダ装置の配置位置を示す図である。 図6は、車両本体の前方を検出するレーダ装置の具体的な配置を示す図である。 図7は、車両本体の左側方を検出するレーダ装置の具体的な配置を示す図である。 図8は、車両本体の右側方を検出するレーダ装置の具体的な配置を示す図である。 図9は、車両本体の後方を検出するレーダ装置の具体的な配置を示す図である。 図10は、車両本体の左側面とレーダ装置の照射状態を示す図である。 図11は、車両本体の後方とレーダ装置の照射状態を示す図である。 図12は、本実施形態に係る撮像装置及びレーダ装置の一例を模式的に示す平面図である。 図13は、本実施形態に係る撮像装置の撮像エリア及び俯瞰画像の一例を示す模式図である。 図14は、本実施形態に係るレーダ装置の一例を示す図である。 図15は、本実施形態に係るレーダ装置の一例を示す図である。 図16は、本実施形態に係るレーダ装置の検出エリアの一例を示す模式図である。 図17は、本実施形態に係る表示装置の一例を示す図である。 図18は、本実施形態に係る表示装置の一例を示す図である。 図19は、本実施形態に係る表示装置の一例を示す図である。 図20は、本実施形態に係るレーダ装置の点検作業の一例を示すフローチャートである。 図21は、本実施形態に係る表示装置の一例を示す図である。 図22は、本実施形態に係る点検作業において使用される物体の一例を示す模式図である。 図23は、本実施形態に係る点検作業の一例を示す模式図である。 図24は、本実施形態に係る表示装置の一例を示す図である。 図25は、本実施形態に係る表示装置の一例を示す図である。 図26は、本実施形態に係る表示装置の一例を示す図である。 図27は、本実施形態に係る表示装置の一例を示す図である。 図28は、本実施形態に係る周辺監視システムの動作の一例を示すフローチャートである。 図29は、本実施形態に係る表示装置の一例を示す図である。 図30は、本実施形態に係る表示装置の一例であって、検出エリアが点滅することを示す模式図である。 図31は、本実施形態に係る表示装置の動作を説明するためのタイミングチャートである。 図32は、本実施形態に係る表示装置の一例を示す図である。 図33は、本実施形態に係る表示装置の一例を示す図である。
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下の説明において、前方、後方、左方、及び右方は、運転席を基準とする。前方は、運転席に着座したオペレータの視線の前方であり、運転席からステアリングホイールに向かう方向である。後方は、前方の反対方向であり、ステアリングホイールから運転席に向かう方向である。作業車両の車幅方向は、作業車両の左右方向と一致する。
<作業車両>
図1は、本実施形態に係る作業車両1の一例を示す斜視図である。本実施形態においては、作業車両1がダンプトラック(オフロードダンプトラック)1である例について説明する。ダンプトラック1は、鉱山における作業に使用される自走式の車両である。ダンプトラック1は、リジッドフレーム式でもよいし、アーティキュレート式でもよい。
図1に示すように、ダンプトラック1は、車両本体2と、車両本体2に設けられたキャブ3と、車両本体2に支持され積荷が積載されるベッセル4と、車両本体2を支持して移動可能な走行装置5とを備えている。
また、ダンプトラック1は、ダンプトラック1の周辺を監視して、ダンプトラック1の周辺の状況をオペレータに認識させるための周辺監視システム7を備えている。
走行装置5は、前輪5A及び後輪5Bを有する。走行装置5は、ダンプトラック1に設けられた動力発生装置が発生する動力によって作動する。動力発生装置は、ディーゼルエンジンのような内燃機関及び電動機の少なくとも一方を含む。
本実施形態において、ダンプトラック1は、ディーゼルエレクトリック駆動方式を採用する。ダンプトラック1は、ディーゼルエンジンと、ディーゼルエンジンが発生した動力によって駆動される発電機と、発電機が発生した電力によって駆動される電動機とを有する。走行装置5は、電動機から伝達された動力によって走行する。
なお、内燃機関が発生した動力がパワートレインを介して走行装置5に伝達されることによって、走行装置5が走行してもよい。トロリーを介して架線から供給された電力で電動機が駆動され、その電動機から伝達された動力によって走行装置5が走行してもよい。
車両本体2は、アッパデッキ2bと、前後方向に配置されたフレーム2fとを有する。フレーム2fは、動力発生装置と、前輪5A及び後輪5Bを含む走行装置5とを支持する。フレーム2fは、ロアデッキ2a及びアッパデッキ2bを有する。ダンプトラック1は、ロアデッキ2aとアッパデッキ2bとを有する二重デッキ構造である。
ロアデッキ2aは、フレーム2fの前面の下部に配置される。アッパデッキ2bは、ロアデッキ2aの上方に配置される。ロアデッキ2aの下方に可動式ラダー2cが配置される。ロアデッキ2aとアッパデッキ2bとの間に斜めラダー2dが配置される。ロアデッキ2aとアッパデッキ2bとの間にラジエータが配置されている。アッパデッキ2bの上部に手すり2eが配置される。
キャブ3は、運転席が配置される運転室である。キャブ3は、アッパデッキ2bに配置される。キャブ3にオペレータが搭乗する。キャブ3に配置されている各種の操作装置がオペレータに操作される。
ベッセル4は、積荷を積載する。例えば、鉱山の積込場で砕石のような積荷がベッセル4に積み込まれる。ベッセル4は、油圧シリンダのようなアクチュエータによって昇降可能である。アクチュエータは、車両本体2とベッセルとの間に配置され、ベッセル4を昇降可能である。ベッセル4は、アクチュエータの作動により、積載姿勢及び起立姿勢の少なくとも一方の姿勢に調整される。積載姿勢は、ベッセル4の前部がキャブ3の上部に配置される姿勢である。起立姿勢は、積荷を排出するダンプ姿勢である。本実施形態において、ダンプトラック1は、リアダンプ方式であり、ベッセル4を後方に傾けることによってベッセル4から積荷が排出される。なお、ダンプトラック1は、ベッセル4を左右の側方に傾けることによってベッセル4から積荷を排出するサイドダンプ方式でもよい。ベッセル4は、プロテクタと呼ばれる鍔部4Fを有する。鍔部4Fは、ベッセル4の前部に配置され、キャブ3の上方に配置可能である。鍔部4Fは、キャブ3の上方に配置されることによって、キャブ3を保護する。
<キャブ>
次に、本実施形態に係るキャブ3について、図2を参照して説明する。図2は、本実施形態に係るキャブ3の一例を示す図である。図2に示すように、キャブ3は、複数の支柱3a、3b、3c、3dを含むROPS(Roll-Over Protection System:転倒時保護構造)を有する。ダンプトラック1が転倒した場合、ROPSは、キャブ3のオペレータを保護する。
キャブ3に、運転席31、ステアリングホイール32、ダッシュカバー33、無線装置34、アクセルペダル35A、ブレーキペダル35Bf、セカンダリブレーキペダル35Bs、リターダ36、シフトレバー37、シフトレバーポジションセンサ37S、パーキングブレーキ操作スイッチ37P、ダンプレバー38、操作パネル8、及びコントローラ100が配置される。
運転席31にオペレータが着座する。ステアリングホイール32は、運転席31のオペレータによって操作される。ステアリングホイール32が操作されることにより、走行装置5の走行方向(進路)が調整される。シフトレバー37は、運転席31のオペレータによって操作される。シフトレバー37が操作されることにより、ダンプトラック1の進行方向(前進又は後進)が切り替えられる。また、シフトレバー37が操作されることにより、速度段が切り替えられる。
操作パネル8は、複数の操作ボタンを含む入力装置80と、フラットパネルディスプレイのような表示装置50とを有する。表示装置50をモニタと称してもよい。入力装置80の操作により生成された指令信号(入力信号、操作信号)は、コントローラ100に出力される。表示装置50は、コントローラ100から出力された情報を表示する。周辺監視システム7は、コントローラ100、入力装置80、及び表示装置50を含む。
操作パネル8は、ダッシュカバー33に配置されてもよいし、ダッシュカバー33の上に配置されてもよいし、キャブ3の天井から吊り下げられてもよい。操作パネル8は、オペレータが入力装置80を操作でき、表示装置50を視認できる位置に配置されればよい。コントローラ100が配置される位置も任意である。
シフトレバーポジションセンサ37Sは、シフトレバー37の位置を検出する。シフトレバーポジションセンサ37Sの検出結果は、コントローラ100に出力される。コントローラ100は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の走行状態(走行モード)に関する情報を取得する。ダンプトラック1の走行状態は、前進状態、後進状態、中立状態、パーキング(駐車)状態、及び変速段状態の少なくとも一つを含む。
パーキングブレーキ操作スイッチ37Pは、ダンプトラック1の駐車においてパーキングブレーキを作動させるために操作される。パーキングブレーキ操作スイッチ37Pの操作により生成された指令信号は、コントローラ100に出力される。コントローラ100は、パーキングブレーキ操作スイッチ37Pからの指令信号に基づいて、ダンプトラック1の走行状態(パーキング状態か否か)に関する情報を取得する。
<周辺監視システム>
次に、本実施形態に係る周辺監視システム7の概要について、図3を参照して説明する。図3は、本実施形態に係る周辺監視システム7の一例を示すブロック図である。周辺監視システム7は、ダンプトラック1の周辺を監視して、ダンプトラック1の周辺の状況をオペレータに認識させる。周辺監視システム7は、例えば、コントローラ100と、コントローラ100に接続された入力装置80と、コントローラ100に接続されたシフトレバーボジションセンサ37Sと、コントローラ100に接続されたパーキングブレーキ操作スイッチ37Pと、コントローラ100に接続された表示装置50と、コントローラ100に接続され、ダンプトラック1の周辺の画像を撮像する撮像装置10(11〜16)と、コントローラ100に接続され、ダンプトラック1の周辺の物体を非接触で検出可能な検出装置20(21〜28)とを備えている。シフトレバーボジションセンサ37S、パーキングブレーキ操作スイッチ37P、及び操作パネル8の入力装置80は、コントローラ100に対する指令信号(入力信号、操作信号)を生成可能な入力部として機能する。
撮像装置10は、ダンプトラック1に配置され、ダンプトラック1の周辺の画像を撮像するカメラを含む。周辺監視システム7は、ダンプトラック1の周辺の異なる領域が撮像されるように、複数の撮像装置10を有する。本実施形態において、撮像装置10は、ダンプトラック1に6台配置される。以下の説明においては、6台の撮像装置10のそれぞれを適宜、撮像装置11、撮像装置12、撮像装置13、撮像装置14、撮像装置15、及び撮像装置16、と称する。
なお、以下の説明において、個々の撮像装置11〜16を区別しない説明においては、撮像装置11〜16を適宜、撮像装置10、と総称する。
撮像装置10が複数配置されることにより、周辺監視システム7は、ダンプトラック1の周辺の異なる領域の画像を取得可能である。
検出装置20は、ダンプトラック1に配置され、ダンプトラック1の周辺の物体を非接触で検出可能なレーダ装置を含む。周辺監視システム7は、ダンプトラック1の周辺の異なる領域が検出されるように、複数の検出装置(レーダ装置)20を有する。本実施形態において、レーダ装置20は、ダンプトラック1に8台配置される。以下の説明においては、8台のレーダ装置20のそれぞれを適宜、レーダ装置21、レーダ装置22、レーダ装置23、レーダ装置24、レーダ装置25、レーダ装置26、レーダ装置27、及びレーダ装置28と称する。
なお、以下の説明において、個々のレーダ装置21〜28を区別しない説明においては、レーダ装置21〜28を適宜、レーダ装置20、と総称する。
レーダ装置20が複数配置されることにより、周辺監視システム7は、ダンプトラック1の周辺の異なる領域に存在する物体を検出可能である。
<撮像装置及びレーダ装置の配置例>
次に、本実施形態に係る撮像装置10及びレーダ装置20の配置例について説明する。図4は、本実施形態に係る撮像装置10(11〜16)の配置位置の一例を示す図である。
図4に示すように、各撮像装置11〜16は、ダンプトラック1の周囲360度の範囲の画像を取得するために、ダンプトラック1の外周部分にそれぞれ取り付けられる。各撮像装置11〜16は、左右(水平)方向に120度、高さ(垂直)方向に96度の視野範囲を有する。
撮像装置11は、車両本体2の前方を撮像するカメラであり、図4に示すように、斜めラダー2dの最上段の踊り場部分の下部に配置される。撮像装置11は、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の前方に向かって固定される。撮像装置11の撮像範囲は、車両本体2の前方に拡がる範囲である。
撮像装置12は、車両本体2の右斜め側方前方を撮像するカメラであり、図4に示すように、アッパデッキ2bの前側面右端部付近に配置される。撮像装置12は、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の右斜め前方に向かって固定される。撮像装置12の撮像範囲は、車両本体2の右斜め前方に拡がる範囲である。
撮像装置13は、車両本体2の左斜め側方前方を撮像するカメラであり、図4に示すように、撮像装置12と左右対称位置、すなわち、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の左斜め前方に向かって固定される。撮像装置13の撮像範囲は、車両本体2の左斜め前方に拡がる範囲である。
撮像装置14は、車両本体2の右斜め側方後方を撮像するカメラであり、図4に示すように、アッパデッキ2bの右側面前端部付近に配置される。撮像装置14は、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の右斜め後方に向かって固定される。撮像装置14の撮像範囲は、車両本体2の右斜め後方に拡がる範囲である。
撮像装置15は、車両本体2の左斜め側方後方を撮像するカメラであり、図4に示すように、撮像装置14と左右対称位置、すなわち、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の左斜め後方に向かって配置される。撮像装置15の撮像範囲は、車両本体の左斜め後方に拡がる範囲である。
撮像装置16は、車両本体2の後方を撮像するカメラであり、図4に示すように、フレーム2fの後端であって、2つの後輪5Bを連結するリアアクスルの上方、かつ、ベッセル4の回動軸近傍に配置されており、クロスメンバーに取り付けられたブラケットを介して車両本体2の後方に向かって固定される。撮像装置16の撮像範囲は、車両本体2の後方に拡がる範囲である。
これら撮像装置11〜16を用いることによって、ダンプトラック1の全周囲の画像を取得することができる。なお、各撮像装置11〜16は、それぞれ撮像した画像をコントローラ100に出力する。
また、撮像装置11〜16は、フレーム2fの高い位置にあるアッパデッキ2b及びクロスメンバーに設けている。このため、各撮像装置11〜16によって上方から地面を見下ろすような撮像画像を得ることができ、地面に存在する障害物を広範囲に撮像することができる。また、俯瞰画像を形成する際に視点変換を行った場合でも、上方から撮像した画像を用いているため、立体物の変形の度合を抑制することができる。
図5は、本実施形態に係るレーダ装置20(21〜28)の配置位置の一例を示す図である。
レーダ装置21〜28は、方位(水平)方向80度(±40度)、上下(垂直)方向16度(±8度)の検出角度を有し、検出距離が最大15m以上のUWB(Ultra Wide Band:超広帯域)レーダである。設置されるレーダ装置21〜28により、ダンプトラック1の全周囲に存在する物体(障害物)の相対位置を検出する。各レーダ装置21〜28は、ダンプトラック1の外周部分に配置される。なお、各レーダ装置21〜28の方位(水平)方向の検出角度は、80度(±40度)としているが、これ以上の検出角度を有していてもよい。
レーダ装置21,22は、図5及びダンプトラック1の前方視の図6を参照して説明する。レーダ装置21,22は、主に車両本体2の前方を撮像する撮像装置11が備えられるアッパデッキ2bの下方に位置する地上から1m程度の高さになるロアデッキ2a上及び斜めラダー2dの下方に設けられる。レーダ装置21,22は、それぞれブラケットB21,B22を介して車両中心面Cに対して左右対称に取り付けられる。レーダ装置22は、前方斜め左方向に向けられて配置され、レーダ装置21は、前方斜め右方向に向けられて配置される。具体的には、レーダ装置22の水平方向の照射中心軸は、車両中心面Cの進行方向の軸に対して車両本体2の左側に45度傾けられ、レーダ装置21の水平方向の照射中心軸は、車両中心面Cの進行方向の軸に対して車両本体2の右側に45度傾けられ、各照射中心軸は交差する。また、レーダ装置21,22の垂直方向の各照射中心軸は、約5度の俯角をもつ。これによって、車両本体2の前端部から前方の領域の物体を全て検出することができる。
レーダ装置28及び車両中心面Cの対称の位置にあるレーダ装置23を、図5、ダンプトラック1の左側から側方視となる図7、及びダンプトラック1の右側からの側方視となる図8を参照して説明する。レーダ装置28は、主に車両本体1の左側側方を撮像する撮像装置13,15が備えられるアッパデッキ2bの下方に位置するロアデッキ2aの左側端部、可動式ラダー2c上端部近傍に設けられる。レーダ装置28は、ロアデッキ2bにブラケットB28を介し取り付けられ、車両本体2の左側側方外側に向けて配置される。
レーダ装置23は、ダンプトラック1の左側からの側方視において設置されレーダ装置28とは車両中心面Cを基準に左右対称位置にある。レーダ装置23は、主に車両本体2の右側側方を撮像する撮像装置12,14が備えられるアッパデッキ2bの下方に位置するロアデッキ2aの右側端部、車両本体2の右側方に設けられた可動式ラダー2cに設けられる。レーダ装置23は、ロアデッキ2bにブラケットB28と車両中心面Cに対し左右対称に設けられるブラケットB23を介し取り付けられ、車両本体2の右側側方外側に向けて配置される。
レーダ装置23の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の右側に70度傾けられ、レーダ装置28の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の左側に70度傾けられる。また、レーダ装置23,28の垂直方向の各照射中心軸は、約5度の俯角をもつ。
レーダ装置23,28により、ダンプトラック1の側方、特に前輪5A,後輪5Bの前方側の物体の検出を可能とする。また、レーダ装置23,28は、ベッセル4及びアッパデッキ2bの下方に位置し、積載時にベッセル4から飛び出す飛石等の影響を受けない。
レーダ装置27及び車両中心面Cの対称の位置にあるレーダ装置24を、図5、ダンプトラック1の左側から側方視となる図7、及びダンプトラック1の右側からの側方視となる図8を参照して説明する。レーダ装置27は、主に車両本体2の左側側方を撮像する撮像装置13,15が備えられるアッパデッキ2bより下方に位置するロアデッキ2aに向けて延伸する車両左側のフロントフェンダー2gから側方に張り出した位置に設けられたエアークリーナ62の側端部に配置される。レーダ装置27は、フロントフェンダー2gにブラケットB27を介し、後方に向けて取り付けられる。レーダ装置27の高さは、地上から2.5m程度である。
レーダ装置24は、ダンプトラック1の左側からの側方視において設置されレーダ装置27とは車両中心面Cを基準に左右対称位置にある。レーダ装置24は、主に車両本体2の右側側方を撮像する撮像装置12,14が備えられるアッパデッキ2bの下方に位置するロアデッキ2aに向けて延伸する車両右側のフロントフェンダー2gから右側側方に張り出した位置に設けられたエアークリーナ62の側端部に配置させる。レーダ装置24は、フロントフェンダー2gにブラケットB24を介し、後方に向けて取り付けられる。
レーダ装置24の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の右側に30度傾けられ、レーダ装置27の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の左側に30度傾けられる。また、レーダ装置24,27の垂直方向の各照射中心軸は、約15度の俯角をもつ。
レーダ装置24,27により、ダンプトラック1の側方で前輪5A及び後輪6Bの中心軸線の後方に該当し、特にベッセル側方全域に該当する側方後方領域の障害物の検出を可能とする。また、各レーダ装置24,27は、ベッセル4及びアッパデッキ2bの下方に位置し、積載時にベッセル4から飛び出す飛石等の影響を受けない。
レーダ装置25,26を、図5及びダンプトラック1の後方視となる図9を参照して説明する。レーダ装置25,26は、地上から2m程度の高さになり、ベッセル4の撮像装置16が設置されたクロスメンバー70よりも下方に位置する後輪5Bの駆動軸のリアアクスル71のケース後方側に配置される。レーダ装置25,26は、それぞれブラケットB25,B26を介して車両中心面Cに対して左右対称に取り付けられる。また、レーダ装置25,26は、リアサスペンションシリンダ72の接合部73間に設けられる。レーダ装置26は、後方斜め右方向に向けられて配置され、レーダ装置25は、後方斜め左方向に向けられて配置される。
レーダ装置26の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の右側に45度傾けられ、レーダ装置25の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両の左側に45度傾けられ、各照射中心軸はベッセル4の下方にて車両中心面C上で交差する。また、レーダ装置25,26の垂直方向の各照射中心軸は、俯角方向に0〜10度、この実施の形態では約5度の俯角をもつ。
各レーダ装置25,26は、車両中心面Cに対し左右対称に取り付けられ各照射中心軸が交差する様に設置されているため、車両本体2の後端部から後方の領域の物体を全て検出することができる。特に、レーダ装置25,26は、クロスメンバー70より低い位置となるリアアクスル71のケースに小さい俯角をもって配置される。図10及び図11に示すように、車両本体2の低い位置に小さい俯角をもって設置されたレーダ装置25、26により車両本体2の遠方及びベッセル4の後方に隠れた物体を同時に検出することができる。なお、レーダ装置25の水平方向の照射中心軸とレーダ装置26の水平方向の照射中心軸とは、車両中心面Cに対して45度としたが、45度以下であればよく、例えば30度であってもよい。この値は、レーダ装置25,26の車輪5B後端に対する後方への張り出し具合によって決定すればよい。
車両本体2の各々の方向の障害物を検出するレーダ装置21〜28は、俯瞰画像を生成するため車両本体2各々の方向を撮像する各撮像装置11〜16より低い位置の部材に取り付けられる。垂直方向に小さい角度を有するレーダ装置を用いても、撮像装置より低い位置にレーダ装置を設置することにより撮像装置が撮像し生成した俯瞰画像においても、レーダ装置で検出した障害物情報を俯瞰画像中へ表示する事が可能になる。
<撮像装置>
次に、本実施形態に係る撮像装置10について、図12及び図13を参照して説明する。図12は、本実施形態に係る撮像装置10及びレーダ装置20の一例を模式的に示す平面図である。図13は、複数の撮像装置10(11〜16)によって撮像される撮像エリア10C(11C〜16C)及び複数の撮像装置10によって撮像された画像情報に基づいて生成された俯瞰画像200の一例を示す模式図である。
撮像装置10(11〜16)は、ダンプトラック1に配置され、ダンプトラック1の周辺を撮像する。撮像装置10は、ダンプトラック1の周辺を撮像し、画像情報をコントローラ100に出力する。撮像装置10は、例えば、ワイドダイナミックレンジ(WDR:Wide Dynamic Range)カメラである。ワイドダイナミックレンジカメラは、明るい部分を視認できるレベルに保ちながら、暗い部分を明るく補正し、全体をくまなく視認できるように調整可能な機能を有したカメラである。撮像装置10のそれぞれは、ダンプトラック1の周囲360度の範囲における画像を撮像するために、ダンプトラック1の外周部分に配置される。
撮像装置11は、ダンプトラック1の前部に配置される。撮像装置11は、ダンプトラック1の周囲の領域の一部である撮像エリア11Cを撮像して、その撮像エリア11Cの画像情報をコントローラ100に出力する。撮像エリア11Cは、ダンプトラック1の車両本体2の前方に拡がる領域である。
撮像装置12は、左右方向に関してダンプトラック1の前部の右端部に配置される。撮像装置12は、ダンプトラック1の周囲の領域の一部である撮像エリア12Cを撮像して、その撮像エリア12Cの画像情報をコントローラ100に出力する。撮像エリア12Cは、ダンプトラック1の車両本体2の右斜め前方に拡がる領域である。
撮像装置13は、左右方向に関してダンプトラック1前部の左端部に配置される。撮像装置13は、ダンプトラック1の周囲の領域の一部である撮像エリア13Cを撮像して、その撮像エリア13Cの画像情報をコントローラ100に出力する。撮像エリア13Cは、ダンプトラック1の車両本体2の左斜め前方に拡がる領域である。
撮像装置14は、左右方向に関してダンプトラック1の右側部に配置される。撮像装置14は、ダンプトラック1の周囲の領域の一部である撮像エリア14Cを撮像して、その撮像エリア14Cの画像情報をコントローラ100に出力する。撮像エリア14Cは、ダンプトラック1の車両本体2の右斜め後方に拡がる領域である。
撮像装置15は、左右方向に関してダンプトラック1の左側部に配置される。撮像装置15は、ダンプトラック1の周囲の領域の一部である撮像エリア15Cを撮像して、その撮像エリア15Cの画像情報をコントローラ100に出力する。撮像エリア15Cは、ダンプトラック1の車両本体2の左斜め後方に拡がる領域である。
撮像装置16は、ダンプトラック1の後部に配置される。撮像装置16は、ダンプトラック1の周囲の領域の一部である撮像エリア16Cを撮像して、その撮像エリア16Cの画像情報をコントローラ100に出力する。撮像エリア16Cは、ダンプトラック1の車両本体2の後方に拡がる領域である。
複数の撮像エリア11C〜16Cは、ダンプトラック1の周辺の異なるエリアである。周辺監視システム7は、複数の撮像装置10(11〜16)を用いることにより、ダンプトラック1の全周360度の画像を撮像し、その画像情報を取得することができる。
なお、以下の説明において、個々の撮像エリア11C〜16Cを区別しない説明においては、撮像エリア11C〜16Cを適宜、撮像エリア10C、と総称する。
周辺監視システム7は、撮像装置10にワイドダイナミックレンジカメラを用いる。このため、撮像装置10は、明るい部分を視認できるレベルに保ちながら、ダンプトラック1の影になった部分のような暗い部分を明るく補正できる。したがって、撮像装置10が撮像した画像は、黒潰れ及び白飛びが起きにくくなり、全体としてより分かりやすい画像となる。その結果、撮像装置10を備える周辺監視システム7は、ダンプトラック1の影となる領域に存在する車両等の物体が視認しやすくなった俯瞰画像200を表示装置50に表示することができる。このように、周辺監視システム7は、撮像装置10が撮像した画像を用いてダンプトラック1の周辺を監視するにあたって、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の物体を俯瞰画像200に表示することができる。その結果、ダンプトラック1のオペレータは、ダンプトラック1の周囲、特に影となる領域に存在する物体を、環境によらず、確実に視認することができる。
このように、周辺監視システム7は、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の物体を確実に表示する俯瞰画像200を生成することができるので、オペレータの死角に存在する物体を、俯瞰画像200によって確実に視認できるようにすることができる。したがって、周辺監視システム7は、上述したような、鉱山で用いられる非常に大型のダンプトラック1の周辺を監視する際に非常に有効である。すなわち、ダンプトラック1は、非常に大きい影となる領域を形成する場合があり、かつ影となる領域を自身で作りながら移動し、さらにベッセル4の昇降によって影となる領域が大きく変化し、また、死角となる領域が大きい。周辺監視システム7は、このようなダンプトラック1において、ダンプトラック1の周囲の物体を確実に表示する俯瞰画像200を生成して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。また、周辺監視システム7は、赤道直下のような日向と日陰との照度差が非常に大きくなるような場所で稼働するダンプトラック1に対して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。
<レーダ装置>
次に、本実施形態に係るレーダ装置20について、図12、図14、図15、及び図16を参照して説明する。図12は、本実施形態に係る撮像装置10及びレーダ装置20の一例を模式的に示す平面図である。図14は、レーダ装置20の一例を示す図である。図15は、レーダ装置20の一例を示す図である。図16は、複数のレーダ装置20(21〜28)によって検出される検出エリア20C(21C〜28C)の一例を示す模式図である。
レーダ装置20(21〜28)は、ダンプトラック1に配置され、ダンプトラック1の周辺の物体を検出可能である。レーダ装置20は、ダンプトラック1の周囲に存在する物体とダンプトラック1との相対位置を検出する。レーダ装置20は、ダンプトラック1の周辺の物体を非接触で検出し、検出結果をコントローラ100に出力する。レーダ装置20は、例えば、方位(水平)方向80度(±40度)、上下(垂直)方向16度(±8度)の検出角度を有し、検出距離が最大15m以上のUWB(Ultra Wide Band)レーダ(超広域帯レーダ)である。レーダ装置20のそれぞれは、ダンプトラック1の周囲360度の範囲における物体を検出するために、ダンプトラック1の外周部分に配置される。
レーダ装置20は、電波を発射可能な発射部と、電波を受信可能な受信部とを有する。レーダ装置20の発射部から発射され、物体に照射された電波の少なくとも一部は、その物体で反射する。レーダ装置20は、反射部で反射した物体からの電波を受信部で受信する。レーダ装置20は、物体からの電波を受信して、レーダ装置20と物体との相対位置を検出する。レーダ装置20は、ブラケットを介してダンプトラック1に固定される。レーダ装置20と物体との相対位置が検出されることにより、ダンプトラック1と物体との相対位置が検出される。
図14に示すように、レーダ装置20は、発射部及び受信部を有するレーダ本体81と、レーダ本体81の周囲を囲むフードである保護部材83とを有する。この保護部材83は、ケーブル82を引き出す部分が切り欠きとなっている。この保護部材83を設けることによって、レーダ本体81の発射部への泥除けを行うことができ、レーダ装置20の検出機能を維持できる。また、保護部材83によって、石跳ねなどによるレーダの破損防止を図ることができる。
さらに、図15に示すように、レーダ装置20は、保護部材83によって囲まれた空間の開口部、すなわち発射側の開口部を覆う保護部材84を有する。この保護部材84は、前面保護を行うものであり、強度を有することはもちろんであるが、レーダ信号が透過する部材であることが必要である。また、透明部材であることが好ましい。透明であると、レーダ本体81表面での結露などを目視確認できるからである。この保護部材84は、たとえば、ポリカーボネートによって形成される。
レーダ装置21は、ダンプトラック1の前部に配置される。レーダ装置21は、左右方向に関してダンプトラック1の中央部よりも左側に配置される。レーダ装置21は、ダンプトラック1の周囲の領域の一部である検出エリア21Cの物体を検出可能である。レーダ装置21は、検出結果をコントローラ100に出力する。検出エリア21Cは、ダンプトラック1の車両本体2の前部から右斜め前方に拡がる領域である。
レーダ装置22は、ダンプトラック1の前部に配置される。レーダ装置22は、左右方向に関してダンプトラック1の中央部よりも右側に配置される。レーダ装置22は、ダンプトラック1の周囲の領域の一部である検出エリア22Cの物体を検出可能である。レーダ装置22は、検出結果をコントローラ100に出力する。検出エリア22Cは、ダンプトラック1の車両本体2の前部から左斜め前方に拡がる領域である。
レーダ装置23は、ダンプトラック1の右側部に配置される。レーダ装置23は、ダンプトラック1の周囲の領域の一部である検出エリア23Cの物体を検出可能である。レーダ装置23は、検出結果をコントローラ100に出力する。検出エリア23Cは、ダンプトラック1の車両本体2の右側部から右側に拡がる領域である。
レーダ装置24は、ダンプトラック1の右側部に配置される。レーダ装置24は、レーダ装置23よりも後方に配置される。レーダ装置24は、ダンプトラック1の周囲の領域の一部である検出エリア24Cの物体を検出可能である。レーダ装置24は、検出結果をコントローラ100に出力する。検出エリア24Cは、ダンプトラック1の車両本体2の右側部から右側に拡がる領域である。検出エリア24Cは、検出エリア23Cよりも後方に位置する。
レーダ装置25は、ダンプトラック1の後部に配置される。レーダ装置25は、左右方向に関してダンプトラック1の中央部よりも右側に配置される。レーダ装置25は、ダンプトラック1の周囲の領域の一部である検出エリア25Cの物体を検出可能である。レーダ装置25は、検出結果をコントローラ100に出力する。検出エリア25Cは、ダンプトラック1の車両本体2の後部から左斜め後方に拡がる領域である。
レーダ装置26は、ダンプトラック1の後部に配置される。レーダ装置26は、左右方向に関してダンプトラック1の中央部よりも左側に配置される。レーダ装置26は、ダンプトラック1の周囲の領域の一部である検出エリア26Cの物体を検出可能である。レーダ装置26は、検出結果をコントローラ100に出力する。検出エリア26Cは、ダンプトラック1の車両本体2の後部から右斜め後方に拡がる領域である。
レーダ装置27は、ダンプトラック1の左側部に配置される。レーダ装置27は、ダンプトラック1の周囲の領域の一部である検出エリア27Cの物体を検出可能である。レーダ装置27は、検出結果をコントローラ100に出力する。検出エリア27Cは、ダンプトラック1の車両本体2の左側部から左側に拡がる領域である。
レーダ装置28は、ダンプトラック1の左側部に配置される。レーダ装置28は、レーダ装置27よりも前方に配置される。レーダ装置28は、ダンプトラック1の周囲の領域の一部である検出エリア28Cの物体を検出可能である。レーダ装置28は、検出結果をコントローラ100に出力する。検出エリア28Cは、ダンプトラック1の車両本体2の左側部から左側に拡がる領域である。検出エリア28Cは、検出エリア27Cよりも前方に位置する。
複数の検出エリア21C〜28Cは、ダンプトラック1の周辺の異なるエリアである。周辺監視システム7は、複数のレーダ装置20(21〜28)を用いることにより、ダンプトラック1の全周360度の物体を検出し、その物体情報を取得することができる。
なお、以下の説明において、個々の検出エリア21C〜28Cを区別しない説明においては、検出エリア21C〜28Cを適宜、検出エリア20C、と総称する。
レーダ装置20は、撮像装置10よりも低い位置に配置される。撮像装置10は、俯瞰画像200を生成するために高い位置に配置される。
<コントローラ>
次に、本実施形態に係るコントローラ100について、図3を参照して説明する。コントローラ100は、演算装置であるCPU(Central Processing Unit)及びVRAM(Video Random Access Memory)のようなメモリを有する。コントローラ100は、撮像装置10及びレーダ装置20を用いて、ダンプトラック1の周辺の物体の有無を表示装置50に表示する。図3に示すように、コントローラ100は、俯瞰画像200を生成する俯瞰画像合成部110と、指令信号(入力信号、操作信号)を取得する取得部120と、物体の位置情報を生成する位置情報生成部130と、表示装置50を制御する表示制御部140と、ダンプトラック1のモードを設定するモード制御部150と、レーダ装置20の作動状態の良否を判断する判定部210と、レーダ装置20の検出結果を処理する処理部220と、レーダ装置20の異常を検出する異常検出部230と、記憶部160と、タイマー170とを有する。
俯瞰画像合成部110は、撮像装置10から画像情報を取得する。俯瞰画像合成部110は、取得した複数の画像情報を合成して、ダンプトラック1の周辺の俯瞰画像200を生成する。俯瞰画像合成部110は、複数の画像情報のそれぞれを座標変換して、俯瞰画像200を表示するための俯瞰画像情報を生成する。
位置情報生成部130は、レーダ装置20から物体の位置情報を取得する。通常作業状態において、位置情報生成部130は、レーダ装置20から取得した物体の位置情報から、俯瞰画像200と一緒に表示するための物体位置情報を生成し、表示制御部140に出力する。
表示制御部140は、撮像装置10、俯瞰画像合成部110、及び位置情報生成部130から、各種の情報を取得する。表示制御部140は、俯瞰画像合成部110からの俯瞰画像情報と、位置情報生成部130からの物体位置情報とに基づいて、物体の位置情報を含む俯瞰画像200を生成する。表示制御部140は、俯瞰画像200を表示装置50に表示させることができる。表示制御部140は、物体位置情報を示す指標MKを表示装置50に表示させることができる。表示制御部140は、指標MKと俯瞰画像200とが表示装置50の画面において重なるように、表示装置50に表示させることができる。
また、表示制御部140は、撮像装置10からの画像情報に基づいて、撮像エリア10Cの画像を表示装置50に表示させることができる。
表示制御部140は、入力装置80からの指令信号に基づいて、表示装置50の表示モードを切り替えることができる。表示制御部140は、ダンプトラック1の画像とダンプトラック1の周辺の俯瞰画像200と指標MKとの両方を同時に表示させたり、俯瞰画像200のみを表示させたりすることができる。
また、表示制御部140は、シフトレバーポジションセンサ37Sからの指令信号に基づいて、表示装置50の表示モードを切り替えることができる。表示制御部140は、シフトレバーポジションセンサ37Sからの指令信号に基づいて、ダンプトラック1の走行状態(前進状態、後進状態、中立状態、パーキング状態、及び変速段状態の少なくとも一つ)に関する情報を取得する。表示制御部140は、シフトレバー37の操作に応じて、表示装置50に表示する撮像エリア10C(11C〜16C)を切り替えることができる。例えば、ダンプトラック1が後進状態になるようにシフトレバー37が操作された場合、表示制御部140は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の後方の撮像エリア16Cの画像を表示する。ダンプトラック1が前進状態になるようにシフトレバー37が操作された場合、表示制御部140は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の前方の撮像エリア11Cの画像を表示する。
取得部120は、入力装置80からの指令信号(入力信号、操作信号)、シフトレバーポジションセンサ37Sからの指令信号(入力信号、操作信号)、及びパーキングブレーキ操作スイッチ37Pからの指令信号(入力信号、操作信号)を取得する。取得部120は、その指令信号に応じた制御情報をモード制御部150に出力する。
モード制御部150は、取得部120からの制御情報を取得する。モード制御部150は、取得部120からの制御情報に基づいて、ダンプトラック1について、通常作業状態と動作確認モードとを切り替える。動作確認モードとは、レーダ装置20の点検のためのモードである。通常作業状態は、ダンプトラック1が通常稼動(走行)する状態であり、動作確認モードが実行されている以外の状態である。
動作確認モードは、ダンプトラック1の作業開始前(稼動前)において、ダンプトラック1がパーキング状態で、レーダ装置20の作動状態の良否を確認するモードである。ダンプトラック1が非パーキング状態においては、モード制御部150は、動作確認モードを実施しない。モード制御部150は、パーキングブレーキ操作スイッチ37Pからの入力信号に基づいて、パーキング状態か否かを判断することができる。
モード制御部150は、シフトレバーポジションセンサ37Sからの入力信号に基づいて、パーキング状態か否かを判断してもよい。モード制御部150は、シフトレバーポジションセンサ37Sからの入力信号に基づいて、ダンプトラック1がパーキング状態から非パーキング状態に変化したと判断することができる。非パーキング状態は、前進状態、後進状態、及び中立状態の少なくとも一つを含む。
記憶部160は、通常作業状態及び動作確認モードのそれぞれにおいてダンプトラック1の制御を実行するためのコンピュータプログラム及びその制御に必要なデータ等を記憶する。コントローラ100は、記憶部160が記憶しているコンピュータプログラムを読み出して実行したり、制御に必要なデータを読み出したりして、制御を実行する。
タイマー170は、基準時点からの経過時間を計測する。タイマー170の計時結果は、モード制御部150及び記憶部160などに出力される。
本実施形態において、記憶部160は、タイマー170からの出力を参照して、動作確認モードの実施時期及び動作確認モードにおけるレーダ装置20の検出結果を記憶する。
判定部210は、レーダ装置20と接続される。判定部210は、レーダ装置20(21〜28)の検出エリア20C(21C〜28C)の物体の検出結果を取得する。動作確認モードにおいて、判定部210は、レーダ装置20の検出結果に基づいて、レーダ装置20の作動状態の良否を判断する。判定部210は、レーダ装置20から取得した物体の位置情報を処理部220に出力する。
処理部220は、レーダ装置20から取得した物体の位置情報を、位置情報生成部130へ出力する。
<表示装置の表示例>
次に、本実施形態に係る表示装置50の画像の表示例について説明する。図17は、コントローラ100の表示制御部140が表示装置50に表示させる画像の一例を示す図である。表示装置50は、カラー表示可能である。図17において、符号UPは、表示装置50の上側を示す。符号UNは、表示装置50の下側を示す。符号Lは、表示装置50の左側を示す。符号Rは、表示装置50の右側を示す。符号Fは、ダンプトラック1の前側を示す。符号Bは、ダンプトラック1の後側を示す。ダンプトラック1は、表示装置50の上側がダンプトラック1の前側となり、表示装置50の下側がダンプトラック1の後側となるように、表示装置50に表示される。
図17は、通常作業状態において、レーダ装置20が正常に作動しているときの表示装置50の画像を示す。本実施形態においては、ダンプトラック1が非パーキング状態となり、低速走行している期間において、通常作業状態における画像が表示装置50に表示される。本実施形態においては、ダンプトラック1の走行速度が所定の閾値(例えば時速15km)以下の低速走行期間において、通常作業状態における画像が表示装置50に表示される。ダンプトラック1の走行速度が閾値を超えた高速走行期間においては、表示装置50は、撮像装置10の撮像結果に基づく表示を行わない。撮像装置10の撮像結果に基づく表示とは、俯瞰画像200及び撮像装置10によって撮像された撮像エリア10Cの画像の少なくとも一方を含む。
なお、本実施形態においては、入力装置80は、高速走行期間においても、撮像装置10の撮像結果に基づく表示を表示装置50に行わせる操作ボタン(強制表示ボタン)を含む。その強制表示ボタンが操作されることにより、表示制御部140は、高速走行期間においても、表示装置50に画像を表示させることができる。
図17に示す例では、通常作業状態が開始されることにより、表示制御部140は、表示装置50の画面に、第1画像エリア50A、第2画像エリア50B、及び第3画像エリア50Cを設定する。本実施形態において、第1画像エリア50A、第2画像エリア50B、及び第3画像エリア50Cは、同一画面上に設定される。第1画像エリア50A、第2画像エリア50B、及び第3画像エリア50Cには、別々の画像(独立した画像)が表示される。
第1画像エリア50Aには、撮像装置10の撮像結果に基づいて生成された俯瞰画像200が表示される。また、第1画像エリア50Aには、車両本体2のエッジの位置を示すラインL0、車両本体2のエッジから3メートルの位置を示すラインL1、車両本体2のエッジから5メートルの位置を示すラインL2、及び車両本体2のエッジから7メートルの位置を示すラインL3が表示される。ラインL0、ラインL1、ラインL2、及びラインL3は異なる色で表示される。例えば、ラインL0は白色、ラインL1は赤色、ラインL3は黄色、ラインL4は黒色で表示される。ダンプトラック1は、例えば黄色で表示される。また、第1画像エリア50Aには、左右方向に関して車両本体2の中心を通り、前後方向に延在する中心線C1と、前後方向に関して車両本体2の中心を通り、左右方向に延在する中心線C2とが表示される。中心線C1及び中心線C2は、水平面と平行である。
第2画像エリア50Bには、複数の撮像装置10(11〜16)のうち、選択された1つの撮像装置10によって撮像された画像が表示される。図17に示す例では、車両本体2の前方の撮像エリア11Cの画像が表示されている。なお、図17に示す例では、撮像装置10によって撮像された画像に車両本体2の一部が写り込んでいる(符号2IM参照)。本実施形態においては、表示制御部140は、シフトレバー37の操作(シフトレバーポジションセンサ37Sの操作信号)に基づいて、複数の撮像エリア10C(11C〜16C)のうち、1つの撮像エリア10Cが選択される。図17に示す例では、ダンプトラック1が前進状態になるようにシフトレバー37が操作されているため、表示制御部140は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の前方の撮像エリア11Cの画像を第2画像エリア50Bに表示する。ダンプトラック1が後進状態になるようにシフトレバー37が操作された場合、表示制御部140は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の後方の撮像エリア16Cの画像を第2画像エリア50Bに表示する。このように、本実施形態においては、シフトレバー37の操作によって、表示装置50に表示される撮像エリア10Cが切り替わる。
なお、入力装置80の操作により、複数の撮像エリア10C(11C〜16C)のうち1つの撮像エリア10Cが選択され、その選択された撮像エリア10Cが表示装置50に表示されてもよい。すなわち、入力装置80の操作により、表示装置50に表示される撮像エリア10Cが切り替わってもよい。
第3画像エリア50Cには、各種のアイコン(記号及び図形など)が表示される。本実施形態においては、6つの撮像エリア10C(11C〜16C)のうち、第2画像エリア50Bに表示されている撮像エリア10Cを示すアイコン51と、レーダ装置20(21〜28)の作動状態を示すアイコン52とが表示される。図17に示す例では、レーダ装置20が正常に作動しているため、アイコン52は、所定の色(本例では緑色)で表示される。コントローラ100により、レーダ装置20は正常に作動していると判断されている期間において、アイコン52は、点滅せずに、緑色で点灯(連続点灯)する。
なお、図17に示す例では、1つの表示装置50の画面に3つの画像エリアが設定されることとした。入力装置80の操作により、1つの表示装置50の画面に1つの画像エリアが設定されてもよいし、2つの画像エリアが設定されてもよいし、4つ以上の画像エリアが設定されてもよい。
図18は、レーダ装置20が正常に作動している状態において、レーダ装置20が物体を検出したときの表示装置50の表示例を示す。例えば、複数のレーダ装置20(21〜28)のうち、レーダ装置23の検出エリア23Cに物体が存在する場合、レーダ装置23は、その物体を検出する。レーダ装置23の検出結果は、処理部220に出力される。
処理部220は、レーダ装置23の検出結果を、位置情報生成部130に出力する。位置情報生成部130は、レーダ装置23によって取得された物体の位置情報を示す物体位置情報を生成し、表示制御部140に出力する。
表示制御部140は、位置情報生成部130から取得した物体位置情報に基づいて、物体を示す指標MKを表示装置50に表示する。図18に示すように、表示制御部140は、撮像装置10の撮像結果に基づいて生成された俯瞰画像200に指標MKを表示する。
本実施形態において、表示制御部140は、レーダ装置20の検出結果に基づいて、ダンプトラック1の周辺のうち、物体が存在している検出エリア20Cを識別するための識別情報を表示する。換言すれば、複数のレーダ装置20のうち、物体を検出したレーダ装置20を識別するための識別情報が表示装置50に表示される。本実施形態において、識別情報は、例えば、表示装置50の画面においてダンプトラック1の周辺に表示された撮像エリア10C(又は検出エリア20C)、文字、数字若しくはアイコン又はこれらの組み合わせである。
本実施形態においては、物体を検出したレーダ装置20を識別するための識別情報が撮像エリア10Cに対応付けて表示される。すなわち、複数のレーダ装置20のうち、物体を検出したレーダ装置20を識別するための識別情報が、検出エリア20Cに対応付けて表示されず、撮像エリア10Cに対応付けて表示される。
図18に示す例では、複数のレーダ装置20(21〜28)のうち、レーダ装置23が物体を検出し、物体は、検出エリア23Cと撮像エリア12Cとの重複部分に存在する。そのため、図18に示すように、表示制御部140は、撮像エリア12Cの外形を示すフレーム画像を表示する。なお、レーダ装置23が物体を検出し、その物体が検出エリア23Cと撮像エリア14Cとの重複部分に存在するとき、図19に示すように、表示制御部140は、撮像エリア14Cの外形を示すフレーム画像を表示する。
なお、内側に指標MKが配置されるフレーム画像は、点滅してもよいし、赤色などの強調色で表示されてもよい。
このように、本実施形態においては、表示装置50は、レーダ装置20による物体の検出結果(指標MKの位置)を、検出エリア20Cを利用せずに、撮像エリア10Cを利用して表示する。
<周辺監視システムの動作>
次に、本実施形態に係る周辺監視システム7の動作の一例について説明する。本実施形態においては、ダンプトラック1の作業前(稼動前)に、レーダ装置20の点検(始業時点検、日常点検)が行われる。図20は、レーダ装置20の点検作業の一例を示すフローチャートである。図20に示すように、点検作業は、ダンプトラック1がパーキング状態において、レーダ装置20及びコントローラ100などを含むダンプトラック1の電子機器を作動する工程(ステップSP1)と、パーキング状態において、入力装置80を操作して、レーダ装置20の点検のための動作確認モード(始業点検モード)を示す指令信号を生成する工程(ステップSP2)と、ダンプトラック1の周辺において物体を移動してレーダ装置20の検出エリア20Cに配置する工程(ステップSP3)と、レーダ装置20の検出結果に基づいてレーダ装置20の作動状態の良否を判断する工程(ステップSP4)と、作動状態が不良と判断されたレーダ装置20の検出エリア20Cを表示装置50に表示する工程(ステップSP5)と、シフトレバー37を操作して、動作確認モードを終了する工程(ステップSP6)と、を含む。
始業のため、オペレータがキャブ3に搭乗する。オペレータは、例えばイグニッションキーを使って、ダンプトラック1の電気系統を作動させる(ステップSP1)。イグニッションキーの操作により、上述の内燃機関が作動してもよいし、内燃機関は作動せず、アクセサリー電源のみが作動してもよい。ダンプトラック1の電気系統が作動することにより、コントローラ100、表示装置50、入力装置80、シフトレバーポジションセンサ37S、パーキングブレーキ操作スイッチ37P、撮像装置10、及びレーダ装置20などを含むダンプトラック1の電子機器が起動する。
点検作業は、ダンプトラック1がパーキング状態で行われる。本実施形態においては、パーキングブレーキ操作スイッチ37Pの操作により、ダンプトラック1がパーキング状となる。また、点検作業は、ダンプトラック1の周辺に障害物のような他の物体が存在しない広い場所で行われる。点検作業は、ベッセル4に積荷がない空荷状態で行われる。また、点検作業は、ベッセル4が積載姿勢で行われる。なお、点検作業は、ベッセル4に積荷がある積荷状態で行われてもよい。点検作業は、ベッセル4が起立姿勢で行われてもよい。なお、ベッセル4が起立姿勢の場合、車両本体2の後方を検出するためのレーダ装置25及びレーダ装置26の作動は停止される。
次に、オペレータにより、レーダ装置20(21〜28)の点検の実施のために、ダンプトラック1が動作確認モードに設定される(ステップSP2)。動作確認モードは、レーダ装置20の点検を実施するためのモードである。本実施形態においては、入力装置80が操作されることによって、動作確認モードが開始される。例えば、入力装置80の複数の操作ボタンのうち、表示装置50の画面の表示モード切替スイッチと障害物確認クリアボタンとが同時に3秒以上長押しされることによって、動作確認モードの開始を指令するための指令信号が生成される。
入力装置80の操作により生成された、動作確認モードを示す指令信号は、取得部120に出力される。取得部120は、その指令信号をモード制御部150に送信する。モード制御部150は、ダンプトラック1を動作確認モードに設定する。これにより、動作確認モードが起動(開始)される。
このように、本実施形態においては、ダンプトラック1がパーキング状態においてコントローラ100の取得部120が指令信号を取得したときに動作確認モードが開始される。
図21は、動作確認モードが開始された直後の表示装置50の表示の一例を示す。取得部120が入力装置80から指令信号を取得後、モード制御部150は、表示制御部140に、動作確認モードの開始指令信号を出力する。図21に示すように、表示制御部140は、表示装置50の画面の第1画像エリア50Aにダンプトラック1を表示するとともに、その画面の第1画像エリア50Aにおいて、ダンプトラック1の周辺に検出エリア20C(21C〜28C)を表示する。表示装置50には、ダンプトラック1とともに、そのダンプトラック1の周辺に複数のレーダ装置20(21〜28)それぞれの検出エリア20C(21C〜28C)が表示される。
本実施形態においては、通常作業状態のみならず、動作確認モードにおいても、表示制御部140は、撮像装置10の撮像結果に基づいて生成されたダンプトラック1の周辺の俯瞰画像200を、表示装置50においてダンプトラック1の周辺に表示する。表示制御部140は、俯瞰画像200に重なるように、検出エリア20C(21C〜28C)を表示する。
本実施形態においては、検出エリア20Cを示す図形が表示される。検出エリア20C全面が、例えば黄色に着色されて表示される。なお、検出エリア20Cの外形を示すフレーム画像が表示されてもよいし、検出エリア20Cと俯瞰画像200とが重なった状態で検出エリア20C及び俯瞰画像200の両方が視認できるように検出エリア20Cが半透明表示されてもよい。
また、本実施形態においては、第3画像エリア50Cに、動作確認モード期間であることを示すアイコン53Mが表示される。本実施形態において、アイコン53Mは、黄色で表示される。また、アイコン53Mは点滅する。なお、アイコン53Mは、連続点灯してもよい。
動作確認モードが開始され、表示装置50が図21に示す表示になった後、オペレータにより、ダンプトラック1の周辺において物体を移動させる作業が実施される(ステップSP3)。
図22は、点検作業において使用される物体の一例を示す模式図である。本実施形態においては、点検作業において使用される物体として、コーナリフレクタと呼ばれる反射部材300が使用される。反射部材300は、三脚のような支持部材301に支持される。なお、支持部材301は無くてもよい。反射部材300は、鉄又はアルミニウムのような金属製の三角錐の部材である。反射部材300は、レーダ装置20から発射された電波を反射可能な反射部(反射面)を有する。電波に対する反射部材300の反射部の反射率(反射強度)は、反射部材300の周囲の物体の反射率(反射強度)よりも高い。反射部材300の周囲の物体は、鉱山の岩石などを含む。
図23は、ダンプトラック1の周辺において反射部材300を移動させる作業が実施されている状態の一例を示す模式図である。図23に示すように、オペレータWMが、反射部材300を保持して、ダンプトラック1の周囲を一周する。オペレータWMは、反射部材300が複数の検出エリア20Cのそれぞれに配置されるように、反射部材300を保持して移動する。
複数のレーダ装置20それぞれの検出結果は、コントローラ100の判定部210に出力される。判定部210は、レーダ装置20の検出結果に基づいて、レーダ装置20の作動状態の良否を判断する(ステップSP4)。判定部210は、複数のレーダ装置20ごとに作動状態の良否を判断する。
判定部210は、レーダ装置20の検出値(信号強度)が所定の閾値を超えたとき、そのレーダ装置20は正常である(作動状態は良好である)と判断する。一方、判定部210は、レーダ装置20の検出値が所定の閾値以下であるとき、そのレーダ装置20は異常である(作動状態は不良である)と判断する。
例えば、レーダ装置20の検出信号をコントローラ100に送る系統に不具合があったり、レーダ装置20の発射部又は受信部に不具合があったり、レーダ装置20の発射部又は受信部に泥のような異物が付着したり、レーダ本体81を保護するための保護部材84に泥のような異物が付着したりして、レーダ装置20の検出値が所定の閾値以下になる可能性がある。動作確認モードにおいては、それら不具合を見つける作業が行われる。
判定部210の判定結果は、表示制御部140に出力される。表示制御部140は、複数のレーダ装置20のうち、判定部210により作動状態が不良と判断されたレーダ装置20の検出エリア20Cを表示装置50に表示し、作動状態が良好と判断されたレーダ装置20の検出エリア20Cを表示しない(ステップSP5)。
図21を参照して説明したように、動作確認モードの初期状態においては、複数のレーダ装置20(21〜28)それぞれの検出エリア20C(21C〜28C)の全部が表示装置50に表示される。表示制御部140は、判定部210により作動状態が良好と判断されたレーダ装置20の検出エリア20Cを表示装置50の画面から消去し、作動状態が不良と判断されたレーダ装置20の検出エリア20Cを消去せずに表示装置50に残す(表示させ続ける)。
図24は、動作確認モードにおいてダンプトラック1の周辺を反射部材300が移動しているときの表示装置50の表示例を示す。反射部材300が複数の検出エリア20C(21C〜28C)に順次配置される。レーダ装置20の作動状態が良好な場合、反射部材300が検出エリア20Cに配置されることにより、その検出エリア20Cが表示装置50から消去される。オペレータWMが、図22に示す反射部材300を、例えば、検出エリア21C、検出エリア22C、及び検出エリア23Cの順に設置した場合、反射部材300が設置された検出エリア21C、検出エリア22C、及び検出エリア23Cが表示装置50から順に消去される。
図25は、動作確認モードにおいてダンプトラック1の周辺を反射部材300が一周し、全てのレーダ装置20の作動状態が良好であると判断された後の表示装置50の表示例を示す。図25に示すように、全てのレーダ装置20の作動状態が良好であると判断された場合、表示装置50の第1画像エリア50Aに検出エリア20Cは表示されない。また、全てのレーダ装置20の作動状態が良好であることを示すアイコン53Fが第3画像エリア50Cに表示される。アイコン53Fは、アイコン53Mとは異なる形態で表示される。本実施形態において、アイコン53Fは、例えば緑色であり、連続点灯する。
図26は、動作確認モードにおいてダンプトラック1の周辺を反射部材300が一周し、複数のレーダ装置20(21〜28)のうち、レーダ装置23の作動状態が不良であると判断された後の表示装置50の表示例を示す。図26に示すように、表示装置50の第1画像エリア50Aに検出エリア23Cが表示される。表示制御部140は、表示装置50の画面にダンプトラック1を表示するとともに、その表示装置50の画面においてダンプトラック1の周辺に、不良と判断されたレーダ装置23の検出エリア23Cを表示する。
ダンプトラック1の周辺において反射部材300を移動させる作業を終えたオペレータWMは、キャブ3に搭乗する。オペレータWMは、表示装置50を見ることによって、全てのレーダ装置21〜28の作動状態が良好であるか否かを認識することができる。
点検作業を終えた後、オペレータWMによりシフトレバー37が操作されることにより、パーキング状態が解除される。すなわち、ダンプトラック1が前進状態又は後進状態になるようにシフトレバー37が操作された場合、パーキング状態が解除される。シフトレバー37の操作を示す操作信号が、シフトレバーポジションセンサ37Sから取得部120及び表示制御部140に出力される。取得部120は、その操作信号をモード制御部150に出力する。モード制御部150は、その操作信号を受信したとき、動作確認モードを終了し、通常作業状態を開始する(ステップSP6)。このように、本実施形態においては、シフトレバー37の操作によりパーキング状態が解除されたときに、動作確認モードが終了し、通常作業状態が開始される。
図25を参照して説明したように、複数のレーダ装置20の全部の作動状態が良好であることを、表示装置50を介してオペレータWMが認識した場合、オペレータWMは、通常作業を開始してもよい。オペレータWMは、表示装置50に表示されるレーダ装置20の検出結果(指標MK)に基づいて、ダンプトラック1の周辺に物体が存在するか否かを確認しながら、ダンプトラック1の走行を開始することができる。複数のレーダ装置20の全部の作動状態が良好である場合において、ダンプトラック1が通常作業状態に設定された場合、表示装置50は、図17及び図18を参照して説明したような画像を表示する。これにより、ダンプトラック1の発進時又は低速走行時において、周辺の安全確認を円滑に行うことができる。図17及び図18に示すように、複数のレーダ装置20の全部の作動状態が良好である場合において、ダンプトラック1が通常作業状態に設定された場合、動作確認モードを示すアイコン(53F)は、表示装置50の画面から消去される。
なお、本実施形態においては、ダンプトラック1の走行速度が閾値(例えば時速15km)を超えたとき、表示装置50には俯瞰画像200のような撮像装置10の撮像結果に基づく画像が表示されなくなる。また、ダンプトラック1の走行速度が閾値(例えば時速15km)を超えたとき、レーダ装置20の作動が停止され、表示装置50にはレーダ装置20の検出結果に基づく指標MKも表示されなくなる。
図26を参照して説明したように、複数のレーダ装置20のうち、判定部210により作動状態が不良であると判断されたレーダ装置23の識別情報である検出エリア23Cを、表示装置50を介してオペレータWMが認識した場合、予め決められている措置が講じられる。例えば、サービスマンの派遣要請、レーダ装置23の修理又は交換などの措置が講じられる。
複数のレーダ装置20のうち、一部のレーダ装置20の作動状態が不良であると判断された場合においても、シフトレバー37の操作により、動作確認モードが終了し、通常作業状態が開始される。オペレータWMは、通常作業を開始することができる。
図27は、複数のレーダ装置20のうち一部のレーダ装置20の作動状態が不良であると判断された場合において、ダンプトラック1が通常作業状態である場合の表示装置50の表示例を示す。
図17及び図18を参照して説明したように、複数のレーダ装置20の全部の作動状態が良好であると判断され場合、アイコン(53F)は消去されるものの、複数のレーダ装置20のうち一部のレーダ装置20の作動状態が不良であると判断された場合には、図27に示すように、アイコン53Mが表示される。アイコン53Mは、アイコン53Fとは異なる形態で表示される。本実施形態において、アイコン53Mは、例えば黄色であり、点滅する。このように、動作確認モードの終了後の通常作業状態において、表示装置50は、動作確認モードにおいて不良と判断されたレーダ装置の存在を示す警告情報であるアイコン53Mを表示する。
なお、動作確認モードにおいて、オペレータWMにより反射部材300が全ての検出エリア20Cに配置されず、一部の検出エリア20Cにしか配置されなかった場合、判定部210は、反射部材300が配置されなかった検出エリア20Cのレーダ装置20の作動状態が不良であると判定することとなる。そのような場合においても、動作確認モードの終了後の通常作業状態において、表示装置50は、動作確認モードにおいて不良と判断されたレーダ装置20の存在を示す警告情報であるアイコン53Mを表示する。
<記憶部>
本実施形態においては、動作確認モードの実施時期及び動作確認モードにおけるレーダ装置20の検出結果(作動状態の良否)が記憶部160に記憶される。コントローラ100は、タイマー170を有し、時間に対応付けて、動作確認モード(点検作業)の実施時期及び動作確認モードにおけるレーダ装置20の検出結果(作動状態の良否)を記憶部160に記憶する。これにより、その記憶部160の記憶情報を使って、レーダ装置20の性能分析等を実行することができる。タイマー170は、カレンダー時計機能を有している。カレンダー時計機能は、年、月、日、時、分及び秒を計数する機能である。
<レーダ装置の故障(異常)時の表示>
次に、レーダ装置20に異常が発生したときの表示装置50の表示例について説明する。図28は、レーダ装置20に異常が発生したときの周辺監視システム7の動作の一例を示すフローチャートである。図28に示すように、レーダ装置20の異常が検出される工程(ステップSQ1)と、異常が発生したレーダ装置20の検出エリア20Cを表示装置50に表示する工程(ステップSQ2)とが実行される。
通常作業状態において、何らかの原因で、レーダ装置20に異常が発生する可能性がある。レーダ装置20の異常は、レーダ装置20の故障又は破損を含む。また、レーダ装置20の異常は、レーダ装置20の温度異常、電圧異常、ノイズ(内部的なノイズ及び外部的なノイズ)の作用により誤作動、及び半導体チップのようなハードウエア故障(破損)などを含む。また、レーダ装置20の異常は、レーダ装置20に接続される電気ケーブルの切断を含む。温度異常は、レーダ装置20に設けられた温度センサで検出可能である。電圧異常は、レーダ装置20に印加される電圧を検出可能な電圧計で検出可能である。
図3に示したように、本実施形態において、コントローラ100は、異常検出部230を有する。異常検出部230は、上述した内容の異常を検出可能であり、異常情報を取得可能である。異常検出部230は、レーダ装置20に異常が発生したと判断した場合、その異常を示す異常信号を表示制御部140に出力する(ステップSQ1)。
図29は、レーダ装置20に異常が発生した場合の表示装置50の表示例を示す。図29に示すように、表示制御部140は、表示装置50の画面の第1画像エリア50Aにダンプトラック1を表示するとともに、異常が発生したレーダ装置20の検出エリア20Cを、表示装置50の画面においてダンプトラック1の周辺に表示する。
図29は、レーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24に異常が発生し、異常が発生したレーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24の検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cが表示装置50の画面においてダンプトラック1の周辺に表示されている例を示す。
また、図29に示すように、表示制御部140は、ダンプトラック1の周辺の俯瞰画像200をダンプトラック1の周辺に表示し、俯瞰画像200に重なるように、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示装置50に表示する。
本実施形態においては、図30に示すように、表示制御部140は、表示装置50の画面において、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを点滅させる。なお、表示制御部140は、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを、動作確認モードとは異なる色で表示する。本実施形態においては、動作確認モードで作動状態が不良と判断されたレーダ装置20の検出エリアは、黄色で表示され、異常が発生したと判断されたレーダ装置20の検出エリア20Cは、赤色で表示される。
検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cの点滅は、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示する表示動作と、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示しない非表示動作とを繰り返すことを含む。表示動作の期間においては、表示装置50において、俯瞰画像200の一部が、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cで隠れる(視認できなくなる)。非表示動作の期間においては、表示装置50において、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cで隠れていた俯瞰画像200が、表示される(視認できるようになる)。
図31は、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示しない非表示動作及び表示する表示動作の一例を示すタイミングチャートである。図31に示すように、非表示動作の期間T1は、表示動作の期間T2よりも長い。これにより、俯瞰画像200の一部が検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cで隠れる期間が短くなり、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cが表示される状況においても、俯瞰画像200を視認し易くなる。
図32は、異常が発生したレーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24の検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cの表示例を示す。表示制御部140は、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cと俯瞰画像200とが表示装置50の画面において重なった状態で、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cと、俯瞰画像200の両方とが視認されるように、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示装置50の画面に半透明表示してもよい。こうすることによっても、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cが表示される状況において、俯瞰画像200を視認し易くなる。
図29に戻って、レーダ装置20に異常が発生したと判断された場合、表示制御部140は、第3画像エリア50Cに、異常が発生したことを示すアイコン54及びアイコン55を表示する。さらに、表示制御部140は、第4画像エリア50Dを設定し、その第4画像エリア50Dにアイコン56を表示したり、エラーコード57を表示したりする。エラーコード57によって示されるER01は、異常現象の内容及び異常が発生した部位をコード化したものの一例である。
図29に示す例では、通常作業状態において、レーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24に異常が生じているものの、レーダ装置25、レーダ装置26、レーダ装置27、及びレーダ装置28は正常である。したがって、例えば、レーダ装置27が物体を検出した場合、図33に示すように、表示装置50には、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cと、物体が存在する撮像エリア15Cの外形を示すフレーム画像とが表示される。撮像エリア15Cは、複数の撮像エリア10C(11C〜16C)のうち、物体を検出したレーダ装置27の検出エリア27Cと重複する撮像エリア10Cである。
表示装置50の画面上において、撮像エリア10C(11C〜16C)の形態と、検出エリア20C(21C〜28C)の形態とは異なる。形態は、画面上における外形、大きさ、及びデザインを含む。本実施形態においては、異常が発生したレーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24については、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを使って表示装置50の画面に表示される。物体を検出した正常なレーダ装置27については、撮像エリア15Cを使って表示装置50の画面に表示される。このように、本実施形態においては、表示制御部140は、異常が発生したレーダ装置20の検出エリア20Cと、物体を検出した正常なレーダ装置20の検出エリア20C(撮像エリア10C)とを異なる形態で表示する。また、本実施形態においては、表示制御部140は、複数のレーダ装置20のうち、異常が発生したレーダ装置20の検出エリア20Cと、物体を検出した正常なレーダ装置27の検出エリア20C(撮像エリア15C)とを異なる形態で同時に表示する。これにより、オペレータWMは、異常が発生しているレーダ装置20と、正常な動作を行っているレーダ装置20とを区別し易くなる。また、オペレータWMは、1つの画面で複数の情報を同時に取得することができる。
また、上述したように、表示制御部140は、通常作業状態において物体を検出したレーダ装置20を、撮像エリア10Cを使って表示し、動作確認モードにおいて不良と判断されたレーダ装置20を、検出エリア20Cを使って表示する。このように、表示装置50は、動作確認モード開始前又は終了後の通常作業状態において物体を検出したレーダ装置20の識別情報と、動作確認モードにおいて不良と判断されたレーダ装置20の識別情報とを異なる形態で表示するため、オペレータWMはそれらの違いを区別し易くなる。
通常作業状態において、ダンプトラック1が高速走行中にレーダ装置20の異常が発生した場合、図29に示したような第1画像エリア50A及び第2画像エリア50Bに画像は表示されないものの、第3画像エリア50C及び第4画像エリア50Dにおいて、アイコン54、アイコン55、アイコン56、及びエラーコード57などの表示は行われる。
なお、図29に示したような、異常が発生したレーダ装置20(21〜24)の識別情報(検出エリア21C〜24C)が、通常作業状態においてダンプトラック1が高速走行時においても表示されてもよい。異常検出部230によってレーダ装置20(21〜24)の異常が検出された場合、表示制御部140は、図29に示したような、第1画像エリア50Aの俯瞰画像200、及び検出エリア21C、検出エリア22C、検出エリア23C、検出エリア24Cを含む画像を表示装置50に表示してもよい。これによりダンプトラック1が高速走行時においても、オペレータWMは、異常が発生したレーダ装置21〜24を認識することができる。
なお、入力装置80の強制表示ボタンの操作により、通常作業状態においてダンプトラック1が高速走行時においても、異常が発生したレーダ装置21〜24の識別情報(検出エリア21C〜24C)の表示が行われてもよい。
以上説明したように、本実施形態によれば、レーダ装置20の点検のための動作確認モードにおいて、判定部210により作動状態が不良と判断されたレーダ装置20の識別情報を表示装置50に表示するようにしたので、レーダ装置20が正常に作動しない状況であるにもかかわらず、オペレータWMがその状況を認識せずに作業を続けてしまうことが抑制される。
また、本実施形態によれば、通常作業状態において、異常検出部230により異常が発生したと判断されたレーダ装置20の識別情報を表示装置50に表示するようにしたので、レーダ装置20が異常であるにもかかわらず、オペレータWMがその状況を認識せずに作業を続けてしまうことが抑制される。
したがって、オペレータWMは、不良なレーダ装置20が存在する場合、修繕などの決められた措置を実行したり、不良なレーダ装置20の存在を認識しつつ、注意深く作業を継続したりすることができる。したがって、ダンプトラック1の周辺に存在する物体とダンプトラック1との接触が抑制される。例えば、ダンプトラック1の発進時及び低速走行時などにおいて、ダンプトラック1が物体をまきこんでしまう不具合が抑制される。
このように、本実施形態においては、周辺監視システム7は、表示装置50を使って、レーダ装置20の状態をオペレータWMに認識させることを支援することができる。
また、本実施形態においては、レーダ装置20は、ダンプトラック1の周辺の異なる領域が検出されるように複数配置され、コントローラ100は、複数のレーダ装置20ごとに、作動状態の良否を判断することができる。これにより、オペレータWMは、複数のレーダ装置20の作動状態の良否について、個別に認識することができる。
また、本実施形態においては、レーダ装置20において作動状態が不良である場合又は異常が発生した場合、表示装置50の画面には、ダンプトラック1が表示されるとともに、作動状態が不良なレーダ装置20又は異常が発生したレーダ装置20の検出エリア20Cがダンプトラック1の周辺に表示される。これにより、周辺監視システム7は、不良又は異常なレーダ装置20の検出エリア20Cを、オペレータWMに視覚的に訴えることができる。また、オペレータWMは、作動状態が不良又は異常なレーダ装置20の検出エリア20Cを直感的に把握することができる。そのため、オペレータWMに対する負担及びストレスが低減され、安全な作業が行われる。
また、本実施形態においては、表示装置50の画面には、撮像装置10の撮像結果に基づいて生成されたダンプトラック1の周辺の俯瞰画像200がダンプトラック1の周辺に表示され、その俯瞰画像200に重なるように、作動状態が不良又は異常なレーダ装置20の検出エリア20Cが表示される。これにより、検出エリア20Cに物体が存在する場合、オペレータWMは、撮像装置10の撮像結果に基づいて、物体の画像(光学像)を視認することができる。
また、本実施形態において、周辺監視システム7は、レーダ装置20と撮像装置10との両方を使って、ダンプトラック1の周辺の物体をくまなく検出し、物体に対するオペレータWMの認識を十分に支援することができる。レーダ装置20は、撮像装置10よりも広範囲(遠距離)において物体を検出可能であり、表示装置50は、指標MKを使って物体の位置を直感的にオペレータWMに訴えることができる。撮像装置10は、物体の画像(光学像)をオペレータWMに認識させることができる。
また、例えば動作確認モードにおいて、表示装置50には、レーダ装置20からの情報と撮像装置10からの情報との両方が表示される。そのため、例えば、撮像装置10の撮像結果に基づいて、ダンプトラック1の周辺に物体(反射部材300)が存在することが認識されたにもかかわらず、レーダ装置20がその物体を検出しない場合、オペレータWM自身が、レーダ装置20の作動状態が不良であると判断することができる。同様に、撮像装置10の撮像結果に基づいて、ダンプトラック1の周辺に物体(反射部材300)が存在しないことが認識されたにもかかわらず、レーダ装置20が物体が存在する検出結果を出力した場合、オペレータWM自身が、レーダ装置20の作動状態が不良であると判断することができる。このように、オペレータWMは、表示装置50に表示される、レーダ装置20からの情報を撮像装置10からの情報との両方の情報に基づいて、始業点検の正確さを自らチェックすることができる。
また、本実施形態においては、動作確認モードにおいて、表示装置50は、不良と判断されたレーダ装置20の検出エリア20Cを表示し、良好と判断された検出装置20の検出エリア20Cを表示しない。これにより、オペレータWMは、作動状態が良好なレーダ装置20と不良なレーダ装置20とを瞬時に認識することができる。
また、本実施形態においては、動作確認モードの初期状態において、表示装置50は、複数のレーダ装置20それぞれの検出エリア20Cを表示し、判定部210により作動状態が良好と判断されたレーダ装置20の検出エリア20Cを消去する。これにより、オペレータWMは、作動状態が良好なレーダ装置20を円滑に認識することができる。
また、本実施形態においては、ダンプトラック1がパーキング状態において指令信号が取得されたときに動作確認モードが開始される。これにより、ダンプトラック1の周囲において反射部材300を移動させる作業を含む点検作業を安全に行うことができる。また、パーキング状態が解除されたときに、動作確認モードが終了されることにより、動作確認モードから通常作業状態に円滑に移行することができる。
また、本実施形態においては、動作確認モードの終了後、作動状態が不良と判断されたレーダ装置20に対する修繕などを行うことなく、通常作業状態に移行しても、表示装置50は、動作確認モードにおいて不良と判断されたレーダ装置20の存在を示す警告情報(本実施形態においては図27に示したアイコン53M)を表示する。これにより、通常作業状態に移行しても、オペレータWMに、作動状態が不良なレーダ装置20の存在を認識させ続けることができる。
また、本実施形態においては、表示装置50は、通常作業状態において物体を検出したレーダ装置20の識別情報と、動作確認モードにおいて不良と判断されたレーダ装置20の識別情報とを異なる形態で表示する。
また、本実施形態においては、通常作業状態において異常が発生したレーダ装置20の検出エリア20Cと、物体を検出した正常なレーダ装置20の検出エリア20C(撮像エリア10C)とを異なる形態で表示する。これにより、オペレータWMは、異常なレーダ装置20の表示なのか、物体を検出した結果の表示なのかを正しく認識することができる。また、複数のレーダ装置20のうち、異常が発生したレーダ装置20の検出エリア20Cと、物体を検出した正常なレーダ装置20の検出エリア20C(撮像エリア10C)とが異なる形態で同時に表示されることにより、オペレータWMは、複数の情報を一括して正しく認識することができる。
また、本実施形態においては、動作確認モードの実施時期及び動作確認モードにおけるレーダ装置20の検出結果が記憶部160に記憶される。これにより、その記憶部160の記憶情報を使って、レーダ装置20の性能分析等を実行することができる。
また、本実施形態においては、通常作業状態において、レーダ装置20に異常が発生した場合、表示装置50は、画面の検出エリア20Cを点滅させる。これにより、周辺監視システム7は、異常が発生したレーダ装置20の存在を視覚的に訴えることができる。また、検出エリア20Cが点滅表示されることにより、表示装置50の画面に俯瞰画像200が表示される場合、その俯瞰画像200に検出エリア20Cが重ねて表示されても、表示装置50は、点滅における検出エリア20Cの非表示動作の期間において、俯瞰画像200をオペレータWMに視認させることができる。
また、本実施形態においては、検出エリア20Cの点滅において、検出エリア20Cを表示しない非表示動作の期間は、検出エリア20Cを表示する表示動作の期間よりも長い。これにより、その俯瞰画像200に検出エリア20Cが重ねて表示されても、表示装置50は、点滅における検出エリア20Cの非表示動作の期間において、俯瞰画像200をオペレータWMに十分に視認させることができる。
また、通常作業状態において、レーダ装置20に異常が発生した場合、表示装置50は、画面の検出エリア20Cを半透明表示してもよい。これにより、俯瞰画像200に検出エリア20Cが重ねて表示されても、表示装置50は、検出エリア20C及び俯瞰画像200の両方をオペレータWMに十分に視認させることができる。
なお、上述の実施形態においては、動作確認モードにおいて作動状態が不良と判断されたレーダ装置20の識別情報として、撮像エリア10Cを利用して表示することとした。検出エリア20Cを利用して表示してもよい。
なお、上述の実施形態においては、動作確認モードにおいて作動状態が不良と判断されたレーダ装置20の識別情報として、表示装置50の画面においてダンプトラック1の周辺に撮像エリア10C(又は検出エリア20C)を表示することとした。作動状態が不良と判断されたレーダ装置20の識別情報として、文字又は数字が用いられてもよいし、アイコンが用いられてもよい。例えば、複数のレーダ装置20のうち、動作確認モードにおいて作動状態が不良と判断されたレーダ装置20がレーダ装置23である場合、表示装置50の画面に「レーダ装置23が作動状態不良」という文字が表示されてもよい。
なお、上述の実施形態においては、検出装置20がレーダ装置であることとした。検出装置は、非接触でダンプトラック1の周辺の物体を検出できればよい。検出装置は、例えば、物体に照射されたレーザ光に基づいて物体を検出するレーザ装置でもよい。
なお、上述の実施形態においては、表示装置50は、レーダ装置20の検出結果を示す指標MK(及びアイコン)と、撮像装置10の撮像結果を示す画像(俯瞰画像200を含む)との両方を表示することとした。表示装置50は、撮像装置10の撮像結果を表示しなくてもよい。ダンプトラック1は撮像装置10を有しなくてもよい。
なお、上述の実施形態においては、作業車両1がダンプトラックであることとした。作業車両1は、下部走行体と上部旋回体と作業機とを有する油圧ショベルでもよい。その油圧ショベルにおいて、上部旋回体に撮像装置及びレーター装置等が設置されてもよい。
以上、本実施形態を説明したが、上述した内容により本実施形態が限定されるものではない。また、上述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 ダンプトラック
2 車両本体
2a ロアデッキ
2b アッパデッキ
2c 可動式ラダー
2d 斜めラダー
2e 手すり
2f フレーム
2g フロントフェンダー
3 キャブ
3a 支柱
3b 支柱
3c 支柱
3d 支柱
4 ベッセル
4F 鍔部
5 走行装置
5A 前輪
5B 後輪
7 周辺監視システム
8 操作パネル
10(11〜16) 撮像装置
10C(11C〜16C) 撮像エリア
20(21〜28) レーダ装置
20C(21C〜28C) 検出エリア
31 運転席
32 ステアリングホイール
33 ダッシュカバー
34 無線装置
35A アクセルペダル
35Bf ブレーキペダル
35Bs セカンダリブレーキペダル
36 リターダ
37 シフトレバー
37S シフトレバーポジションセンサ
37P パーキングブレーキ操作スイッチ
50 表示装置
50A 第1画像エリア
50B 第2画像エリア
50C 第3画像エリア
50D 第4画像エリア
51 アイコン
52 アイコン
53 アイコン
53F アイコン
53M アイコン
54 アイコン
55 アイコン
56 アイコン
57 エラーコード
62 エアクリーナ
70 クロスメンバー
71 リアアクスル
80 入力装置
81 レーダ本体
82 ケーブル
83 保護部材
84 保護部材
100 コントローラ
110 俯瞰画像合成部
120 取得部
130 位置情報生成部
140 表示制御部
150 モード制御部
200 俯瞰画像
210 判定部
220 処理部
230 異常検出部
300 反射部材
301 支持部材
B 後側
F 前側
L 左側
MK 指標
R 右側
UN 下側
UP 上側
WM オペレータ

Claims (12)

  1. 作業車両に配置され、前記作業車両の周辺の物体を検出可能であって、前記作業車両の周辺の異なる領域が検出される、複数の検出装置と、
    前記作業車両に配置され、前記検出装置の検出エリアと重複するように前記作業車両の周辺を撮像する撮像装置と、
    前記検出装置が正常であれば検出可能な物体を用いて行われる前記検出装置の点検のための動作確認モードを示す指令信号を取得する取得部と、
    前記指令信号の取得後、前記検出装置の検出結果に基づいて複数の前記検出装置の作動状態の良否を判断する判定部と、
    前記作業車両に配置され、前記判定部により前記作動状態が不良と判断された前記検出装置の識別情報として前記検出装置の検出エリアと前記撮像装置により撮像された画像とを表示し、前記判定部により前記作動状態が良好と判断された前記検出装置の検出エリアを表示しない表示装置と、
    を備える周辺監視システム。
  2. 前記検出装置は、前記作業車両の周辺の異なる領域が検出されるように複数配置され、
    前記判定部は、複数の前記検出装置ごとに作動状態の良否を判断する請求項1に記載の周辺監視システム。
  3. 前記識別情報は、不良と判断された前記検出装置の検出エリアを含み、
    前記表示装置は、画面に前記作業車両を表示するとともに前記画面において前記作業車両の周辺に前記検出エリアを表示する請求項1又は請求項2に記載の周辺監視システム。
  4. 前記表示装置は、前記撮像装置の撮像結果に基づいて生成された前記作業車両の周辺の俯瞰画像を前記作業車両の周辺に表示し、前記俯瞰画像に重なるように前記検出エリアを表示する請求項1から請求項3のいずれか一項に記載の周辺監視システム。
  5. 前記検出装置は、前記作業車両の周辺の異なる領域が検出されるように複数配置され、
    前記判定部は、複数の前記検出装置ごとに作動状態の良否を判断し、
    前記表示装置は、不良と判断された前記検出装置の検出エリアを表示し、良好と判断された前記検出装置の検出エリアを表示しない請求項1から請求項4のいずれか一項に記載の周辺監視システム。
  6. 前記指令信号の取得後、前記表示装置は、複数の前記検出装置それぞれの検出エリアを表示し、前記判定部により前記作動状態が良好と判断された前記検出装置の検出エリアを消去する請求項5に記載の周辺監視システム。
  7. 前記作業車両がパーキング状態において前記指令信号が取得されたときに前記動作確認モードを開始し、前記パーキング状態が解除されたときに前記動作確認モードを終了する制御部を備える請求項1から請求項6のいずれか一項に記載の周辺監視システム。
  8. 前記動作確認モードの終了後、前記表示装置は、前記動作確認モードにおいて不良と判断された前記検出装置の存在を示す警告情報を表示する請求項1から請求項7のいずれか一項に記載の周辺監視システム。
  9. 前記表示装置は、前記動作確認モード開始前又は終了後の通常作業状態において物体を検出した前記検出装置の識別情報として前記撮像装置の撮像エリアを使って表示し、前記動作確認モードにおいて不良と判断された前記検出装置の識別情報として前記検出装置の検出エリアを使って表示する請求項1から請求項8のいずれか一項に記載の周辺監視システム。
  10. 前記動作確認モードの実施時期及び前記動作確認モードにおける前記検出装置の検出結果を記憶する記憶部を備える請求項1から請求項9のいずれか一項に記載の周辺監視システム。
  11. 請求項1から請求項10のいずれか一項に記載の周辺監視システムを備える作業車両。
  12. 作業車両に配置され前記作業車両の周辺の物体を検出可能であって前記作業車両の周辺の異なる領域が検出される複数の検出装置の点検のための前記検出装置が正常であれば検出可能な物体を用いて行われる動作確認モードの開始後、前記検出装置の検出エリアに物体を配置することと、
    前記検出装置で前記作業車両の周辺の検出エリアを検出し、前記作業車両に配置された撮像装置で前記検出装置の検出エリアと重複するように前記作業車両の周辺を撮像することと、
    前記検出装置の検出結果に基づいて複数の前記検出装置の作動状態の良否を判断することと、
    前記作業車両に配置された表示装置の画面に前記作業車両を表示するとともに前記画面において前記作業車両の周辺に前記作動状態が不良と判断された前記検出装置の識別情報として前記検出装置の検出エリアと前記撮像装置により撮像された画像とを表示し、前記作動状態が良好と判断された前記検出装置の検出エリアを表示しないことと、
    を含む周辺監視方法。
JP2014526331A 2014-04-25 2014-04-25 周辺監視システム、作業車両、及び周辺監視方法 Active JP5933004B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/061801 WO2015162800A1 (ja) 2014-04-25 2014-04-25 周辺監視システム、作業車両、及び周辺監視方法

Publications (2)

Publication Number Publication Date
JP5933004B2 true JP5933004B2 (ja) 2016-06-08
JPWO2015162800A1 JPWO2015162800A1 (ja) 2017-04-13

Family

ID=54331987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014526331A Active JP5933004B2 (ja) 2014-04-25 2014-04-25 周辺監視システム、作業車両、及び周辺監視方法

Country Status (5)

Country Link
US (1) US10240323B2 (ja)
JP (1) JP5933004B2 (ja)
CN (1) CN105339061B (ja)
CA (1) CA2863656C (ja)
WO (1) WO2015162800A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
JP2016151897A (ja) * 2015-02-17 2016-08-22 株式会社安川電機 移動体制御装置および移動体制御方法
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
ITUB20154924A1 (it) * 2015-11-06 2017-05-06 Same Deutz Fahr Italia S P A Trattore con sistema di visione
US10290194B2 (en) * 2016-02-29 2019-05-14 Analog Devices Global Occupancy sensor
JP6468444B2 (ja) * 2016-04-28 2019-02-13 コベルコ建機株式会社 建設機械
WO2018008542A1 (ja) 2016-07-05 2018-01-11 住友建機株式会社 ショベル
JP6684682B2 (ja) * 2016-08-18 2020-04-22 株式会社神戸製鋼所 建設機械
EP4099119A3 (en) 2016-08-26 2023-03-22 Crown Equipment Corporation Materials handling vehicle obstacle scanning tools
CN106384476A (zh) * 2016-11-22 2017-02-08 天津尔岚科技有限公司 一种基于定位卡下的牲畜个体消失报警系统及检测方法
JP6501805B2 (ja) * 2017-01-04 2019-04-17 株式会社デンソーテン 画像処理装置および画像処理方法
JP2018116612A (ja) * 2017-01-20 2018-07-26 株式会社クボタ センサ管理装置
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP6752168B2 (ja) * 2017-02-27 2020-09-09 日立建機株式会社 ダンプトラック及び後退支援装置
EP3594416B1 (en) * 2017-03-07 2022-07-27 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
JP6891087B2 (ja) * 2017-09-29 2021-06-18 株式会社小松製作所 作業車両、表示装置、および障害判定方法
JP6969983B2 (ja) * 2017-11-10 2021-11-24 株式会社小松製作所 ダンプトラック
US10594991B1 (en) 2018-01-09 2020-03-17 Wm Intellectual Property Holdings, Llc System and method for managing service and non-service related activities associated with a waste collection, disposal and/or recycling vehicle
DE102018202387B3 (de) * 2018-02-16 2019-05-02 Audi Ag Rückspiegelanordnung
JP7092540B2 (ja) * 2018-04-04 2022-06-28 パナソニックホールディングス株式会社 交通監視システムおよび交通監視方法
TWI714857B (zh) * 2018-06-05 2021-01-01 為昇科科技股份有限公司 車用雷達偵測系統
US20190377064A1 (en) * 2018-06-06 2019-12-12 GM Global Technology Operations LLC Method and apparatus for deicing of sensor systems in a vehicle
CN108805509A (zh) * 2018-09-05 2018-11-13 曹华华 一种土石方车辆管理装置及方法
JP7091955B2 (ja) * 2018-09-06 2022-06-28 トヨタ自動車株式会社 車両用周辺表示装置
WO2020192891A1 (en) * 2019-03-26 2020-10-01 Volvo Truck Corporation Vehicle comprising a viewing system and method for adjusting position of a monitor of the viewing system
US11878694B2 (en) * 2019-06-24 2024-01-23 Andy Krejci Vehicle safety system
US11475416B1 (en) 2019-08-23 2022-10-18 Wm Intellectual Property Holdings Llc System and method for auditing the fill status of a customer waste container by a waste services provider during performance of a waste service activity
US20220220695A1 (en) * 2019-09-26 2022-07-14 Hitachi Construction Machinery Co., Ltd. Work machine
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN112995583B (zh) * 2019-12-18 2022-07-01 杭州海康威视数字技术股份有限公司 摄像投取装置及交通工具监控系统
US11421402B2 (en) * 2020-02-05 2022-08-23 Caterpillar Paving Products Inc. Operation-based object detection for a work machine
JP2021163260A (ja) * 2020-03-31 2021-10-11 株式会社小松製作所 検出システムおよび検出方法
US11386362B1 (en) 2020-12-16 2022-07-12 Wm Intellectual Property Holdings, L.L.C. System and method for optimizing waste / recycling collection and delivery routes for service vehicles
US11373536B1 (en) 2021-03-09 2022-06-28 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path and parcel data analysis for a waste / recycling service vehicle
US11928693B1 (en) 2021-03-09 2024-03-12 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path analysis for a waste / recycling service vehicle
US11488118B1 (en) 2021-03-16 2022-11-01 Wm Intellectual Property Holdings, L.L.C. System and method for auditing overages and contamination for a customer waste container by a waste services provider during performance of a waste service activity
US11977381B1 (en) 2022-04-01 2024-05-07 Wm Intellectual Property Holdings, L.L.C. System and method for autonomous waste collection by a waste services provider during performance of a waste service activity

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199894A (ja) * 1997-09-30 1999-04-13 Mazda Motor Corp 車両用障害物検出装置
JPH11264871A (ja) * 1998-03-17 1999-09-28 Komatsu Ltd 車両用障害物検出装置の監視機構
JP2000028717A (ja) * 1998-07-13 2000-01-28 Mitsubishi Electric Corp 障害物検出装置
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2010210412A (ja) * 2009-03-10 2010-09-24 Toshiba Tec Corp 障害物検知システム及びこのシステムの障害物センサ診断方法
JP2013159930A (ja) * 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd 周囲監視装置
JP2013242172A (ja) * 2012-05-18 2013-12-05 Sumitomo Heavy Ind Ltd 超音波センサ
JP2014025272A (ja) * 2012-07-27 2014-02-06 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2014064192A (ja) * 2012-09-21 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
WO2015162801A1 (ja) * 2014-04-25 2015-10-29 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008007625A1 (en) * 2006-07-11 2008-01-17 Komatsu Ltd. System for monitoring component of operating machine
JP4847913B2 (ja) 2007-03-30 2011-12-28 日立建機株式会社 作業機械周辺監視装置
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5071743B2 (ja) 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
JP5597596B2 (ja) 2011-06-07 2014-10-01 株式会社小松製作所 作業車両の周辺監視装置
US9043125B2 (en) * 2011-08-18 2015-05-26 Dufournier Technologies Device and process for vehicle driving evaluation
JP5230828B1 (ja) 2012-02-09 2013-07-10 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US10963133B2 (en) * 2014-01-07 2021-03-30 Honeywell International Inc. Enhanced awareness of obstacle proximity

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199894A (ja) * 1997-09-30 1999-04-13 Mazda Motor Corp 車両用障害物検出装置
JPH11264871A (ja) * 1998-03-17 1999-09-28 Komatsu Ltd 車両用障害物検出装置の監視機構
JP2000028717A (ja) * 1998-07-13 2000-01-28 Mitsubishi Electric Corp 障害物検出装置
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2010210412A (ja) * 2009-03-10 2010-09-24 Toshiba Tec Corp 障害物検知システム及びこのシステムの障害物センサ診断方法
JP2013159930A (ja) * 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd 周囲監視装置
JP2013242172A (ja) * 2012-05-18 2013-12-05 Sumitomo Heavy Ind Ltd 超音波センサ
JP2014025272A (ja) * 2012-07-27 2014-02-06 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2014064192A (ja) * 2012-09-21 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
WO2015162801A1 (ja) * 2014-04-25 2015-10-29 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法

Also Published As

Publication number Publication date
CN105339061A (zh) 2016-02-17
US20150326829A1 (en) 2015-11-12
CN105339061B (zh) 2017-05-10
CA2863656C (en) 2017-04-25
WO2015162800A1 (ja) 2015-10-29
JPWO2015162800A1 (ja) 2017-04-13
CA2863656A1 (en) 2015-10-25
US10240323B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
JP5933004B2 (ja) 周辺監視システム、作業車両、及び周辺監視方法
JP6228538B2 (ja) 周辺監視システム、作業車両、及び周辺監視方法
JP5529943B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5643272B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5324690B1 (ja) 作業車両用周辺監視システム及び作業車両
US9415722B2 (en) Working vehicle perimeter monitoring system and working vehicle
WO2014045466A1 (ja) 作業車両用周辺監視システム及び作業車両
JP5926315B2 (ja) 作業車両用周辺監視システム及び作業車両
CA2809654A1 (en) Dump truck with obstacle detection mechanism and method for detecting obstacle
JP5595565B2 (ja) 作業車両用周辺監視システム、作業車両及び作業車両用周辺監視方法
JP5788048B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
CA2817863C (en) Work vehicle periphery monitoring system and work vehicle

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160428

R150 Certificate of patent or registration of utility model

Ref document number: 5933004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250