JP5722127B2 - 作業車両の周辺監視装置 - Google Patents

作業車両の周辺監視装置 Download PDF

Info

Publication number
JP5722127B2
JP5722127B2 JP2011127477A JP2011127477A JP5722127B2 JP 5722127 B2 JP5722127 B2 JP 5722127B2 JP 2011127477 A JP2011127477 A JP 2011127477A JP 2011127477 A JP2011127477 A JP 2011127477A JP 5722127 B2 JP5722127 B2 JP 5722127B2
Authority
JP
Japan
Prior art keywords
warning
obstacle
work vehicle
area
traveling state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011127477A
Other languages
English (en)
Other versions
JP2012256113A (ja
Inventor
栗原 毅
毅 栗原
原田 茂
茂 原田
光田 慎治
慎治 光田
富和 田貫
富和 田貫
栄伸 増谷
栄伸 増谷
幸宏 中西
幸宏 中西
大 坪根
大 坪根
正臣 町田
正臣 町田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2011127477A priority Critical patent/JP5722127B2/ja
Priority to PCT/JP2012/063254 priority patent/WO2012169361A1/ja
Priority to US13/814,192 priority patent/US9597997B2/en
Priority to CA2807166A priority patent/CA2807166C/en
Priority to CN201280002706.0A priority patent/CN103098112B/zh
Priority to AU2012268485A priority patent/AU2012268485A1/en
Publication of JP2012256113A publication Critical patent/JP2012256113A/ja
Application granted granted Critical
Publication of JP5722127B2 publication Critical patent/JP5722127B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/002Special television systems not provided for by H04N7/007 - H04N7/18
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、作業車両の周囲を監視する周辺監視装置に関する。
従来、超大型の作業車両として、鉱山等で砕石を運搬するためのダンプトラックが広く用いられている。このようなダンプトラックは、一般的な車両に比較して著しく車幅が広く、また前後長が長いため、サイドミラー等によって作業車両周辺の状況を運転者が把握することは困難である。
そこで、作業車両周辺の状況を運転者に簡便に把握させることを目的として、障害物検知センサと、モニタと、これらに接続されたコントローラと、を備える周辺監視システムが提案されている(特許文献1参照)。この周辺監視システムでは、障害物検知センサによって障害物が検知された場合に、障害物の存在をモニタに表示することによって、障害物の存在を運転者に警告するようになっている。
US 2009/0259400 A1
しかしながら、特許文献1のシステムでは、作業車両の走行状態に関わりなく障害物の存在が運転者に警告されるので、運転者にとって不要な警告がなされてしまう場合がある。例えば、作業車両を前進させている場合のように運転者が前方に注意を払いたいときであっても、車両後方の障害物の存在が運転者に警告されてしまう。
本発明は、上述の状況に鑑みてなされたものであり、不要な警告を抑制可能な周辺監視装置を提供することを目的とする。
第1の態様に係る作業車両の周辺監視装置は、作業車両に装着され、作業車両の周囲の障害物を検知することによって、障害物の作業車両に対する相対位置をそれぞれ取得する複数の障害物検知センサと、作業車両の走行状態に応じて、障害物の存在を運転者に対して警告する必要のある警告領域を設定する警告領域設定部と、相対位置が警告領域内に位置することを運転者に警告する警告部と、を備える。
第1の態様に係る作業車両の周辺監視装置によれば、作業車両の走行状態に応じて警告領域が設定されるので、走行状態に鑑みて障害物の存在を運転者に警告する必要性が低い場合に警告がなされることを抑制できる。
第2の態様に係る作業車両の周辺監視装置は、第1の態様に係り、走行状態は、進行方向と車速の組み合わせによって規定される。
第2の態様に係る作業車両の周辺監視装置によれば、作業車両の様々な走行状態に対応しつつ簡便に走行状態を判断することができる。
第3の態様に係る作業車両の周辺監視装置は、第1又は第2の態様に係り、業車両に装着され、作業車両の周囲の画像をそれぞれ取得する複数のカメラと、複数のカメラによって取得される複数の画像に基づいて、作業車両の周囲の俯瞰画像を取得する俯瞰画像取得部と、を備える。警告部は、俯瞰画像上において相対位置が警告領域内に位置するか否かを判定する判定部を有する。
第4の態様に係る作業車両の周辺監視装置は、第3の態様に係り、画像を表示可能なモニタを備える。警告部は、俯瞰画像上において相対位置が警告領域内に位置すると判定された場合に、複数のカメラのうち障害物を撮影しているカメラのカメラ画像をモニタに表示させる表示制御部を有する。
第4の態様に係る作業車両の周辺監視装置によれば、障害物の存在を運転者に対して視覚的に警告することができるので、障害物の存在を運転者に容易に把握させることができる。
第5の態様に係る作業車両の周辺監視装置は、第4の態様に係り、表示制御部は、俯瞰画像をカメラ画像と並べてモニタに表示させる。
第5の態様に係る作業車両の周辺監視装置によれば、俯瞰画像において障害物の位置を運転者に視覚的に確認させることができるので、障害物の存在をより容易に運転者に把握させることができる。
第6の態様に係る作業車両の周辺監視装置は、第5の態様に係り、表示制御部は、モニタに表示される俯瞰画像において障害物に識別用マークを重ねて表示させる。
第6の態様に係る作業車両の周辺監視装置によれば、障害物をより目立たせることができるので、障害物の存在をより容易に運転者に把握させることができる。
第7の態様に係る作業車両の周辺監視装置は、第5又は第6の態様に係り、表示制御部は、モニタに表示される俯瞰画像において障害物の周囲を取り囲む識別用フレームを表示させる。
第7の態様に係る作業車両の周辺監視装置によれば、障害物をより目立たせることができるので、障害物の存在をより容易に運転者に把握させることができる。
以上のような本発明では、不要な警告を抑制可能な周辺監視装置を提供することができる。
ダンプトラック1の全体構成を示す斜視図。 ダンプトラック1が備える周辺監視装置10の構成を示すブロック図。 6台のカメラ11〜16の装着位置と撮影範囲とを示す上面図。 8台のレーダ装置21〜28の装着位置と検知範囲とを示す上面図。 警告領域を示す上面図。 周辺監視装置10の動作を説明するためのフロー図。 モニタ50における表示例を示す模式図。 警告領域を示す上面図。 警告領域を示す上面図。
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において、「前」「後」「左」「右」とは、運転席に着座した運転者を基準とする用語であり、「車幅方向」は、「左右方向」と同義である。
[ダンプトラックの全体構成]
図1は、ダンプトラック1の全体構成を示す斜視図である。ダンプトラック1は、鉱山作業などに用いられる自走式の超大型作業車両である。
ダンプトラック1は主に、車体フレーム2と、キャブ3と、ベッセル4と、それぞれ2つの前輪5及び後輪6と、ベース7と、を備える。また、このダンプトラック1は、車両の周囲を監視して、その結果をモニタに表示する周辺監視装置10を備える。周辺監視装置10の構成及び動作については後述する。
車体フレーム2は、図示しないディーゼルエンジンやトランスミッション等の動力機構やその他の補機類を支持している。また、車体フレーム2の前部左右に前輪5(図1では右前輪のみ図示)が支持され、後部左右に後輪6(図1では右後輪のみ図示)が支持されている。車体フレーム2は、地面に近い側にロアデッキ2Aを有し、ロアデッキ2Aの上方にアッパデッキ2Bを有している。ロアデッキ2Aと地面との間には例えば可動式ラダー2Cが2つ設けられ、ロアデッキ2Aとアッパデッキ2Bとの間には斜めラダー2Dが設けられている。アッパデッキ2B上には、前部の左右、側部、及び後部の一部に柵状の手すりが固定されている。
キャブは、アッパデッキ2B上において、車幅方向の中央から左側に偏倚して配置されている。このキャブ3内には、運転席、シフトレバー、コントローラ、モニタ、ハンドル、アクセルペダル、ブレーキペダル等が設けられている。後述するように、コントローラ、表示部およびシフトレバーは周辺監視装置10の一部を構成する。
ベッセル4は、砕石等の重量物を積載するための容器である。ベッセル4の後側の底部は、回動ピン(図示せず)を介して、車体フレーム2の後端部に回動可能に連結されている。これにより、ベッセル4は、図示しない油圧シリンダ等のアクチュエータによって、前部が上方に回動して積載物を排出する起立姿勢と、図1に示すように前部がキャブの上部に位置する積載姿勢と、を取り得る。
ベース7は、アッパデッキ2B上に配置される。ベース7は、トロリー用の架線から電力を受電するパンタグラフを設置するための給電装置である。
[周辺監視装置10の構成]
図2は、ダンプトラック1が備える周辺監視装置10の構成を示すブロック図である。周辺監視装置10は、6台のカメラ11〜16と、8台のレーダ装置21〜28と、シフトレバー30と、車速センサ40と、モニタ50と、コントローラ100と、を有する。
(1)6台のカメラ11〜16
6台のカメラ11〜16は、ダンプトラック1の周囲の画像を取得する。6台のカメラ11〜16は、ダンプトラック1の外周に装着される。図3は、6台のカメラ11〜16の装着位置と撮影範囲とを示すダンプトラック1の上面図である。ただし、図3では、後述する俯瞰画像200(図7参照)に用いられる範囲における撮影範囲が示されている。
第1カメラ11は斜めラダー2Dの上端部に配置され、その第1撮影範囲11Rは車両前方である。第2カメラ12はアッパデッキ2Bの前側面右端部に配置され、その第2撮影範囲12Rは車両右斜め前方である。第3カメラ13は第2カメラ12と左右対称位置、すなわちアッパデッキ2Bの前側面左端部に配置され、その第3撮影範囲13Rは左斜め前方である。第4カメラ14はアッパデッキ2Bの右側面前端部に配置され、その第4撮影範囲14Rは右斜め後方である。第5カメラ15は第4カメラと左右対称位置、すなわちアッパデッキ2Bの左側面前端部に配置され、その第5撮影範囲15Rは左斜め後方である。第6カメラ16は2つの後輪6を連結するアクスル軸上方で、ベッセル4の回動軸付近に配置され、その第6撮影範囲16Rは後方である。
以上の6台のカメラ11〜16によれば、図3の中央図に示すように、ダンプトラック1のほぼ全周囲の画像を取得することができる。6台のカメラ11〜16のそれぞれは、自装置が撮影した画像を示す画像データをコントローラ100に送信する。
(2)8台のレーダ装置21〜28
8台のレーダ装置21〜28は、ダンプトラック1の周囲に存在する障害物の相対位置を検知する。8台のレーダ装置21〜28は、ダンプトラック1の外周に装着される。図4は、8台のレーダ装置21〜28の装着位置と検知範囲とを示すダンプトラック1の上面図である。ただし、図4では、後述する俯瞰画像200(図7参照)に用いられる範囲における検知範囲が示されている。
第1レーダ装置21はロアデッキ2A上に配置され、その第1検知範囲21Rは車両前方から左斜め前方である。第2レーダ装置22は第1レーダ装置21の左側に配置され、その第2検知範囲22Rは車両前方から右斜め前方である。第3レーダ装置23はロアデッキ2Aの右側面前端部に配置され、その第3検知範囲23Rは右斜め前方から右方である。第4レーダ装置24は車両側方のロアデッキ2Aとアッパデッキ2Bの中間に配置され、その第4検知範囲24Rは右方から後方である。第5レーダ装置25は2つの後輪6を連結するアクスル軸付近に配置され、その第5検知範囲25Rは右斜め後方から後方である。第6レーダ装置26は第5レーダ装置25の右側に配置され、その第6検知範囲25Rは後方から左斜め後方である。第7レーダ装置27は第4レーダ装置24と左右対称位置に配置され、その第7検知範囲27Rは後方から左方である。第8レーダ装置28は第3レーダ装置23と左右対称位置に配置され、その第8検知範囲28Rは左方から左斜め前方である。
以上の8台のレーダ装置21〜28によれば、図4の中央図に示すように、ダンプトラック1のほぼ全周囲に渡って、ダンプトラック1に対する障害物の相対位置を検知することができる。8台のレーダ装置21〜28のそれぞれは、自装置が検知した障害物の相対位置を示す相対位置データをコントローラ100に送信する。
(3)シフトレバー30、車速センサ40およびモニタ50
シフトレバー30は、キャブ3内において運転席周辺に配置される。シフトレバー30は、オペレータがダンプトラック1の進行方向や速度段を切り換えるための操作具である。本実施形態において、シフトレバー30は、前進および後進のいずれに位置するかを示すシフトレバー位置データをコントローラ100に送信する。
車速センサ40は、ダンプトラック1の車速を取得する。車速センサ40は、エンジンの回転数などに基づいてダンプトラック1の車速を取得可能である。車速センサ40は、取得した車速を示す車速データをコントローラ100に送信する。
モニタ50は、キャブ3内において運転席前方に配置される。モニタ50は、コントローラ100の制御に応じて画像を表示可能である。モニタ50における表示例については後述する。
(4)コントローラ100
コントローラ100は、ダンプトラック1の周囲における障害物の有無を監視し、必要に応じて障害物の存在を運転者に警告する。図2に示すように、コントローラ100は、走行状態判断部110と、警告領域設定部120と、俯瞰画像取得部130と、警告部140と、を備える。
走行状態判断部110は、シフトレバー30からシフトレバー位置データを受信し、車速センサ40から車速データを受信する。走行状態判断部110は、進行方向と車速との組み合わせに基づいて、ダンプトラック1の走行状態を判断する。
ここで、走行状態は、進行方向が前進で車速が0より大きい場合には“前進中”と規定され、進行方向が後進で車速が0より大きい場合には“後進中”と規定され、車速が0である場合には進行方向に関わらず“停車中”と規定されている。走行状態判断部110は、走行状態を示す走行状態データを警告領域設定部120に送信する。
警告領域設定部120は、走行状態判断部110から走行状態データを受信する。警告領域設定部120は、ダンプトラック1の走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する。図5(a)〜図5(c)は、警告領域を示す上面図である。
警告領域設定部120は、ダンプトラック1の走行状態が“前進中”である場合には、図5(a)に示すように、前方領域FRを警告領域として設定する。本実施形態において、前方領域FRは、第1検知範囲21R、第2検知範囲22R、第3検知範囲23Rおよび第8検知範囲28Rを合わせた領域である。また、警告領域設定部120は、ダンプトラック1の走行状態が“後進中”である場合には、図5(b)に示すように、後方領域RRを警告領域として設定する。本実施形態において、後方領域RRは、第4検知範囲24R、第5検知範囲25R、第6検知範囲26Rおよび第7検知範囲27Rを合わせた領域である。また、警告領域設定部120は、ダンプトラック1の走行状態が“停車中”である場合には、図5(c)に示すように、全領域ARを警告領域として設定する。本実施形態において、全領域ARは、前方領域FRと後方領域RRとを合わせた領域である。警告領域設定部120は、設定した警告領域を示す警告領域データを警告部140に送信する。
俯瞰画像取得部130は、6台のカメラ11〜16それぞれから複数の画像データを受信する。俯瞰画像取得部130は、複数の画像データによって示される複数の画像に基づいて、ダンプトラック1の周囲の俯瞰画像200(図7参照)を取得する。具体的に、俯瞰画像取得部130は、複数の画像データそれぞれを座標変換することによって、複数の画像を所定の投影面上に投影させた俯瞰画像200を示す俯瞰画像データを生成する。俯瞰画像取得部130は、生成した俯瞰画像データを警告部140に送信する。
警告部140は、8台のレーダ装置21〜28のうち少なくとも1つのレーダ装置によって検知された障害物の相対位置が警告領域内に位置することを運転者に警告する。図2に示すように、警告部140は、判定部141と、表示制御部142と、を有する。
判定部141は、警告領域設定部120から警告領域データを受信し、俯瞰画像取得部130から俯瞰画像データを受信し、8台のレーダ装置21〜28から相対位置データを受信する。判定部141は、8台のレーダ装置21〜28からの相対位置データの受信の有無に基づいて、8台のレーダ装置21〜28のうち少なくとも1つのレーダ装置が障害物を検知したか否かを判定する。
また、判定部141は、少なくとも1つのレーダ装置によって障害物が検知されたと判定した場合、俯瞰画像200上において障害物の相対位置が警告領域内に位置するか否かを判定する。判定部141は、障害物の相対位置が警告領域内に位置すると判定した場合、その旨を表示制御部142に通知する。
表示制御部142は、6台のカメラ11〜16それぞれから複数の画像データを受信し、俯瞰画像取得部130から俯瞰画像データを受信し、8台のレーダ装置21〜28から相対位置データを受信する。
表示制御部142は、判定部141から通知を受けない場合(すなわち、通常時)には、6台のカメラ11〜16のうち所定カメラの画像(「所定カメラ画像210」という。図7(a)(c)参照)と俯瞰画像200とを並べてモニタ50に表示させる。所定カメラは、ダンプトラック1の走行状態に応じて選択されることが好ましい。例えば、前進中には第2撮影範囲12Rを撮影する第2カメラ12であることが好ましく、後進中には第6撮影範囲16Rを撮影する第6カメラ16であることが好ましい。
一方、表示制御部142は、障害物の相対位置が警告領域内に位置すると判定部141によって判定された場合には、6台のカメラ11〜16のうち検知された障害物を撮影しているカメラの画像(「障害物撮影カメラ画像220」という)を俯瞰画像200と並べてモニタ50に表示させる。
また、表示制御部142は、モニタ50に表示される俯瞰画像200において、検知された障害物に識別用マークM(図7参照)を重ねて表示させる。識別用マークMは、俯瞰画像200上において障害物を視覚的に目立たせるための印であり、丸印、四角印、三角印などを用いることができる。
また、表示制御部142は、モニタ50に表示される俯瞰画像200において、検知された障害物の周囲を取り囲む識別用フレームN(図7参照)を表示させる。識別用フレームNは、俯瞰画像200上において障害物の位置を容易に特定するための枠であり、枠の大きさや形などは適宜設定可能である。本実施形態では、後述するように、障害物撮影カメラの撮影領域(第1乃至第6撮影範囲11R〜12Rのいずれか1つ)の外縁が識別用フレームNとして設定されている。
[周辺監視装置10の動作]
図6は、周辺監視装置10の動作を説明するためのフロー図である。図7は、モニタ50における表示例を示す模式図である。以下の説明では、運転者がダンプトラック1を前進させているものとする。
ステップS10において、走行状態判断部110は、進行方向と車速を有することの組み合わせに基づいて、ダンプトラック1の走行状態を判断する。ここでは、ダンプトラック1の走行状態は、“前進中”と判断される。
ステップS20において、警告領域設定部120は、ダンプトラック1の走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する。ステップS20では、走行状態が“前進中”であるので、前方領域FRが警告領域として設定される。
ステップS30において、俯瞰画像取得部130は、6台のカメラ11〜16によって取得される複数の画像に基づいて、ダンプトラック1の周囲の俯瞰画像200を取得する。
ステップS40において、表示制御部142は、俯瞰画像200と所定カメラ画像210とを並べてモニタ50に表示させる。図7(a)は、ステップS40における表示例を示す模式図である。図7(a)に示すように、モニタ50には、俯瞰画像200と所定カメラ画像210とが横に並んで表示されている。図7(a)に示される所定カメラ画像210は、第2撮影範囲12Rを撮影する第2カメラ12のリアルタイム画像である。
ステップS50において、判定部141は、8台のレーダ装置21〜28のうち少なくとも1つのレーダ装置が障害物を検知したか否かを判定する。8台のレーダ装置21〜28のいずれかが障害物を検知した場合、処理はステップS60に進む。8台のレーダ装置21〜28のいずれもが障害物を検知しない場合、処理は一旦終了して新たな処理に移行する。
ステップS60において、判定部141は、俯瞰画像200上において障害物の相対位置が警告領域(ここでは、前方領域FR)内に位置するか否かを判定する。俯瞰画像200上において障害物の相対位置が警告領域内に位置する場合には、処理はステップS60に進む。俯瞰画像200上において障害物の相対位置が警告領域内に位置しない場合、処理は終了して次回処理に移行する。
ステップS70において、表示制御部142は、障害物撮影カメラ画像220を俯瞰画像200と並べてモニタ50に表示させる。また、表示制御部142は、モニタ50に表示される俯瞰画像200において、障害物に識別用マークMを重ねて表示するとともに、障害物の周囲を取り囲む識別用フレームNを表示する。図7(b)は、ステップS70における表示例を示す模式図である。図7(b)に示すように、モニタ50には、障害物撮影カメラ画像220が俯瞰画像200と並んで表示されている。図7(b)に示される障害物撮影カメラ画像220は、第3撮影範囲13Rを撮影する第3カメラ13のリアルタイム画像である。
その後、ステップS10〜S70が繰り返し実行されるが、ステップS50において障害物が検知されない場合、或いは、ステップS60において障害物の相対位置が警告領域内から外れた場合、処理は一旦終了して新たな処理に移行する。図7(c)は、次回処理のステップS40における表示例を示す模式図である。障害物がダンプトラック1の後方に移動して警告領域から外れたことに応じて、図7(c)では、所定カメラ画像210が表示される状態に戻っている。
[作用及び効果]
(1)周辺監視装置10は、警告領域設定部120と警告部140とを備える。警告領域設定部120は、ダンプトラック1の走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する。警告部140は、8台のレーダ装置21〜28のうち少なくとも1つのレーダ装置によって検知された障害物の相対位置が警告領域内に位置することを運転者に警告する。
このように、ダンプトラック1の走行状態に応じて警告領域が設定されるので、走行状態に鑑みて障害物の存在を運転者に警告する必要性が低い場合に警告がなされることを抑制できる。
(2)ダンプトラック1の走行状態は、進行方向と車速を有することの組み合わせによって規定される。
そのため、ダンプトラック1の様々な走行状態に対応しつつ簡便に走行状態を判断することができる。
(3)警告部140は、表示制御部142を有する。表示制御部142は、障害物の相対位置が警告領域内に位置すると判定部141によって判定された場合には、障害物撮影カメラ画像220をモニタ50に表示させる。
このように、障害物の存在を運転者に対して視覚的に警告することができるので、障害物の存在を運転者に容易に把握させることができる。
(4)表示制御部142は、俯瞰画像200を障害物撮影カメラ画像220と並べてモニタ50に表示させる。
従って、俯瞰画像200において障害物の位置を運転者に視覚的に確認させることができるので、障害物の存在を運転者により容易に把握させることができる。
(5)表示制御部142は、モニタ50に表示される俯瞰画像200において、障害物に識別用マークMを重ねて表示する。また、表示制御部142は、モニタ50に表示される俯瞰画像200において、障害物の周囲を取り囲む識別用フレームNを表示する。
従って、障害物をより目立たせることができるので、障害物の存在をより容易に運転者に把握させることができる。
(その他の実施形態)
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
(A)上記実施形態において、警告領域は、図5に示すように、前方領域FRと後方領域RRとに分けられることとしたが、これに限られるものではない。警告領域は、3以上の領域に分けられていてもよい。また、図8に示すように、前方領域FRと後方領域RRとの境界は、任意の位置に設定することができる。さらに、図9に示すように、前方領域FRと後方領域RRとは、互いに一部が重なっていてもよい。
(B)上記実施形態において、警告部140は、障害物撮影カメラ画像220をモニタ50に表示させることによって、障害物の相対位置が警告領域内に位置することを運転者に警告することとしたが、これに限られるものではない。警告部140は、モニタ50における画像の表示に代えてスピーカから警告音を鳴らすことによって運転者に警告してもよい。また、警告部140は、モニタ50における画像の表示に代えて発光器を光らせることによって運転者に警告してもよい。
(C)上記実施形態において、表示制御部142は、俯瞰画像200を障害物撮影カメラ画像220と並べてモニタ50に表示させることとしたが、これに限られるものではない。表示制御部142は、障害物撮影カメラ画像220のみをモニタ50に表示させてもよい。
(D)上記実施形態において、表示制御部142は、識別用マークMおよび識別用フレームNを俯瞰画像200に表示することとしたが、これに限られるものではない。表示制御部142は、識別用マークMおよび識別用フレームNを俯瞰画像200に表示しなくてもよい。
(E)上記実施形態において、表示制御部142は、障害物撮影カメラの撮影領域の外縁を識別用フレームNとして設定することとしたが、これに限られるものではない。識別用フレームNは、識別用マークMよりも大きければよく、その大きさや形に制限はない。
(F)上記実施形態において特に触れていないが、走行状態に応じて8台のレーダ装置21〜28のうちいくつかのレーダ装置の電源をOFFすることによって、警告領域を設定することができる。この場合には、電源をONされているレーダ装置の検知範囲が警告領域と一致することとなる。なお、電源をOFFされたレーダ装置からは相対位置データ自体が出力されない。そのため、警告部140が相対位置データを取得することは、すなわち、障害物が警告領域内に位置することを意味するので、警告部140は判定部141を有していなくてもよい。
(G)上記実施形態において、ダンプトラック1は、ベース7を備えることとしたが備えていなくてもよい。
1…ダンプトラック、2…フレーム、2A…ロアデッキ、2B…アッパデッキ、2C…可動式ラダー、2D…斜めラダー、3…キャブ、4…ベッセル、5…前輪、6…後輪、10…周辺監視装置、11〜16…6台のカメラ、21〜28…8台のレーダ装置、30…シフトレバー、40…車速センサ、50…モニタ、100…コントローラ、110…走行状態判断部、120…警告領域設定部、130…俯瞰画像取得部、140…警告部、141…判定部、142…表示制御部、200…俯瞰画像、210…所定カメラ画像、220…障害物撮影カメラ画像、FR…前方領域、RR…後方領域、AR…全領域、M…識別用マーク、N…識別用フレーム

Claims (8)

  1. 作業車両に装着され、作業車両の周囲の障害物を検知することによって、前記障害物の作業車両に対する相対位置をそれぞれ取得する複数のレーダ装置と、
    作業車両の走行状態を判断する走行状態判断部と、
    前記レーダ装置の検知範囲であって、前記障害物の存在を運転者に対して警告する必要のある警告領域を、前記走行状態判断部による判断に対応して1つだけ設定する警告領域設定部と、
    前記障害物が検知された場合であって、前記警告領域設定部によって設定がなされた警告領域内に前記障害物が位置するときには運転者に警告し、前記警告領域外にある前記障害物が検知された場合であって前記警告領域内に前記障害物が位置しないときには運転者に警告しない警告部と、
    を備え、
    前記警告領域内は、前記複数のレーダ装置が有する各々の検知範囲を複数含む、
    作業車両の周辺監視装置。
  2. 前記走行状態は、進行方向と車速の組み合わせによって規定される、
    請求項1に記載の作業車両の周辺監視装置。
  3. 作業車両に装着され、作業車両の周囲の画像をそれぞれ取得する複数のカメラと、
    前記複数のカメラによって取得される複数の画像に基づいて、作業車両の周囲の俯瞰画像を取得する俯瞰画像取得部と、
    を備え、
    前記警告部は、前記俯瞰画像上において前記相対位置が前記警告領域内に位置するか否かを判定する判定部を有する、
    請求項1又は2に記載の作業車両の周辺監視装置。
  4. 画像を表示可能なモニタ
    を備え、
    前記警告部は、前記俯瞰画像上において前記相対位置が前記警告領域内に位置すると判定された場合に、前記複数のカメラのうち前記障害物を撮影しているカメラのカメラ画像を前記モニタに表示させる表示制御部を有する、
    請求項3に記載の作業車両の周辺監視装置。
  5. 前記表示制御部は、前記俯瞰画像を前記カメラ画像と並べて前記モニタに表示させる、
    請求項4に記載の作業車両の周辺監視装置。
  6. 前記表示制御部は、前記モニタに表示される前記俯瞰画像において前記障害物に識別用マークを重ねて表示させる、
    請求項5に記載の作業車両の周辺監視装置。
  7. 前記表示制御部は、前記モニタに表示される前記俯瞰画像において前記障害物の周囲を取り囲む識別用フレームを表示させる、
    請求項5又は6に記載の作業車両の周辺監視装置。
  8. 前記警告領域は、前記作業車両の前方領域と、前記作業車両の後方領域と、前記前方領域と前記後方領域を合わせた全領域とを含み、
    前記警告領域設定部は、前記走行状態判断部によって前進中であると判断された場合には前記前方領域を前記警告領域に設定し、前記走行状態判断部によって後進中であると判断された場合には前記後方領域を前記警告領域に設定し、前記走行状態判断部によって停車中であると判断された場合には前記全領域を前記警報領域に設定する、
    請求項1乃至7のいずれかに記載の作業車両の周辺監視装置。
JP2011127477A 2011-06-07 2011-06-07 作業車両の周辺監視装置 Active JP5722127B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011127477A JP5722127B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置
PCT/JP2012/063254 WO2012169361A1 (ja) 2011-06-07 2012-05-24 作業車両の周辺監視装置
US13/814,192 US9597997B2 (en) 2011-06-07 2012-05-24 Work vehicle periphery monitoring apparatus
CA2807166A CA2807166C (en) 2011-06-07 2012-05-24 Work vehicle periphery monitoring apparatus
CN201280002706.0A CN103098112B (zh) 2011-06-07 2012-05-24 作业车辆的周边监视装置
AU2012268485A AU2012268485A1 (en) 2011-06-07 2012-05-24 Work vehicle vicinity monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011127477A JP5722127B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置

Publications (2)

Publication Number Publication Date
JP2012256113A JP2012256113A (ja) 2012-12-27
JP5722127B2 true JP5722127B2 (ja) 2015-05-20

Family

ID=47295929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011127477A Active JP5722127B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置

Country Status (6)

Country Link
US (1) US9597997B2 (ja)
JP (1) JP5722127B2 (ja)
CN (1) CN103098112B (ja)
AU (1) AU2012268485A1 (ja)
CA (1) CA2807166C (ja)
WO (1) WO2012169361A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
KR102003562B1 (ko) * 2012-12-24 2019-07-24 두산인프라코어 주식회사 건설기계의 감지 장치 및 방법
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
CN103325280A (zh) * 2013-06-28 2013-09-25 煤炭科学研究总院 露天矿用车辆防撞调度系统和车辆终端
DE102013224954A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
DE102015000449A1 (de) 2015-01-15 2016-07-21 Siltectra Gmbh Festkörperteilung mittels Stoffumwandlung
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6134668B2 (ja) * 2014-02-18 2017-05-24 日立建機株式会社 作業車両の障害物検知装置
JP6326869B2 (ja) * 2014-03-05 2018-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
JP2015170284A (ja) * 2014-03-10 2015-09-28 株式会社日立製作所 フォークリフト型無人搬送車、その制御方法および制御装置
JP6178280B2 (ja) 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
JP6520318B2 (ja) * 2015-04-01 2019-05-29 日本製鉄株式会社 作業車両用の安全装置及び作業車両の監視方法
JP2017030688A (ja) * 2015-08-06 2017-02-09 日立建機株式会社 作業機械の周囲監視装置
CN107924585B (zh) * 2015-08-25 2021-03-09 日铁系统集成株式会社 作业辅助装置、作业辅助方法以及存储介质
DE102015220640A1 (de) * 2015-10-22 2017-04-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verringern eines Kollisionsrisikos einer Kollision eines Kraftfahrzeugs mit einem Objekt
JP6475178B2 (ja) * 2016-03-10 2019-02-27 日立建機株式会社 電気駆動車両
CN108885839A (zh) * 2016-03-31 2018-11-23 古河电气工业株式会社 监视装置和监视方法
DE102016116859A1 (de) 2016-09-08 2018-03-08 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Sensoranordnung für ein autonom betriebenes Nutzfahrzeug und ein Verfahren zur Rundumbilderfassung
JP6756554B2 (ja) * 2016-09-09 2020-09-16 株式会社タダノ 画像表示システム
JP6822069B2 (ja) * 2016-11-01 2021-01-27 オムロン株式会社 監視システム、監視装置、および監視方法
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP6805348B2 (ja) 2017-07-14 2020-12-23 株式会社小松製作所 車両管理装置、車両管理方法およびプログラム
JP6969983B2 (ja) * 2017-11-10 2021-11-24 株式会社小松製作所 ダンプトラック
US10594991B1 (en) 2018-01-09 2020-03-17 Wm Intellectual Property Holdings, Llc System and method for managing service and non-service related activities associated with a waste collection, disposal and/or recycling vehicle
JP6734485B2 (ja) * 2018-03-14 2020-08-05 日立建機株式会社 作業機械
JP7160606B2 (ja) * 2018-09-10 2022-10-25 株式会社小松製作所 作業機械の制御システム及び方法
JP7239291B2 (ja) 2018-09-28 2023-03-14 株式会社小松製作所 作業車両の周辺監視システム及び作業車両の周辺監視方法
JP7145034B2 (ja) * 2018-10-26 2022-09-30 株式会社デンソー 運転支援装置
CN109624854A (zh) * 2018-12-03 2019-04-16 浙江明航智能科技有限公司 一种适用于特种车辆的360°全景辅助可视系统
GB2579631A (en) * 2018-12-07 2020-07-01 Ongrade Ltd Proximity warning system
EP3671262B1 (en) * 2018-12-21 2023-05-17 Easymile Method and system for handling blind sectors of scanning layers of redundant sensors in a vehicle
JP7044694B2 (ja) 2018-12-27 2022-03-30 ヤンマーパワーテクノロジー株式会社 作業車両用の障害物検知システム
JP7454461B2 (ja) * 2019-01-28 2024-03-22 住友重機械工業株式会社 ショベル
CN110077320B (zh) * 2019-04-11 2021-01-19 爱驰汽车有限公司 一种基于雷达的倒车方法及装置
JP7349277B2 (ja) 2019-07-10 2023-09-22 ヤンマーパワーテクノロジー株式会社 作業車両用の自動走行システム
US11475416B1 (en) 2019-08-23 2022-10-18 Wm Intellectual Property Holdings Llc System and method for auditing the fill status of a customer waste container by a waste services provider during performance of a waste service activity
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
JP7560955B2 (ja) * 2020-04-20 2024-10-03 株式会社小松製作所 ショベル、作業機械の障害物報知システムおよびショベルの障害物報知方法
CN112068553B (zh) * 2020-08-20 2024-08-20 上海姜歌机器人有限公司 机器人避障处理方法、装置及机器人
US11386362B1 (en) 2020-12-16 2022-07-12 Wm Intellectual Property Holdings, L.L.C. System and method for optimizing waste / recycling collection and delivery routes for service vehicles
JP2022110448A (ja) 2021-01-18 2022-07-29 京セラ株式会社 運転支援システム、車両、撮影装置
US11928693B1 (en) 2021-03-09 2024-03-12 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path analysis for a waste / recycling service vehicle
US11373536B1 (en) 2021-03-09 2022-06-28 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path and parcel data analysis for a waste / recycling service vehicle
US11488118B1 (en) 2021-03-16 2022-11-01 Wm Intellectual Property Holdings, L.L.C. System and method for auditing overages and contamination for a customer waste container by a waste services provider during performance of a waste service activity
CN113421460B (zh) * 2021-06-23 2023-01-24 中煤航测遥感集团有限公司 作业车辆防撞预警方法、装置、车载终端及存储介质
US11977381B1 (en) 2022-04-01 2024-05-07 Wm Intellectual Property Holdings, L.L.C. System and method for autonomous waste collection by a waste services provider during performance of a waste service activity

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373472B1 (en) * 1995-10-13 2002-04-16 Silviu Palalau Driver control interface system
US6268803B1 (en) * 1998-08-06 2001-07-31 Altra Technologies Incorporated System and method of avoiding collisions
US6720868B2 (en) * 2001-05-31 2004-04-13 Omega Patents, L.L.C. Back-up warning system in a license plate holder and related method
JP3607994B2 (ja) * 2001-11-12 2005-01-05 トヨタ自動車株式会社 車両用周辺監視装置
US20050075770A1 (en) * 2003-10-07 2005-04-07 Taylor Ronald M. Motor vehicle back-up system
US8702366B2 (en) * 2007-11-15 2014-04-22 American Refrigerated Express, Inc. Cargo transfer system using a palletized rack
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4807104B2 (ja) * 2006-03-01 2011-11-02 日産自動車株式会社 車両周囲監視システム及び画像表示方法
US8040226B2 (en) * 2007-04-02 2011-10-18 Datachassi Dc Ab Vehicle surveillance and communication system
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
US8305444B2 (en) * 2008-11-14 2012-11-06 Toyota Motor Engineering & Manufacturing North America, Inc. Integrated visual display system
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
JP4951639B2 (ja) * 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
JP2010208483A (ja) * 2009-03-10 2010-09-24 Clarion Co Ltd 駐車ナビゲーションシステム
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
CN102055956B (zh) * 2009-11-02 2017-05-10 通用汽车环球科技运作公司 车载三维视频系统及用其监测车辆周围环境的方法
CN101794499B (zh) * 2010-01-27 2015-08-12 张青 基于摄像识别的照明监控系统及实现方法
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
US9230419B2 (en) * 2010-07-27 2016-01-05 Rite-Hite Holding Corporation Methods and apparatus to detect and warn proximate entities of interest
WO2012075250A1 (en) * 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping

Also Published As

Publication number Publication date
JP2012256113A (ja) 2012-12-27
CN103098112A (zh) 2013-05-08
US20130141581A1 (en) 2013-06-06
CA2807166C (en) 2018-07-24
CA2807166A1 (en) 2012-12-13
WO2012169361A1 (ja) 2012-12-13
AU2012268485A1 (en) 2013-03-07
US9597997B2 (en) 2017-03-21
CN103098112B (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
JP5722127B2 (ja) 作業車両の周辺監視装置
JP6158906B2 (ja) 作業車両の周辺監視装置
JP5411976B1 (ja) 作業車両用周辺監視システム及び作業車両
JP5324690B1 (ja) 作業車両用周辺監視システム及び作業車両
JP5124672B2 (ja) 作業車両の周辺監視装置
WO2012169362A1 (ja) 作業車両の周辺監視装置
US11292387B2 (en) Towing assistance apparatus
JP2014064208A (ja) 作業車両用周辺監視システム及び作業車両
WO2018186045A1 (ja) 牽引支援装置
JP5595565B2 (ja) 作業車両用周辺監視システム、作業車両及び作業車両用周辺監視方法
JP2007161193A (ja) 駐車支援装置
JP2019059253A (ja) 牽引支援装置
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
JP2015029357A (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP2014222877A (ja) 作業車両の周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150212

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150325

R150 Certificate of patent or registration of utility model

Ref document number: 5722127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250