JP6385745B2 - 鉱山用作業車両 - Google Patents
鉱山用作業車両 Download PDFInfo
- Publication number
- JP6385745B2 JP6385745B2 JP2014149182A JP2014149182A JP6385745B2 JP 6385745 B2 JP6385745 B2 JP 6385745B2 JP 2014149182 A JP2014149182 A JP 2014149182A JP 2014149182 A JP2014149182 A JP 2014149182A JP 6385745 B2 JP6385745 B2 JP 6385745B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- dust
- region
- vehicle
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005065 mining Methods 0.000 title claims description 31
- 239000000428 dust Substances 0.000 claims description 204
- 238000001514 detection method Methods 0.000 claims description 121
- 238000005259 measurement Methods 0.000 claims description 22
- 238000000105 evaporative light scattering detection Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 239000004576 sand Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013049 sediment Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000003981 vehicle Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本第1実施形態は、ステレオカメラ装置11を用いた実施形態である。図1は、本発明の第1実施形態に係る鉱山用作業車両の一例であるオフロードダンプトラックとして、建設機械向けの車両1である鉱山用ダンプトラックにて、砂埃D越しに前方を走行する他車両1Aを検出している状況を示す概略図である。図2は、車両1が用いられる鉱山システムを示す概略図である。図3は、車両1の駆動構成を示す概略図である。図4は、車両1に搭載した障害物検出システム10を示す概略図である。
障害物検出システム10は、コントローラ6による処理にて実行され、路面R上に発生した砂埃Dによって隠れた障害物、例えば前方を走行する他車両1Aを認識するための障害物認識装置である。コントローラ6は、障害物検出システム10として、路面R上の、例えば他車両1A以外の、作業車、岩石、鉱物、土砂等の障害物を検出するための画像解析装置としてのステレオカメラシステムでもある。
次に、上記第1実施形態に係る障害物検出システム10の処理について、図8を参照して説明する。図8は、車両1に搭載された障害物検出システム10による処理を示すフローチャートである。図9は、ステレオカメラ装置11の左側に位置するカメラ11aで撮影したカメラ取得画像a中の特定の物体が、右側に位置するカメラ11bで撮影したカメラ取得画像bのどの位置に撮像されるかの特定方法を示す説明図である。図10は、障害物検出システム10にて作成した砂埃検出用画像SIを示す図である。図11は、障害物検出システム10による砂埃幅Eの検出方法を示す説明図である。図12は、障害物検出システム10の砂埃位置検出部16にて検出した砂埃幅Eの閾値の変換テーブルを示す表である。
鉱山においては、前方を走行する他車両1Aが走行時に後方に砂埃Dを撒き上げると、この撒き上げられた砂埃Dによって他車両1Aが隠れてしまい、この他車両1Aを追従して走行する自車両1から他車両1Aを視覚的に確認できない場合がある。さらに、砂埃Dが発生している領域は、略真っ白な領域となり、ステレオカメラ装置11の各カメラ11a,11bにて取得した二次元のカメラ取得画像a,bを比較して視差画像DIを取得する場合に、視差値のない視差無領域となる。
図13は、本発明の第2実施形態に係る車両1を示す概略図である。図14は、車両1に搭載した障害物検出システム10Aを示す概略図である。本第2実施形態が前述した第1実施形態と異なるのは、第1実施形態に対し、第2実施形態は、レーダ計測システム21、砂埃判定部22および車両認識部23を備えた点である。なお、本第2実施形態において、第1実施形態と同一又は対応する部分には同一符号を付している。
本第2実施形態において、レーダ計測システム21は、障害物検出システム10Aに備えられ、砂埃D越しに障害物の有無を検出する障害物検出部である。レーダ計測システム21は、走行路認識部14にて認識した路面領域上にある障害物を検出するもので、レーダ計測情報取得部21aと、レーダ障害物検出部21bとを有している。レーダ計測情報取得部21aは、例えばミリ波レーダ等の砂埃を透過し、この砂埃の先の障害物を検出可能なレーザであり、このレーザにて走査する領域であるセンシング領域内に存在する障害物の位置情報をレーダ計測情報としてレーダ障害物検出部21bに出力する。
次に、上記第2実施形態に係る障害物検出システム10Aの処理について、図15を参照して説明する。図15は、障害物検出システム10Aによる処理を示すフローチャートである。ここで、障害物検出システム10Aの処理は、上記第1実施形態に係る障害物検出システム10の処理のうち、番号が等しいステップは同一である。
以上により、本第2実施形態に係る障害物検出システム10Aにおいては、上記第1実施形態にて奏し得る作用効果に加え、車両存在領域認識部17にて他車両1Aの位置や大きさを特定できない場合であっても、レーダ計測情報取得部21aにて路面領域上の障害物の位置を検出し、車両存在領域検出部17にて検出した視差画像DI中の車両可能性領域Jの位置および画素数に、レーダ障害物検出部21bにて検出した障害物の位置情報を加えることにより、車両認識部23にて、前方を走行する他車両1Aの種類、大きさ、及び位置を識別できる。
なお、本発明は前述した実施形態に限定されるものではなく、様々な変形態様が含まれる。例えば、前述した実施形態は、本発明を分りやすく説明するために説明したものであり、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。
1c 荷台
5h 車速センサ(速度検出部)
5i 荷重センサ(積荷質量検出部)
6 コントローラ
10 障害物検出システム
11 ステレオカメラ装置
11a カメラ(第1のカメラ)
11b カメラ(第2のカメラ)
12 画像情報取得部(差分無領域特定部)
13 距離算出部
14 走行路認識部(路面領域特定部)
15 砂埃検出部
16 砂埃位置検出部
17 車両存在領域検出部(障害物領域特定部)
18 画像制御部
19 ディスプレイ(表示装置)
21 レーダ計測システム(障害物検出部)
21a レーダ計測情報取得部(レーダ)
21b レーダ障害物検出部
22 砂埃判定部
23 車両認識部(障害物識別部)
Claims (8)
- 走行方向前方の画像情報が取得可能な第1および第2のカメラを備えたステレオカメラ装置と、
前記第1のカメラにて取得された二次元の画像情報の中の局所領域が前記第2のカメラにて取得された二次元の画像情報内のいずれの位置に対応するかを、注目画素ごとに走査する処理を行い、対応する局所領域が、前記第2のカメラで取得される画像情報内で検出されない場合に、当該注目画素に対し対応点が無いことを示す規定値を設定し、前記規定値が設定された画素によって占められる領域を、差分無領域として特定する差分無領域特定部と、
前記画像情報中の差分無領域の画素数が所定値より大きい場合に、前記差分無領域を障害物が存在する可能性の高い障害物領域と特定する障害物領域特定部と、
を備えたことを特徴とする鉱山用作業車両。 - 請求項1の鉱山用作業車両において、
前記第1および第2のカメラにて取得した画像情報に基づき、前記画像情報中の路面領域を特定する路面領域特定部と、
前記画像情報中の前記差分無領域が前記路面領域に接している場合に、前記差分無領域を砂埃領域と特定する砂埃領域特定部と、を備え、
前記障害物領域特定部は、前記画像情報中の砂埃領域の画素数が所定値より大きい場合に、前記砂埃領域を障害物領域と特定する
ことを特徴とする鉱山用作業車両。 - 請求項2の鉱山用作業車両において、
前記画像情報中の前記路面領域上に存在する障害物を検出する障害物検出部と、
前記障害物検出部にて検出した障害物情報と、前記障害物領域特定部にて特定した前記画像情報中の前記障害物領域の位置および画素数とに基づき、前記障害物の種類、大きさ、および位置を識別する障害物識別部と、
を備えたことを特徴とする鉱山用作業車両。 - 請求項3の鉱山用作業車両において、
前記障害物検出部は、レーダと、前記レーダにて計測した計測情報に基づき、前記画像情報中の路面領域上に存在する障害物を検出するレーダ障害物検出部とを有する
ことを特徴とする鉱山用作業車両。 - 請求項2の鉱山用作業車両において、
前記画像情報中の前記路面領域上に存在する障害物を検出する障害物検出部と、
前記障害物検出部にて検出した障害物情報と、前記障害物領域特定部にて特定した画像情報中の前記障害物領域の位置および画素数とに基づき、前記差分無領域が車両の走行にて発生した砂埃か否かを判別する砂埃判別部と、
を備えたことを特徴とする鉱山用作業車両。 - 請求項1の鉱山用作業車両において、
画像情報を表示するための表示装置と、
前記第1および第2のカメラのいずれか一方にて取得した画像情報を前記表示装置に表示させ、かつ前記障害物領域特定部にて特定した前記障害物領域を、前記表示装置に表示させた画像中に表示する画像制御部と、
を備えたことを特徴とする鉱山用作業車両。 - 請求項1の鉱山用作業車両において、
荷台と、
前記荷台に積まれた積荷の質量を検出する積荷質量検出部と、
走行速度を検出する速度検出部と、
前記第1および第2のカメラにて取得した画像情報に基づき、前記画像情報中の前記差分無領域までの距離を算出する距離算出部と、を備え、
前記障害物領域特定部は、前記積荷質量検出部にて検出した積荷の質量、前記速度検出部にて検出した走行速度、および前記距離算出部にて算出した前記差分無領域までの距離に応じて、前記所定値を変化させる
ことを特徴とする鉱山用作業車両。 - 請求項1の鉱山用作業車両において、
前記障害物領域特定部は、前記画像情報中の差分無領域の画素数が前記所定値より小さい場合に、前記第1および第2のカメラにて取得した画像情報から前記障害物領域を特定する
ことを特徴とする鉱山用作業車両。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014149182A JP6385745B2 (ja) | 2014-07-22 | 2014-07-22 | 鉱山用作業車両 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014149182A JP6385745B2 (ja) | 2014-07-22 | 2014-07-22 | 鉱山用作業車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016024685A JP2016024685A (ja) | 2016-02-08 |
JP6385745B2 true JP6385745B2 (ja) | 2018-09-05 |
Family
ID=55271375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014149182A Expired - Fee Related JP6385745B2 (ja) | 2014-07-22 | 2014-07-22 | 鉱山用作業車両 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6385745B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023042451A1 (ja) | 2021-09-15 | 2023-03-23 | 日立建機株式会社 | 自律走行鉱山車両 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6629425B2 (ja) * | 2016-03-14 | 2020-01-15 | 日立建機株式会社 | 鉱山用作業機械 |
KR102655800B1 (ko) * | 2016-09-19 | 2024-04-09 | 현대자동차주식회사 | 차량 및 장애물 검출 방법 |
JP6700644B2 (ja) * | 2017-03-29 | 2020-05-27 | 日立建機株式会社 | 放土状態監視装置 |
JP7043787B2 (ja) * | 2017-10-25 | 2022-03-30 | 株式会社Ihi | 対象物検知システム |
ES2828307T3 (es) * | 2017-12-05 | 2021-05-26 | Guima Palfinger S A S | Sistema de detección para montaje en camiones |
JP6901982B2 (ja) * | 2018-03-05 | 2021-07-14 | 日立建機株式会社 | 路面状態検出装置 |
CN113056591A (zh) * | 2018-11-14 | 2021-06-29 | 住友建机株式会社 | 挖土机、挖土机的控制装置及挖土机的支援装置 |
JP7187280B2 (ja) * | 2018-11-16 | 2022-12-12 | 日立建機株式会社 | 路面管理システム |
JP7111641B2 (ja) * | 2019-03-14 | 2022-08-02 | 日立建機株式会社 | 建設機械 |
EP3739419B1 (en) * | 2019-05-14 | 2021-11-10 | Sandvik Mining and Construction Oy | Autonomous mine vehicle operation |
JP7349277B2 (ja) * | 2019-07-10 | 2023-09-22 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の自動走行システム |
JP7165630B2 (ja) * | 2019-07-24 | 2022-11-04 | 本田技研工業株式会社 | 認識システム、車両制御システム、認識方法、およびプログラム |
CN111895931B (zh) * | 2020-07-17 | 2021-11-26 | 嘉兴泊令科技有限公司 | 一种基于计算机视觉的煤矿作业区标定方法 |
CN114200838B (zh) * | 2021-12-08 | 2022-07-12 | 青岛中鸿重型机械有限公司 | 一种智能电动铲运机控制方法 |
CN116755111B (zh) * | 2023-08-24 | 2023-11-03 | 深圳市镭神智能系统有限公司 | 矿车的障碍物的识别方法、装置、计算机设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10143659A (ja) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | 物体検出装置 |
JP2009276906A (ja) * | 2008-05-13 | 2009-11-26 | Panasonic Corp | 走行情報提供装置 |
EP2293588A1 (en) * | 2009-08-31 | 2011-03-09 | Robert Bosch GmbH | Method for using a stereovision camera arrangement |
-
2014
- 2014-07-22 JP JP2014149182A patent/JP6385745B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023042451A1 (ja) | 2021-09-15 | 2023-03-23 | 日立建機株式会社 | 自律走行鉱山車両 |
Also Published As
Publication number | Publication date |
---|---|
JP2016024685A (ja) | 2016-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6385745B2 (ja) | 鉱山用作業車両 | |
US11691648B2 (en) | Drivable surface identification techniques | |
US11125881B2 (en) | Lidar-based trailer tracking | |
EP3159866B1 (en) | Object recognition apparatus and vehicle travel controller using same | |
AU2014213529B2 (en) | Image display system | |
WO2015163028A1 (ja) | 鉱山用作業車両用の路面推定装置および路面推定システム | |
US20180059667A1 (en) | Autonomous travel vehicle control device, autonomous travel vehicle control system, and autonomous travel vehicle control method | |
US11567197B2 (en) | Automated object detection in a dusty environment | |
WO2015098344A1 (ja) | 鉱山用作業機械 | |
US10810877B2 (en) | Vehicle control device | |
US11577748B1 (en) | Real-time perception system for small objects at long range for autonomous vehicles | |
JP2007280132A (ja) | 走行誘導障害物検出装置および車両用制御装置 | |
JP6204782B2 (ja) | オフロードダンプトラック | |
WO2022004494A1 (ja) | 産業車両 | |
JP6909752B2 (ja) | 作業機械の後退支援装置 | |
US20240028042A1 (en) | Visual overlays for providing perception of depth | |
JP2009186301A (ja) | 車両用物体検出装置 | |
JP6175309B2 (ja) | 鉱山車両 | |
US11386568B2 (en) | Method and device for determining a quality of a surface in the surroundings of a transportation vehicle | |
US11608071B2 (en) | Vehicle control device | |
JP4768499B2 (ja) | 車載周辺他車検出装置 | |
KR101868898B1 (ko) | 자율주행을 위한 차선 인식 방법 및 장치 | |
Iwata et al. | Forward obstacle detection system by stereo vision | |
WO2023092065A1 (en) | Dynamic trailer turn assist system and method with graphic overlay |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6385745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |