JP6091977B2 - 建設機械 - Google Patents
建設機械 Download PDFInfo
- Publication number
- JP6091977B2 JP6091977B2 JP2013089369A JP2013089369A JP6091977B2 JP 6091977 B2 JP6091977 B2 JP 6091977B2 JP 2013089369 A JP2013089369 A JP 2013089369A JP 2013089369 A JP2013089369 A JP 2013089369A JP 6091977 B2 JP6091977 B2 JP 6091977B2
- Authority
- JP
- Japan
- Prior art keywords
- stereo
- stereo camera
- calibration
- unit
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Component Parts Of Construction Machinery (AREA)
Description
図1に示すように、第1の実施の形態に係る建設機械は、車体1の前方、即ち、車体1の前進方向の前面に、所要の間隔Dを隔てて、第1ステレオカメラ21及び第2ステレオカメラ22が取り付けられている。所要の間隔Dは、図1に示すように、第1ステレオカメラ21の計測領域212と第2ステレオカメラ22の計測領域222が、一部において重なり合うように設定される。このように、本例の建設機械は、車体1に2台のステレオカメラ21,22を所要の間隔Dを隔てて取り付けるので、広範な領域の障害物31の位置を計測できる。また、車体1に取り付けられる2台のステレオカメラ21,22の計測領域212,222を一部重ね合わせるので、簡易な構成で、正確なキャリブレーションを実施することができる。第1ステレオカメラ21及び第2ステレオカメラ22は、耐用命数を延長するため、及び、対物レンズの汚れに起因するステレオ画像の劣化を防止するため、風雨を直接受けない密閉空間内に配置することが望ましい。
次に、本発明に係る建設機械の第2の実施の形態を、図11〜図13を用いて説明する。第2の実施の形態は、第1の実施の形態に係る画像解析装置に時系列変化検出部及びノイズ検出部を追加したことを特徴とするものであり、第2の実施の形態に係る画像解析装置のうち、第1の実施の形態に係る画像解析装置と同等の部分については、図に同一の符号を付して、重複した説明を省略する。
11 車体の重心を含む垂直面
21 第1ステレオカメラ
210 ステレオマッチング部
211 第1ステレオカメラの中心軸
22 第2ステレオカメラ
220 ステレオマッチング部
221 第2ステレオカメラの中心軸
222 第2ステレオカメラの計測領域
231 ステレオデータ記録部
232 ステレオカメラキャリブレーション部
233 ステレオデータ統合部
234 走行路面検出部
235 障害物検知部
510 ダンプトラック
520 油圧ショベル
530 グレーダ
2321 3次元形状特徴検出部
23211 探索候補地点決定部
23212 3次元形状特徴相関値演算部
23213 相関値判定部
2322 3次元形状マッチングによるキャリブレーション部
2323 時系列変化検出部
2324 ノイズ検出部
31 障害物
32 誤認識された障害物
L 第1ステレオカメラで得られたステレオ画像
R 第2ステレオカメラで得られたステレオ画像
Claims (3)
- 車体に取り付けられ、それぞれの計測領域の一部が重ね合わされた複数のステレオカメラと、これら複数のステレオカメラにより得られたステレオ画像から障害物の検知を行う画像解析装置とを備え、
前記画像解析装置には、前記複数のステレオカメラにより得られた複数のステレオ画像をマッチングすることで、前記複数のステレオカメラの相対位置を求めるステレオカメラキャリブレーション部を備え、
前記ステレオカメラキャリブレーション部の前段には、前記複数のステレオカメラにより得られた複数のステレオ画像が、前記ステレオカメラキャリブレーション部により正解値にキャリブレーションしやすいものであるか否かを判別する3次元形状特徴検出部を更に備え、
前記3次元形状特徴検出部は、前記複数のステレオカメラの相対位置を求める際に使用する探索候補地点を決定する探索候補地点決定部と、前記探索候補地点決定部により決定された前記探索候補地点について、前記複数のステレオカメラにより得られた複数のステレオ画像の相関値を演算する3次元形状相関値演算部と、前記3次元形状相関値演算部が算出した前記ステレオ画像の相関値に基づいて、前記ステレオカメラキャリブレーション部によるキャリブレーションを実施するか否かの判断を行う相関値判定部を有することを特徴とする建設機械。 - 請求項1に記載の建設機械において、
前記ステレオカメラキャリブレーション部の前段に、前記複数のステレオカメラにより得られた複数のステレオ画像の時系列変化を検出し、前記ステレオカメラキャリブレーション部によるキャリブレーションを実施するか否かの判断を行う時系列変化検出部を更に備えたことを特徴とする建設機械。 - 請求項1又は請求項2のいずれか1項に記載の建設機械において、
前記ステレオカメラキャリブレーション部の前段に、前記複数のステレオカメラにより得られた複数のステレオ画像のノイズを対比し、前記ステレオカメラキャリブレーション部によるキャリブレーションを実施するか否かの判断を行うノイズ検出器を更に備えたことを特徴とする建設機械。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013089369A JP6091977B2 (ja) | 2013-04-22 | 2013-04-22 | 建設機械 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013089369A JP6091977B2 (ja) | 2013-04-22 | 2013-04-22 | 建設機械 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014215039A JP2014215039A (ja) | 2014-11-17 |
JP2014215039A5 JP2014215039A5 (ja) | 2016-02-18 |
JP6091977B2 true JP6091977B2 (ja) | 2017-03-08 |
Family
ID=51940951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013089369A Active JP6091977B2 (ja) | 2013-04-22 | 2013-04-22 | 建設機械 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6091977B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3620960A3 (en) * | 2018-09-06 | 2020-07-22 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and system for sensing an obstacle, computer device, and storage medium |
EP3650605A4 (en) * | 2018-01-31 | 2021-05-12 | Komatsu Ltd. | WORKING MACHINE |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017033991A1 (ja) * | 2015-08-26 | 2017-03-02 | 住友建機株式会社 | ショベルの計測装置 |
DE112015006343T5 (de) * | 2015-09-30 | 2017-12-07 | Komatsu Ltd. | Verfahren zum Erzeugen von Bilddaten |
CN108028883B (zh) | 2015-09-30 | 2020-11-03 | 索尼公司 | 图像处理装置和图像处理方法 |
DE112015006346T5 (de) * | 2015-09-30 | 2017-12-07 | Komatsu Ltd. | Bildaufnahmevorrichtung |
WO2017056268A1 (ja) * | 2015-09-30 | 2017-04-06 | 株式会社小松製作所 | 作業車両 |
US11008735B2 (en) | 2015-09-30 | 2021-05-18 | Komatsu Ltd. | Image pick-up apparatus |
JP6572156B2 (ja) | 2016-03-02 | 2019-09-04 | 株式会社神戸製鋼所 | 建設機械の干渉防止装置 |
JP6666180B2 (ja) | 2016-03-23 | 2020-03-13 | 株式会社小松製作所 | モータグレーダの制御方法およびモータグレーダ |
JP6754594B2 (ja) * | 2016-03-23 | 2020-09-16 | 株式会社小松製作所 | モータグレーダ |
JP6819681B2 (ja) | 2016-06-08 | 2021-01-27 | ソニー株式会社 | 撮像制御装置および方法、並びに車両 |
JP2018017617A (ja) * | 2016-07-28 | 2018-02-01 | 株式会社神戸製鋼所 | 建設機械 |
JP6684682B2 (ja) * | 2016-08-18 | 2020-04-22 | 株式会社神戸製鋼所 | 建設機械 |
JP6925816B2 (ja) | 2017-02-09 | 2021-08-25 | 株式会社小松製作所 | 位置計測システム、作業機械、及び位置計測方法 |
JP6831799B2 (ja) * | 2017-03-31 | 2021-02-17 | 株式会社小松製作所 | 作業車両 |
DE112017000133B4 (de) * | 2017-06-30 | 2022-12-08 | Komatsu Ltd. | Erdbewegungsmaschine und Bildaufnahme-System |
WO2019176036A1 (ja) * | 2018-03-14 | 2019-09-19 | 日立建機株式会社 | 作業機械 |
JP7212240B2 (ja) | 2018-06-11 | 2023-01-25 | オムロン株式会社 | 計測システムおよび計測方法 |
SE1851590A1 (sv) * | 2018-12-14 | 2020-06-15 | Brokk Ab | Fjärrstyrd demoleringsrobot med förbättrat användningsområde och ett förfarande för att åstadkomma en sådan demoteringsrobot. |
JP7173872B2 (ja) * | 2019-01-11 | 2022-11-16 | 株式会社神戸製鋼所 | 測距装置および測距方法 |
JP6923574B2 (ja) | 2019-02-01 | 2021-08-18 | ファナック株式会社 | 3次元形状計測システムおよび3次元形状計測方法 |
JP7363456B2 (ja) * | 2019-12-20 | 2023-10-18 | 大同特殊鋼株式会社 | 三次元形状測定用校正装置 |
CN112937444B (zh) * | 2021-03-15 | 2023-12-29 | 上海三一重机股份有限公司 | 作业机械的辅助影像生成方法、装置和作业机械 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4307283B2 (ja) * | 2004-02-17 | 2009-08-05 | 三菱電機株式会社 | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
JP2006054503A (ja) * | 2004-08-09 | 2006-02-23 | Olympus Corp | 画像生成方法および装置 |
JP4583883B2 (ja) * | 2004-11-08 | 2010-11-17 | パナソニック株式会社 | 車両用周囲状況表示装置 |
JP5311365B2 (ja) * | 2007-10-23 | 2013-10-09 | 独立行政法人産業技術総合研究所 | ステレオカメラの校正方法および校正システム |
JP5559997B2 (ja) * | 2009-07-17 | 2014-07-23 | 株式会社トプコン | 位置測定方法及び位置測定装置 |
US9113047B2 (en) * | 2010-10-22 | 2015-08-18 | Hitachi Construction Machinery Co., Ltd. | Peripheral monitoring device for working machine |
US9188973B2 (en) * | 2011-07-08 | 2015-11-17 | Restoration Robotics, Inc. | Calibration and transformation of a camera system's coordinate system |
-
2013
- 2013-04-22 JP JP2013089369A patent/JP6091977B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3650605A4 (en) * | 2018-01-31 | 2021-05-12 | Komatsu Ltd. | WORKING MACHINE |
US11560692B2 (en) | 2018-01-31 | 2023-01-24 | Komatsu Ltd. | Work machine |
EP3620960A3 (en) * | 2018-09-06 | 2020-07-22 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and system for sensing an obstacle, computer device, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2014215039A (ja) | 2014-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6091977B2 (ja) | 建設機械 | |
CN110573905B (zh) | 障碍物检知装置 | |
CN108028023B (zh) | 信息处理装置、信息处理方法和计算机可读存储介质 | |
US10501059B2 (en) | Stereo camera device | |
US11620837B2 (en) | Systems and methods for augmenting upright object detection | |
JP6464673B2 (ja) | 支障物検知システムおよび鉄道車両 | |
JP4420011B2 (ja) | 物体検知装置 | |
US20080205706A1 (en) | Apparatus and method for monitoring a vehicle's surroundings | |
WO2015098344A1 (ja) | 鉱山用作業機械 | |
CN104883553A (zh) | 视差值导出设备及方法、装备控制系统、可移动装置 | |
JP5501084B2 (ja) | 平面領域検出装置及びステレオカメラシステム | |
WO2019065970A1 (ja) | 車両用外界認識装置 | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6204782B2 (ja) | オフロードダンプトラック | |
JP6834401B2 (ja) | 自己位置推定方法及び自己位置推定装置 | |
JP7135579B2 (ja) | 物体検知装置 | |
JP6431271B2 (ja) | 車両検知及び車両番号認識装置 | |
WO2018179965A1 (ja) | 障害物検知装置 | |
JP2009186301A (ja) | 車両用物体検出装置 | |
KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 | |
JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
EP3654287B1 (en) | Method and apparatus for measuring a height of a vehicle | |
JP2020042716A (ja) | 異常検出装置および異常検出方法 | |
JP6704307B2 (ja) | 移動量算出装置および移動量算出方法 | |
US11815626B2 (en) | Method for detecting intensity peaks of a specularly reflected light beam |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6091977 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |