JP6434507B2 - 建設機械用人検知システム及びショベル - Google Patents
建設機械用人検知システム及びショベル Download PDFInfo
- Publication number
- JP6434507B2 JP6434507B2 JP2016525125A JP2016525125A JP6434507B2 JP 6434507 B2 JP6434507 B2 JP 6434507B2 JP 2016525125 A JP2016525125 A JP 2016525125A JP 2016525125 A JP2016525125 A JP 2016525125A JP 6434507 B2 JP6434507 B2 JP 6434507B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- target image
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 33
- 238000001514 detection method Methods 0.000 title claims description 32
- 238000000605 extraction Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000010606 normalization Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
- E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/40—Dippers; Buckets ; Grab devices, e.g. manufacturing processes for buckets, form, geometry or material of buckets
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Component Parts Of Construction Machinery (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
Claims (12)
- 建設機械に取り付けられる撮像装置の撮像画像を用いて該建設機械の周辺に存在する人を検知する建設機械用人検知システムであって、
前記撮像画像の一部を対象画像として抽出する抽出部と、
前記対象画像に含まれる画像が人の画像であるかを識別する識別部と、を有し、
前記対象画像は、実空間における仮想平面領域に対応し、
実空間において、前記仮想平面領域は、前記撮像装置の方向を向き、且つ、水平面に対して傾斜する、
建設機械用人検知システム。 - 前記仮想平面領域は、実空間における所定サイズの仮想直方体の4つの頂点で形成される矩形領域である、
請求項1に記載の建設機械用人検知システム。 - 前記識別部は、前記対象画像に含まれる不要領域の画像をマスク処理し、
前記不要領域は、前記建設機械の車体が映り込んだ領域を含む、
請求項1に記載の建設機械用人検知システム。 - 前記識別部は、前記仮想平面領域と前記撮像装置との距離に応じて識別処理の内容を変更する、
請求項1に記載の建設機械用人検知システム。 - 前記対象画像のそれぞれは、予め設定される参照点の1つに関連付けられ、
前記抽出部は、前記参照点毎に前記対象画像を抽出可能である、
請求項1に記載の建設機械用人検知システム。 - 前記水平面には仮想グリッドが配置されており、
前記仮想平面領域は、前記仮想グリッドの格子点に関連して配置されている、
請求項1に記載の建設機械用人検知システム。 - 前記撮像装置は、前記建設機械の車体の一部が映り込む程度に傾斜して前記建設機械に取り付けられている、
請求項1に記載の建設機械用人検知システム。 - 前記仮想直方体は、縦長である、
請求項2に記載の建設機械用人検知システム。 - 前記水平面には仮想グリッドが配置されており、
前記矩形領域は、前記仮想グリッドの格子点に関連して配置されている、
請求項2に記載の建設機械用人検知システム。 - 前記仮想直方体の第1面は、前記撮像装置と正対するように配置されている、
請求項2に記載の建設機械用人検知システム。 - 前記対象画像は、前記撮像画像の左右の端部に近いほど、前記撮像画像の縦軸に対して傾いている、
請求項1に記載の建設機械用人検知システム。 - 撮像装置の撮像画像を用いて周辺に存在する人を検知するショベルであって、
前記撮像画像の一部を対象画像として抽出し、且つ、前記対象画像に含まれる画像が人の画像であるかを識別する制御装置、を有し、
前記対象画像は、実空間における仮想平面領域に対応し、
実空間において、前記仮想平面領域は、前記撮像装置の方向を向き、且つ、水平面に対して傾斜する、
ショベル。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014115226 | 2014-06-03 | ||
JP2014115226 | 2014-06-03 | ||
PCT/JP2015/065287 WO2015186588A1 (ja) | 2014-06-03 | 2015-05-27 | 建設機械用人物検知システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018210856A Division JP6997066B2 (ja) | 2014-06-03 | 2018-11-08 | 人検知システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015186588A1 JPWO2015186588A1 (ja) | 2017-05-25 |
JP6434507B2 true JP6434507B2 (ja) | 2018-12-05 |
Family
ID=54766661
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016525125A Active JP6434507B2 (ja) | 2014-06-03 | 2015-05-27 | 建設機械用人検知システム及びショベル |
JP2018210856A Active JP6997066B2 (ja) | 2014-06-03 | 2018-11-08 | 人検知システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018210856A Active JP6997066B2 (ja) | 2014-06-03 | 2018-11-08 | 人検知システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10824853B2 (ja) |
EP (1) | EP3154025B1 (ja) |
JP (2) | JP6434507B2 (ja) |
CN (1) | CN106462961B (ja) |
WO (1) | WO2015186588A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9928447B2 (en) * | 2013-12-20 | 2018-03-27 | Intel Corporation | Social circle and relationship identification |
EP3154024B1 (en) * | 2014-06-03 | 2023-08-09 | Sumitomo Heavy Industries, Ltd. | Human detection system for construction machine |
CN108431337A (zh) * | 2015-12-28 | 2018-08-21 | 住友建机株式会社 | 铲土机 |
JP6755672B2 (ja) * | 2016-02-25 | 2020-09-16 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
JP6812432B2 (ja) | 2016-07-05 | 2021-01-13 | 住友建機株式会社 | ショベル |
JP1577338S (ja) * | 2016-08-30 | 2017-05-29 | ||
JP6360583B1 (ja) * | 2017-03-29 | 2018-07-18 | 大成建設株式会社 | 建設機械用機械学習装置、建設機械および建設機械用機械学習方法 |
JP6840645B2 (ja) * | 2017-09-08 | 2021-03-10 | 株式会社小松製作所 | 施工管理装置および施工管理方法 |
US20190102902A1 (en) * | 2017-10-03 | 2019-04-04 | Caterpillar Inc. | System and method for object detection |
DE102017011147A1 (de) * | 2017-12-01 | 2019-06-06 | Bomag Gmbh | Verfahren zum von außerhalb einer sich, insbesondere autonom, über den Bodenuntergrund fortbewegenden Baumaschine wahrnehmbaren Anzeigen, dass die Baumaschine mit einer Personendetektionseinrichtung eine Person erkannt hat, Baumaschine sowie System zum Betrieb einer oder mehrerer, insbesondere autonom, fahrender Baumaschinen |
US10380440B1 (en) | 2018-10-23 | 2019-08-13 | Capital One Services, Llc | Method for determining correct scanning distance using augmented reality and machine learning models |
WO2021010467A1 (ja) * | 2019-07-18 | 2021-01-21 | 株式会社小松製作所 | 作業車両の表示システムおよび作業車両の表示方法 |
USD969878S1 (en) | 2019-09-30 | 2022-11-15 | Kubota Corporation | Backhoe loader |
JP7077356B2 (ja) * | 2020-04-21 | 2022-05-30 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
TWI808490B (zh) * | 2021-09-16 | 2023-07-11 | 中華電信股份有限公司 | 施工區域的監視裝置和監視方法 |
TWI836618B (zh) * | 2022-09-21 | 2024-03-21 | 中華電信股份有限公司 | 工安雲系統、工安事件偵測方法與電腦可讀媒體 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4135123B2 (ja) | 1998-05-13 | 2008-08-20 | 日産自動車株式会社 | 表示処理装置 |
JP2003009140A (ja) | 2001-06-26 | 2003-01-10 | Mitsubishi Motors Corp | 歩行者検出装置 |
CN101739686B (zh) * | 2009-02-11 | 2012-05-30 | 北京智安邦科技有限公司 | 运动目标跟踪方法及其系统 |
KR101751405B1 (ko) * | 2010-10-22 | 2017-06-27 | 히다치 겡키 가부시키 가이샤 | 작업 기계의 주변 감시 장치 |
US8675090B2 (en) * | 2010-12-15 | 2014-03-18 | Panasonic Corporation | Image generating apparatus, image generating method, and recording medium |
JP5594672B2 (ja) * | 2011-04-14 | 2014-09-24 | 株式会社 日立産業制御ソリューションズ | 物体認識装置および物体認識方法 |
EP2720458A4 (en) * | 2011-06-09 | 2015-02-25 | Aisin Seiki | IMAGING DEVICE |
JP5935118B2 (ja) * | 2012-05-30 | 2016-06-15 | 株式会社日立製作所 | 物体検出装置および物体検出方法 |
JP5961472B2 (ja) * | 2012-07-27 | 2016-08-02 | 日立建機株式会社 | 作業機械の周囲監視装置 |
JP6072064B2 (ja) * | 2012-11-08 | 2017-02-01 | 日立建機株式会社 | 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 |
EP3000229A4 (en) * | 2013-05-21 | 2017-05-03 | Transocean Sedco Forex Ventures Limited | Computer vision collision avoidance in drilling operations |
WO2015198410A1 (ja) * | 2014-06-25 | 2015-12-30 | 株式会社日立製作所 | 外界認識装置 |
-
2015
- 2015-05-27 EP EP15804017.0A patent/EP3154025B1/en active Active
- 2015-05-27 JP JP2016525125A patent/JP6434507B2/ja active Active
- 2015-05-27 WO PCT/JP2015/065287 patent/WO2015186588A1/ja active Application Filing
- 2015-05-27 CN CN201580021860.6A patent/CN106462961B/zh active Active
-
2016
- 2016-11-30 US US15/364,399 patent/US10824853B2/en active Active
-
2018
- 2018-11-08 JP JP2018210856A patent/JP6997066B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP3154025A1 (en) | 2017-04-12 |
CN106462961B (zh) | 2021-04-09 |
JP2019053753A (ja) | 2019-04-04 |
US20170083760A1 (en) | 2017-03-23 |
EP3154025A4 (en) | 2017-07-12 |
US10824853B2 (en) | 2020-11-03 |
CN106462961A (zh) | 2017-02-22 |
EP3154025B1 (en) | 2021-10-13 |
WO2015186588A1 (ja) | 2015-12-10 |
JPWO2015186588A1 (ja) | 2017-05-25 |
JP6997066B2 (ja) | 2022-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6434507B2 (ja) | 建設機械用人検知システム及びショベル | |
JP6474396B2 (ja) | 人検知システム及びショベル | |
JP6553255B2 (ja) | 作業機械用周辺監視システム | |
JP6755672B2 (ja) | 作業機械用周辺監視システム | |
WO2017094626A1 (ja) | 作業機械用周辺監視システム | |
CN104091324B (zh) | 一种基于连通域分割的棋盘格图像快速特征匹配算法 | |
JP2017102604A (ja) | 作業機械用周辺監視システム | |
JP6662622B2 (ja) | 作業機械用周辺監視システム及び作業機械用周辺監視システムを備えた建設機械 | |
JP2017158033A (ja) | 作業機械用周辺監視システム | |
JP6419677B2 (ja) | 作業機械用周辺監視システム | |
JP6934077B2 (ja) | ショベル | |
JP2018063680A (ja) | 交通信号認識方法および交通信号認識装置 | |
KR101233938B1 (ko) | 객체 추적 로봇 및 그 방법 | |
JP7077356B2 (ja) | 作業機械用周辺監視システム | |
JP6515021B2 (ja) | 作業機械用周辺監視システム | |
Mori et al. | Classification of pole-like objects using point clouds and images captured by mobile mapping systems | |
JP6515020B2 (ja) | 作業機械用周辺監視システム | |
JP5614100B2 (ja) | 画像処理装置及び移動体位置推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6434507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |