JP7171436B2 - 作業機械用周辺監視システム、表示装置 - Google Patents
作業機械用周辺監視システム、表示装置 Download PDFInfo
- Publication number
- JP7171436B2 JP7171436B2 JP2018549017A JP2018549017A JP7171436B2 JP 7171436 B2 JP7171436 B2 JP 7171436B2 JP 2018549017 A JP2018549017 A JP 2018549017A JP 2018549017 A JP2018549017 A JP 2018549017A JP 7171436 B2 JP7171436 B2 JP 7171436B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- monitoring
- working machine
- monitoring image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 320
- 230000002093 peripheral effect Effects 0.000 claims description 107
- 238000001514 detection method Methods 0.000 claims description 82
- 238000003384 imaging method Methods 0.000 claims description 78
- 238000010586 diagram Methods 0.000 claims description 20
- 239000000498 cooling water Substances 0.000 description 14
- 239000010720 hydraulic oil Substances 0.000 description 12
- 239000000446 fuel Substances 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 239000002828 fuel tank Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 241000270666 Testudines Species 0.000 description 1
- 241000270708 Testudinidae Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
- B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Structural Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Geology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
Description
作業機械のキャビン内に設けられる表示装置と、
前記作業機械の周辺を撮像する撮像装置と、
前記撮像装置の撮像画像に基づき前記作業機械の周辺画像を生成すると共に、前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、前記監視用画像における前記周辺画像の一部領域であって、前記作業機械画像よりも前記周辺画像に含まれる2以上の所定の対象物の位置で規定される図形の略図心位置に近い位置を中心とし且つ前記2以上の前記対象物が含まれる一部領域を抜き出し且つ拡大した拡大監視用画像を前記表示装置に表示させる、
作業機械用周辺監視システムが提供される。
また、本発明の他の実施形態では、
作業機械のキャビン内に設けられる表示装置と、
前記作業機械の周辺を撮像する撮像装置と、
前記撮像装置の撮像画像に基づき前記作業機械の周辺画像を生成すると共に、前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、前記監視用画像における前記周辺画像の一部領域であって、前記周辺画像に含まれる2以上の所定の対象物のうちの前記作業機械に最も近い前記対象物の位置を中心とし且つ前記対象物が含まれる一部領域を抜き出し且つ拡大した拡大監視用画像を前記表示装置に表示させる、
作業機械用周辺監視システムが提供される。
また、本発明の更に他の実施形態では、
作業機械のキャビン内に設けられる表示装置と、
前記作業機械の周辺を撮像する撮像装置と、
前記撮像装置の撮像画像に基づき前記作業機械の周辺を前記撮像装置とは異なる視点から見た周辺画像を生成すると共に、前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、
前記作業機械の周辺の所定領域内で所定の対象物を検知する検知部と、を備え、
前記表示制御部は、前記検知部により前記対象物が検知された場合に、前記監視用画像における前記周辺画像のうちの一部領域のみを前記表示装置に表示させ、その際、前記作業機械画像よりも前記周辺画像に含まれる、前記検知部により検知された前記対象物に近い位置を中心とし且つ前記対象物が含まれる前記一部領域を抜き出し且つ拡大した拡大監視用画像を前記表示装置に表示させる、
作業機械用周辺監視システムが提供される。
また、本発明の更に他の実施形態では、
作業機械を模式的に表す作業機械画像と、前記作業機械の周辺を撮像する撮像装置の撮像画像に基づき生成される、前記作業機械の周辺画像であって、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を表示すると共に、前記監視用画像における前記周辺画像の一部領域であって、前記作業機械画像よりも前記周辺画像に含まれる2以上の所定の対象物の位置で規定される図形の略図心位置に近い位置を中心とし且つ前記2以上の前記対象物が含まれる一部領域を抜き出し且つ拡大した拡大監視用画像を表示する、
表示装置が提供される。
また、本発明の更に他の実施形態では、
作業機械を模式的に表す作業機械画像と、前記作業機械の周辺を撮像する撮像装置の撮像画像に基づき生成される、前記作業機械の周辺画像であって、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を表示すると共に、前記監視用画像における前記周辺画像の一部領域であって、前記周辺画像に含まれる2以上の所定の対象物のうちの前記作業機械に最も近い前記対象物の位置を中心とし且つ前記対象物が含まれる一部領域を抜き出し且つ拡大した拡大監視用画像を表示する、
表示装置が提供される。
また、本発明の更に他の実施形態では、
作業機械を模式的に表す作業機械画像と、前記作業機械の周辺を撮像する撮像装置の撮像画像に基づき生成される、前記作業機械の周辺画像であって、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を表示すると共に、所定の対象物が検知された場合に、前記監視用画像における前記周辺画像のうちの一部領域のみを表示し、その際、前記作業機械画像よりも前記周辺画像に含まれる、検知された前記対象物に近い位置を中心とし且つ前記対象物が含まれる前記一部領域を抜き出し且つ拡大した拡大監視用画像を表示する、
表示装置が提供される。
まず、図1を参照して、本実施形態に係る周辺監視システム100(図2参照)が搭載される作業機械について説明をする。
次に、図2A,図2Bを参照して、周辺監視システム100の構成について説明する。
次に、表示制御部302の特徴的な機能について説明をする。
以下、図4~図9を参照して、表示装置50に表示される監視用画像の表示態様の変更の詳細について説明をする。
次に、図10を参照して、本実施形態に係る周辺監視システム100(表示制御部302)による監視用画像を表示装置50に表示させる処理(表示処理)の処理フローについて説明をする。以下、拡大監視用画像、別視点監視用画像、及び、部分別視点監視用画像を総括的に「人検知時監視用画像」と称する場合がある。
このように、本実施形態では、表示制御部302は、人検知部301により所定領域内で人が検知された場合、通常監視用画像における周辺画像の一部領域であって、ショベル画像よりも周辺画像に含まれる人に近い位置を中心とする、人が含まれる一部領域を拡大した拡大監視用画像を表示装置50に表示させる。これにより、人検知部301によりショベルの周辺に人が検知された場合に、検知された人が含まれる部分が中央寄りに配置された拡大監視用画像が表示装置50に表示される。そのため、オペレータは、表示装置50の画面の中央寄りに表示される検知された人を容易に確認できると共に、検知された人の行動内容等の状態を容易に把握することができる。よって、周辺監視システム100は、オペレータによるショベルの操作時における安全性を更に高めることができる。
301 人検知部
302 表示制御部
40 撮像装置
40B 後方カメラ
40L 左側方カメラ
40R 右側方カメラ
50 表示装置
100 周辺監視システム(作業機械用周辺監視システム)
Claims (8)
- 作業機械のキャビン内に設けられる表示装置と、
前記作業機械の周辺を撮像する撮像装置と、
前記撮像装置の撮像画像に基づき前記作業機械の周辺画像を生成すると共に、前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、前記監視用画像における前記周辺画像の一部領域であって、前記作業機械画像よりも前記周辺画像に含まれる2以上の所定の対象物の位置で規定される図形の略図心位置に近い位置を中心とし且つ前記2以上の前記対象物が含まれる一部領域を抜き出し且つ拡大した拡大監視用画像を前記表示装置に表示させる、
作業機械用周辺監視システム。 - 作業機械のキャビン内に設けられる表示装置と、
前記作業機械の周辺を撮像する撮像装置と、
前記撮像装置の撮像画像に基づき前記作業機械の周辺画像を生成すると共に、前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、前記監視用画像における前記周辺画像の一部領域であって、前記周辺画像に含まれる2以上の所定の対象物のうちの前記作業機械に最も近い前記対象物の位置を中心とし且つ前記対象物が含まれる一部領域を抜き出し且つ拡大した拡大監視用画像を前記表示装置に表示させる、
作業機械用周辺監視システム。 - 作業機械のキャビン内に設けられる表示装置と、
前記作業機械の周辺を撮像する撮像装置と、
前記撮像装置の撮像画像に基づき前記作業機械の周辺を前記撮像装置とは異なる視点から見た周辺画像を生成すると共に、前記作業機械を模式的に表す作業機械画像と、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を前記表示装置に表示させる表示制御部と、
前記作業機械の周辺の所定領域内で所定の対象物を検知する検知部と、を備え、
前記表示制御部は、前記検知部により前記対象物が検知された場合に、前記監視用画像における前記周辺画像のうちの一部領域のみを前記表示装置に表示させ、その際、前記作業機械画像よりも前記周辺画像に含まれる、前記検知部により検知された前記対象物に近い位置を中心とし且つ前記対象物が含まれる前記一部領域を抜き出し且つ拡大した拡大監視用画像を前記表示装置に表示させる、
作業機械用周辺監視システム。 - 前記表示制御部は、前記作業機械画像の少なくとも一部を含む前記拡大監視用画像を前記表示装置に表示させる、
請求項1乃至3の何れか一項に記載の作業機械用周辺監視システム。 - 前記表示制御部は、前記周辺画像に含まれる前記対象物の位置を中心とする前記一部領域を抜き出し且つ拡大した前記拡大監視用画像を前記表示装置に表示させる、
請求項3に記載の作業機械用周辺監視システム。 - 作業機械を模式的に表す作業機械画像と、前記作業機械の周辺を撮像する撮像装置の撮像画像に基づき生成される、前記作業機械の周辺画像であって、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を表示すると共に、前記監視用画像における前記周辺画像の一部領域であって、前記作業機械画像よりも前記周辺画像に含まれる2以上の所定の対象物の位置で規定される図形の略図心位置に近い位置を中心とし且つ前記2以上の前記対象物が含まれる一部領域を抜き出し且つ拡大した拡大監視用画像を表示する、
表示装置。 - 作業機械を模式的に表す作業機械画像と、前記作業機械の周辺を撮像する撮像装置の撮像画像に基づき生成される、前記作業機械の周辺画像であって、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を表示すると共に、前記監視用画像における前記周辺画像の一部領域であって、前記周辺画像に含まれる2以上の所定の対象物のうちの前記作業機械に最も近い前記対象物の位置を中心とし且つ前記対象物が含まれる一部領域を抜き出し且つ拡大した拡大監視用画像を表示する、
表示装置。 - 作業機械を模式的に表す作業機械画像と、前記作業機械の周辺を撮像する撮像装置の撮像画像に基づき生成される、前記作業機械の周辺画像であって、前記作業機械と前記撮像装置の撮像範囲との相対位置関係に合わせて、前記作業機械画像の周囲に配置される前記周辺画像とを含む監視用画像を表示すると共に、所定の対象物が検知された場合に、前記監視用画像における前記周辺画像のうちの一部領域のみを表示し、その際、前記作業機械画像よりも前記周辺画像に含まれる、検知された前記対象物に近い位置を中心とし且つ前記対象物が含まれる前記一部領域を抜き出し且つ拡大した拡大監視用画像を表示する、
表示装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016214714 | 2016-11-01 | ||
JP2016214714 | 2016-11-01 | ||
PCT/JP2017/039339 WO2018084146A1 (ja) | 2016-11-01 | 2017-10-31 | 作業機械用周辺監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018084146A1 JPWO2018084146A1 (ja) | 2019-09-19 |
JP7171436B2 true JP7171436B2 (ja) | 2022-11-15 |
Family
ID=62076199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018549017A Active JP7171436B2 (ja) | 2016-11-01 | 2017-10-31 | 作業機械用周辺監視システム、表示装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11047113B2 (ja) |
EP (1) | EP3537713B1 (ja) |
JP (1) | JP7171436B2 (ja) |
KR (1) | KR102256384B1 (ja) |
CN (1) | CN109314769B (ja) |
WO (1) | WO2018084146A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7155516B2 (ja) * | 2017-12-20 | 2022-10-19 | コベルコ建機株式会社 | 建設機械 |
JP7160702B2 (ja) * | 2019-01-23 | 2022-10-25 | 株式会社小松製作所 | 作業機械のシステム及び方法 |
JP2020148074A (ja) * | 2019-03-15 | 2020-09-17 | ヤンマーパワーテクノロジー株式会社 | 作業機械の接触防止装置 |
CN113727883A (zh) * | 2019-04-26 | 2021-11-30 | 住友建机株式会社 | 显示装置、挖土机、信息处理装置 |
EP3960937A4 (en) * | 2019-04-26 | 2022-06-22 | Sumitomo Construction Machinery Co., Ltd. | SHOVEL AND SAFETY EQUIPMENT CONFIRMATION SYSTEM FOR WORKSITE |
JP2020183623A (ja) * | 2019-04-26 | 2020-11-12 | 住友建機株式会社 | ショベル |
JP7379866B2 (ja) * | 2019-05-21 | 2023-11-15 | コベルコ建機株式会社 | 作業機械 |
JP7096216B2 (ja) * | 2019-08-21 | 2022-07-05 | 株式会社竹内製作所 | 作業用車両 |
JP2021042638A (ja) * | 2019-09-13 | 2021-03-18 | 株式会社小松製作所 | 作業機械の表示システムおよび作業機械の表示方法 |
CN113128742B (zh) * | 2020-01-14 | 2024-03-22 | 中联重科股份有限公司 | 工程机械的施工方法、装置、可读存储介质和处理器 |
CN115298632A (zh) * | 2020-03-27 | 2022-11-04 | 日立建机株式会社 | 作业机械 |
US20230306833A1 (en) | 2020-09-14 | 2023-09-28 | Konica Minolta, Inc. | Safety monitoring device, safety monitoring method, and program |
JP2022063383A (ja) * | 2020-10-12 | 2022-04-22 | ヤンマーホールディングス株式会社 | 作業車両 |
DE102020214291B3 (de) * | 2020-11-13 | 2022-03-17 | Tadano Faun Gmbh | Kran, insbesondere Mobilkran |
JP2024042407A (ja) * | 2022-09-15 | 2024-03-28 | 株式会社小松製作所 | 作業機械の表示システム、作業機械、及び作業機械の表示方法 |
CN116204262A (zh) * | 2023-02-21 | 2023-06-02 | 松灵机器人(深圳)有限公司 | 割草作业区域的显示方法及相关装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014183500A (ja) | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | 作業機械用周辺監視装置 |
JP2014183497A (ja) | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | 作業機械用周辺監視装置 |
JP2015184839A (ja) | 2014-03-21 | 2015-10-22 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1083076A3 (en) * | 1999-09-07 | 2005-01-12 | Mazda Motor Corporation | Display apparatus for vehicle |
JP4010444B2 (ja) * | 2002-02-28 | 2007-11-21 | シャープ株式会社 | 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム |
US20030193562A1 (en) * | 2002-04-15 | 2003-10-16 | Corzillus Brian S. | Natural vision-based video surveillance system |
JP3982504B2 (ja) * | 2004-01-23 | 2007-09-26 | 日産自動車株式会社 | 車両用暗視カメラ装置および表示装置 |
EP2390154A1 (en) * | 2005-10-31 | 2011-11-30 | Toyota Jidosha Kabushiki Kaisha | Parking support device |
JP4707109B2 (ja) * | 2006-03-02 | 2011-06-22 | アルパイン株式会社 | 複数カメラ撮影画像処理方法及び装置 |
TW200739125A (en) * | 2006-04-14 | 2007-10-16 | Quarton Inc | Target searching device and image displaying method thereof |
US8170787B2 (en) * | 2008-04-15 | 2012-05-01 | Caterpillar Inc. | Vehicle collision avoidance system |
JP5182042B2 (ja) * | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
TW201103787A (en) * | 2009-07-31 | 2011-02-01 | Automotive Res & Testing Ct | Obstacle determination system and method utilizing bird's-eye images |
JP5066198B2 (ja) * | 2010-02-09 | 2012-11-07 | 住友建機株式会社 | 作業機械のモニタ装置 |
JP5604146B2 (ja) * | 2010-03-25 | 2014-10-08 | 富士通テン株式会社 | 車載照明装置、画像処理装置、画像表示システム及び照明方法 |
KR101797261B1 (ko) | 2010-06-18 | 2017-11-13 | 히다찌 겐끼 가부시키가이샤 | 작업 기계의 주위 감시 장치 |
JP5775283B2 (ja) * | 2010-10-08 | 2015-09-09 | 住友建機株式会社 | 作業機械のモニタ装置 |
US9019347B2 (en) * | 2011-10-13 | 2015-04-28 | Aisin Seiki Kabushiki Kaisha | Image generator |
JP5888956B2 (ja) * | 2011-12-13 | 2016-03-22 | 住友建機株式会社 | ショベル及び該ショベルの周囲画像表示方法 |
JP6167042B2 (ja) * | 2012-01-12 | 2017-07-19 | 日立建機株式会社 | 自走式産業機械の周囲監視装置 |
KR20130097913A (ko) * | 2012-02-27 | 2013-09-04 | 주식회사 경우시스테크 | 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기 |
JP6029306B2 (ja) * | 2012-03-29 | 2016-11-24 | 住友建機株式会社 | 作業機械用周辺監視装置 |
JP5988683B2 (ja) * | 2012-05-15 | 2016-09-07 | 日立建機株式会社 | 自走式産業機械の表示装置 |
JP5814187B2 (ja) * | 2012-06-07 | 2015-11-17 | 日立建機株式会社 | 自走式産業機械の表示装置 |
JP5938292B2 (ja) * | 2012-08-03 | 2016-06-22 | 日立建機株式会社 | 運搬車両の監視装置 |
JP6029941B2 (ja) * | 2012-11-08 | 2016-11-24 | 住友重機械工業株式会社 | 舗装機械用画像生成装置 |
CN102938827B (zh) * | 2012-11-29 | 2016-05-11 | 深圳英飞拓科技股份有限公司 | 一种分层监控指挥系统及跨摄像头虚拟跟踪方法 |
JP2014110604A (ja) * | 2012-12-04 | 2014-06-12 | Denso Corp | 車両周辺監視装置 |
JP6173358B2 (ja) * | 2013-02-08 | 2017-08-02 | 日立建機株式会社 | 旋回式作業機械の周囲監視装置 |
JP6456584B2 (ja) * | 2013-03-19 | 2019-01-23 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
CN103958006B (zh) * | 2013-07-16 | 2016-09-28 | 北京机械设备研究所 | 适用于高层和超高层建筑火灾扑救消防车的控制方法 |
JP6165085B2 (ja) * | 2014-03-07 | 2017-07-19 | 日立建機株式会社 | 作業機械の周辺監視装置 |
JP6204884B2 (ja) * | 2014-07-25 | 2017-09-27 | 日立建機株式会社 | 旋回式作業機の周囲表示装置 |
JPWO2016157463A1 (ja) * | 2015-03-31 | 2018-01-18 | 株式会社小松製作所 | 作業機械の周辺監視装置 |
US20160301863A1 (en) * | 2015-04-10 | 2016-10-13 | Caterpillar Inc. | Image processing system for generating a surround-view image |
-
2017
- 2017-10-31 CN CN201780036721.XA patent/CN109314769B/zh active Active
- 2017-10-31 KR KR1020187035110A patent/KR102256384B1/ko active IP Right Grant
- 2017-10-31 EP EP17866645.9A patent/EP3537713B1/en active Active
- 2017-10-31 JP JP2018549017A patent/JP7171436B2/ja active Active
- 2017-10-31 WO PCT/JP2017/039339 patent/WO2018084146A1/ja unknown
-
2019
- 2019-03-25 US US16/363,194 patent/US11047113B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014183500A (ja) | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | 作業機械用周辺監視装置 |
JP2014183497A (ja) | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | 作業機械用周辺監視装置 |
JP2015184839A (ja) | 2014-03-21 | 2015-10-22 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
US11047113B2 (en) | 2021-06-29 |
JPWO2018084146A1 (ja) | 2019-09-19 |
US20190218754A1 (en) | 2019-07-18 |
KR20190077246A (ko) | 2019-07-03 |
EP3537713B1 (en) | 2021-09-01 |
CN109314769A (zh) | 2019-02-05 |
CN109314769B (zh) | 2022-06-07 |
EP3537713A4 (en) | 2019-10-16 |
KR102256384B1 (ko) | 2021-05-25 |
EP3537713A1 (en) | 2019-09-11 |
WO2018084146A1 (ja) | 2018-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7171436B2 (ja) | 作業機械用周辺監視システム、表示装置 | |
JP7108750B2 (ja) | システムおよび方法 | |
JP7252137B2 (ja) | 周辺監視装置 | |
JP6427597B2 (ja) | 作業機械の周辺監視装置及び作業機械の周辺監視方法 | |
KR101843382B1 (ko) | 크롤러식 작업 기계의 주변 감시 장치 | |
JP6216097B2 (ja) | 作業機械の周辺監視装置 | |
JP5750344B2 (ja) | 作業機の周囲監視装置 | |
JP6572156B2 (ja) | 建設機械の干渉防止装置 | |
JP2008163719A (ja) | 作業機械の周囲監視装置 | |
JP2014025272A (ja) | 作業機械の周囲監視装置 | |
EP3733982B1 (en) | Shovel and output device of shovel | |
JP2016194237A (ja) | 作業機械 | |
WO2021187082A1 (ja) | 作業機械および作業機械の制御方法 | |
JP6980391B2 (ja) | 作業機械用周辺監視システム | |
US20240141622A1 (en) | Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine | |
CN112218988B (zh) | 挖土机 | |
CN117145004A (zh) | 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械 | |
CN117248587A (zh) | 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械 | |
KR20230132373A (ko) | 작업 기계용 제어 시스템, 작업 기계, 작업 기계의 제어 방법 및 작업 기계용 제어 프로그램 | |
JP2023183700A (ja) | 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 | |
JP2023019920A (ja) | 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 | |
JP7399836B2 (ja) | 作業車両 | |
KR102708684B1 (ko) | 굴삭기, 정보처리장치 | |
JP2023129871A (ja) | 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム | |
JP2023129872A (ja) | 作業機械用制御システム、作業機械、作業機械の制御方法及び作業機械用制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190325 |
|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20200715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7171436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |