JP6427597B2 - 作業機械の周辺監視装置及び作業機械の周辺監視方法 - Google Patents

作業機械の周辺監視装置及び作業機械の周辺監視方法 Download PDF

Info

Publication number
JP6427597B2
JP6427597B2 JP2016567871A JP2016567871A JP6427597B2 JP 6427597 B2 JP6427597 B2 JP 6427597B2 JP 2016567871 A JP2016567871 A JP 2016567871A JP 2016567871 A JP2016567871 A JP 2016567871A JP 6427597 B2 JP6427597 B2 JP 6427597B2
Authority
JP
Japan
Prior art keywords
image
work machine
display
unit
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016567871A
Other languages
English (en)
Other versions
JPWO2016174953A1 (ja
Inventor
正臣 町田
正臣 町田
栗原　毅
毅 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of JPWO2016174953A1 publication Critical patent/JPWO2016174953A1/ja
Application granted granted Critical
Publication of JP6427597B2 publication Critical patent/JP6427597B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/147—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using electro-magnetic technology, e.g. tags or radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Description

本発明は、作業機械を動作させる操作が行われた場合、オペレータによる表示画面操作の煩わしさを低減することができる作業機械の周辺監視装置及び作業機械の周辺監視方法に関する。
油圧ショベルなどの作業機械の分野では、車体の周辺に存在する障害物をオペレータ（運転者）が視認できるように、ミラーに加え、車体後方や車体側方に複数台のカメラを設置しているものがある。そして、カメラが撮像した画像を単カメラ画像として作業機械の運転室内のモニタに映し出している。
また、車体の周囲３６０度を同時に監視できるように、各カメラの画像を上方視点に変換した上で各カメラの画像を合成することにより俯瞰画像を生成してモニタに表示するものがある。そして、俯瞰画像に加えてオペレータが選択したカメラが撮像した単カメラ画像をモニタに表示するものがある（特許文献１参照）。
特開２０１２−７４９２９号公報
ところで、油圧ショベルの作業機は全周に旋回されるものであるため、油圧ショベルの周囲に障害物が存在する場合、上部旋回体を旋回させた際に作業機が障害物に衝突してしまう可能性がある。そのような衝突を防ぐため、油圧ショベルの周囲３６０度を俯瞰的に表示する画像をオペレータに提供することは重要である。しかし、俯瞰画像は単カメラ画像を上方視点に変換した画像群を合成したものであり、その画像内に映っている対象物をより詳細に確認するには適していない。そのため、上述したように、同一のモニタ上に、俯瞰画像とともに単カメラ画像が表示されるものもある。そのようなモニタにおいて、俯瞰画像と単カメラ画像とを同時に表示する場合、モニタ画面の大きさに制約があるため、俯瞰画像のみを表示した場合よりも俯瞰画像の画面サイズが小さくなる。俯瞰画像は、複数のカメラ画像を合成して１つの画像としていることから、俯瞰画像が小さいとその画像に映りこんでいる対象物を判別することが困難になるという問題がある。
また、油圧ショベルの周囲に障害物が存在する場合、走行や旋回等の動作を行った際に障害物と衝突する可能性が高くなる。そのため、走行レバーや旋回レバーを操作した際に、油圧ショベルの周囲状況を表示することができる俯瞰画像をより大きく表示することが好ましい。
本発明は、上記に鑑みてなされたものであって、作業機械を動作させる操作が行われた場合、俯瞰画像の表示領域を大きくさせ、オペレータによる作業機械の周囲状況を容易にすることができる作業機械の周辺監視装置及び作業機械の周辺監視方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる作業機械の周辺監視装置は、表示部と、作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した画像をもとに前記作業機械の周囲状況を示す俯瞰画像を生成する画像処理部と、前記作業機械の動作を検出するための作業機械動作検出部と、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記作業機械の動作を検出した場合に、前記俯瞰画像上における作業機械の周囲を、作業機械の動作を検出する前における俯瞰画像上における作業機械の周囲よりも拡大させる制御を行うことを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記作業機械動作検出部は、操作レバー及び／または走行レバーの操作を検出することを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記作業機械の周囲の障害物を検出する複数のレーダを含み、前記表示制御部は、前記複数のレーダが取得した情報をもとに障害物を検出し、該障害物が存在する場合、前記表示部に障害物情報を表示させることを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記作業機械に異常が発生したと判断するための異常判断部を備え、前記異常判断部が作業機械に何らかの異常が発生したと判断した場合に、前記表示制御部は、前記作業機械の動作を検出しても、前記表示部における前記俯瞰画像を拡大しないことを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、表示部と、作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した画像をもとに前記作業機械の周囲状況を示す俯瞰画像を生成する画像処理部と、前記表示部に、前記俯瞰画像に加え、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示させる表示制御部と、前記俯瞰画像上における作業機械の周囲の拡大を指示する指示部と、を備え、前記表示制御部は、前記指示部による操作に応じて前記俯瞰画像上における作業機械の周囲の拡大処理を行うことを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記表示部が、遠隔操作席、管制室、または携帯端末に設けられたことを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、表示部と、作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、前記作業機械の動作を検出するための作業機械動作検出部と、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記作業機械の旋回動作を検出した場合に、前記表示部における前記俯瞰画像の表示領域を、作業機械の旋回動作を検出する前における俯瞰画像の表示領域よりも拡大させる制御を行うことを特徴とする。
また、本発明にかかる作業機械の周辺監視方法は、作業機械の周囲に設けられた複数のカメラによって周囲の状況を取得し、前記複数のカメラが撮像した画像をもとに前記作業機械の周囲状況を示す俯瞰画像を生成し、前記作業機械の動作を検出し、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させ、前記作業機械の動作を検出した場合に、前記俯瞰画像上における作業機械の周囲を、作業機械の動作を検出する前における俯瞰画像上における作業機械の周囲よりも拡大させる制御を行うことを特徴とする。
本発明によれば、作業機械の動作を検出した場合に、俯瞰画像上における作業機械の周囲を、作業機械の動作を検出する前における俯瞰画像上における作業機械の周囲よりも拡大させる制御を行うようにしているので、オペレータによる表示画面操作の煩わしさを低減することができる。
図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す側面図である。 図２は、運転室の内部配置を示す図である。 図３は、油圧ショベルの制御系全体の構成を示すブロック図である。 図４は、俯瞰画像生成部による俯瞰画像の生成処理を説明する説明図である。 図５は、カメラの配置を示す側面図である。 図６は、カメラの配置を模式的に示した平面図である。 図７は、レーダの配置を示す側面図である。 図８は、レーダの配置を模式的に示した平面図である。 図９は、周辺監視モニタの手動画像切替処理を説明する説明図である。 図１０は、コントローラによる周辺監視モニタの自動画像切替処理手順を示すフローチャートである。 図１１は、周辺監視モニタを遠隔操作席に設けた一例を示す図である。 図１２は、周辺監視モニタを携帯端末に設けた一例を示す図である。
以下、添付図面を参照して本発明を実施するための形態について説明する。
［油圧ショベルの全体構成］
まず、図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す側面図である。この油圧ショベル１は、作業機械の一例として示した、鉱山などで使用されるマイニングショベルなどの大型油圧ショベルである。油圧ショベル１は、自走可能な下部走行体２と、下部走行体２上に旋回自在に設置された上部旋回体３と、上部旋回体３の前部中央に屈曲起伏自在に動作する作業機４とを備える。
作業機４は、ブーム４ａ、アーム４ｂ、バケット４ｃ、ブームシリンダ４ｄ，アームシリンダ４ｅ、及びバケットシリンダ４ｆを有する。ブーム４ａの基端部は、上部旋回体３に回転可能に連結される。ブーム４ａの先端部は、アーム４ｂの基端部に回転可能に連結される。アーム４ｂの先端部は、バケット４ｃに回転可能に連結される。ブームシリンダ４ｄ、アームシリンダ４ｅ、及びバケットシリンダ４ｆは、図示しない油圧ポンプから吐出された作動油によって駆動する油圧シリンダである。ブームシリンダ４ｄは、ブーム４ａを動作させる。アームシリンダ４ｅは、アーム４ｂを動作させる。バケットシリンダ４ｆは、リンク部材を介してバケット４ｃに連結され、バケット４ｃを動作させる。バケットシリンダ４ｆのシリンダロッドが伸縮動作することによってバケット４ｃが動作する。なお、図１では、バケット４ｃの開口が旋回中心に向いたバックホウとして機能するが、バケット４ｃの開口を旋回中心から外側に向けたフロントショベルとして機能させてもよい。
上部旋回体３の前部左側部分には、キャブベース５を介して運転室６が設置される。上部旋回体３の後部には、パワーコンテナ７が搭載される。パワーコンテナ７内には、エンジン、油圧ポンプ、ラジエータ、オイルクーラなどが収容されている。上部旋回体３の後端部には、カウンタウェイト８が装着される。上部旋回体３の左側部には、キャブベース５の後方に位置するように昇降ラダー９が配置される。昇降ラダー９は、上部旋回体３に対する運転者や整備作業者の昇降を支援する。
［運転席］
図２は、運転室６の内部配置を示す図である。図２に示すように、操作レバー１１，１２は、運転室６内のオペレータシート１０の左右に配置される。操作レバー１１は、オペレータがオペレータシート１０に着座した時に左手側に配置される。操作レバー１２は、オペレータがオペレータシート１０に着座した時に右手側に配置される。操作レバー１１は上部旋回体３の旋回動作とアーム４ｂの動作に対応しており、操作レバー１１を左右に操作すると上部旋回体３が左右に旋回し、操作レバー１１を上下に操作するとアーム４ｂが前後方向に回動する。操作レバー１２はブーム４ａの動作とバケット４ｃの動作に対応しており、操作レバー１２を左右に操作するとバケット４ｃが掘削・排土方向に回動し、操作レバー１２を上下に操作するとブーム４ａが上下方向に回動する。尚、操作レバー１１，１２の操作とどの作業機が動作するかの組み合わせは、本実施形態のものには限られない。
走行レバー１３は、操作に応じて下部走行体２の左側の履帯の前進後進を行うことができる。また、走行レバー１４は、操作に応じて下部走行体２の右履帯の前進後進を行うことができる。例えば、走行レバー１３のみを操作して左履帯を前進させると、左履帯のみ前進するものの右履帯は停止したままなので、右回りに走行旋回操作することになる。また、走行レバー１４のみを操作して右履帯を前進させると、右履帯のみ前進するものの左履帯は停止したままなので、左回りに走行旋回操作することになる。そして、走行レバー１３、１４を同時に操作すれば左右の履帯が同時に駆動し、油圧ショベル全体が前進後進することになる。
また、運転室６の左前のフレームには、周辺監視モニタ１５とモニタ１６とブザー１７とが配置される。周辺監視モニタ１５は、タッチパネルで形成される入出力装置であり、少なくとも、複数のカメラによって取得された油圧ショベル１の周囲状況を俯瞰画像及び単カメラ画像として表示することができる。モニタ１６は、液晶表示部とキー入力部とを有した入出力装置である。モニタ１６は、エンジンや油圧ポンプなどの状態を含む各種情報を表示することができる。例えば、モニタ１６は、エンジン水温、油温、燃料の残量等の機械ゲージ表示、油圧ショベルの各種機器にどのような異常が発生しているかといった情報や過去に発生した異常に関する情報などを示す故障情報（異常発生を警告するためのアイコン等を含む）表示、オペレータが各種設定を行うためのメニュー表示などを表示することができる。また、機械ゲージ表示、故障情報表示、メニュー表示のうち、複数の表示項目を一画面に表示するようにしてもよい。
ブザー１７は、後述する複数のレーダのいずれかによって障害物が検出された場合に、発報する。なお、障害物が検出された場合、この障害物の情報は、上述した周辺監視モニタ１５の画像上にも表示される。
［制御系の全体構成］
図３は、油圧ショベル１の制御系全体の構成を示すブロック図である。図３に示すように、周辺監視コントローラ４０は、車内ネットワークの一つであるＣＡＮ４１に接続される。ＣＡＮ４１には、通信コントローラ４２、モニタコントローラ４３、エンジンコントローラ４４、ポンプコントローラ４５、操作レバー１１，１２、走行レバー１３，１４等が接続される。また、周辺監視コントローラ４０には、複数のカメラＣ１〜Ｃ７からなるカメラ群Ｃ、複数のレーダＲ１〜Ｒ８からなるレーダ群Ｒ、周辺監視モニタ１５、及びブザー１７が接続される。
周辺監視コントローラ４０は、周辺監視制御を行う。周辺監視コントローラ４０は、画像処理部５１、障害物処理部５２、表示制御部５３を有する。さらに画像処理部５１は、俯瞰画像生成部５４及び画像合成部５５を有する。
俯瞰画像生成部５４は、各カメラＣ１〜Ｃ７から得られた画像をもとに俯瞰画像６１を生成する。図４に示すように、俯瞰画像生成部５４は、各カメラＣ１〜Ｃ７から得られた画像Ｐ１〜Ｐ７を上方視点画像に変換する。すなわち、俯瞰画像生成部５４は、油圧ショベル１の上方に位置する所定の仮想視点から見た画像に変換する。具体的に、俯瞰画像生成部５４は、油圧ショベル１の上方の仮想視点から地表面レベルＧＬに対応する所定の仮想投影面に投影する画像変換を行う。その後、俯瞰画像生成部５４は、俯瞰画像を表示するフレームの各領域Ｅ１〜Ｅ７に対応する変換画像Ｐ１１〜Ｐ１７を切り出し、各変換画像Ｐ１１〜Ｐ１７をフレーム内で合成する。俯瞰画像生成部５４が生成する俯瞰画像６１には、油圧ショベル１の平面図に対応する画像Ｐが予め貼り付けられている。
一方、障害物処理部５２は、レーダＲ１〜Ｒ８の情報をもとに障害物を検出する。障害物処理部５２は、障害物を検出した場合、ブザー１７を鳴動して報知するとともに、検出した障害物の大きさや位置などの障害物に関する情報を画像合成部５５に出力する。画像合成部５５には、上述した俯瞰画像と各カメラＣ１〜Ｃ７が撮像したカメラ画像とが入力されると共に、障害物処理部５２から障害物に関する情報が入力された場合、上述した俯瞰画像及びカメラ画像に障害物情報を合成した画像を生成する。障害物情報は、例えば、図４の領域Ｅ４における点Ａ１のような構成でよく、この点Ａ１を俯瞰画像６１に合成した上で俯瞰画像を周辺監視モニタ１５に表示する。そうすることにより、オペレータは障害物の位置や油圧ショベルからの距離を容易に把握することができる。
障害物情報のその他の態様として、例えば、障害物が検出された場合、障害物が存在する俯瞰画像６１の領域Ｅ１〜Ｅ７の外枠あるいは障害物が存在する単カメラ画像６２の外枠がブリンク表示（枠線が点滅表示）してもよい。このブリンク表示によってオペレータは障害物が存在すること自体を容易に把握することができる。なお、ブリンク表示に替えて他の強調表示にしてもよい。例えば、枠の太さを変えたり、枠の色を変えたりするようにしてもよい。上記障害物情報は、図４に記載された点Ａ１でもよいし、ブザー鳴動、ブリンク表示、その他障害物の存在をオペレータに強調させて知らせる構成であればどのような構成であってもよい。
表示制御部５３は、画像合成部５５から出力された俯瞰画像を俯瞰画像６１として、カメラＣ１〜Ｃ７が撮像した画像のうち選択されたカメラ画像を単カメラ画像６２として周辺監視モニタ１５に表示する制御を行う。また、表示制御部５３には、周辺監視モニタ１５への表示制御を行うため、操作レバー１１，１２や走行レバー１３，１４等からの操作信号が入力されるようになっている。
モニタコントローラ４３は、モニタ１６に接続される。モニタコントローラ４３は、ＣＡＮ４１を介して各種センサから送信された情報や、モニタ１６を介して入力された情報といった各種情報の入出力制御を行う。モニタ１６は、上述したように、例えば、エンジン水温、油温、燃料の残量、機器の異常などを示す警告情報などを表示することができる。
ポンプコントローラ４５は、エンジンコントローラ４４、モニタコントローラ４３、操作レバー１１，１２、走行レバー１３，１４等から送信された信号を受信して、図示しない油圧ポンプからの作動油の吐出量を調整するための制御指令の信号を生成する。
操作レバー１１，１２の操作に応じて、コントロールバルブ８０により、油圧ポンプと、ブームシリンダ４ｄ，アームシリンダ４ｅ，バケットシリンダ４ｆ，旋回油圧モータ７３，油圧走行モータ７１，７２との間を接続するメインバルブの開口が制御されることにより、ブームシリンダ４ｄ、アームシリンダ４ｅ、バケットシリンダ４ｆ、旋回油圧モータ７３を駆動する。また、走行レバー１３，１４の操作に応じて、コントロールバルブ８０により油圧走行モータ７１，７２を駆動する。なお、操作レバー１１，１２、走行レバー１３，１４の操作量は、操作量検出部７０によって検出され、電気信号としてポンプコントローラ４５に出力される。
［カメラの構成と配置］
つぎに、図５及び図６を参照して、各カメラＣ１〜Ｃ７の構成と配置とについて説明する。図５は油圧ショベルの側面図を、図６は油圧ショベル上部旋回体の簡略化した平面図を示している。図６における上部旋回体の左右の端部領域には履帯が表示されるはずであるが、便宜上、左右の履帯を表示せず上部旋回体のみ表示している。すべてのカメラＣ１〜Ｃ７は、上部旋回体３に取り付けられてもよい。例えば、各カメラＣ１〜Ｃ７は、左右方向において１２０度（左右６０度ずつ）、高さ方向において９６度の視野範囲を有する。カメラとしてＣＣＤ（Charge-Coupled Device）カメラを用いてもよい。
図５及び図６に示すように、具体的に、カメラＣ１は、上部旋回体３の運転室６下部であるキャブベース５の前面に設けられて上部旋回体３の前方を撮像する。カメラＣ２は、上部旋回体３の右側前方下部に設けられて上部旋回体３の右前方を撮像する。カメラＣ３は、上部旋回体３の右側側面下部に設けられて上部旋回体３の右後方を撮像する。カメラＣ４は、上部旋回体３の後方に配置されるカウンタウェイト８の後方下部中央に設けられて上部旋回体３の後方を撮像する。カメラＣ５は、上部旋回体３の左側側面下部に設けられて上部旋回体３の左後方を撮像する。カメラＣ６は、キャブベース５の上部左側面に設けられて上部旋回体３の左前方を撮像する。カメラＣ７は、パワーコンテナ７の下部に設けられ、パワーコンテナ７及びカウンタウェイト８の下部領域を撮像する。隣り合うカメラＣ１〜Ｃ７の撮像範囲はオーバーラップしているため、油圧ショベルの近接位置の外周３６０度を撮像することができる。
［レーダの構成と配置］
つぎに、図７及び図８を参照して、各レーダＲ１〜Ｒ８の構成と配置とについて説明する。すべてのレーダＲ１〜Ｒ８は、上部旋回体３に設けられてもよい。各レーダＲ１〜Ｒ８は、油圧ショベル１の周囲に存在する障害物と油圧ショベル１との相対的な位置（相対位置）と方向とを検出する。例えば、レーダＲ１〜Ｒ８は、図７及び図８に示すように、油圧ショベル１の外周部分に取り付けられる。また、例えば各レーダＲ１〜Ｒ８は、方位（水平）方向８０度（±４０度）、上下（垂直）方向１６度（±８度）の検出角度を有し、検出距離が最大１５ｍ以上のＵＷＢ（Ultra Wide Band：超広帯域）レーダである。
図７及び図８に示すように、具体的に、レーダＲ１は、上部旋回体３の前部下方左端に設けられて上部旋回体３の左前方の障害物を検出する。レーダＲ２は、上部旋回体３の前部下方右端に設けられて上部旋回体３の右前方の障害物を検出する。また、レーダＲ１，Ｒ２は、バケット４ｃ等の作業機４を検出しないよう、その設置向きが調整されており、レーダＲ１，Ｒ２の検出領域はオーバーラップしていない。レーダＲ３は、上部旋回体３の右側方下部に設けられて上部旋回体３の右後方の障害物を検出する。レーダＲ４は、上部旋回体３の右側側方下部に設けられて上部旋回体３の右前方の障害物を検出する。ここで、レーダＲ３は、レーダＲ４に隣接するとともに、レーダＲ４の位置に対して前方に配置される。そして、レーダＲ３，Ｒ４は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の右側方全面の障害物を検出する。また、レーダＲ５は、上部旋回体３のカウンタウェイト８の下部に設けられて上部旋回体３の左後方の障害物を検出する。レーダＲ６は、カウンタウェイト８の下部に設けられて上部旋回体３の右後方の障害物を検出する。ここで、レーダＲ５は、レーダＲ６に隣接するとともに、レーダＲ６の位置に対して右側に配置される。そして、レーダＲ５，Ｒ６は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の後方全面の障害物を検出する。また、レーダＲ８は、上部旋回体３の左側方下部に設けられて上部旋回体３の左前方の障害物を検出する。レーダＲ７は、上部旋回体３の左側側方下部に設けられて上部旋回体３の左後方の障害物を検出する。ここで、レーダＲ８は、レーダＲ７に隣接するとともに、レーダＲ７の位置に対して後方に配置される。そして、レーダＲ８，Ｒ７は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の左側方全面の障害物を検出する。
［周辺監視モニタの手動画像切替処理］
図９（ａ）に示した周辺監視モニタ１５は、キーオンしたときに最初に表示される初期画面の一例である。図９（ａ）では、周辺監視モニタ１５の表示部の上部領域に俯瞰画像６１が表示され、下部領域に単カメラ画像６２が表示されている。俯瞰画像６１の領域は、単カメラ画像６２の領域よりも小さく設定されている。また、周辺監視モニタ１５の右下には、アイコンＩ１が表示されている。表示されている単カメラ画像６２は、カメラＣ４によって撮像された上部旋回体３の後方画像である。アイコンＩ１は、周辺監視モニタ１５に表示されている単カメラ画像６２が、カメラＣ１〜Ｃ７の内どのカメラによって撮像された画像であるかを示すものである。図９（ａ）に示した単カメラ画像６２は、後方画像であるため、上部旋回体３の後方位置に対応するアイコンＩ１の下側領域が塗りつぶされて表示されている。なお、図９（ａ）に示した俯瞰画像６１及び単カメラ画像６２では、上部旋回体３の後方にダンプトラックＴＲが存在している。図９（ａ）では、ダンプトラックＴＲが、作業機４が配置される前方から１８０度の位置であって、外側を向き停車していることがわかる。なお、周辺監視モニタ１５は、タッチパネルで構成されている。
俯瞰画像６１の中心位置には俯瞰画像６１と油圧ショベルの位置・方向関係をオペレータが判別しやすくするため、油圧ショベルの平面図が表示されている。その油圧ショベルの一部領域をＥ１１（指示部５６）とする。表示制御部５３は、周辺監視モニタ１５の画面が図９（ａ）の状態で、領域Ｅ１１がオペレータによってタッチされると、図９（ｂ）のように俯瞰画像６１を拡大して表示するとともに単カメラ画像６２を縮小して表示する。また、図９（ｂ）の拡大された俯瞰画像６１内の領域Ｅ１１がタッチされると、図９（ａ）のように、俯瞰画像６１を縮小して表示するとともに単カメラ画像６２を拡大して表示する。すなわち、オペレータは領域Ｅ１１をスイッチとして、図９（ａ）と図９（ｂ）の周辺監視モニタ１５の全体画像を手動切替させることができる。
同様に、単カメラ画像６２の領域をＥ１０（指示部５６）と定義すると、表示制御部５３は、周辺監視モニタ１５の画面が図９（ａ）の状態で、領域Ｅ１０がオペレータによってタッチされると、図９（ｂ）のように単カメラ画像６２を縮小して表示するとともに俯瞰画像６１を拡大して表示する。また、図９（ｂ）の縮小された単カメラ画像６２の領域Ｅ１０がタッチされると、図９（ａ）のように単カメラ画像６２を拡大して表示するとともに俯瞰画像６１を縮小して表示する。図９（ｂ）における俯瞰画像６１は、図９（ａ）における俯瞰画像６１と比べ、周辺監視モニタ１５における表示領域が拡大している。さらに、図９（ｂ）における俯瞰画像６１は、図９（ａ）における俯瞰画像６１と比べ、俯瞰画像６１の中心部に表示される油圧ショベルの平面図及び油圧ショベルの後方に停止しているダンプトラックＴＲが拡大表示されている。すなわち、油圧ショベルの周囲に存在し俯瞰画像６１上に表示される対象物が拡大して表示される。
本実施例では、領域Ｅ１０やＥ１１として、俯瞰画像６１や単カメラ画像６２の領域を用いたが、別途設けたアイコンをタッチしたり物理的なスイッチを切り替えることにより、図９（ａ）と図９（ｂ）とを手動にて切り替えられるようにしてもよい。なお、物理スイッチは、周辺監視モニタ、コンソール、操作レバー等に設けてもよい。
なお、以下で説明する周辺監視モニタの自動画像切替処理により、俯瞰画像６１及び単カメラ画像６２の大きさや内容を、所定条件のもとに自動で切替処理することができる。
［周辺監視モニタの自動画像切替処理］
図１０は、周辺監視コントローラ４０による周辺監視モニタ１５の自動画像切替処理手順を示すフローチャートである。図１０における周辺監視モニタ１５の初期画面は、キーオン時の画面である図９（ａ）の画面である。表示制御部５３には走行レバー１３，１４から操作信号が入力される構成になっているので、表示制御部５３は、入力される信号に基づき走行レバー１３，１４による走行操作が行われたか否かを判断する（ステップＳ１０１）。走行操作が行われた場合（ステップＳ１０１，Ｙｅｓ）、さらに障害物処理部５２が障害物を検出したか否かを判断する（ステップＳ１０２）。障害物が検出された場合（ステップＳ１０２，Ｙｅｓ）、周辺監視モニタ１５の画面における単カメラ画像６２を、障害物を撮像範囲に含む単カメラ画像６２に切り替え（ステップＳ１０３）、ステップＳ１０１に戻る。
一方、障害物が検出されない場合（ステップＳ１０２，Ｎｏ）には、俯瞰画像６１を拡大する（ステップＳ１０４）。なお、この場合、俯瞰画像６１の拡大に伴って、単カメラ画像６２は縮小する。なお、本実施例では初期画面として俯瞰画像６１が小さい状態で説明したが、初期画面として俯瞰画像６１が最大になっている場合には、そのままの表示状態を維持する。
このように、走行レバーの操作に応じて俯瞰画像６１を拡大することによって、オペレータが油圧ショベルの走行時に周囲の障害物を容易に認識することができるようになる。
その後、走行レバー１３，１４による走行旋回操作が右か、左か、無しかを判断する（ステップＳ１０５）。走行旋回操作とは、右履帯もしく左履帯の一方のみを前進もしくは後進させることにより、上部旋回体３を旋回させることなく油圧ショベル１全体を旋回させる操作である。この走行旋回操作が右（すなわち、左履帯のみ前進、もしくは右履帯のみ後進）である場合（ステップＳ１０５，右）、単カメラ画像６２をカメラＣ５による左後方の画像に切り替えて（ステップＳ１０６）、ステップＳ１０１に戻る。これは、右旋回時に上部旋回体３の後部（パワーコンテナ７やカウンタウェイト８など）が左方向に旋回するため、オペレータが上部旋回体３の左後方の状況を容易に認識できるようにするためである。また、走行旋回操作が左（すなわち、右履帯のみ前進、もしくは左履帯のみ後進）である場合（ステップＳ１０５，左）、単カメラ画像６２をカメラＣ３による右後方の画像に切り替えて（ステップＳ１０７）、ステップＳ１０１に戻る。さらに、走行旋回操作が無い（すなわち、右履帯および左履帯が共に前進もしくは後進）ある場合（ステップＳ１０５，無し）、単カメラ画像６２を後方の画像のままとして、ステップＳ１０１に戻る。
一方、走行操作が行われていない場合（ステップＳ１０１，Ｎｏ）、表示制御部５３には、操作レバー１１，１２からも操作信号が入力される構成となっているため、表示制御部５３は、入力される信号に基づき操作レバー１１，１２による上部旋回体３の旋回操作が行われたか否かを判断する（ステップＳ１０８）。旋回操作が行われた場合（ステップＳ１０８，Ｙｅｓ）、さらに障害物処理部５２が障害物を検出したか否かを判断する（ステップＳ１０９）。障害物が検出された場合（ステップＳ１０９，Ｙｅｓ）には、周辺監視モニタ１５の画面における単カメラ画像６２を、障害物を撮像範囲に含む単カメラ画像６２に切り替え（ステップＳ１１０）、ステップＳ１０１に戻る。
障害物が検出されない場合（ステップＳ１０９３，Ｎｏ）には、俯瞰画像６１を拡大する（ステップＳ１１１）。なお、この場合、俯瞰画像６１の拡大に伴って、単カメラ画像６２は縮小する。また、初期画面として俯瞰画像６１が最大になっている場合は、そのままの表示状態を維持する。
その後、旋回操作は、右旋回操作か否かを判断する（ステップＳ１１２）。右旋回操作である場合（ステップＳ１１２，Ｙｅｓ）には、単カメラ画像６２をカメラＣ５による左後方の画像に切り替えて（ステップＳ１１３）、ステップＳ１０１に戻る。一方、右旋回操作でない場合（ステップＳ１１２，Ｎｏ）、すなわち、左旋回操作である場合、単カメラ画像６２をカメラＣ３による右後方の画像に切り替えて（ステップＳ１１４）、ステップＳ１０１に戻る。一方、上部旋回体の旋回操作が行われない場合（ステップＳ１０８，Ｎｏ）には、単カメラ画像６２を後方の画像のままとして、ステップＳ１０１に戻る。なお、本実施例では、右旋回操作の場合に左後方画像に切り替え、左旋回操作の場合に右後方画像に切り替えるようにしていたが、旋回操作時に切り替える単カメラ画像の位置は適宜設定してもよい。例えば、旋回時に作業機が障害物に衝突することを事前に判別できるように、右旋回操作時に右前方画像や右後方画像を、左旋回操作時に左前方画像や左後方画像を切替表示するようにしてもよい。また、図１０のフローチャートでは、走行操作があるか（ステップＳ１０１）、障害物があるか（ステップＳ１０２）、走行旋回操作は右、左もしくは無しか（ステップＳ１０５）、上部旋回体の旋回操作はあるか（ステップＳ１０８）、右旋回であるか（ステップＳ１１２）といった分岐を一つのフローチャートに組み込んだもので説明したが、それぞれの分岐が単独のフローチャートにおいて行われてもよいし、これらの分岐を適宜組み合わせてもよい。
本実施の形態による周辺監視モニタ１５の自動画像切替処理では、操作レバー１１，１２や走行レバー１３，１４を用いて油圧ショベル１を動作させる操作が行われた場合、俯瞰画像６１を拡大させるようにしているので、油圧ショベル１の操作開始時に、全周を監視できる俯瞰画像６１が適切な大きさとなり、オペレータによる手動操作を軽減することができる。また、油圧ショベル１の操作に応じて単カメラ画像を適切なカメラの画像に切り替える制御を行っているので、オペレータによる手動操作を軽減することができる。
なお、ロックレバー（作業機、旋回、走行のすべての油圧回路の流路を遮断するレバー）が作動されていたり旋回ロックなどが設定されている駐車時であっても、周辺監視モニタ１５の表示画面は維持されるが、レーダＲ１〜Ｒ８によって障害物が検出されても、ブザー１７による鳴動や障害物情報の周辺監視モニタ１５への表示を行わないようにしてもよい。駐車時に油圧ショベルの周囲に人や車両が存在していた場合に、ブザー１７による鳴動や障害物情報が周辺監視モニタに表示されているとオペレータにとって煩わしいからである。
また、上述した実施の形態では、俯瞰画像６１と単カメラ画像６２とが共に表示された状態を前提として説明した。しかし、この実施形態に限らず、俯瞰画像６１のみ、もしくは単カメラ画像６２のみを周辺監視モニタ１５に表示する実施形態でもよい。例えば、単カメラ画像６２のみが表示されていた場合、ステップＳ１０４，Ｓ１１１による俯瞰画像拡大処理は、俯瞰画像６１が表示されていない状態から俯瞰画像６１を表示させる処理も含まれる。その場合、俯瞰画像６１と単カメラ画像６２を両方表示するようにしてもよいし、俯瞰画像６１のみを表示するようにしてもよい。俯瞰画像６１と単カメラ画像６２を両方表示するようにした場合、俯瞰画像６１が、単カメラ画像６２に比して大きくてもよいし小さくてもよい。なお、俯瞰画像６１は、現在の俯瞰画像６１よりも拡大すればよく、必ずしも最大表示領域とする必要はない。
また、上述の実施形態における周辺監視モニタ１５に、機械ゲージ表示、メニュー表示、故障情報表示などを表示させるようにしてもよい。具体的には、俯瞰画像６１または単カメラ画像６２の代わりに機械ゲージ表示、メニュー表示、故障情報表示を表示させてもよいし、俯瞰画像６１、単カメラ画像６２に加えてそれらの情報を表示させてもよい（それぞれの情報単独を表示させてもよいし、機械ゲージ表示と故障情報表示といった複数の表示項目を同時に表示させてもよい）。その上で上記実施形態における俯瞰画像６１拡大処理を適用してもよい。
例えば、機械ゲージ表示、メニュー表示、故障情報表示のいずれかが周辺監視モニタ１５に表示されている場合において、操作レバー１１，１２や走行レバー１３，１４が操作された際に俯瞰画像が表示されるようになるため、レバー操作前にどのような画面であっても確実に周囲の状況を確認することができる。また、例えば、俯瞰画像に加え、単カメラ画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示が表示されている場合において、操作レバーなどが操作された際に俯瞰画像が拡大して表示されるようになるため、より詳細に周囲の状況を確認することができる。上記２つの例は、手動切替処理の場合であっても同様の効果が奏される。
なお自動切替処理のケースでは、ステップＳ１０４，Ｓ１１１による俯瞰画像拡大処理により、俯瞰画像６１を単カメラ画像や機械ゲージ表示、メニュー表示、故障情報表示に比して大きくするようにしてもよいし小さくてもよい。
なお、通信コントローラ４２やモニタコントローラ４３、エンジンコントローラ４４、ポンプコントローラ４５には、各種センサと接続されており、そのセンサ検出結果に基づいて油圧ショベルにおける各コンポーネントに異常が発生しているか判断している。そして、各コンポーネントのいずれかに異常が発生している場合には、異常の内容によっては、それ以上の油圧ショベルの運転を継続することが好ましくない。そのため、油圧ショベルに何らかの異常が発生したと判断した場合には、操作レバーなどが操作されたとしても俯瞰画像を拡大表示しないようにしてもよい。
加えて、上述した実施形態では、走行操作、旋回操作の場合で説明したが、作業機を操作した場合に同様の拡大処理がなされてもよい。油圧ショベルの周辺に障害物が存在していた場合、オペレータが油圧ショベルの周囲の状況を確認する必要があるためである。
よって、請求項に記載された「作業機械を動作させた場合」とは、少なくとも走行操作、旋回操作、作業機操作のいずれかを含んでいる。また、作業機械の動作を検出する手段として、各種操作レバーの操作検出に限らず、例えば操作レバーの操作に伴うアクチュエータ（各シリンダや各油圧モータ）の油圧変化を検出する等してもよい。
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記実施形態では、図９（ａ）の画面を周辺監視モニタ１５の初期画面として説明したが、図９（ｂ）の画面を初期画面に設定してもよい。また、モニタ１６とは別に周辺監視モニタ１５を設けていたが、本発明はこれに限られず、モニタ１６上に俯瞰画像６１や単カメラ画像６２を表示するように構成してもよい。また、周辺監視モニタ１５をタッチパネルディスプレイとして構成していたが、タッチセンサを内蔵しない通常のディスプレイを用いてもよい。
前記実施形態では、周辺監視モニタ１５上に俯瞰画像６１と、単カメラ画像６２を同時表示させるように構成していたが、本発明はこれに限られず、俯瞰画像のみや単カメラ画像のみを周辺監視モニタ１５上に表示するように構成してもよい。
また、前記実施形態では、タッチパネルディスプレイ６０におけるカメラ６１〜６７で撮像された画像が表示される領域には、カメラ６１〜６７の内いずれかのカメラで撮像した画像しか表示されないよう構成していたが、同時に二つ以上の画像を表示できるように構成してもよい。また、上述した実施の形態では、上部旋回体３の外周にカメラを７台設けていたが、これよりも少ないカメラの台数で周辺監視装置を構成してもよく、さらにはこれよりも多くのカメラの台数で周辺監視装置を構成してもよい。
さらに、上述した実施の形態では、周辺監視装置は、レーダとカメラが協働するように構成していたが、これに限らず、カメラ単独で周辺監視装置を構成してもよい。
また、鉱山などで使用されるマイニング用油圧ショベルに基づいて説明したが、建設現場において用いられる油圧ショベルにて本発明を適用してもよい。
なお、上記実施形態では油圧ショベルを用いて説明したが、作業機械であれば、ダンプトラック（操作レバーとしてステアリングやアクセルも含む）、ブルドーザー、ホイールローダー（操作レバーとしてステアリングやアクセルも含む）等の作業機械に本発明を適用してもよい。
また、上述した実施の形態では、作業機械の運転席６に周辺監視モニタ１５やブザー１７を設けた構成で説明したが、その他の場所、例えば、作業機械の遠隔操作を行うための図１１に示した遠隔操作席３００や、鉱山内にある、複数の作業機械を全体的に管理・統制する管制室内に設けてもよい。また、図１１に示した遠隔操作用モニタ３０１を周辺監視モニタとして用いてもよい。さらに、図１２に示すように、周辺監視モニタ１５やブザー１７を携帯端末３０２に設け、オペレータが携帯端末３０２に表示された俯瞰画像などを見るようにしてもよい。ここで、遠隔操作席３００や管制室において周辺監視モニタ１５に俯瞰画像を表示する場合や、携帯端末３０２を周辺監視モニタ１５やブザー１７として用いる場合には、作業機械と、遠隔操作席３００・管制室・携帯端末３０２等のそれぞれに何らかの通信手段を設け、俯瞰画像等の情報の送受信を行う構成であってもよい。
１ 油圧ショベル
２ 下部走行体
３ 上部旋回体
４ａ ブーム
４ｂ アーム
４ｃ バケット
４ｄ ブームシリンダ
４ｅ アームシリンダ
４ｆ バケットシリンダ
４ 作業機
５ キャブベース
６ 運転室
７ パワーコンテナ
８ カウンタウェイト
９ 昇降ラダー
１０ オペレータシート
１１，１２ 操作レバー
１３，１４ 走行レバー
１５ 周辺監視モニタ
１６ モニタ
１７ ブザー
４０ 周辺監視コントローラ
４２ 通信コントローラ
４３ モニタコントローラ
４４ エンジンコントローラ
４５ ポンプコントローラ
５１ 画像処理部
５２ 障害物処理部
５３ 表示制御部
５４ 俯瞰画像生成部
５５ 画像合成部
５６ 指示部
６１ 俯瞰画像
６２ 単カメラ画像
６３ 領域
７０ 操作量検出部
７１，７２ 油圧走行モータ
７３ 旋回油圧モータ
８０ コントロールバルブ
３００ 遠隔操作席
３０１ 遠隔操作用モニタ
３０２ 携帯端末
Ｃ カメラ群
Ｃ１〜Ｃ７ カメラ
ＣＴ 旋回中心
Ｅ１〜Ｅ７，Ｅ１０，Ｅ１１ 領域
ＧＬ 地表面レベル
Ｉ１ アイコン
Ｐ，Ｐ１〜Ｐ７ 画像
Ｐ１１〜Ｐ１７ 変換画像
Ｒ レーダ群
Ｒ１〜Ｒ８ レーダ
ＴＲ ダンプトラック

Claims (8)

  1. 表示部と、
    作業機械の周囲状況を取得する複数のカメラと、
    前記複数のカメラが撮像した画像をもとに前記作業機械の周囲状況を示す俯瞰画像を生成する画像処理部と、
    前記作業機械の動作を検出するための作業機械動作検出部と、
    前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させる表示制御部と、を備え、
    前記表示制御部は、前記作業機械の動作を検出した場合に、前記俯瞰画像上における前記作業機械および前記作業機械の周囲に表示される対象物を、作業機械の動作を検出する前における俯瞰画像上における前記作業機械および前記作業機械の周囲に表示される対象物よりも拡大させる制御を行うことを特徴とする作業機械の周辺監視装置。
  2. 前記作業機械動作検出部は、操作レバー及び／または走行レバーの操作を検出することを特徴とする請求項１に記載の作業機械の周辺監視装置。
  3. 前記作業機械の周囲の障害物を検出する複数のレーダを含み、
    前記表示制御部は、前記複数のレーダが取得した情報をもとに障害物を検出し、該障害物が存在する場合、前記表示部に障害物情報を表示させることを特徴とする請求項１に記載の作業機械の周辺監視装置。
  4. 前記作業機械に異常が発生したと判断するための異常判断部を備え、
    前記異常判断部が作業機械に何らかの異常が発生したと判断した場合に、前記表示制御部は、前記作業機械の動作を検出しても、前記表示部における前記俯瞰画像を拡大しないことを特徴とする請求項１に記載の作業機械の周辺監視装置。
  5. 表示部と、
    作業機械の周囲状況を取得する複数のカメラと、
    前記複数のカメラが撮像した画像をもとに前記作業機械の周囲状況を示す俯瞰画像を生成する画像処理部と、
    前記表示部に、前記俯瞰画像に加え、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示させる表示制御部と、
    前記俯瞰画像上における前記作業機械および前記作業機械の周囲に表示される対象物の拡大を指示する指示部と、を備え、
    前記表示制御部は、前記指示部による操作に応じて前記俯瞰画像上における前記作業機械および前記作業機械の周囲に表示される対象物の拡大処理を行うことを特徴とする作業機械の周辺監視装置。
  6. 前記表示部が、遠隔操作席、管制室、または携帯端末に設けられたことを特徴とする請求項１に記載の作業機械の周辺監視装置。
  7. 表示部と、
    作業機械の周囲状況を取得する複数のカメラと、
    前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、
    前記作業機械の動作を検出するための作業機械動作検出部と、
    前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させる表示制御部と、を備え、
    前記表示制御部は、前記作業機械の旋回動作を検出した場合に、前記表示部における前記俯瞰画像の表示領域に表示される前記作業機械および前記作業機械の周囲に表示される対象物を、作業機械の旋回動作を検出する前における俯瞰画像の表示領域に表示される前記作業機械および前記作業機械の周囲に表示される対象物よりも拡大させる制御を行うことを特徴とする作業機械の周辺監視装置。
  8. 作業機械の周囲に設けられた複数のカメラによって周囲の状況を取得し、
    前記複数のカメラが撮像した画像をもとに前記作業機械の周囲状況を示す俯瞰画像を生成し、
    前記作業機械の動作を検出し、
    前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させ、
    前記作業機械の動作を検出した場合に、前記俯瞰画像上における前記作業機械および前記作業機械の周囲に表示される対象物を、作業機械の動作を検出する前における俯瞰画像上における前記作業機械および前記作業機械の周囲に表示される対象物よりも拡大させる制御を行うことを特徴とする作業機械の周辺監視方法。
JP2016567871A 2015-04-28 2016-03-16 作業機械の周辺監視装置及び作業機械の周辺監視方法 Active JP6427597B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/062910 WO2015125979A1 (ja) 2015-04-28 2015-04-28 作業機械の周辺監視装置及び作業機械の周辺監視方法
JPPCT/JP2015/062910 2015-04-28
PCT/JP2016/058396 WO2016174953A1 (ja) 2015-04-28 2016-03-16 作業機械の周辺監視装置及び作業機械の周辺監視方法

Publications (2)

Publication Number Publication Date
JPWO2016174953A1 JPWO2016174953A1 (ja) 2017-05-18
JP6427597B2 true JP6427597B2 (ja) 2018-11-21

Family

ID=53878473

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015526806A Pending JPWO2015125979A1 (ja) 2015-04-28 2015-04-28 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP2016567871A Active JP6427597B2 (ja) 2015-04-28 2016-03-16 作業機械の周辺監視装置及び作業機械の周辺監視方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015526806A Pending JPWO2015125979A1 (ja) 2015-04-28 2015-04-28 作業機械の周辺監視装置及び作業機械の周辺監視方法

Country Status (6)

Country Link
US (1) US10717200B2 (ja)
JP (2) JPWO2015125979A1 (ja)
CN (1) CN107075840B (ja)
AU (1) AU2016255874B2 (ja)
CA (1) CA2959480C (ja)
WO (2) WO2015125979A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021014737A (ja) * 2019-07-12 2021-02-12 株式会社小松製作所 作業機械
WO2021161692A1 (ja) * 2020-02-15 2021-08-19 コベルコ建機株式会社 作業機械の遠隔操作支援システム

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6480830B2 (ja) * 2015-08-24 2019-03-13 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP6965160B2 (ja) * 2015-09-15 2021-11-10 住友建機株式会社 ショベル
JP6713190B2 (ja) * 2015-10-09 2020-06-24 住友重機械工業株式会社 ショベル操作装置及びショベル操作方法
JP6713480B2 (ja) * 2015-10-22 2020-06-24 新明和工業株式会社 コンテナ荷役車両
JP6662604B2 (ja) * 2015-10-28 2020-03-11 住友建機株式会社 ショベル
JP6515021B2 (ja) * 2015-11-30 2019-05-15 住友重機械工業株式会社 作業機械用周辺監視システム
EP3385457A4 (en) * 2015-11-30 2019-03-13 Sumitomo Heavy Industries, Ltd. PERIPHERAL MONITORING SYSTEM FOR A WORK MACHINE
JP6515020B2 (ja) * 2015-11-30 2019-05-15 住友重機械工業株式会社 作業機械用周辺監視システム
JP6419677B2 (ja) * 2015-11-30 2018-11-07 住友重機械工業株式会社 作業機械用周辺監視システム
JP6662622B2 (ja) * 2015-11-30 2020-03-11 住友重機械工業株式会社 作業機械用周辺監視システム及び作業機械用周辺監視システムを備えた建設機械
US10023450B2 (en) * 2016-08-22 2018-07-17 Joseph Jeffries Boom truck bucket remote control assembly
JP6756555B2 (ja) * 2016-09-09 2020-09-16 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2018039476A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JP6756554B2 (ja) * 2016-09-09 2020-09-16 株式会社タダノ 画像表示システム
DE102016011354A1 (de) * 2016-09-20 2018-03-22 Liebherr-Werk Biberach Gmbh Steuerstand für einen Kran, Bagger und dergleichen
DE112016007308T5 (de) * 2016-12-28 2019-07-04 Komatsu Ltd. Arbeitsfahrzeug und Steuerungssystem für Arbeitsfahrzeug
JP2018110328A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
JP6980391B2 (ja) * 2017-01-25 2021-12-15 住友重機械工業株式会社 作業機械用周辺監視システム
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
DE112017000082T5 (de) * 2017-06-28 2018-04-19 Komatsu Ltd. Anzeigevorrichtung und Anzeigesystem einer Arbeitsmaschine
CN110998032A (zh) * 2017-07-31 2020-04-10 住友重机械工业株式会社 挖土机
KR102159066B1 (ko) * 2017-09-07 2020-09-23 히다찌 겐끼 가부시키가이샤 건설 기계
US10442442B2 (en) 2017-12-06 2019-10-15 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle periphery monitoring method
CN111601935A (zh) * 2018-03-30 2020-08-28 住友建机株式会社 挖土机
JP7070047B2 (ja) * 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
JP7121120B2 (ja) * 2018-06-14 2022-08-17 日立Astemo株式会社 車両制御装置
CN109781726B (zh) * 2018-12-06 2021-02-19 浙江省海洋水产研究所 沉底式产卵场监测设备
CN109653269B (zh) * 2018-12-11 2021-02-26 龙岩学院 一种基于模式识别的工程机械智能控制系统
JP2020136914A (ja) * 2019-02-20 2020-08-31 コベルコ建機株式会社 作業機械用周辺監視装置
JP7099358B2 (ja) * 2019-02-20 2022-07-12 コベルコ建機株式会社 作業機械用表示システム
EP3960543A4 (en) * 2019-04-26 2022-07-06 Sumitomo Construction Machinery Co., Ltd. DISPLAY DEVICE, SHOVEL, INFORMATION PROCESSING DEVICE
CN109968385A (zh) * 2019-05-13 2019-07-05 金陵科技学院 一种农业用软体机器人
CN111002905A (zh) * 2019-11-15 2020-04-14 安徽机电职业技术学院 一种具有碰撞预警功能的汽车全景辅助系统及其使用方法
CN111061211A (zh) * 2019-12-24 2020-04-24 中联重科股份有限公司 用于工程机械的监控系统及其控制方法
JP7291645B2 (ja) * 2020-01-31 2023-06-15 株式会社小松製作所 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル
JP2021134482A (ja) * 2020-02-21 2021-09-13 株式会社小松製作所 作業機械及び作業機械の遠隔操作システム
JP2021143541A (ja) * 2020-03-13 2021-09-24 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JP7481139B2 (ja) * 2020-03-19 2024-05-10 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP7438807B2 (ja) * 2020-03-25 2024-02-27 住友建機株式会社 ショベルの施工支援システム
US20230123942A1 (en) * 2020-05-29 2023-04-20 Hitachi Construction Machinery Co., Ltd. Work machine
CN111645077A (zh) * 2020-06-19 2020-09-11 国电南瑞科技股份有限公司 配网线路带电作业机器人地面监控系统及监控方法
DE102020214291B3 (de) * 2020-11-13 2022-03-17 Tadano Faun Gmbh Kran, insbesondere Mobilkran
US20220410803A1 (en) * 2021-06-23 2022-12-29 Caterpillar Paving Products Inc. Asphalt compactor birds eye camera integration
CN116022174A (zh) * 2023-03-29 2023-04-28 北京易控智驾科技有限公司 远程驾驶信息显示方法、装置、电子设备及存储介质
CN117565087B (zh) * 2024-01-16 2024-03-29 陕西开来机电设备制造有限公司 Ai视觉矿用固定监测机器人及其监测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP5476687B2 (ja) * 2008-07-24 2014-04-23 株式会社デンソー 車両用表示装置
JP5128566B2 (ja) * 2009-09-28 2013-01-23 住友重機械工業株式会社 周囲画像提示装置及び操作支援システム
JP2012046124A (ja) * 2010-08-30 2012-03-08 Fujitsu Ten Ltd 画像表示システム、画像処理装置、および、画像表示方法
JP5269026B2 (ja) 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP5775283B2 (ja) * 2010-10-08 2015-09-09 住友建機株式会社 作業機械のモニタ装置
CA2808461C (en) 2011-06-07 2015-12-08 Komatsu Ltd. Perimeter monitoring device for work vehicle
JP5750344B2 (ja) 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
JP5809988B2 (ja) * 2012-01-10 2015-11-11 日立建機株式会社 作業機械の走行支援装置
JP5719040B1 (ja) * 2013-08-20 2015-05-13 株式会社小松製作所 建設機械用コントローラ
WO2015029110A1 (ja) 2013-08-26 2015-03-05 日立建機株式会社 作業機械の周囲監視装置
JP5872517B2 (ja) * 2013-10-04 2016-03-01 本田技研工業株式会社 車両周辺表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021014737A (ja) * 2019-07-12 2021-02-12 株式会社小松製作所 作業機械
KR20210152559A (ko) * 2019-07-12 2021-12-15 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계
JP7201548B2 (ja) 2019-07-12 2023-01-10 株式会社小松製作所 作業機械
KR102631628B1 (ko) * 2019-07-12 2024-01-30 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계
WO2021161692A1 (ja) * 2020-02-15 2021-08-19 コベルコ建機株式会社 作業機械の遠隔操作支援システム
JP7476558B2 (ja) 2020-02-15 2024-05-01 コベルコ建機株式会社 作業機械の遠隔操作支援システム

Also Published As

Publication number Publication date
AU2016255874B2 (en) 2018-07-26
US10717200B2 (en) 2020-07-21
WO2015125979A1 (ja) 2015-08-27
US20170305018A1 (en) 2017-10-26
CA2959480A1 (en) 2016-11-03
JPWO2015125979A1 (ja) 2018-02-15
AU2016255874A1 (en) 2017-03-23
JPWO2016174953A1 (ja) 2017-05-18
CA2959480C (en) 2019-07-30
CN107075840A (zh) 2017-08-18
CN107075840B (zh) 2020-03-17
WO2016174953A1 (ja) 2016-11-03

Similar Documents

Publication Publication Date Title
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6216097B2 (ja) 作業機械の周辺監視装置
JP6659673B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6200121B2 (ja) 作業機械の周辺監視装置
JP7108750B2 (ja) システムおよび方法
KR20170039615A (ko) 크롤러식 작업 기계의 주변 감시 장치
JP2016194237A (ja) 作業機械

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R150 Certificate of patent or registration of utility model

Ref document number: 6427597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250