JPWO2016159012A1 - 作業機械の周辺監視装置 - Google Patents
作業機械の周辺監視装置 Download PDFInfo
- Publication number
- JPWO2016159012A1 JPWO2016159012A1 JP2017510058A JP2017510058A JPWO2016159012A1 JP WO2016159012 A1 JPWO2016159012 A1 JP WO2016159012A1 JP 2017510058 A JP2017510058 A JP 2017510058A JP 2017510058 A JP2017510058 A JP 2017510058A JP WO2016159012 A1 JPWO2016159012 A1 JP WO2016159012A1
- Authority
- JP
- Japan
- Prior art keywords
- guide information
- upper swing
- swing body
- image
- work machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 230000002093 peripheral effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 12
- 240000004050 Pentaglottis sempervirens Species 0.000 abstract description 10
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000003921 oil Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000010720 hydraulic oil Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
- E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Abstract
本発明は、上部旋回体に作業機を備えた作業機械に設けられた作業機械の周辺監視装置であって、前記作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した俯瞰画像６１及び単カメラ画像６２を表示する周辺監視モニタ１５と、前記上部旋回体の旋回中心から該上部旋回体の周囲に向けて直線状に延びる方向目安情報Ｄ２´を俯瞰画像６１及び単カメラ画像６２上に表示する表示制御部と、を備える。これにより、上部旋回体の旋回中心からの方向が読み取りやすくなり、作業効率を向上させることができる。
Description
本発明は、作業効率を向上させることができる目安情報を表示することができる作業機械の周辺監視装置に関する。
油圧ショベルなどの作業機械の分野では、車体の周辺に存在する障害物をオペレータが視認できるように、ミラーに加え、車体後方や車体側方に複数台のカメラを設置しているものがある。そして、カメラが撮像した画像を単カメラ画像として作業機械の運転室内のモニタに映し出している。
また、車体の周囲３６０度を同時に監視できるように、各カメラの画像を上方視点に変換した上で各カメラの画像を合成することにより俯瞰画像を生成してモニタに表示するものがある。そして、俯瞰画像に加えてオペレータが選択したカメラが撮像した単カメラ画像をモニタに表示するものもある（特許文献１参照）。
ところで、上述した特許文献１のように、俯瞰画像には、上部旋回体の旋回中心から同心円状の複数の円形の破線が表示されることがある。この同心円状の複数の円形の破線は、単に上部旋回体の旋回中心からの距離を表示しているに過ぎない。したがって、オペレータは、作業の状況に応じて油圧ショベル以外の対象物、例えばダンプトラックの方向、具体的には掘削作業をしている油圧ショベルに対して左右９０度や１８０度の位置に停止しているかを認識する必要があるものの、実際のダンプトラックを目視したり、表示されている俯瞰画像から目分量で停車位置を推測するため、ダンプトラックの停車位置の精度が高まらず作業効率が悪いという問題点があった。
本発明は、上記に鑑みてなされたものであって、作業効率を向上させることができる目安情報を表示することができる作業機械の周辺監視装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる作業機械の周辺監視装置は、上部旋回体に作業機を備えた作業機械の周辺監視装置であって、前記作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、前記複数のカメラのうちの１つのカメラの画像である単カメラ画像及び／または前記俯瞰画像を表示する表示部と、前記上部旋回体の基準位置から該上部旋回体の周囲に配置された方向目安情報を前記単カメラ画像上及び／または前記俯瞰画像上に表示する表示制御部と、を備えたことを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記方向目安情報は、前記上部旋回体の基準位置から該上部旋回体の周囲に向けて延びる直線であることを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記方向目安情報は、前記上部旋回体の旋回中心から直線状に延びる基準方向目安情報から周方向両側にそれぞれ所定距離をおいて平行配置される平行配置方向目安情報を有することを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記方向目安情報の表示／非表示の設定を行う目安表示設定部を備え、前記表示制御部は、前記目安表示設定部の設定に従って前記方向目安情報の表示／非表示を行うことを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記方向目安情報は、地表面レベルの位置情報であることを特徴とする。
また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記表示部が、遠隔操作席、管制室、または携帯端末に設けられたことを特徴とする。
本発明によれば、上部旋回体の基準位置から該上部旋回体の周囲に配置された方向目安情報を画像上に表示するようにしているので、上部旋回体の旋回中心などの基準位置からの方向が読み取りやすくなり、作業効率を向上させることができる。
以下、添付図面を参照して本発明を実施するための形態について説明する。
［油圧ショベルの全体構成］
まず、図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す側面図である。この油圧ショベル１は、作業機械の一例として示した、鉱山などで使用されるマイニングショベルなどの大型油圧ショベルである。油圧ショベル１は、自走可能な下部走行体２と、下部走行体２上に旋回自在に設置された上部旋回体３と、上部旋回体３の前部中央に屈曲起伏自在に動作する作業機４とを備える。
まず、図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す側面図である。この油圧ショベル１は、作業機械の一例として示した、鉱山などで使用されるマイニングショベルなどの大型油圧ショベルである。油圧ショベル１は、自走可能な下部走行体２と、下部走行体２上に旋回自在に設置された上部旋回体３と、上部旋回体３の前部中央に屈曲起伏自在に動作する作業機４とを備える。
作業機４は、ブーム４ａ、アーム４ｂ、バケット４ｃ、ブームシリンダ４ｄ，アームシリンダ４ｅ、及びバケットシリンダ４ｆを有する。ブーム４ａの基端部は、上部旋回体３に回転可能に連結される。ブーム４ａの先端部は、アーム４ｂの基端部に回転可能に連結される。アーム４ｂの先端部は、バケット４ｃに回転可能に連結される。ブームシリンダ４ｄ、アームシリンダ４ｅ、及びバケットシリンダ４ｆは、油圧ポンプから吐出された作動油によって駆動する油圧シリンダである。ブームシリンダ４ｄは、ブーム４ａを動作させる。アームシリンダ４ｅは、アーム４ｂを動作させる。バケットシリンダ４ｆは、リンク部材を介してバケット４ｃに連結され、バケット４ｃを動作させる。バケットシリンダ４ｆのシリンダロッドが伸縮動作することによってバケット４ｃが動作する。なお、図１では、バケット４ｃの開口が旋回中心に向いたバックホウとして機能するが、バケット４ｃの開口を旋回中心から外側に向けたフロントショベルとして機能させてもよい。
上部旋回体３の前部左側部分には、キャブベース５を介して運転室６が設置される。上部旋回体３の後部には、パワーコンテナ７が搭載される。パワーコンテナ７内には、エンジン、油圧ポンプ、ラジエータ、オイルクーラなどが収容されている。上部旋回体３の後端部には、カウンタウェイト８が装着される。上部旋回体３の左側部には、キャブベース５の後方に位置するように昇降ラダー９が配置される。昇降ラダー９は、上部旋回体３に対する運転者や整備作業者の昇降を支援する。
［運転席］
図２は、運転室６の内部配置を示す図である。図２に示すように、操作レバー１１，１２は、運転室６内のオペレータシート１０の左右に配置される。操作レバー１１は、オペレータがオペレータシート１０に着座した時に左手側に配置される。操作レバー１１は上部旋回体３の旋回動作とアーム４ｂの動作に対応しており、操作レバー１１を左右に操作すると上部旋回体３が左右に旋回し、操作レバー１１を上下に操作するとアーム４ｂが前後方向に回動する。操作レバー１２はブーム４ａの動作とバケット４ｃの動作に対応しており、操作レバー１２を左右に操作するとバケット４ｃが掘削・排土方向に回動し、操作レバー１２を上下に操作するとブーム４ａが上下方向に回動する。尚、操作レバー１１，１２の操作と、どの作業機が動作するかの組み合わせは、本実施形態のものには限られない。
図２は、運転室６の内部配置を示す図である。図２に示すように、操作レバー１１，１２は、運転室６内のオペレータシート１０の左右に配置される。操作レバー１１は、オペレータがオペレータシート１０に着座した時に左手側に配置される。操作レバー１１は上部旋回体３の旋回動作とアーム４ｂの動作に対応しており、操作レバー１１を左右に操作すると上部旋回体３が左右に旋回し、操作レバー１１を上下に操作するとアーム４ｂが前後方向に回動する。操作レバー１２はブーム４ａの動作とバケット４ｃの動作に対応しており、操作レバー１２を左右に操作するとバケット４ｃが掘削・排土方向に回動し、操作レバー１２を上下に操作するとブーム４ａが上下方向に回動する。尚、操作レバー１１，１２の操作と、どの作業機が動作するかの組み合わせは、本実施形態のものには限られない。
走行レバー１３は、操作に応じて下部走行体２の左側の履帯の前進後進を行うことができる。また、走行レバー１４は、操作に応じて下部走行体２の右履帯の前進後進を行うことができる。走行レバー１３、１４を同時に操作すれば左右の履帯が同時に駆動し、油圧ショベル１全体を前進後進することができる。
また、運転室６の左前のフレームには、周辺監視モニタ１５とモニタ１６とブザー１７とが配置される。周辺監視モニタ１５は、タッチパネルで形成される入出力装置であり、少なくとも、複数のカメラによって取得された油圧ショベル１の周囲状況を俯瞰画像及び単カメラ画像として表示することができる。モニタ１６は、液晶表示部とキー入力部とを有した入出力装置である。モニタ１６は、エンジンや油圧ポンプなどの状態を含む各種情報を表示することができる。例えば、モニタ１６は、エンジン水温、油温、燃焼の残量、機器の異常などを示す警告情報などを表示することができる。ブザー１７は、複数のレーダによって障害物が検出された場合に、発報する。なお、障害物が検出された場合、この障害物の情報は、上述した周辺監視モニタ１５の画像上にも表示される。
［制御系の全体構成］
図３は、油圧ショベル１の制御系全体の構成を示すブロック図である。図３に示すように、周辺監視コントローラ４０は、車内ネットワークの一つであるＣＡＮ４１に接続される。ＣＡＮ４１には、通信コントローラ４２、モニタコントローラ４３、エンジンコントローラ４４、ポンプコントローラ４５等が接続される。また、周辺監視コントローラ４０には、複数のカメラＣ１〜Ｃ７からなるカメラ群Ｃ、複数のレーダＲ１〜Ｒ８からなるレーダ群Ｒ、周辺監視モニタ１５、及びブザー１７が接続される。
図３は、油圧ショベル１の制御系全体の構成を示すブロック図である。図３に示すように、周辺監視コントローラ４０は、車内ネットワークの一つであるＣＡＮ４１に接続される。ＣＡＮ４１には、通信コントローラ４２、モニタコントローラ４３、エンジンコントローラ４４、ポンプコントローラ４５等が接続される。また、周辺監視コントローラ４０には、複数のカメラＣ１〜Ｃ７からなるカメラ群Ｃ、複数のレーダＲ１〜Ｒ８からなるレーダ群Ｒ、周辺監視モニタ１５、及びブザー１７が接続される。
周辺監視コントローラ４０は、周辺監視制御を行う。周辺監視コントローラ４０は、画像処理部５１、障害物処理部５２、表示制御部５３を有する。さらに画像処理部５１は、俯瞰画像生成部５４及び画像合成部５５を有する。
俯瞰画像生成部５４は、各カメラＣ１〜Ｃ７から得られた画像をもとに俯瞰画像６１を生成する。図４に示すように、俯瞰画像生成部５４は、各カメラＣ１〜Ｃ７から得られた画像Ｐ１〜Ｐ７を上方視点画像に変換する。すなわち、俯瞰画像生成部５４は、油圧ショベル１の上方に位置する所定の仮想視点から見た画像に変換する。具体的に、俯瞰画像生成部５４は、油圧ショベル１の上方の仮想視点から地表面レベルＧＬに対応する所定の仮想投影面に投影する画像変換を行う。その後、俯瞰画像生成部５４は、俯瞰画像を表示するフレームの各領域Ｅ１〜Ｅ７に対応する変換画像Ｐ１１〜Ｐ１７を切り出し、各変換画像Ｐ１１〜Ｐ１７をフレーム内で合成する。俯瞰画像生成部５４が生成する俯瞰画像６１には、油圧ショベル１の平面図に対応する画像Ｐが予め貼り付けられている。
一方、障害物処理部５２は、レーダＲ１〜Ｒ８の情報をもとに障害物を検出する。障害物処理部５２は、障害物を検出した場合、ブザー１７を鳴動して報知するとともに、検出した障害物の大きさや位置などの障害物情報を画像合成部５５に出力する。画像合成部５５には、上述した俯瞰画像６１と各カメラＣ１〜Ｃ７が撮像した画像（単カメラ画像６２）とが入力される。画像合成部５５は、障害物処理部５２から障害物情報が入力された場合、上述した俯瞰画像６１及び単カメラ画像６２に障害物情報を合成した画像を生成する。例えば、図４の領域Ｅ４における障害物情報Ａ１を俯瞰画像６１に合成する。
表示制御部５３は、画像合成部５５から入力された俯瞰画像６１及びカメラＣ１〜Ｃ７が撮像した画像のうち選択された単カメラ画像６２を周辺監視モニタ１５に表示する制御を行う。
モニタコントローラ４３は、モニタ１６に接続される。モニタコントローラ４３は、ＣＡＮ４１を介して各種センサから送信された情報や、モニタ１６を介して入力された情報といった各種情報の入出力制御を行う。モニタ１６は、上述したように、例えば、エンジン水温、油温、燃料の残量、機器の異常などを示す警告情報などを表示することができる。
［カメラの構成と配置］
つぎに、図５及び図６を参照して、各カメラＣ１〜Ｃ７の構成と配置とについて説明する。すべてのカメラＣ１〜Ｃ７は、上部旋回体３に取り付けられてもよい。例えば、各カメラＣ１〜Ｃ７は、左右方向において１２０度（左右６０度ずつ）、高さ方向において９６度の視野範囲を有する。カメラとしてＣＣＤ（Charge-Coupled Device）カメラを用いることができる。また、各カメラＣ１〜Ｃ７は、ワイドダイナミックレンジ（Wide Dynamic Range）機能を有してもよい。
つぎに、図５及び図６を参照して、各カメラＣ１〜Ｃ７の構成と配置とについて説明する。すべてのカメラＣ１〜Ｃ７は、上部旋回体３に取り付けられてもよい。例えば、各カメラＣ１〜Ｃ７は、左右方向において１２０度（左右６０度ずつ）、高さ方向において９６度の視野範囲を有する。カメラとしてＣＣＤ（Charge-Coupled Device）カメラを用いることができる。また、各カメラＣ１〜Ｃ７は、ワイドダイナミックレンジ（Wide Dynamic Range）機能を有してもよい。
図５及び図６に示すように、具体的に、カメラＣ１は、上部旋回体３の運転室６下部であるキャブベース５の前面に設けられて上部旋回体３の前方を撮像する。カメラＣ２は、上部旋回体３の右側前方下部に設けられて上部旋回体３の右前方を撮像する。カメラＣ３は、上部旋回体３の右側側面下部に設けられて上部旋回体３の右後方を撮像する。カメラＣ４は、上部旋回体３の後方に配置されるカウンタウェイト８の後方下部中央に設けられて上部旋回体３の後方を撮像する。カメラＣ５は、上部旋回体３の左側側面下部に設けられて上部旋回体３の左後方を撮像する。カメラＣ６は、キャブベース５の上部左側面に設けられて上部旋回体３の左前方を撮像する。カメラＣ７は、パワーコンテナ７の下部に設けられ、パワーコンテナ７及びカウンタウェイト８の下部領域を撮像する。隣合うカメラＣ１〜Ｃ７の撮像範囲はオーバーラップしているため、油圧ショベルの近接位置の外周３６０度を撮像することができる。
［レーダの構成と配置］
つぎに、図７及び図８を参照して、各レーダＲ１〜Ｒ８の構成と配置とについて説明する。すべてのレーダＲ１〜Ｒ８は、上部旋回体３に設けられてもよい。各レーダＲ１〜Ｒ８は、油圧ショベル１の周囲に存在する障害物と油圧ショベル１との相対的な位置（相対位置）と方向とを検出する。例えば、レーダＲ１〜Ｒ８は、図７及び図８に示すように、油圧ショベル１の外周部分に取り付けられる。また、各レーダＲ１〜Ｒ８は、方位（水平）方向８０度（±４０度）、上下（垂直）方向１６度（±８度）の検出角度を有し、検出距離が最大１５ｍ以上のＵＷＢ（Ultra Wide Band：超広帯域）レーダである。
つぎに、図７及び図８を参照して、各レーダＲ１〜Ｒ８の構成と配置とについて説明する。すべてのレーダＲ１〜Ｒ８は、上部旋回体３に設けられてもよい。各レーダＲ１〜Ｒ８は、油圧ショベル１の周囲に存在する障害物と油圧ショベル１との相対的な位置（相対位置）と方向とを検出する。例えば、レーダＲ１〜Ｒ８は、図７及び図８に示すように、油圧ショベル１の外周部分に取り付けられる。また、各レーダＲ１〜Ｒ８は、方位（水平）方向８０度（±４０度）、上下（垂直）方向１６度（±８度）の検出角度を有し、検出距離が最大１５ｍ以上のＵＷＢ（Ultra Wide Band：超広帯域）レーダである。
図７及び図８に示すように、具体的に、レーダＲ１は、上部旋回体３の前部下方左端に設けられて上部旋回体３の左前方の障害物を検出する。レーダＲ２は、上部旋回体３の前部下方右端に設けられて上部旋回体３の右前方の障害物を検出する。また、レーダＲ１，Ｒ２は、バケット４ｃ等の作業機４を検出しないよう、その設置向きが調整されており、レーダＲ１，Ｒ２の検出領域はオーバーラップしていない。レーダＲ３は、上部旋回体３の右側方下部に設けられて上部旋回体３の右後方の障害物を検出する。レーダＲ４は、上部旋回体３の右側側方下部に設けられて上部旋回体３の右前方の障害物を検出する。ここで、レーダＲ３は、レーダＲ４に隣接するとともに、レーダＲ４の位置に対して前方に配置される。そして、レーダＲ３，Ｒ４は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の右側方全面の障害物を検出する。また、レーダＲ５は、上部旋回体３のカウンタウェイト８の下部に設けられて上部旋回体３の左後方の障害物を検出する。レーダＲ６は、カウンタウェイト８の下部に設けられて上部旋回体３の右後方の障害物を検出する。ここで、レーダＲ５は、レーダＲ６に隣接するとともに、レーダＲ６の位置に対して右側に配置される。そして、レーダＲ５，Ｒ６は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の後方全面の障害物を検出する。また、レーダＲ８は、上部旋回体３の左側方下部に設けられて上部旋回体３の左前方の障害物を検出する。レーダＲ７は、上部旋回体３の左側側方下部に設けられて上部旋回体３の左後方の障害物を検出する。ここで、レーダＲ８は、レーダＲ７に隣接するとともに、レーダＲ７の位置に対して後方に配置される。そして、レーダＲ８，Ｒ７は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の左側方全面の障害物を検出する。
［周辺監視モニタの手動画像切替処理］
図９に示した周辺監視モニタ１５は、キーオンしたときに最初に表示される初期画面の例である。図９では、周辺監視モニタ１５の上部領域に俯瞰画像６１が表示され、下部領域に単カメラ画像６２が表示されている。また、周辺監視モニタ１５の右下には、アイコンＩ１，Ｉ２が表示されている。表示されている単カメラ画像６２は、カメラＣ４によって撮像された上部旋回体３の後方画像である。アイコンＩ１は、単カメラ画像６２が表示する７つの画像位置を示すものである。図９に示した単カメラ画像６２は、後方画像であるため、上部旋回体３の後方位置に対応するアイコンＩ１の下側領域が塗りつぶされて表示されている。なお、図９に示した俯瞰画像６１及び単カメラ画像６２では、上部旋回体３の後方にダンプトラックＴＲが存在している。図９では、ダンプトラックＴＲが、作業機４が配置される前方から１８０度の位置であって、外側を向き停車していることがわかる。さらに、俯瞰画像６１及び単カメラ画像６２には、後述する上部旋回体３からの距離及び方向を示す目安情報Ｄが表示されている。また、アイコンＩ２（目安表示設定部）は、このアイコンを選択することによって、目安情報Ｄの表示、非表示を切り替えるものである。
図９に示した周辺監視モニタ１５は、キーオンしたときに最初に表示される初期画面の例である。図９では、周辺監視モニタ１５の上部領域に俯瞰画像６１が表示され、下部領域に単カメラ画像６２が表示されている。また、周辺監視モニタ１５の右下には、アイコンＩ１，Ｉ２が表示されている。表示されている単カメラ画像６２は、カメラＣ４によって撮像された上部旋回体３の後方画像である。アイコンＩ１は、単カメラ画像６２が表示する７つの画像位置を示すものである。図９に示した単カメラ画像６２は、後方画像であるため、上部旋回体３の後方位置に対応するアイコンＩ１の下側領域が塗りつぶされて表示されている。なお、図９に示した俯瞰画像６１及び単カメラ画像６２では、上部旋回体３の後方にダンプトラックＴＲが存在している。図９では、ダンプトラックＴＲが、作業機４が配置される前方から１８０度の位置であって、外側を向き停車していることがわかる。さらに、俯瞰画像６１及び単カメラ画像６２には、後述する上部旋回体３からの距離及び方向を示す目安情報Ｄが表示されている。また、アイコンＩ２（目安表示設定部）は、このアイコンを選択することによって、目安情報Ｄの表示、非表示を切り替えるものである。
［目安情報の表示］
次に、俯瞰画像６１及び単カメラ画像６２に表示される目安情報Ｄについて説明する。図１０は、目安情報Ｄの概念を示す図である。図１０に示すように、目安情報Ｄは、距離目安情報Ｄ１と方向目安情報Ｄ２とを有する。なお、目安情報Ｄは、例えば地表面レベルＧＬの位置情報である。そうすることにより、後述する単カメラ画像６２において、油圧ショベルの周辺にある障害物との位置関係がより判別しやすくなる。
次に、俯瞰画像６１及び単カメラ画像６２に表示される目安情報Ｄについて説明する。図１０は、目安情報Ｄの概念を示す図である。図１０に示すように、目安情報Ｄは、距離目安情報Ｄ１と方向目安情報Ｄ２とを有する。なお、目安情報Ｄは、例えば地表面レベルＧＬの位置情報である。そうすることにより、後述する単カメラ画像６２において、油圧ショベルの周辺にある障害物との位置関係がより判別しやすくなる。
距離目安情報Ｄ１は、上部旋回体３の旋回中心ＣＴから距離を示す情報であり、第１距離目安情報Ｄ１１、第２距離目安情報Ｄ１２、第３距離目安情報Ｄ１３を有する。第１距離目安情報Ｄ１１は、上部旋回体３の旋回中心ＣＴから左右前後方向への距離が上部旋回体３の後部に設けられたカウンタウェイト８端部までの距離を示す情報である。すなわち、第１距離目安情報Ｄ１１よりも内側の領域に障害物があった場合、油圧ショベル１が旋回する際に衝突する可能性がある領域であることを意味する。
また、第２距離目安情報Ｄ１２は、第１距離目安情報Ｄ１１からさらに半径方向に対して所定距離ｄ１だけ大きくし、ダンプトラックＴＲなどの外部の作業車両の近接を禁止する距離を示す情報である。この所定距離ｄ１は、例えば、油圧ショベル１が、停止しているダンプトラックＴＲに向かって走行レバー１３，１４を操作して走行している場合、第２距離目安情報Ｄ１２よりも内側にダンプトラックＴＲが入ったと判断してから走行レバー１３，１４の操作を中断して第１距離目安情報Ｄ１１の内側にダンプトラックＴＲが入らずに安全に停止できる距離である。所定距離ｄ１は、例えば、２ｍである。そのため、第２距離目安情報Ｄ１２は、その領域内に障害物が侵入してきた場合に障害物処理部５２が障害物を検知しブザー等の警報を発するよう設定することが好ましい。
さらに、第３距離目安情報Ｄ１３は、第２距離目安情報Ｄ１２からさらに半径方向に対して所定距離ｄ２分、大きくした距離を示す情報である。具体的に、第３距離目安情報Ｄ１３は、作業機４を最大に伸ばした状態における作業機４の旋回領域の限界を示す情報である。換言すれば、第２距離目安情報Ｄ１２と第３距離目安情報Ｄ１３との間の領域は、作業機４による作業領域であると言える。この場合、第２距離目安情報Ｄ１２と第３距離目安情報Ｄ１３との間に位置するダンプトラックＴＲが存在しても、ブザー１７の鳴動による発報を行わないようにしてもよい。
一方、方向目安情報Ｄ２は、上部旋回体３の旋回中心ＣＴから、上部旋回体３の前後左右方向を示す情報であり、前基準方向目安情報Ｄ２１、左基準方向目安情報Ｄ２２、後基準方向目安情報Ｄ２３、右基準方向目安情報Ｄ２４を有する。方向目安情報Ｄ２は、上部旋回体３の前後左右方向の周囲に向けて旋回中心ＣＴから直線状に延び、第１距離目安情報Ｄ１１と第３距離目安情報Ｄ１３との各交点を結ぶ直線である。
距離目安情報Ｄ１についてより詳細に説明する。第１距離目安情報Ｄ１１は、前基準方向目安情報Ｄ２１、左基準方向目安情報Ｄ２２、後基準方向目安情報Ｄ２３、右基準方向目安情報Ｄ２４との交差部に、それら目安情報Ｄ２１〜Ｄ２４に対してそれぞれ垂直に伸びた４つの直線部１０１を有する。この直線部１０１はいずれも所定長さｄ３の長さを有する。直線部１０１は、旋回中心ＣＴからそれぞれ前後左右方向に等間隔離れた位置に設けられる。この所定長さｄ３は、油圧ショベル１の上部旋回体の左右幅方向長さと一致している。同様にして、第２距離目安情報Ｄ１２及び第３距離目安情報Ｄ１３のそれぞれは、同じ所定長さｄ３の長さをもつ直線部１０２，１０３を有する。
そして、第１距離目安情報Ｄ１１は、４つの直線部１０１の各端部間を、それぞれ旋回中心ＣＴを中心とする同一円によって結合し、４つの円弧部１１１が形成されている。同様にして、第２距離目安情報Ｄ１２は、４つの直線部１０２の各端部間を、それぞれ旋回中心ＣＴを中心とする同一円によって結合し、４つの円弧部１１２が形成されている。また、第３距離目安情報Ｄ１３は、４つの直線部１０３の各端部間を、それぞれ旋回中心ＣＴを中心とする同一円によって結合し、４つの円弧部１１３が形成されている。
方向目安情報Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４に加えて、直線部１０１〜１０３の各端部を結んだ、平行配置方向目安情報２０１，２０２を設けてもよい。平行配置方向目安情報２０１，２０２は、前基準方向目安情報Ｄ２１、左基準方向目安情報Ｄ２２、後基準方向目安情報Ｄ２３、右基準方向目安情報Ｄ２４に対して平行に２つ配置される。したがって、上部旋回体３の前後左右方向に対して所定長さｄ３を有する帯状部分が形成される。
［目安情報の変形例の表示形態］
図１１は、上述した平行配置方向目安情報２０１，２０２が表示された俯瞰画像６１及び単カメラ画像６２の表示例を示す図である。なお、図１１において、方向目安情報Ｄ２´を構成する方向目安情報Ｄ２１´，Ｄ２２´，Ｄ２３´，Ｄ２４´は、方向目安情報Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４に平行配置方向目安情報２０１，２０２を加えたものである。図１１では、ダンプトラックＴＲが、作業機４が配置される前方から１８０度の位置であって、外側を向き、第２距離目安情報Ｄ１２の外側に位置していることがわかる。また、距離目安情報Ｄ１の直線部１０１〜１０３と平行配置方向目安情報２０１，２０２とにより線を格子状に表示することができるので、ダンプトラックＴＲ等の作業車両の方向やその向き（図１０に記載されているダンプトラックＴＲのように、油圧ショベルに対し横向きや縦向きに停車する場合には、ダンプトラックの側面や背面と直線部１０１〜１０３とを比較することにより、ダンプトラックＴＲが斜めに停車していないか確認することができる）、油圧ショベルとの距離を容易に認識することができる。さらに、上記の一部領域は格子状に表示されているが、他の領域は円弧状の線が表示されているため、俯瞰画像全体が煩雑とならずに画像内の距離間を把握しやすい。
図１１は、上述した平行配置方向目安情報２０１，２０２が表示された俯瞰画像６１及び単カメラ画像６２の表示例を示す図である。なお、図１１において、方向目安情報Ｄ２´を構成する方向目安情報Ｄ２１´，Ｄ２２´，Ｄ２３´，Ｄ２４´は、方向目安情報Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４に平行配置方向目安情報２０１，２０２を加えたものである。図１１では、ダンプトラックＴＲが、作業機４が配置される前方から１８０度の位置であって、外側を向き、第２距離目安情報Ｄ１２の外側に位置していることがわかる。また、距離目安情報Ｄ１の直線部１０１〜１０３と平行配置方向目安情報２０１，２０２とにより線を格子状に表示することができるので、ダンプトラックＴＲ等の作業車両の方向やその向き（図１０に記載されているダンプトラックＴＲのように、油圧ショベルに対し横向きや縦向きに停車する場合には、ダンプトラックの側面や背面と直線部１０１〜１０３とを比較することにより、ダンプトラックＴＲが斜めに停車していないか確認することができる）、油圧ショベルとの距離を容易に認識することができる。さらに、上記の一部領域は格子状に表示されているが、他の領域は円弧状の線が表示されているため、俯瞰画像全体が煩雑とならずに画像内の距離間を把握しやすい。
なお、上述した目安情報Ｄを構成する第１距離目安情報Ｄ１１、第２距離目安情報Ｄ１２、第３距離目安情報Ｄ１３は、距離に応じた色表示や異なる線種表示とすることが好ましい。例えば、第１距離目安情報Ｄ１１を赤色の点線表示、第２距離目安情報Ｄ１２を黄色の点線表示、第３距離目安情報Ｄ１３を白色、緑色または青色の点線表示としてもよい。また、方向目安情報Ｄ２も同様である。例えば、第１距離目安情報Ｄ１１と第２距離目安情報Ｄ１２との間の方向目安情報Ｄ２を、第２距離目安情報Ｄ１２と同じ黄色の点線表示とし、第２距離目安情報Ｄ１２と第３距離目安情報Ｄ１３との間の方向目安情報Ｄ２を、第３距離目安情報Ｄ１３と同じ緑色または青色の点線表示とすることが好ましい。また、目安情報Ｄは、線でなく、マークを配列したものであってもよい。
［目安線の表示による効果］
図１２は、上述した目安情報Ｄを用いた場合における作業の一例を示す図である。図１２に示すように、上述した目安情報Ｄを用いると、上部旋回体３の前後左右方向に対する旋回中心ＣＴからの方向と全周に対する距離とを把握しやすくなる。具体的には、距離目安情報Ｄ１を表示することにより、障害物がどの程度油圧ショベル１に近づいているか把握することができると共に、直線部１０１〜１０３を有することにより、ダンプトラックＴＲが油圧ショベルに対し横向きや縦向きに停車する場合に、ダンプトラックの側面や背面と直線部１０１〜１０３とを比較することにより、ダンプトラックＴＲが斜めに停車していないか確認することができる。
図１２は、上述した目安情報Ｄを用いた場合における作業の一例を示す図である。図１２に示すように、上述した目安情報Ｄを用いると、上部旋回体３の前後左右方向に対する旋回中心ＣＴからの方向と全周に対する距離とを把握しやすくなる。具体的には、距離目安情報Ｄ１を表示することにより、障害物がどの程度油圧ショベル１に近づいているか把握することができると共に、直線部１０１〜１０３を有することにより、ダンプトラックＴＲが油圧ショベルに対し横向きや縦向きに停車する場合に、ダンプトラックの側面や背面と直線部１０１〜１０３とを比較することにより、ダンプトラックＴＲが斜めに停車していないか確認することができる。
また、方向目安情報Ｄ２を表示することにより、ダンプトラックＴＲを、作業機４が配置される前方から左９０度、右９０度、１８０度に配置する際に、ベッセルの中央部と油圧ショベル１の左９０度、右９０度、１８０度とを容易に一致させることができる。そうすることにより、油圧ショベル１によるダンプトラックＴＲへの土砂の積み込み作業を効率的に行うことができる（ダンプトラックＴＲの位置が図１２に記載されている位置からずれている場合には、積み込み作業の効率が低下する）。そして、ダンプトラックＴＲを、上部旋回体３の前後左右方向で、第２距離目安情報Ｄ１２と第３距離目安情報Ｄ１３との間の領域に配置しようとする場合、オペレータは、俯瞰画像６１あるいは単カメラ画像６２を監視しながら、方向目安情報Ｄ２で方向を認識しつつ、第２距離目安情報Ｄ１２の直線部１０２の適切な位置にダンプトラックＴＲが到達したときにホーンを鳴らすことによって、ダンプトラックＴＲのオペレータに、直線部１０２と平行な向きで近づいたことを知らせて停止させることができる。これによって、ダンプトラックＴＲを直線部１０２に対して適切な位置関係で配置することができる。特に、ダンプトラックＴＲのベッセルの位置を適切な位置に配置誘導することができる。
そして、このようなダンプトラックＴＲを配置することによって、９０度ローディング、１８０度ローディング、両サイドローディングなどの作業を行うことができる。ダンプトラックＴＲの直線部１０２に対する横付けは、ダンプトラックＴＲの後端であってもよいし、側部であってもよい。
上述した実施の形態では、旋回中心ＣＴを中心として目安情報Ｄを表示するようにしていたが、これに限らず、図１３に示すように、上部旋回体３上の任意の点Ｇを中心として目安情報Ｄを表示するようにしてもよい。
また、上述した実施の形態では、方向目安線情報Ｄ２を破線や直線で表示していたが、これに限らず、図１４に示すように、方向目安線情報Ｄ２と距離目安線情報Ｄ１とが交差する位置に、点を表示した方向目安線情報Ｄ３（Ｄ３１〜Ｄ３４）を表示してもよい。また、図１５に示すように、方向目安線情報Ｄ２と距離目安線情報Ｄ１の１つ（距離目安線情報Ｄ１３）とが交差する位置に、点を表示した方向目安線情報Ｄ４（Ｄ４１〜Ｄ４４）を表示してもよい。
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記実施形態では、モニタ１６とは別に、周辺監視モニタ１５を設けていたが、本発明はこれに限られず、モニタ１６上に俯瞰画像６１や単カメラ画像６２を表示するように構成してもよい。また、周辺監視モニタ１５をタッチパネルディスプレイとして構成していたが、タッチセンサを内蔵しない通常のディスプレイを用いてもよい。
前記実施形態では、モニタ１６とは別に、周辺監視モニタ１５を設けていたが、本発明はこれに限られず、モニタ１６上に俯瞰画像６１や単カメラ画像６２を表示するように構成してもよい。また、周辺監視モニタ１５をタッチパネルディスプレイとして構成していたが、タッチセンサを内蔵しない通常のディスプレイを用いてもよい。
前記実施形態では、周辺監視モニタ１５上に俯瞰画像６１と、単カメラ画像６２を同時表示させるように構成していたが、本発明はこれに限られず、俯瞰画像のみや単カメラ画像のみを周辺監視モニタ１５上に表示するように構成してもよい。
また、前記実施形態では、タッチパネルディスプレイ６０におけるカメラ６１〜６７で撮像された画像が表示される領域には、カメラ６１〜６７の内いずれかのカメラで撮像した画像しか表示されないよう構成していたが、同時に二つ以上の画像を表示できるように構成してもよい。
また、上述した実施の形態では、上部旋回体３の外周にカメラを７台設けていたが、これよりも少ないカメラの台数で周辺監視装置を構成してもよく、さらにはこれよりも多くのカメラの台数で周辺監視装置を構成してもよい。
さらに、上述した実施の形態では、周辺監視装置は、レーダとカメラが協働するように構成していたが、これに限らず、カメラ単独で周辺監視装置を構成してもよい。
加えて、上述の実施形態では、距離目安情報Ｄ１と方向目安情報Ｄ２とを同時に表示する形態のみ開示しているが、距離目安情報Ｄ１のみ、もしくは方向目安情報Ｄ２のみ表示するように構成してもよい。
また、鉱山などで使用されるマイニング用油圧ショベルに基づいて説明したが、建設現場において用いられる油圧ショベルにて本発明を適用してもよい。
また、上述した実施の形態では、作業機械の運転席６に周辺監視モニタ１５やブザー１７を設けた構成で説明したが、その他の場所、例えば、作業機械の遠隔操作を行うための図１６に示した遠隔操作席３００や、鉱山内にある、複数の作業機械を全体的に管理・統制する管制室内に設けてもよい。また、図１６に示した遠隔操作用モニタ３０１を周辺監視モニタとして用いてもよい。さらに、図１７に示すように、周辺監視モニタ１５やブザー１７を携帯端末３０２に設け、オペレータが携帯端末３０２に表示された俯瞰画像などを見るようにしてもよい。ここで、遠隔操作席３００や管制室において周辺監視モニタ１５に俯瞰画像を表示する場合や、携帯端末３０２を周辺監視モニタ１５やブザー１７として用いる場合には、作業機械と、遠隔操作席３００・管制室・携帯端末３０２等のそれぞれに何らかの通信手段を設け、俯瞰画像等の情報の送受信を行う構成であってもよい。
１ 油圧ショベル
２ 下部走行体
３ 上部旋回体
４ａ ブーム
４ｂ アーム
４ｃ バケット
４ｄ ブームシリンダ
４ｅ アームシリンダ
４ｆ バケットシリンダ
４ 作業機
５ キャブベース
６ 運転室
７ パワーコンテナ
８ カウンタウェイト
１０ オペレータシート
１１，１２ 操作レバー
１３，１４ 走行レバー
１５ 周辺監視モニタ
１６ モニタ
１７ ブザー
４０ 周辺監視コントローラ
４２ 通信コントローラ
４３ モニタコントローラ
４４ エンジンコントローラ
４５ ポンプコントローラ
５１ 画像処理部
５２ 障害物処理部
５３ 表示制御部
５４ 俯瞰画像生成部
５５ 画像合成部
６１ 俯瞰画像
６２ 単カメラ画像
６３ 領域
１０１〜１０３ 直線部
１１１〜１１３ 円弧部
２０１，２０２ 平行配置方向目安情報
３００ 遠隔操作席
３０１ 遠隔操作用モニタ
３０２ 携帯端末
Ａ１ 障害物情報
Ｂ１０ ボタン
Ｃ カメラ群
Ｃ１〜Ｃ７ カメラ
ＣＴ 旋回中心
Ｄ 目安情報
Ｄ１ 距離目安情報
Ｄ１１ 第１距離目安情報
Ｄ１２ 第２距離目安情報
Ｄ１３ 第３距離目安情報
Ｄ２，Ｄ２´，Ｄ３，Ｄ４ 方向目安情報
Ｄ２１，Ｄ２１´ 前基準方向目安情報
Ｄ２２，Ｄ２２´ 左基準方向目安情報
Ｄ２３，Ｄ２３´ 後基準方向目安情報
Ｄ２４，Ｄ２４´ 右基準方向目安情報
Ｅ０，Ｅ１〜Ｅ８，Ｅ２０ 領域
Ｅ２１ 昇降ラダー周辺領域
ＧＬ 地表面レベル
Ｉ１，Ｉ２ アイコン
Ｐ，Ｐ１〜Ｐ７ 画像
Ｐ１１〜Ｐ１７ 変換画像
Ｒ レーダ群
Ｒ１〜Ｒ８ レーダ
ＴＲ ダンプトラック
２ 下部走行体
３ 上部旋回体
４ａ ブーム
４ｂ アーム
４ｃ バケット
４ｄ ブームシリンダ
４ｅ アームシリンダ
４ｆ バケットシリンダ
４ 作業機
５ キャブベース
６ 運転室
７ パワーコンテナ
８ カウンタウェイト
１０ オペレータシート
１１，１２ 操作レバー
１３，１４ 走行レバー
１５ 周辺監視モニタ
１６ モニタ
１７ ブザー
４０ 周辺監視コントローラ
４２ 通信コントローラ
４３ モニタコントローラ
４４ エンジンコントローラ
４５ ポンプコントローラ
５１ 画像処理部
５２ 障害物処理部
５３ 表示制御部
５４ 俯瞰画像生成部
５５ 画像合成部
６１ 俯瞰画像
６２ 単カメラ画像
６３ 領域
１０１〜１０３ 直線部
１１１〜１１３ 円弧部
２０１，２０２ 平行配置方向目安情報
３００ 遠隔操作席
３０１ 遠隔操作用モニタ
３０２ 携帯端末
Ａ１ 障害物情報
Ｂ１０ ボタン
Ｃ カメラ群
Ｃ１〜Ｃ７ カメラ
ＣＴ 旋回中心
Ｄ 目安情報
Ｄ１ 距離目安情報
Ｄ１１ 第１距離目安情報
Ｄ１２ 第２距離目安情報
Ｄ１３ 第３距離目安情報
Ｄ２，Ｄ２´，Ｄ３，Ｄ４ 方向目安情報
Ｄ２１，Ｄ２１´ 前基準方向目安情報
Ｄ２２，Ｄ２２´ 左基準方向目安情報
Ｄ２３，Ｄ２３´ 後基準方向目安情報
Ｄ２４，Ｄ２４´ 右基準方向目安情報
Ｅ０，Ｅ１〜Ｅ８，Ｅ２０ 領域
Ｅ２１ 昇降ラダー周辺領域
ＧＬ 地表面レベル
Ｉ１，Ｉ２ アイコン
Ｐ，Ｐ１〜Ｐ７ 画像
Ｐ１１〜Ｐ１７ 変換画像
Ｒ レーダ群
Ｒ１〜Ｒ８ レーダ
ＴＲ ダンプトラック
Claims (6)
- 上部旋回体に作業機を備えた作業機械の周辺監視装置であって、
前記作業機械の周囲状況を取得する複数のカメラと、
前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、
前記複数のカメラのうちの１つのカメラの画像である単カメラ画像及び／または前記俯瞰画像を表示する表示部と、
前記上部旋回体の基準位置から該上部旋回体の周囲に配置された方向目安情報を前記単カメラ画像上及び／または前記俯瞰画像上に表示する表示制御部と、
を備えたことを特徴とする作業機械の周辺監視装置。 - 前記方向目安情報は、前記上部旋回体の基準位置から該上部旋回体の周囲に向けて延びる直線であることを特徴とする請求項１に記載の作業機械の周辺監視装置。
- 前記方向目安情報は、前記上部旋回体の旋回中心から直線状に延びる基準方向目安情報から周方向両側にそれぞれ所定距離をおいて平行配置される平行配置方向目安情報を有することを特徴とする請求項１または２に記載の作業機械の周辺監視装置。
- 前記方向目安情報の表示／非表示の設定を行う目安表示設定部を備え、
前記表示制御部は、前記目安表示設定部の設定に従って前記方向目安情報の表示／非表示を行うことを特徴とする請求項１〜３のいずれか一つに記載の作業機械の周辺監視装置。 - 前記方向目安情報は、地表面レベルの位置情報であることを特徴とする請求項１〜４のいずれか一つに記載の作業機械の周辺監視装置。
- 前記表示部が、遠隔操作席、管制室、または携帯端末に設けられたことを特徴とする請求項１に記載の作業機械の周辺監視装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/060295 WO2016157463A1 (ja) | 2015-03-31 | 2015-03-31 | 作業機械の周辺監視装置 |
| JPPCT/JP2015/060295 | 2015-03-31 | ||
| PCT/JP2016/060250 WO2016159012A1 (ja) | 2015-03-31 | 2016-03-29 | 作業機械の周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2016159012A1 true JPWO2016159012A1 (ja) | 2017-06-15 |
| JP6216097B2 JP6216097B2 (ja) | 2017-10-18 |
Family
ID=57006821
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015521899A Pending JPWO2016157463A1 (ja) | 2015-03-31 | 2015-03-31 | 作業機械の周辺監視装置 |
| JP2017510058A Active JP6216097B2 (ja) | 2015-03-31 | 2016-03-29 | 作業機械の周辺監視装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015521899A Pending JPWO2016157463A1 (ja) | 2015-03-31 | 2015-03-31 | 作業機械の周辺監視装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20170284069A1 (ja) |
| JP (2) | JPWO2016157463A1 (ja) |
| KR (1) | KR101895830B1 (ja) |
| CN (1) | CN106716988B (ja) |
| DE (1) | DE112016000127B4 (ja) |
| WO (2) | WO2016157463A1 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10344450B2 (en) * | 2015-12-01 | 2019-07-09 | The Charles Machine Works, Inc. | Object detection system and method |
| EP3537713B1 (en) * | 2016-11-01 | 2021-09-01 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Surroundings monitoring system for a work machine |
| JP6779759B2 (ja) * | 2016-11-21 | 2020-11-04 | 日立建機株式会社 | 建設機械 |
| DE102017106893B4 (de) * | 2017-03-30 | 2020-07-30 | Komatsu Ltd. | Arbeitsfahrzeug |
| JP6909641B2 (ja) | 2017-05-31 | 2021-07-28 | 株式会社小松製作所 | 表示システム |
| EP3668088B1 (en) * | 2017-10-17 | 2021-09-08 | Tadano Ltd. | Work vehicle |
| JP7123573B2 (ja) | 2018-02-28 | 2022-08-23 | 株式会社小松製作所 | 周辺監視装置、作業機械、周辺監視の制御方法及び表示装置 |
| GB2573509B (en) * | 2018-04-26 | 2020-09-02 | Caterpillar Inc | Method and system for providing display redundancy on a machine |
| JP7070047B2 (ja) * | 2018-04-26 | 2022-05-18 | コベルコ建機株式会社 | 旋回式作業機械の旋回制御装置 |
| JP7147248B2 (ja) * | 2018-04-27 | 2022-10-05 | 株式会社タダノ | クレーン車 |
| US10933814B2 (en) | 2018-07-19 | 2021-03-02 | Clark Equipment Company | Display position for cab with overhead door |
| JP7115097B2 (ja) * | 2018-07-24 | 2022-08-09 | 株式会社リコー | 通信端末、プログラム、表示方法、記録媒体 |
| EP3832034B1 (en) | 2018-07-31 | 2023-08-23 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Excavator |
| US11072368B2 (en) * | 2019-01-22 | 2021-07-27 | Deere & Company | Dynamically augmented bird's-eye view |
| DE102019105855A1 (de) * | 2019-03-07 | 2020-09-10 | Deutsche Post Ag | Fahrzeug mit Anzeigeeinrichtung |
| DE102019116759A1 (de) * | 2019-06-21 | 2020-12-24 | Tadano Demag Gmbh | Verfahren zum Betrieb eines Fahrzeugkrans |
| WO2021054758A1 (ko) * | 2019-09-20 | 2021-03-25 | 주식회사 와이즈오토모티브 | 건설장비용 전방 영상 생성 장치 |
| JP7349880B2 (ja) | 2019-10-18 | 2023-09-25 | 株式会社小松製作所 | 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法 |
| JP2021147895A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社小松製作所 | 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法 |
| DE102020206373A1 (de) | 2020-05-20 | 2021-11-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Kollisionsvermeidung eines Arbeitswerkzeugs einer Arbeitsmaschine mit in einer Umgebung der Arbeitsmaschine befindlichen Hindernissen |
| CN115298394A (zh) * | 2020-05-29 | 2022-11-04 | 日立建机株式会社 | 作业机械 |
| CN112519679A (zh) * | 2020-11-26 | 2021-03-19 | 哈尔滨北方防务装备股份有限公司 | 一种基于4g传输的双节履带车环境辅助观察系统 |
| JP6940906B1 (ja) * | 2021-03-29 | 2021-09-29 | 株式会社レグラス | 作業機械の周辺監視装置 |
| JP6940907B1 (ja) * | 2021-03-29 | 2021-09-29 | 株式会社レグラス | 作業機械の周辺監視装置 |
| JP2022170068A (ja) * | 2021-04-28 | 2022-11-10 | 株式会社小松製作所 | 表示制御装置、表示制御方法および作業機械 |
| JP2023147753A (ja) * | 2022-03-30 | 2023-10-13 | 住友重機械建機クレーン株式会社 | 作業機械の周囲監視装置 |
| KR102578690B1 (ko) * | 2022-07-05 | 2023-09-18 | 에이치디현대건설기계 주식회사 | 건설장비의 사각지대 표시 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1072851A (ja) * | 1996-08-30 | 1998-03-17 | Shin Caterpillar Mitsubishi Ltd | 侵入移動体検出装置 |
| JP2009100401A (ja) * | 2007-10-19 | 2009-05-07 | Fujitsu Ten Ltd | 車載機、車両位置確認用の基準表示方法および表示装置 |
| JP2013034142A (ja) * | 2011-08-03 | 2013-02-14 | Nippon Seiki Co Ltd | 周辺画像表示装置 |
| JP2014161087A (ja) * | 2014-04-17 | 2014-09-04 | Komatsu Ltd | 作業車両用周辺監視システム及び作業車両 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5128566B2 (ja) | 2009-09-28 | 2013-01-23 | 住友重機械工業株式会社 | 周囲画像提示装置及び操作支援システム |
| JP5269026B2 (ja) | 2010-09-29 | 2013-08-21 | 日立建機株式会社 | 作業機械の周囲監視装置 |
| JP5750344B2 (ja) | 2011-09-16 | 2015-07-22 | 日立建機株式会社 | 作業機の周囲監視装置 |
| JP5888956B2 (ja) * | 2011-12-13 | 2016-03-22 | 住友建機株式会社 | ショベル及び該ショベルの周囲画像表示方法 |
| KR102102133B1 (ko) * | 2011-12-26 | 2020-04-20 | 스미도모쥬기가이고교 가부시키가이샤 | 쇼벨의 화상표시장치 |
| EP2808455B1 (en) * | 2012-01-27 | 2018-05-30 | Doosan Infracore Co., Ltd. | Operational stability enhancing device for construction machinery |
| US20160006947A1 (en) * | 2013-02-08 | 2016-01-07 | Hitachi Construction Machinery Co., Ltd. | Surroundings monitoring device for slewing-type work machine |
| JP6165085B2 (ja) * | 2014-03-07 | 2017-07-19 | 日立建機株式会社 | 作業機械の周辺監視装置 |
| US9667875B2 (en) * | 2015-01-21 | 2017-05-30 | Caterpillar Inc. | Vision system and method of monitoring surroundings of machine |
-
2015
- 2015-03-31 JP JP2015521899A patent/JPWO2016157463A1/ja active Pending
- 2015-03-31 WO PCT/JP2015/060295 patent/WO2016157463A1/ja active Application Filing
-
2016
- 2016-03-29 DE DE112016000127.4T patent/DE112016000127B4/de active Active
- 2016-03-29 CN CN201680002588.1A patent/CN106716988B/zh active Active
- 2016-03-29 JP JP2017510058A patent/JP6216097B2/ja active Active
- 2016-03-29 WO PCT/JP2016/060250 patent/WO2016159012A1/ja active Application Filing
- 2016-03-29 US US15/509,264 patent/US20170284069A1/en not_active Abandoned
- 2016-03-29 KR KR1020177006581A patent/KR101895830B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1072851A (ja) * | 1996-08-30 | 1998-03-17 | Shin Caterpillar Mitsubishi Ltd | 侵入移動体検出装置 |
| JP2009100401A (ja) * | 2007-10-19 | 2009-05-07 | Fujitsu Ten Ltd | 車載機、車両位置確認用の基準表示方法および表示装置 |
| JP2013034142A (ja) * | 2011-08-03 | 2013-02-14 | Nippon Seiki Co Ltd | 周辺画像表示装置 |
| JP2014161087A (ja) * | 2014-04-17 | 2014-09-04 | Komatsu Ltd | 作業車両用周辺監視システム及び作業車両 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112016000127T5 (de) | 2017-08-03 |
| WO2016157463A1 (ja) | 2016-10-06 |
| US20170284069A1 (en) | 2017-10-05 |
| JPWO2016157463A1 (ja) | 2018-01-18 |
| DE112016000127B4 (de) | 2019-06-13 |
| KR20170040349A (ko) | 2017-04-12 |
| CN106716988A (zh) | 2017-05-24 |
| WO2016159012A1 (ja) | 2016-10-06 |
| CN106716988B (zh) | 2019-01-22 |
| KR101895830B1 (ko) | 2018-09-07 |
| JP6216097B2 (ja) | 2017-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6216097B2 (ja) | 作業機械の周辺監視装置 | |
| JP6200121B2 (ja) | 作業機械の周辺監視装置 | |
| JP6427597B2 (ja) | 作業機械の周辺監視装置及び作業機械の周辺監視方法 | |
| JP6659673B2 (ja) | 作業機械の周辺監視装置及び作業機械の周辺監視方法 | |
| JP7108750B2 (ja) | システムおよび方法 | |
| JP2016030891A (ja) | 旋回式作業機の周囲表示装置 | |
| JP2016194237A (ja) | 作業機械 | |
| JP7145137B2 (ja) | 作業機械の制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170302 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170413 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170921 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6216097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |