JPWO2014123228A1 - 旋回式作業機械の周囲監視装置 - Google Patents

旋回式作業機械の周囲監視装置 Download PDF

Info

Publication number
JPWO2014123228A1
JPWO2014123228A1 JP2014560824A JP2014560824A JPWO2014123228A1 JP WO2014123228 A1 JPWO2014123228 A1 JP WO2014123228A1 JP 2014560824 A JP2014560824 A JP 2014560824A JP 2014560824 A JP2014560824 A JP 2014560824A JP WO2014123228 A1 JPWO2014123228 A1 JP WO2014123228A1
Authority
JP
Japan
Prior art keywords
interference range
image
dump truck
interference
excavator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014560824A
Other languages
English (en)
Other versions
JP6173358B2 (ja
Inventor
古渡 陽一
陽一 古渡
石本 英史
英史 石本
慶仁 稲野辺
慶仁 稲野辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of JPWO2014123228A1 publication Critical patent/JPWO2014123228A1/ja
Application granted granted Critical
Publication of JP6173358B2 publication Critical patent/JP6173358B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Abstract

旋回式作業機械の周囲の状況を俯瞰画像により表示するときに、干渉範囲を正確に描画することを目的とする。本発明は、油圧ショベル1に設置され、それぞれ異なる方向の斜め下方を撮影する複数のカメラ13と、各カメラ13が撮影した画像データに対して、それぞれ上方から見下ろした俯瞰画像となるように座標変換を行う視点変換部21と、油圧ショベル1のイメージ画像の周囲に俯瞰画像を配置して合成俯瞰画像Pを生成する合成俯瞰画像生成部22と、合成俯瞰画像Pに対して、油圧ショベル1を旋回させたときに、周囲の障害物と干渉する干渉範囲を地上高に応じて描画する干渉範囲描画部25と、干渉範囲が描画された合成俯瞰画像Pを表示画像として生成する表示画像生成部26と、表示画像を表示するモニタ15と、を備えている。

Description

本発明は、油圧ショベル等の旋回式作業機械の周囲の安全確保を図るための旋回式作業機械に関するものである。
旋回式作業機械として油圧ショベルがある。一般に、油圧ショベルは、下部走行体と上部旋回体との間は旋回装置により連結されており、旋回装置により上部旋回体が下部走行体に対して旋回する。上部旋回体にはフロント作業手段が設けられており、フロント作業手段としてはブームとアームとフロントアタッチメントとがある。油圧ショベルの主な用途は掘削作業であることから、フロントアタッチメントとしてはバケットが連結されることが多い。
油圧ショベルが掘削した土砂はダンプトラックのベッセルに移載される。このために、油圧ショベルから所定の距離だけ離間した位置でダンプトラックが待機しており、油圧ショベルは掘削した土砂をダンプトラックのベッセルに放土する。油圧ショベルは、土砂の掘削とダンプトラックのベッセルへの放土とを繰り返して行う。この動作を繰り返すために、油圧ショベルは旋回装置により旋回する。
油圧ショベルは旋回を行うことから、周囲の安全性を確保する必要がある。つまり、油圧ショベルの旋回時に、油圧ショベルと何等かの障害物とが干渉しないように注意をする必要がある。例えば、ダンプトラックが油圧ショベルに過剰に近接した位置に停止している状態で油圧ショベルが旋回を行うと、油圧ショベルのカウンタウエイトとダンプトラックとが干渉する。ただし、カウンタウエイトは運転室の後方にあるため、油圧ショベルを操作するオペレータは、目視によりカウンタウエイトが干渉するか否かを判断することができない。
油圧ショベルの運転室に搭乗するオペレータは、特に後方が死角となるが、左方や右方にも死角を生じ、また前方にも死角を生じる場合がある。このために、油圧ショベルに複数のカメラを設置し、カメラが撮影した画像に対して画像処理を行って俯瞰画像を表示する技術が特許文献1に開示されている。この技術では、カメラが撮影している画像に対して座標変換を行うことで、上方から俯瞰している仮想的な画像を表示することができ、油圧ショベルの周囲の状況をオペレータに良好な視認性で認識させることができる。特に、何等かの障害物が油圧ショベルの近傍に存在している場合に、油圧ショベルと障害物との距離をオペレータに直感的に認識させる点で極めて有効な技術になる。
特開2012−174929号公報
特許文献1の技術の俯瞰画像を表示することで、オペレータは直感的に油圧ショベルの周囲の状況を認識することができる。この俯瞰画像の中に油圧ショベルを旋回させたときの障害物と干渉する限界を示す範囲(干渉範囲)を明示することは有用である。油圧ショベルのうち前方についてはオペレータが良好に視認することができることから、オペレータの目視により障害物とフロント作業手段とが干渉するか否かを判断することはできる。従って、旋回時に干渉範囲を明示する必要性が高いのは、油圧ショベルの後方部分であり、多くの場合はカウンタウエイトの部分になる。
ところで、俯瞰画像は斜め下方を光軸としたカメラの映像を上方から見下ろした視点に座標変換したものである。従って、実際には油圧ショベルの中心から等距離の位置であったとしても、地上高(地上からの高さ)が異なれば、俯瞰画像の中の座標位置が異なることになる。つまり、油圧ショベルと障害物との高さの位置関係が異なる場合には、俯瞰画像上での相対位置関係が異なってくる。これは、俯瞰画像が座標変換を行って、カメラが撮影する3次元的な画像を2次元的な平面視の画像に変換するためである。このため、例えば地上高というように、同一の高さ位置を基準としなければ、表示される干渉範囲は不正確となる。従って、このような不正確な干渉範囲を表示することはオペレータに誤った情報を認識させる結果となる。
そこで、本発明は、旋回式作業機械の周囲の状況を俯瞰画像により表示するときに、干渉範囲を正確に描画することを目的とする。
以上の課題を解決するため、本発明は、旋回式作業機械に設置され、それぞれ異なる方向の斜め下方を撮影する複数の撮影部と、各撮影部が撮影した画像データに対して、それぞれ上方から見下ろした俯瞰画像となるように座標変換を行う視点変換部と、前記旋回式作業機械のイメージ画像の周囲に前記俯瞰画像を配置して合成俯瞰画像を生成する合成俯瞰画像生成部と、前記合成俯瞰画像に対して、前記旋回式作業機械を旋回させたときに、周囲の障害物と干渉する干渉範囲を地上高に応じて描画する干渉範囲描画部と、前記干渉範囲が描画された前記合成俯瞰画像を表示画像として生成する表示画像生成部と、前記表示画像を表示する表示装置と、を備えている。
ここで、干渉範囲は、旋回式作業機械の旋回範囲と障害物との位置関係に基づいて設定するものである。より具体的には、旋回式作業機械の後方旋回半径、油圧ショベルの場合には、カウンタウエイトの最後端を基準とするものである。油圧ショベルの場合には、前方側にフロント作業手段を備えているが、このフロント作業手段はオペレータにより目視可能であることから、旋回中心からカウンタウエイトの最後端より大きい半径で旋回するにしても、それを基準として設定するものではない。
干渉範囲描画部は、旋回式作業機械と障害物とが同じ地上高を基準として設定するものであり、これら旋回式作業機械の高さ位置と障害物の高さ位置している高さ位置が異なる場合にあっても、旋回式作業機械が極端に傾斜した状態となっている場合を除いて、旋回時に干渉する範囲は変わらない。しかしながら、高さの差によっては表示装置では、障害物が干渉範囲の内部に入り込んだ状態が表示されていたり、干渉範囲からはなれた位置に表示されていたりする場合がある。この点を考慮して、表示装置には、複数の干渉範囲を表示することができる。
一方、障害物がダンプトラックであり、このダンプトラックに土砂を積み込む場合は、油圧ショベルとの相対位置関係で、旋回時に干渉しない範囲としてはダンプトラックのベッセルの最後端またはフレームの最後端とすることができる。
また、異なる種類の前記ダンプトラックから当該ダンプトラックの種類を識別する情報を無線通信により受信する無線通信部を備え、前記干渉範囲描画部は、前記ダンプトラックの種類に応じた前記ベッセルの最後端または前記フレームの最後端における地上高の前記干渉範囲を描画するようにしてもよい。そして、前記表示画像生成部は、前記干渉範囲の地上高の数値を当該干渉範囲に描画するようにしてもよい。
表示装置に複数の干渉範囲を描画する場合において、旋回式作業機械の設置高さ位置と干渉物の設置高さ位置を同一の高さ位置とした時の干渉範囲を基準干渉範囲とし、高さ位置に差がある場合には、その高さの差に応じて干渉範囲を変動させることができ、この場合、干渉範囲の変動はマニュアル操作でも、また高さの差の計測値に基づいて自動的に調整するようにしても良い。また、障害物が前述したダンプトラックのような場合には、そのベッセルへの土砂の積載量に応じて、ベッセルの高さ位置が変化することになる。この点を考慮する場合には、干渉範囲に幅を持たせるようにして対応することもできる。
本発明は、旋回式作業機械の周囲の状況を詳細に認識できる合成俯瞰画像に対して干渉範囲を地上高に応じて描画することで、障害物と干渉する範囲を正確に且つ容易に認識することができる。
油圧ショベルの一例を示す左側面図である。 表示コントローラおよびモニタのブロック図である。 合成俯瞰画像に複数の干渉範囲を描画した一例を示す図である。 油圧ショベルと合成俯瞰画像との関係性を示した図である。 大型ダンプトラックとこの大型ダンプトラックに対応した干渉範囲が描画された合成俯瞰画像とを示した図である。 小型ダンプトラックとこの小型ダンプトラックに対応した干渉範囲が描画された合成俯瞰画像とを示した図である。 油圧ショベルと大型ダンプトラックと小型ダンプトラックとのグループを示した図である。 実際の大型ダンプトラックとこの大型ダンプトラックおよび小型ダンプトラックに対応した2つの干渉範囲が描画された合成俯瞰画像とを示した図である。 実際の小型ダンプトラックとこの小型ダンプトラックおよび大型ダンプトラックに対応した2つの干渉範囲が描画された合成俯瞰画像とを示した図である。 変形例2における表示コントローラおよびモニタのブロック図である。 図5に地上高の情報を付加した一例を示す図である。 超大型ダンプトラックとこの超大型ダンプトラックに対応した干渉範囲が描画された合成俯瞰画像とを示した図である。 図12に地上高の情報を付加した一例を示す図である。 変形例5における表示コントローラおよびモニタのブロック図である。 油圧ショベルとダンプトラックとの位置に高さの差がある場合の干渉範囲が描画された合成俯瞰画像とを示した図である。 ダンプトラックが空荷状態と、満杯状態とで変化する干渉範囲の描画表示を示した図である。
以下、図面を参照して、本発明の実施形態について説明する。以下において、旋回式作業機械として油圧ショベルを例示して説明するが、旋回式作業機械は油圧ショベルには限定されない。例えば、クレーン等の作業機械も旋回式作業機械であってもよい。要は、旋回を行って所定の作業を行う機械であれば、任意の機械を旋回式作業機械として適用することができる。
図1は、旋回式作業機械としての油圧ショベル1を示している。油圧ショベル1は、下部走行体2と上部旋回体3と旋回装置4とを備えている。下部走行体2は油圧ショベル1の走行手段であり、ここではクローラ式の下部走行体2を例示している。下部走行体2と上部旋回体3とは旋回装置4により連結されており、旋回装置4が旋回することにより、上部旋回体3は下部走行体2に対して旋回を行う。これにより、油圧ショベル1は旋回式作業機械となる。
上部旋回体3は、運転室5とフロント作業手段6と建屋7とカウンタウエイト8とを備えている。運転室5には油圧ショベル1を操作する各種の操作手段が設けられており、オペレータは運転室5に搭乗して油圧ショベル1の操作を行う。旋回装置4を操作する操作手段も運転室5に設けられている。また、運転室5およびフロント作業手段6の後方位置には建屋7が設けられており、建屋7のさらに後方にカウンタウエイト8が設けられている。なお、図中で、カウンタウエイト8の最後端のうち、地面Gに対して最も高い地上高(高さ)を最上部8Hとし、地面Gに対して最も低い地上高を最下部8Lとする。
フロント作業手段6は、上部旋回体3の前部に運転室5とほぼ並ぶようにして設けられており、ブーム10とアーム11とバケット12とを備えている。ブーム10は基端部が上部旋回体3のフレーム3aに連結ピンにより軸支されて俯抑動作可能となっている。ブーム10の先端にはアーム11が上下方向に回動可能に連結されており、アーム11の先端にはバケット12が回動可能に連結されている。ブーム10の俯抑動作はブームシリンダ10aを駆動することにより行われる。アーム11はアームシリンダ11aにより、バケット12はバケットシリンダ12aにより駆動される。バケット12は交換可能なフロントアタッチメントであり、基本的には土砂を掘削するために装着される。
油圧ショベル1にはそれぞれ異なる方向を撮影する撮影部としてのカメラ13が設置されている。ここでは、油圧ショベル1の後方を撮影する後方カメラ13B、左方を撮影する左方カメラ13L、右方を撮影する右方カメラ13R、前方を撮影する前方カメラ13Fを設置している。各カメラ13は光軸を斜め下方としている。つまり、各カメラ13のレンズの光軸が地面Gに対して角度θ(0度<θ<90度)を有している。図1では後方カメラ13Bについてのみ示しているが、他のカメラ13L、13R、13Fも同様である。
図1の例では、後方カメラ13Bはカウンタウエイト8の上部に設けられ、左方カメラ13Lは運転室5の上部に設けられ、右方カメラ13Rはカウンタウエイト8の上部に設けられ、前方カメラ13Fは運転室5の上部に設けられている。勿論、各カメラ13は任意の位置に設置されるものであってもよい。また、各カメラ13の視野範囲の両端が他のカメラ13の視野範囲とオーバーラップするように視野角や配設位置等が調整されている。例えば、後方カメラ13Bの視野範囲と左方カメラ13Lの視野範囲とはオーバーラップしており、後方カメラ13Bの視野範囲と右方カメラ13Rの視野範囲とはオーバーラップしている。これにより、各カメラ13の視野範囲の間に死角を生じないようにしている。
図2は、運転室5に設けられるモニタ15およびモニタ15の表示内容を制御する表示コントローラ16を示している。モニタ15は表示部17と操作部18とを有する表示装置である。表示部17は画面であり、表示コントローラ16から出力される画像を表示する。操作部18は表示部17の表示内容を操作するために設けられており、例えばボタン等が操作部18として設けられる。表示部17がタッチパネル式の場合には、操作部18を別途設ける必要がない。
表示コントローラ16は、画像補正部20と視点変換部21と合成俯瞰画像生成部22と地上高記憶部23と旋回半径演算部24と干渉範囲描画部25と表示画像生成部26とを備えている。画像補正部20は後方カメラ13B、左方カメラ13L、右方カメラ13Rおよび前方カメラ13Fと接続されており、各カメラ13が撮影している映像を取得する。そして、取得した映像(画像データ)に対して、カメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の各種の画像補正を行う。画像データはカメラ13ごとに生成されるため、画像補正部20は4枚の画像データに対して画像処理を行う。
視点変換部21は、画像補正部20が補正した画像データに対して視点変換処理を行う。図1に示したように、各カメラ13は斜め下方を光軸として撮影を行っている。視点変換部21は各カメラ13の視点を上方に仮想的に設定し、上方から見下ろした平面視の画像となるように座標変換を行う。各カメラ13は3次元的な空間を撮影しているが、図1に示すように、上方に視点を置いた仮想視点13Vから見下ろすような平面画像となるように(光軸が仮想的に垂直方向になるように)、座標変換を行う。これを視点変換処理とする。視点変換処理は各カメラ13の画像データについて行う。つまり、4枚の画像データに対して視点変換処理を行う。
後方カメラ13Bの画像データに対して視点変換処理を行った画像を後方俯瞰画像、左方カメラ13Lの画像データに対して視点変換処理を行った画像を左方俯瞰画像、右方カメラ13Rの画像データに対して視点変換処理を行った画像を右方俯瞰画像、前方カメラ13Fの画像データに対して視点変換処理を行った画像を前方俯瞰画像とする。これら4枚の俯瞰画像が合成俯瞰画像生成部22に出力される。
合成俯瞰画像生成部22は、4枚の俯瞰画像を合成して合成俯瞰画像を生成する。合成俯瞰画像は、油圧ショベル1をイメージ画像化した平面図の周囲に4枚の俯瞰画像を配置することで、俯瞰画像の合成を行う。具体的には、イメージ画像の後方に後方俯瞰画像、左方に左方俯瞰画像、右方に右方俯瞰画像、前方に前方俯瞰画像を配置する。これにより、油圧ショベル1のイメージ画像の周囲に4枚の俯瞰画像が合成されて合成俯瞰画像が生成される。この合成俯瞰画像は油圧ショベル1の上方に視点を置いた仮想的な平面視画像になる。合成俯瞰画像生成部22が生成した合成俯瞰画像は表示画像生成部26に出力される。
地上高記憶部23は予め所定の地上高(地面Gからの高さ)の情報が記憶されている。この地上高の情報は合成俯瞰画像の中でどの地上高の干渉範囲を描画するかを決定する情報である。地上高記憶部23は1つの地上高だけではなく、複数の異なる地上高を設定することができる。そして、任意の位置の地上高を設定することができる。
旋回半径演算部24は、合成俯瞰画像の中に描画する干渉範囲を旋回半径として演算する。旋回半径演算部24には視点変換部21から視点変換を行うときの情報、つまり座標変換を行うときの情報が入力されている。上部旋回体3の実際上での旋回半径をRとしたときにおいて、3次元の地上高の情報が2次元の平面視画像(俯瞰画像)になったときに、地上高に応じて油圧ショベル1の所定位置における見掛け上の旋回半径を演算することができる。前述したように、地上高記憶部23にはカウンタウエイト8の任意の地上高の情報が記憶されていることから、この地上高の情報に基づいて見掛け上の旋回半径を演算する。
干渉範囲描画部25は旋回半径演算部24により演算された旋回半径Rを入力する。前述したように、表示画像生成部26には合成俯瞰画像が入力されており、合成俯瞰画像の中の油圧ショベル1のイメージ画像を中心として、演算された旋回半径Rに基づく円を描画する。この円がカウンタウエイト8の任意の地上高の干渉範囲となる。
表示画像生成部26は、合成俯瞰画像に干渉範囲を描画した画像を表示画像として表示部17に出力する。表示部17は表示画像を表示する。これにより、モニタ15の表示部17をオペレータが視認すると、合成俯瞰画像により油圧ショベル1の周辺の状況を詳細に認識することができ、且つ油圧ショベル1のカウンタウエイト8の干渉範囲を認識することができる。
次に、動作について説明する。図3は、表示画像の一例として表示画像を示している。この表示画像を表示するための処理について説明する。油圧ショベル1に設けた各カメラ13は所定の撮影周期でそれぞれの視野範囲を撮影している。ここでは、4つのカメラ13を油圧ショベル1に設けて撮影を行っているが、運転室5の前方は視界が良好であることから、前方カメラ13Fは省略してもよい。
図2に示したように、4つのカメラ13(13B、13R、13L、13F)が撮影した映像は画像データとして画像補正部20に入力される。画像補正部20は4枚の画像データに対して、カメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の各種の画像補正を行う。補正後の4枚の画像データが視点変換部21に出力される。
視点変換部21は、補正後の4枚の画像データに対してそれぞれ視点変換処理を行う。前述したように、各カメラ13は3次元的な空間を撮影しているが、これを上方に視点を置いた仮想視点13V(光軸が垂直)からの視点から見下ろした画像になるように、4枚の画像データに対して座標変換を行う。これが視点変換処理になる。
図3の例のように、合成俯瞰画像Pは、油圧ショベル1をシンボル化したイメージ画像31の周囲に後方俯瞰画像32B、左方俯瞰画像31L、右方俯瞰画像31R、前方俯瞰画像31Fを配置した画像になっている。これにより、各俯瞰画像が合成され、合成俯瞰画像Pが生成される。運転室5に搭乗するオペレータは合成俯瞰画像Pを視認することで、油圧ショベル1の周囲の状況、特に何等かの障害物が周囲に存在しているときに、油圧ショベル1と障害物との距離感を直感的に且つ正確に認識することができる。また、同図では、油圧ショベル1に近接した位置にポール33が立設されている。
同図に示すように、イメージ画像31の周囲には干渉範囲40乃至44が描画されている。実線で示す干渉範囲40は、地上高ゼロ(H0)におけるカウンタウエイト8の旋回半径Rの円となっている。一方、一点鎖線で示したのは、見掛け上の干渉範囲41乃至44である。カメラ13の視野方向は斜め下方向であり、これを光軸が垂直方向となる仮想視点13Vとなるように視点座標を変換したために、仮想平面に投影される障害物であるポール33の地上高H1乃至H4(H1<H2<H3<H4)の位置を旋回中心からの距離を半径とした円が見掛け上の干渉範囲41乃至44となる。要するに、油圧ショベル1の旋回時において、地面G上、つまり地上高H0での旋回半径をRとしたときに、カメラ13の視線方向の角度に応じて俯瞰画像に表示される旋回半径が変化する。地上高H1乃至H4が仮想平面として、それぞれの地上高H1乃至H4と干渉範囲41乃至44のデータは地上高記憶部23に記憶させておく。ここで、地上高H4はカウンタウエイト8の最後端の最上部8Hの高さとなっている。そして、地上高H2、H3は地上高H1と地上高H4との間に等間隔に設定した地上高となっている。これらの地上高は予め人手により設定されるものであってもよいし、自動的に設定されるものであってもよい。
フロント作業手段6を除けば、油圧ショベル1が旋回したときに、最も外側を旋回するのはカウンタウエイト8の最後端である。フロント作業手段6は運転室5の前方にあり、オペレータの目視によりフロント作業手段6と何等かの障害物とが干渉するか否かの判断はある程度可能である。しかし、油圧ショベル1の後部のカウンタウエイト8が旋回したときに、カウンタウエイト8と何等かの障害物とが干渉するか否かを目視により判断することは難しい。
このために、合成俯瞰画像Pを表示部17に表示して、オペレータが視認をすることで、カウンタウエイト8と何等かの障害物とが干渉するか否かをある程度は判断することができる。ただし、前述したように、合成俯瞰画像Pは3次元的な映像を2次元的な平面画像に座標変換した画像であり、油圧ショベル1の中心から等距離にあるカウンタウエイト8の最後端であっても、地上高によって合成俯瞰画像Pの中での干渉範囲が異なる。このため、合成俯瞰画像Pを表示するだけでは、カウンタウエイト8と何等かの障害物とが干渉するか否かを判断することが難しい。
そこで、旋回半径演算部24は、地上高記憶部23から4つの地上高H1乃至H4の情報を入力して、実際の旋回半径Rに対して、視点変換した合成俯瞰画像P上での地上高H1乃至H4での見掛け上の旋回半径R1乃至R4を演算する。このときに、旋回半径演算部24は視点変換部21から座標変換を行うための演算手法を入力し、入力した演算手法に基づいて、4つの地上高H1乃至H4における見掛け上の旋回半径R1乃至R4を演算する。地上高H1の見掛け上の旋回半径をR1、地上高H2の見掛け上の旋回半径をR2、地上高H3の見掛け上の旋回半径をR3、地上高H4の見掛け上の旋回半径をR4としたとき、「H1<H2<H3<H4」の関係となっていることから、「R1<R2<R3<R4」となる。要するに、これは、視点変換部21が3次元的な空間を座標変換して得られる2次元的な俯瞰画像は、地上高が低いほど見掛け上の旋回半径は小さくなり、地上高が高いほど見掛け上の旋回半径は大きくなるためである。つまり、カメラの光軸角度をある角度だけ傾けた状態で取得した画像に基づいて俯瞰画像を形成すると、被写体の高さが旋回中心からの距離に変換されて表示されることになり、この被写体の高さは旋回中心を中心とした半径として表されることを意味している。
従って、旋回半径演算部24により、油圧ショベル1のカウンタウエイト8の最後端における地上高H1乃至H4に応じた見掛け上の旋回半径R1乃至R4を得ることができる。そして、旋回半径演算部24が演算した4つの見掛け上の旋回半径R1乃至R4の情報が干渉範囲描画部25に出力される。
表示画像生成部26には合成俯瞰画像生成部22から合成俯瞰画像が入力されており、干渉範囲描画部25は4つの見掛け上の旋回半径R1乃至R4に基づいて、4つの干渉範囲41乃至44(図中の一定鎖線の円)を描画する。つまり、図1に示すように、見掛け上の旋回半径R1の旋回軌跡の円を干渉範囲41、旋回半径R2の旋回軌跡の円を干渉範囲42、見掛け上の旋回半径R3の旋回軌跡の円を干渉範囲43、見掛け上の旋回半径R4の円を干渉範囲44として描画する。
次に、干渉範囲41〜44と油圧ショベル1の実際の地上高との関係を説明する。図4(a)は合成俯瞰画像Pの一部を示しており、同図(b)は実際の油圧ショベル1を後方から見た図である。そして、同図(a)の干渉範囲41乃至44と同図(b)の実際の油圧ショベル1との関係を示している。
図4(b)に示すように、円柱状のポール33は垂直に立設しているが、同図(a)では、ポール33は歪んで表示される。これは、視点変換部21で3次元的な視点から2次元的な俯瞰画像に変換することに起因する。同図(b)に示すように、実際にはポール33は垂直に立設しているため、地上高H1〜H4は油圧ショベル1の中心から全て等距離に存在している。しかしながら、同図(a)の合成俯瞰画像Pでは、座標変換がされているため、地上高H1乃至H4ではそれぞれ見掛け上の旋回半径(R1乃至R4)の大きさが異なる円になる。
同図(a)に示したように、干渉範囲41〜44は合成俯瞰画像Pにおける地上高H1乃至H4のそれぞれの干渉範囲、つまりカウンタウエイト8の最後端の旋回軌跡を示している。従って、干渉範囲41乃至44と障害物とが接触している場合、または干渉範囲41〜44よりも障害物が内側に存在している場合には、カウンタウエイト8と障害物とは干渉する。同図(a)の場合は、油圧ショベル1が旋回したときに、カウンタウエイト8とポール33とが全ての高さH1乃至H4で干渉する。一方、障害物が干渉範囲41乃至44より外側にあれば、カウンタウエイト8と障害物とは干渉することはない。
従って、合成俯瞰画像に任意の地上高における干渉範囲を描画した表示画像をモニタ15の表示部17に表示することで、運転室5に搭乗するオペレータは油圧ショベル1の周囲の状況を詳細に認識できる。これと共に、座標変換がされた合成俯瞰画像では把握が難しかった地上高に応じた干渉範囲を明示的に描画することで、オペレータは直感的に且つ正確に障害物と干渉するか否かを判断することができる。
以上において、干渉範囲41乃至44は円周の例を示したが、円弧でもよい。例えば、カウンタウエイト8が旋回しない範囲においては、干渉範囲41乃至44を表示する必要がなく、円弧として表示するようにしてもよい。また、干渉範囲41乃至44は実際には円周であるが、表示部17の画面サイズの問題から、干渉範囲41乃至44の全てを表示できないような場合には、部分的に干渉範囲41乃至44を非表示にする。このときには、表示部17には干渉範囲41乃至44は円弧で表示される。
また、図3および図4の例では、地上高H1乃至H4に応じた干渉範囲41乃至44を合成俯瞰画像Pに描画していたが、1つの干渉範囲だけを描画してもよい。例えば、地上高H4の干渉範囲44だけを描画してもよい。地上高H4はカウンタウエイト8の最後端の最上部8Hの地上高である。そして、カウンタウエイト8の最後端の最上部8Hより上方は格別の部材が存在していないことから、カウンタウエイト8の最後端の最上部8Hよりも上方で何等かの障害物と干渉することはない。
そこで、少なくともカウンタウエイト8の最後端の最上部8H(地上高H4)における干渉範囲44を描画しておけば、カウンタウエイト8に何等かの障害物が干渉する可能性がないことをオペレータは認識することができる。一方、カウンタウエイト8の最後端の最下部8Lよりも下部の空間も格別の部材が存在しないため、ここに障害物が存在したとしても、障害物の地上高がH1よりも低ければ、カウンタウエイト8の旋回時に障害物と干渉することはない。そこで、干渉範囲41および44を描画することで、干渉範囲41と44との範囲内においては、カウンタウエイト8の旋回時に障害物と干渉するおそれがあり、それ以外の範囲では干渉するおそれがないことを認識することができる。勿論、図3および図4(a)のように、干渉範囲41と44との間に等間隔に干渉範囲42および43を描画するようにしてもよい。
次に、図5を用いて、変形例1について説明する。変形例1では、障害物をダンプトラック50としている。前述したように、油圧ショベル1は土砂を掘削する作業機械であり、掘削した土砂はダンプトラック50により運搬される。このために、油圧ショベル1に対して所定位置でダンプトラック50を停止させる。そして、油圧ショベル1が掘削した掘削物をダンプトラック50のベッセル51に移載するために、油圧ショベル1は旋回する。バケット12の掘削物をベッセル51に放土した後に、油圧ショベル1は再び旋回して、掘削を開始する。
ダンプトラック50のベッセル51の積載量が所定量になったときに、掘削物の積込作業を停止して、ダンプトラック50は所定の集積場まで走行をする。そして、ベッセル51が空になっている別のダンプトラック50が油圧ショベル1に対して所定位置で停止して、掘削物の積載が行われる。以上の動作が繰り返して行われる。このために、1台の油圧ショベル1に対して複数台(例えば、4台乃至5台)のダンプトラック50がグループ化されて運用される。通常は、同じグループのダンプトラック50は全て同種のものが使用される。つまり、1台の油圧ショベル1に対して同種のダンプトラック50が1つのグループを構成して、所定の作業を行う。
前述したダンプトラック50を、以下、大型ダンプトラック50とする(勿論、小型や中型、超大型等であってもよい)。同図(b)に示すように、大型ダンプトラック50は後方から油圧ショベル1に接近する。これは、大型ダンプトラック50のベッセル51に掘削物を積載するためである。ベッセル51は後方に向けて突出しており、ベッセル51の最後端(ベッセル最後端52)が大型ダンプトラック50の最後端となる。従って、油圧ショベル1に最初に干渉するのは、ベッセル最後端52となる。換言すれば、ベッセル最後端52が障害物となる。
油圧ショベル1に対して大型ダンプトラック50は後進して接近する。そして、大型ダンプトラック50のうち最も後方に突出している部位がベッセル最後端52になる。よって、油圧ショベル1が旋回したときに、カウンタウエイト8と接近する部位はベッセル最後端52になる。従って、油圧ショベル1を旋回させたときの干渉範囲はベッセル最後端52を基準に決定する必要がある。このため、ベッセル最後端52の地上高を油圧ショベル1側で認識する必要がある。
ところで、前述したように、複数の大型ダンプトラック50と油圧ショベル1とはセットで運用され、油圧ショベル1は大型ダンプトラック50の種類を予め認識することができる。このため、ベッセル最後端52の地上高も既知の情報として認識することができる。そこで、図2に示した地上高記憶部23に予め大型ダンプトラック50のベッセル最後端52の地上高(H5とする)を記憶する。
旋回半径演算部24は地上高H5に基づいて、見掛け上の旋回半径R5を演算する。そして、干渉範囲描画部25がこの見掛け上の旋回半径R5による円周の干渉範囲45を合成俯瞰画像Pに描画する。これにより、モニタ15の表示部17には、干渉範囲45が描画された合成俯瞰画像Pが表示される。干渉範囲45は大型ダンプトラック50の地上高H5に応じた範囲であり、油圧ショベル1のオペレータは、ベッセル最後端52が干渉範囲45の内側に入っている場合、またはベッセル最後端52と干渉範囲45とが接触している場合には、カウンタウエイト8を旋回させたときに、図5に一点鎖線で示したようにベッセル最後端52がカウンタウエイト8の旋回軌跡の範囲内に位置することになり、カウンタウエイト8とベッセル最後端52とが干渉することを認識する。
この場合、油圧ショベル1のオペレータは、カウンタウエイト8を旋回させず、大型ダンプトラック50のオペレータに対して、油圧ショベル1から離間するように指示を出す。このとき、少なくともベッセル最後端52が干渉範囲45よりも外側に位置するまで離間させるように指示を出す。これにより、カウンタウエイト8を旋回させても、カウンタウエイト8とベッセル最後端52とが干渉しなくなる。この状態で、油圧ショベル1のオペレータは、油圧ショベル1を旋回させる操作を行って、掘削物をベッセル51に移載する。
次に、図6を用いて、小型ダンプトラック60を用いた場合を説明する。図6の小型ダンプトラック60は、図5で示した大型ダンプトラック50よりも小さい。従って、ベッセル61の最後端(ベッセル最後端62)の地上高H6も、大型ダンプトラック50のベッセル最後端52の地上高H5よりも低い。このため、小型ダンプトラック60の干渉範囲46の半径R6は大型ダンプトラック50の干渉範囲45の半径R5よりも小さくなる。従って、同図では、小型ダンプトラック60は干渉範囲46に接する直前まで油圧ショベル1に接近することができる。
前述したように、大型ダンプトラック50のベッセル最後端52と小型ダンプトラック60のベッセル最後端62とでは、その高さが異なる。つまり、「H5>H6」となる。これにより、半径R5、R6が異なることから、大型ダンプトラック50の干渉範囲45は小型ダンプトラック60の干渉範囲46よりも大きくなる。このように、ベッセル最後端52、62により干渉範囲45、46の大きさが変化するため、ダンプトラックの種類に応じた最適な干渉範囲を描画するようにする。ダンプトラックの種類は既知であるため、この既知の情報を地上高記憶部23に予め記憶させておけば、最適な干渉範囲を描画することが出来る。
ところで、前述したように、1台の油圧ショベル1には同種のダンプトラックが1つのグループを構成することが一般的であることを述べた。しかし、1台の油圧ショベル1に異なる種類のダンプトラックが割り当てられて1つのグループを構成する場合もある。例えば、図7に示すように、油圧ショベル1に対して大型ダンプトラック50および小型ダンプトラック60が割り当てられて1つのグループを構成する場合もある。
この場合、大型ダンプトラック50と小型ダンプトラック60との2種類が混在しており、大型ダンプトラック50の干渉範囲45と小型ダンプトラック60の干渉範囲46とでは大きさが異なる。そこで、図8および図9に示すように、干渉範囲45および干渉範囲46の2つを合成俯瞰画像に描画する。図8は、大型ダンプトラック50のベッセル51に対して油圧ショベル1が掘削物を移載する場合を示している。また、図9は小型ダンプトラック60のベッセル61に対して油圧ショベル1が掘削物を移載する場合を示している。
図8および図9に示すように、干渉範囲描画部25は2種類の干渉範囲45および46を合成俯瞰画像Pに描画する。油圧ショベル1の運転室5に搭乗するオペレータは、目視により、大型ダンプトラック50と小型ダンプトラック60との何れの種類に掘削物を移載するかを認識することができる。当該オペレータは、大型ダンプトラック50に掘削物を移載する場合には、干渉範囲45を参照して、旋回時にカウンタウエイト8とベッセル最後端52とが干渉するか否かを認識する。つまり、図8に示すように、合成俯瞰画像Pの中でベッセル最後端52が干渉範囲45と接触し、またはベッセル最後端52が干渉範囲45よりも内側にあるときにカウンタウエイト8が旋回すると、カウンタウエイト8とベッセル最後端52とが干渉することを認識する。
一方、小型ダンプトラック60に掘削物を移載する場合は、そのことをオペレータが目視して認識し、干渉範囲44を参照して、旋回時にカウンタウエイト8とベッセル最後端62とが干渉するか否かを認識する。つまり、図9に示すように、合成俯瞰画像Pの中でベッセル最後端62が干渉範囲46と接触し、またはベッセル最後端62が干渉範囲46よりも内側にあるときにカウンタウエイト8が旋回すると、カウンタウエイト8とベッセル最後端62とが干渉することを認識する。そして、図9に示すように、小型ダンプトラック60のベッセル最後端62は干渉範囲45、つまり大型ダンプトラック50のベッセル最後端52の干渉範囲45よりも内側に入っている。しかし、小型ダンプトラック60のベッセル最後端62が干渉範囲45の内側に入っていたとしても、干渉範囲46よりも外側に位置していれば、干渉することはない。
次に、変形例2について説明する。前述したように、1つの油圧ショベル1に対して大型ダンプトラック50と小型ダンプトラック60とが混在している場合、干渉範囲描画部25は干渉範囲45および46の2種類を合成俯瞰画像に描画していたが、この場合、油圧ショベル1のオペレータは、大型ダンプトラック50と小型ダンプトラック60とのうち何れに掘削物の移載を行うかを目視により認識していた。
本変形例2では、オペレータの目視を必要とすることなく、異なる種類のダンプトラックの干渉範囲を自動的に1つだけ表示するようにする。図10は変形例2のブロック図を示している。図2に対して、表示コントローラ16は無線通信部27を新たに備えている。また、ダンプトラック(大型ダンプトラック50および小型ダンプトラック60)は無線通信部28を備えている。そして、無線通信部27と28との間で無線通信が行われる。
ダンプトラックの無線通信部28は、自身のダンプトラックの種類の情報を無線により油圧ショベル1の無線通信部27に通信する。これにより、無線通信部27はダンプトラックの種類を認識することができる。ここでは、大型ダンプトラック50であるか、または小型ダンプトラック60であるかが認識される。ダンプトラックの種類の情報は干渉範囲描画部25に出力される。干渉範囲描画部25は、入力したダンプトラックの種類が大型ダンプトラック50であれば干渉範囲45を合成俯瞰画像Pに描画し、小型ダンプトラック60であれば干渉範囲46を合成俯瞰画像Pに描画する。
このように、油圧ショベル1とダンプトラックとが無線通信を行うことで、ダンプトラックの種類を油圧ショベル1の側で識別することができ、識別した種類に応じた干渉範囲45、46を合成俯瞰画像Pに描画することができる。ここで、油圧ショベル1の側からダンプトラックに対して所定の情報を無線により通信することができる。従って、表示画像生成部26が生成する表示画像をダンプトラックに無線通信することもできる。
ダンプトラックにもモニタが備えられており、このモニタの表示部に無線通信された表示画像を表示することで、自身のダンプトラックのベッセル最後端が干渉範囲に対してどの位置にあるかを認識することができる。従って、ベッセル最後端が干渉範囲に接している場合や干渉範囲の内側に入っている場合は、ダンプトラックのオペレータは、油圧ショベル1から離間させるように移動させる。これにより、ダンプトラックのベッセル最後端を干渉範囲外に移動させることができ、油圧ショベル1のカウンタウエイト8の旋回時に干渉することがなくなる。
次に、変形例3について説明する。この変形例3では、表示画像生成部26が、合成俯瞰画像Pに干渉範囲を描画するときに、干渉範囲に地上高の情報を付加している。図11に示すように、大型ダンプトラック50のベッセル最後端52の干渉範囲45と小型ダンプトラック60のベッセル最後端62の干渉範囲46とが合成俯瞰画像Pに描画されている。干渉範囲45は地上高記憶部23に記憶されているベッセル最後端52の地上高H5に基づいて、干渉範囲46は地上高記憶部23に記憶されているベッセル最後端62の地上高H6に基づいて描画されている。
よって、地上高記憶部23に記憶されている地上高H5およびH6の情報に基づいて、干渉範囲45および46に地上高の情報を付加することができる。図11の場合、地上高H5は4000cm、地上高H6は3000cmとして示している。これにより、油圧ショベル1のオペレータは、干渉範囲45および46のそれぞれの地上高を認識することができる。
ところで、図11に示すように、合成俯瞰画像Pには大型ダンプトラック50の一部が表示されている。掘削物をベッセル51に移載する前には、ベッセル51には掘削物が積載されておらず、ベッセル51の表面が露出している状態になる。そこで、予めベッセル51の表面にベッセル最後端52の地上高の情報(図11では4000cm)を描いておく。これにより、モニタ15の表示部17に表示されている画面、つまり合成俯瞰画像Pに干渉範囲45、46を描画した表示画像をオペレータが視認したときに、ベッセル51の表面に描かれたベッセル最後端52の地上高の情報を認識することができる。そして、合成俯瞰画像Pには干渉範囲45が描画されているため、ベッセル51の表面に描かれた情報(4000cm)と干渉範囲の情報(4000cm)とに基づいて、両者が同じ地上高であることを認識できる。従って、合成俯瞰画像に干渉範囲45および46が描画されていたとしても、カウンタウエイト8と干渉するおそれがあるのは、干渉範囲45であることを認識することができる。
次に、変形例4について説明する。変形例4では、油圧ショベル1が掘削した掘削物を移載するダンプトラックは、図12に示すように、超大型ダンプトラック70であるとする。超大型ダンプトラック70はベッセル71が取り付けられており、油圧ショベル1の掘削物を積載する。ただし、超大型ダンプトラック70のベッセル最後端72は、油圧ショベル1のカウンタウエイト8の最上部8H(地上高H4)よりも高い位置にあり、旋回装置4によりカウンタウエイト8が旋回したとしても、カウンタウエイト8とベッセル最後端72とは干渉しない。
超大型ダンプトラック70はフレーム73により基本的な枠組みが構成されており、フレーム73の上部にベッセル71が取り付けられている。従って、超大型ダンプトラック70の場合、フレーム73のフレーム最後端74の地上高H7がカウンタウエイト8と干渉する可能性がある。つまり、フレーム最後端74の地上高H7は、カウンタウエイト8の最上部の地上高H4と最下部の地上高H1との間にある。このような場合、ベッセル最後端72ではなく、フレーム最後端74を基準にする。
従って、油圧ショベル1とグループを構成するダンプトラックが超大型ダンプトラック70である場合には、地上高記憶部23には超大型ダンプトラック70のフレーム最後端74の地上高H7を記憶しておき、旋回半径演算部24は地上高H7に応じた旋回半径R7を演算する。そして、旋回半径R7に基づいて、干渉範囲描画部25が干渉範囲47を描画する。これにより、カウンタウエイト8が旋回したときに、カウンタウエイト8とフレーム最後端74とが干渉するか否かを判断することができる。
また、図12では、フレーム最後端74を他のフレーム部分とは異なる色に着色している。これにより、表示画像を視認したときに、フレーム最後端74と干渉範囲47との位置関係を明確に認識することができる。着色されたフレーム最後端74の部位が明瞭に認識できるため、フレーム最後端74と干渉範囲47とが干渉するか否かを一見して明確に把握することができる。
図13は、合成俯瞰画像に複数の干渉範囲を描画した例を示している。図6に示したように、小型ダンプトラック60の場合、カウンタウエイト8の旋回時にベッセル最後端62がカウンタウエイト8と干渉する可能性がある。このため、干渉範囲描画部25は、図6で示した干渉範囲46を描画している。一方、超大型ダンプトラック70の場合、カウンタウエイト8の旋回時にフレーム最後端74がカウンタウエイト8と干渉する可能性がある。このため、干渉範囲描画部25は、図11で示した干渉範囲47を描画している。
従って、図13に示したように、小型ダンプトラック60ではベッセル最後端62の地上高H6に対応した干渉範囲46を描画し、超大型ダンプトラック70ではフレーム最後端74の地上高H7に対応した干渉範囲47を描画することで、ダンプトラックのうちカウンタウエイト8の旋回時に干渉するおそれのある部位の干渉範囲を自動的に描画することができる。
次に、変形例5について説明する。前述した各変形例では、カウンタウエイト8を旋回させたときにカウンタウエイト8とダンプトラックのベッセル最後端またはフレーム最後端と干渉する範囲を干渉範囲として描画していた。本変形例5では、油圧ショベル1からダンプトラック(ここでは、大型ダンプトラック50とする)に掘削物を移載する理想的な範囲を描画している。
図14は、図2の表示コントローラ16の干渉範囲描画部25の代わりに積込理想範囲描画部81を新たに追加している。積込理想範囲は、油圧ショベル1の掘削物をベッセル51に積み込むために大型ダンプトラック50を停止させる理想的な位置を示している。大型ダンプトラック50はベッセル最後端52が干渉範囲45よりも外側に位置していれば、ベッセル最後端52とカウンタウエイト8とが干渉することはない。従って、ベッセル最後端52が干渉範囲45にほぼ接する程度にまで大型ダンプトラック50を接近させることができる。
ただし、ベッセル最後端52が干渉範囲45の外側に位置していたとしても、大型ダンプトラック50を油圧ショベル1に過剰に近接させると、油圧ショベル1から大型ダンプトラック50のベッセル51に掘削物を積み込む積込作業が難しくなる場合がある。積込理想範囲は、油圧ショベル1から掘削物を大型ダンプトラック50に積み込むときに、積込作業を行うための理想的な大型ダンプトラック50の位置に基づいて、そのときのベッセル最後端52の地上高に応じた範囲を積込理想範囲とする。この積込理想範囲に基づいて、積込理想範囲描画部81は積込理想範囲を描画する。積込理想範囲も合成俯瞰画像Pに円として描画され、その半径は干渉範囲45の半径よりも長くなっている。
ところで、前述した実施形態においては、旋回式作業機械である油圧ショベル1と障害物であるダンプトラック50(若しくはダンプトラック60,70)とが同じ平面(地面G)に位置しているものとしたが、油圧ショベル1が位置する地面とダンプトラック50が位置する地面とに高さの差があることもある。ただし、地面の高さに差があっても、油圧ショベル1とダンプトラック50とが平面方向において位置が変化しない限り、干渉する範囲は同じであるが、合成俯瞰画像P上に描画されている見掛け上の旋回半径R5の干渉範囲45は正確なものではない。
即ち、図15に示したように、油圧ショベル1が地面G1上に位置しており、ダンプトラック50が地面G2に位置しており、この地面G1は地面G2より高さΔHだけ高いものであっても、また低い状態となっていても、油圧ショベル1とダンプトラック50との平面上の位置関係が図5で示した同一地面G上に位置している場合と同様である。
しかしながら、図15に示したように、左方カメラ13Lで取得したダンプトラック50のベッセル最後端52の画像上の位置は、図5に示した位置からΔLだけ油圧ショベル1の側にずれて表示されることになり、その結果合成俯瞰画像Pに干渉範囲45が表示されと、油圧ショベル1が旋回したときには、ダンプトラック50と接触するように表示されてしまう。このような事態が生じるのは、視点変換処理において、カメラ13Lの高さ位置から被写体平面への光軸中心線のなす角度とダンプトラック50高さ位置との関係が変化したことに基づくものである。
そこで、合成俯瞰画像Pに表示される油圧ショベル1とダンプトラック50との間に高さの差がある場合に、画像に表示される干渉範囲を正確に表示するには、油圧ショベル1とダンプトラック50とが同じ平面に位置している場合の干渉範囲45から修正変更して、図15に示したように、それらの高さの差ΔHに基づいて干渉範囲145となるように補正する。この補正は実測により行うか、または計算に基づいて行うことができる。
さらに、油圧ショベル1とダンプトラック50とが同じ平面に位置していても、ダンプトラック50のベッセル最後端位置の高さが変化することがある。即ち、ベッセル51に土砂が投入される前の空荷状態と、土砂を満載した状態とでは、タイヤの圧縮度合いおよびサスペンションによる懸架重量によりベッセル最後端52の高さ位置が変化する。このために、満杯状態のベッセル最後端が合成俯瞰画像P上では、空荷状態で設定した干渉範囲45(または145)の内部に入り込んでしまう。
そこで、油圧ショベル1を操作するオペレータが混乱するのを防止するために、図16に示したように、干渉範囲245に幅を持たせて、外周側端を空荷状態での干渉領域、内周側は満杯状態での干渉領域として設定することができる。
1 油圧ショベル
4 旋回装置
5 運転室
8 カウンタウエイト
13 カメラ
15 モニタ
16 表示コントローラ
17 表示部
20 画像補正部
21 視点変換部
22 合成俯瞰画像生成部
23 地上高記憶部
24 旋回半径演算部
25 干渉範囲描画部
26 表示画像生成部
27、28 無線通信部
31 イメージ画像
40〜47,145,245 干渉範囲
50 大型ダンプトラック
52 ベッセル最後端
60 小型ダンプトラック
62 ベッセル最後端
70 超大型ダンプトラック
72 ベッセル最後端
73 フレーム
74 フレーム最後端
H1〜H7 地上高
P 合成俯瞰画像
R1〜R7 旋回半径

Claims (9)

  1. 旋回式作業機械に設置され、それぞれ異なる方向の斜め下方を撮影する複数の撮影部と、
    各撮影部が撮影した画像データに対して、それぞれ上方から見下ろした俯瞰画像となるように座標変換を行う視点変換部と、
    前記旋回式作業機械のイメージ画像の周囲に前記俯瞰画像を配置して合成俯瞰画像を生成する合成俯瞰画像生成部と、
    前記合成俯瞰画像に対して、前記旋回式作業機械を旋回させたときに、周囲の障害物と干渉する干渉範囲を地上高に応じて描画する干渉範囲描画部と、
    前記干渉範囲が描画された前記合成俯瞰画像を表示画像として生成する表示画像生成部と、
    前記表示画像を表示する表示装置と、
    を備えた旋回式作業機械の周囲監視装置。
  2. 前記干渉範囲描画部は、前記旋回式作業機械としての油圧ショベルのカウンタウエイトの最後端のうち地上高が最も高い最上部と最も低い最下部との2つの前記干渉範囲を描画する
    請求項1記載の旋回式作業機械の周囲監視装置。
  3. 前記干渉範囲描画部は、前記最も高い地上高の前記干渉範囲と前記最も低い地上高の前記干渉範囲との間に等間隔に複数の前記干渉範囲を描画する
    請求項2記載の旋回式作業機械の周囲監視装置。
  4. 前記干渉範囲描画部は、前記旋回式作業機械としての油圧ショベルの掘削物を運搬するダンプトラックのうち最も前記油圧ショベルに近接する部位の地上高の前記干渉範囲を描画する
    請求項1記載の旋回式作業機械の周囲監視装置。
  5. 前記ダンプトラックのうち最も前記油圧ショベルに近接する部位は、前記ダンプトラックのベッセルの最後端またはフレームの最後端である
    請求項4記載の旋回式作業機械の周囲監視装置。
  6. 異なる種類の前記ダンプトラックから当該ダンプトラックの種類を識別する情報を無線通信により受信する無線通信部を備え、
    前記干渉範囲描画部は、前記ダンプトラックの種類に応じた前記ベッセルの最後端または前記フレームの最後端における地上高の前記干渉範囲を描画する
    請求項5記載の旋回式作業機械の周囲監視装置。
  7. 前記表示画像生成部は、前記干渉範囲の地上高の数値を当該干渉範囲に描画する
    請求項1乃至6のうち何れか1項に記載の旋回式作業機械の周囲監視装置。
  8. 前記旋回式作業機械の位置と前記障害物の位置との間で高さの差がある場合に、前記干渉範囲描画部には、この高さの差に基づいて、前記表示装置に表示されている前記合成俯瞰画像の前記干渉範囲の表示位置を調整する
    請求項1記載の旋回式作業機械の周囲監視装置。
  9. 前記障害物の高さ位置が変化する場合に、前記表示画像生成部では、前記干渉範囲を、変化する高さの上限値と下限値との間の幅を持った表示とする
    請求項1記載の旋回式作業機械の周囲監視装置。
JP2014560824A 2013-02-08 2014-02-07 旋回式作業機械の周囲監視装置 Active JP6173358B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013023720 2013-02-08
JP2013023720 2013-02-08
PCT/JP2014/052942 WO2014123228A1 (ja) 2013-02-08 2014-02-07 旋回式作業機械の周囲監視装置

Publications (2)

Publication Number Publication Date
JPWO2014123228A1 true JPWO2014123228A1 (ja) 2017-02-02
JP6173358B2 JP6173358B2 (ja) 2017-08-02

Family

ID=51299818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014560824A Active JP6173358B2 (ja) 2013-02-08 2014-02-07 旋回式作業機械の周囲監視装置

Country Status (5)

Country Link
US (2) US20160006947A1 (ja)
EP (1) EP2955914B1 (ja)
JP (1) JP6173358B2 (ja)
CN (1) CN104969544B (ja)
WO (1) WO2014123228A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768583B2 (en) * 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
CN104487996A (zh) * 2013-07-30 2015-04-01 株式会社小松制作所 矿山机械的管理系统以及管理方法
JP6407663B2 (ja) * 2014-10-30 2018-10-17 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の操縦システム
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
WO2016157463A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
WO2017026469A1 (ja) * 2015-08-10 2017-02-16 住友建機株式会社 ショベル
WO2016047806A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 クローラ式作業機械の周辺監視装置
US10544012B2 (en) 2016-01-29 2020-01-28 Manitowoc Crane Companies, Llc Visual outrigger monitoring system
JP6681747B2 (ja) * 2016-03-02 2020-04-15 株式会社神戸製鋼所 アタッチメント認識装置
US10590629B2 (en) * 2016-03-29 2020-03-17 Komatsu Ltd. Working vehicle
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
JP6306115B2 (ja) * 2016-09-21 2018-04-04 株式会社小松製作所 クローラ式作業機械の周辺監視装置
JPWO2018084161A1 (ja) * 2016-11-01 2019-09-26 住友建機株式会社 建設機械用安全管理システム、管理装置
WO2018084146A1 (ja) * 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
US11130658B2 (en) 2016-11-22 2021-09-28 Manitowoc Crane Companies, Llc Optical detection and analysis of a counterweight assembly on a crane
JP6909641B2 (ja) * 2017-05-31 2021-07-28 株式会社小松製作所 表示システム
JP6960802B2 (ja) * 2017-08-24 2021-11-05 日立建機株式会社 作業機械の周囲監視装置
JP6898816B2 (ja) * 2017-09-15 2021-07-07 株式会社小松製作所 表示システム、表示方法、及び表示装置
JP7103796B2 (ja) 2018-01-31 2022-07-20 株式会社小松製作所 作業機械
JP7091896B2 (ja) * 2018-07-12 2022-06-28 コベルコ建機株式会社 旋回式作業機械の安全装置
JP7239291B2 (ja) * 2018-09-28 2023-03-14 株式会社小松製作所 作業車両の周辺監視システム及び作業車両の周辺監視方法
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
CN109826255A (zh) * 2019-02-14 2019-05-31 青岛雷沃工程机械有限公司 一种装载机电气系统
JP7231444B2 (ja) * 2019-03-04 2023-03-01 日立建機株式会社 作業機械
US20220329731A1 (en) * 2019-09-20 2022-10-13 Wise Automotive Corporation Front image generation device for heavy equipment
JP7145137B2 (ja) * 2019-09-30 2022-09-30 日立建機株式会社 作業機械の制御装置
US11647686B2 (en) * 2020-03-26 2023-05-16 Deere & Company System and method for communicating the presence of proximate objects in a working area
JP7460416B2 (ja) * 2020-03-27 2024-04-02 住友重機械建機クレーン株式会社 クレーン及びクレーンの監視装置
DE102020214291B3 (de) * 2020-11-13 2022-03-17 Tadano Faun Gmbh Kran, insbesondere Mobilkran

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005188160A (ja) * 2003-12-26 2005-07-14 Hitachi Constr Mach Co Ltd 旋回式作業車両の後方視野表示装置
JP2010053588A (ja) * 2008-08-28 2010-03-11 Hitachi Constr Mach Co Ltd 建設機械
JP2010117882A (ja) * 2008-11-13 2010-05-27 Hitachi Constr Mach Co Ltd 現場内監視システム
JP2010148058A (ja) * 2008-12-22 2010-07-01 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2012036645A (ja) * 2010-08-06 2012-02-23 Ohbayashi Corp 積込量管理システム及び積込量管理方法
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169948B1 (en) * 1996-06-26 2001-01-02 Hitachi Construction Machinery Co., Ltd. Front control system, area setting method and control panel for construction machine
JPH11296229A (ja) * 1998-02-13 1999-10-29 Komatsu Ltd 車両の誘導装置
JP4776491B2 (ja) * 2006-10-06 2011-09-21 日立建機株式会社 作業機械の周囲監視装置
DE112011100394B4 (de) * 2010-05-17 2016-06-30 Komatsu Ltd. Hydraulikbagger und steuerverfahren für einen hydraulikbagger
JP2012174929A (ja) 2011-02-22 2012-09-10 Techno Polymer Co Ltd 太陽電池用裏面保護フィルム及び太陽電池モジュール
EP2511677B1 (en) * 2011-04-12 2020-08-19 Tamtron Oy Monitoring system for a material transfer vehicle
CN102244771B (zh) * 2011-04-18 2013-08-28 北京中矿华沃科技股份有限公司 一种基于图像的露天矿挖掘机装车过程的监控方法和装置
CN202248033U (zh) * 2011-09-14 2012-05-30 鞍钢集团矿业公司 电铲回转区域监控装置
CN202627038U (zh) * 2012-04-13 2012-12-26 云南建工水利水电建设有限公司 一种具有监控功能的挖掘机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005188160A (ja) * 2003-12-26 2005-07-14 Hitachi Constr Mach Co Ltd 旋回式作業車両の後方視野表示装置
JP2010053588A (ja) * 2008-08-28 2010-03-11 Hitachi Constr Mach Co Ltd 建設機械
JP2010117882A (ja) * 2008-11-13 2010-05-27 Hitachi Constr Mach Co Ltd 現場内監視システム
JP2010148058A (ja) * 2008-12-22 2010-07-01 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2012036645A (ja) * 2010-08-06 2012-02-23 Ohbayashi Corp 積込量管理システム及び積込量管理方法
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置

Also Published As

Publication number Publication date
JP6173358B2 (ja) 2017-08-02
EP2955914B1 (en) 2018-10-17
EP2955914A1 (en) 2015-12-16
CN104969544B (zh) 2018-02-27
WO2014123228A1 (ja) 2014-08-14
US10506179B2 (en) 2019-12-10
EP2955914A4 (en) 2016-09-21
CN104969544A (zh) 2015-10-07
US20190037148A1 (en) 2019-01-31
US20160006947A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
JP6173358B2 (ja) 旋回式作業機械の周囲監視装置
US10927527B2 (en) Periphery monitoring device for crawler-type working machine
JP6204884B2 (ja) 旋回式作業機の周囲表示装置
EP3000761B1 (en) Crane with camera orientation detecting device
JP6321977B2 (ja) 重機用周辺監視装置
WO2017010563A1 (ja) 表示システム及び建設機械
JP6014664B2 (ja) 自走式産業機械の表示装置
JP5988683B2 (ja) 自走式産業機械の表示装置
JP6589468B2 (ja) 移動式クレーンの周囲表示装置
JP6106754B2 (ja) 作業機械の周囲監視装置
WO2013058093A1 (ja) 作業機械の周囲監視装置
CN103797789A (zh) 工作机械的周围监视装置
WO2013118705A1 (ja) 運搬車両の周囲監視装置
JP2015151794A (ja) 産業機械の監視画像表示装置
JP5996879B2 (ja) 作業機械の周囲監視装置
JP6139740B2 (ja) 作業機械の周囲監視装置
JP5595822B2 (ja) 画像生成システム
JP7207127B2 (ja) 作業機械の周囲監視装置
JP5575572B2 (ja) 画像生成システム
JP2016184940A (ja) ダンプトラックの表示装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170704

R150 Certificate of patent or registration of utility model

Ref document number: 6173358

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150