JP7322791B2 - 作業機械の周囲検知装置 - Google Patents

作業機械の周囲検知装置 Download PDF

Info

Publication number
JP7322791B2
JP7322791B2 JP2020063883A JP2020063883A JP7322791B2 JP 7322791 B2 JP7322791 B2 JP 7322791B2 JP 2020063883 A JP2020063883 A JP 2020063883A JP 2020063883 A JP2020063883 A JP 2020063883A JP 7322791 B2 JP7322791 B2 JP 7322791B2
Authority
JP
Japan
Prior art keywords
captured image
boundary line
machine
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020063883A
Other languages
English (en)
Other versions
JP2021163188A (ja
Inventor
裕樹 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020063883A priority Critical patent/JP7322791B2/ja
Priority to CN202180023849.9A priority patent/CN115362297B/zh
Priority to EP21781724.6A priority patent/EP4105391B1/en
Priority to US17/907,438 priority patent/US20230105895A1/en
Priority to PCT/JP2021/012204 priority patent/WO2021200458A1/ja
Publication of JP2021163188A publication Critical patent/JP2021163188A/ja
Application granted granted Critical
Publication of JP7322791B2 publication Critical patent/JP7322791B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2033Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08Superstructures; Supports for superstructures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、作業機械の周囲の対象物を検知する作業機械の周囲検知装置に関する。
例えば特許文献1などに、従来の周囲検知装置が記載されている。同文献に記載の技術では、撮像装置が対象物(同文献では障害物)を撮影する。そして、撮像画像における対象物の最も下の位置に基づいて、作業機械から対象物までの距離が算出される(同文献の段落0027、図8などを参照)。
特許第6232497号公報
しかし、撮像画像における対象物の最も下の位置が作業機械に最も近い位置(最接近位置)になるとは限らない。作業機械の作動によって、最接近位置となる位置が変わる。
そこで、本発明は、作業機械の作動に応じて、作業機械への最接近位置を、対象物の座標とすることができる、作業機械の周囲検知装置を提供することを目的とする。
作業機械の周囲検知装置は、撮像装置と、操作部と、対象物探索部と、検知領域設定部と、対応処理部と、を備える。前記撮像装置は、作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する。前記操作部は、前記作業機械を操作するためのものである。前記対象物探索部は、前記撮像画像における前記対象物の位置を探索する。前記検知領域設定部は、前記撮像画像において前記対象物を検知する領域である検知領域を設定する。前記対応処理部は、前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する。前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とする。前記撮像画像において、前記正面方向に直交する方向を正面直交方向、前記正面直交方向における一方側を正面直交第1側、前記正面直交方向における前記正面直交第1側とは反対側を正面直交第2側とする。前記対象物探索部は、前記撮像画像において、前記対象物を多角形の枠で囲み、前記枠の最も前記機械側の点を通り前記正面直交方向に延びる直線を設定する。前記枠の前記機械側かつ前記正面直交第2側の点を前記直線に前記正面方向に投影した点を正面直交第2側端点とする。前記枠の前記機械側かつ前記正面直交第1側の点を前記直線に前記正面方向に投影した点を正面直交第1側端点とする。前記正面直交第2側端点と前記正面直交第1側端点との中央に位置する点を中央点とする。前記対象物探索部は、前記操作部の操作パターンに応じて、前記正面直交第2側端点、前記正面直交第1側端点、および前記中央点のいずれかを、前記対象物の位置を示す座標とする。
上記構成により、作業機械の作動に応じて、作業機械への最接近位置を、対象物の座標とすることができる。
作業機械1を上から見た図である。 図1に示す作業機械1の周囲検知装置20を示す図である。 図2に示す制御部30の作動を示すフローチャートである。 図2に示す撮像装置23に取得された撮像画像Imを示す図である。 図4相当図であり、図1に示す上部旋回体13が旋回したときの撮像画像Imを示す図である。 図4に示す撮像画像Imに映った対象物Aなどを示す図である。 図2に示すアイコン表示部70に表示されたアイコン71を示す図である。 図4相当図であり、変形例の撮像画像Imを示す図である。 図7相当図であり、変形例のアイコン71を示す図である。
図1~図7を参照して、作業機械1(図1参照)の周囲検知装置20(図2参照)について説明する。
作業機械1は、図1に示すように、作業を行う機械であり、例えば建設作業を行う建設機械であり、例えばショベル(例えば油圧ショベル)でもよく、クレーンでもよい。以下では、作業機械1がショベルである場合について説明する。作業機械1は、下部走行体11と、上部旋回体13と、アタッチメント15と、を備える。
下部走行体11は、作業機械1を走行させる。下部走行体11は、例えばクローラを備え、排土板を備えてもよい。
上部旋回体13は、下部走行体11に対して旋回可能に搭載される。上部旋回体13は、運転室13aと、カウンタウエイト13bと、を備える。運転室13aは、オペレータが作業機械1に搭乗して作業機械1を操作する場合に、オペレータが操作を行う部分である。カウンタウエイト13bは、作業機械1の前後方向のバランスをとるための、おもりである。
アタッチメント15は、作業を行う部分であり、例えば、ブーム15aと、アーム15bと、先端アタッチメント15cと、を備える。ブーム15aは、上部旋回体13に対して起伏可能に取り付けられる。アーム15bは、ブーム15aに対して回転可能に取り付けられる。先端アタッチメント15cは、アタッチメント15の先端部に設けられ、アーム15bに対して回転可能に取り付けられる。先端アタッチメント15cは、例えば土砂をすくうバケットでもよく、物を挟む装置(グラップルなど)でもよく、破砕や掘削などを行う装置(ブレーカなど)でもよい。
周囲検知装置20は、作業機械1の周囲の物体(対象物A)を検知する装置である。周囲検知装置20は、撮像画像Im(図4参照)を基に対象物Aを検知する。対象物Aは、作業機械1の周囲の人(作業者)でもよく、作業機械1の周囲の人以外の障害物でもよい。図2に示すように、周囲検知装置20は、操作部21と、撮像装置23と、制御部30と、アイコン表示部70と、撮像画像表示部80と、対応処理部90と、を備える。
操作部21は、オペレータに操作され、作業機械1(図1参照)を操作するための部分である。操作部21は、運転室13a(図1参照)内に設けられる。作業機械1が遠隔操作される場合は、操作部21は、作業機械1(図1参照)から離れた位置に設けられてもよい。操作部21は、走行操作部21aと、旋回操作部21bと、境界線調整用入力装置21cと、を備える。走行操作部21aは、下部走行体11(図1参照)の走行(さらに詳しくは前進走行、後進走行)を操作するための部分である。走行操作部21aは、レバー(操作レバー)である(旋回操作部21bも同様)。旋回操作部21bは、下部走行体11(図1参照)に対する上部旋回体13(図1参照)の旋回(右旋回、左旋回)を操作するための部分である。境界線調整用入力装置21cは、後述する境界線B(図4参照)の位置を調整するための装置である。境界線調整用入力装置21cは、例えば、ジョグダイアル21c1と、スイッチ21c2(例えばプッシュスイッチなど)と、を備える。ジョグダイアル21c1とスイッチ21c2とは、一体的に構成されてもよく、別体でもよい。
撮像装置23は、図1に示すように、対象物Aを撮影(撮像)し、撮像画像Im(図4参照)を取得する。撮像装置23は、作業機械1の周囲を監視する周囲監視撮像装置である。撮像装置23は、上部旋回体13に取り付けられ、固定される。撮像装置23による撮影範囲は、運転室13a内のオペレータから死角になる領域を網羅することが好ましい。撮像装置23の数は、1でもよく、複数でもよい。撮像装置23は、例えば上部旋回体13の後側部分(例えばカウンタウエイト13bまたはその近傍)、右側部分、および左側部分などに設けられる。なお、作業機械1が遠隔操作される場合などには、撮像装置23は、上部旋回体13の前側部分(例えば運転室13a)などに設けられてもよい。撮像装置23は、広範囲を撮影可能なものであり、例えば魚眼レンズを有するものなどである。
この撮像装置23に取得される撮像画像Im(図4参照)は、二次元の画像(さらに詳しくは動画)でもよく、三次元の画像(例えばステレオカメラなどで撮像された画像)でもよい。図4に示す撮像画像Imにおいて、作業機械1に近接する側を画像下側Y2(機械側)とし、作業機械1から遠い側を画像上側Y1(反機械側)とする。撮像画像Imにおいて、画像上側Y1と画像下側Y2とを結ぶ方向を画像上下方向Y(正面方向)とする。撮像画像Imにおいて、画像上下方向Yに直交する方向を画像左右方向X(正面直交方向)とする。画像左右方向Xにおける一方側を画像右側Xr(正面直交第1側)とする。画像左右方向Xにおける画像右側Xrとは反対側を画像左側Xl(正面直交第2側)とする。なお、「上」「下」「左」「右」は、説明の便宜上用いた用語に過ぎない。例えば、撮像装置23が回転や反転されても構わない。
制御部30(図2参照)は、情報の入出力、演算(判定、設定など)、および情報の記憶などを行う。図2に示す制御部30は、上部旋回体13(図1参照)に設けられてもよく、上部旋回体13の外部(例えばサーバなど)に設けられてもよい。例えば、制御部30の構成要素の一部が上部旋回体13に配置され、他の部分が上部旋回体13の外部に配置されてもよい。制御部30は、画像補正部31と、対象物探索部41と、探索範囲制限部43と、高低歪領域設定部45(第1高低歪領域設定部、第2高低歪領域設定部)と、を備える。制御部30は、検知領域設定部51と、境界線調整部52と、境界線限度位置設定部53と、判定部61と、対応処理制御部63と、表示制御部65と、を備える。
画像補正部31は、撮像装置23が取得した撮像画像Imを補正する。画像補正部31は、撮像画像Imの歪(画像の歪曲)を補正する。画像補正部31による歪補正は、どのような方式でもよい。例えば、画像補正部31は、撮像画像Imを伸縮することにより歪を減らしてもよい。例えば、画像補正部31は、撮像画像Imから、歪の少ない部分を残して歪の多い部分を除去してもよい。画像補正部31に補正された撮像画像Imも「撮像画像Im」という。
対象物探索部41は、図4に示す撮像画像Imにおける対象物Aの位置を探索する。さらに詳しくは、対象物探索部41(図2参照)は、撮像画像Imに映った物が対象物Aか否かを、画像処理により自動的に判別(認識、識別)する。対象物探索部41は、撮像画像Imに映った物の特徴部(例えば形状や色など)に基づいて、この判別を行う。対象物探索部41は、対象物座標算出部41aを備える。対象物座標算出部41aは、対象物Aのうち作業機械1への最接近位置の、撮像画像Imにおける位置(座標)を算出する。例えば、対象物座標算出部41aは、最接近位置として対象物Aの画像下側Y2部分(例えば作業者の足元部など)の座標を算出する。対象物座標算出部41aによる座標算出の詳細は、後述する。
探索範囲制限部43(図2参照)は、撮像画像Imに対して、探索上限位置Ea(探索反機械側限度位置)を設定してもよく、探索下限位置Eb(探索機械側限度位置)を設定してもよい。探索上限位置Eaは、探索範囲制限部43に予め設定されてもよく、手動または自動的に設定されてもよい(探索下限位置Ebも同様)。探索上限位置Eaおよび探索下限位置Ebのそれぞれが設定される場合、探索下限位置Ebは、探索上限位置Eaよりも、画像下側Y2に設定される。
[例1]探索範囲制限部43が探索上限位置Eaを設定した場合、対象物探索部41(図2参照)による対象物Aの探索範囲は、探索上限位置Eaよりも画像下側Y2の領域内である。上記「領域内」は、領域の全体である必要はなく、領域の少なくとも一部である(以下同様)。対象物探索部41は、探索上限位置Eaよりも画像上側Y1の領域では対象物Aを探索しない。[例2]探索範囲制限部43が探索下限位置Ebを設定した場合、対象物探索部41(図2参照)による対象物Aの探索範囲は、探索下限位置Ebよりも画像上側Y1の領域内である。対象物探索部41は、探索下限位置Ebよりも画像下側Y2の領域では対象物Aを探索しない。[例3]探索範囲制限部43が、探索上限位置Eaおよび探索下限位置Ebのそれぞれを設定した場合、対象物探索部41(図2参照)による対象物Aの探索範囲は、探索上限位置Eaと探索下限位置Ebとの間の領域内である。対象物探索部41は、探索上限位置Eaよりも画像上側Y1の領域では対象物Aを探索しない。上記[例1]、[例2]、および[例3]のそれぞれでは、対象物探索部41は、撮像画像Imの一部の領域では対象物Aを探索しない。よって、対象物探索部41が撮像画像Imの全体で探索を行う場合に比べ、対象物探索部41の探索範囲が限定され、処理負荷が軽減され、処理時間が短縮される。探索上限位置Eaおよび探索下限位置Ebは、例えば、対象物Aの探索の必要性に基づいて設定される。
探索上限位置Eaは、例えば次のように設定される。撮像画像Imの画像上側Y1部分には、空が映る(映り込む)場合がある。空が映った部分まで対象物Aの探知が行われると、過剰検知の原因となる場合があり、また、誤検知の原因となる場合がある。そこで、探索上限位置Eaは、空が映ると想定される部分に基づいて設定される。例えば、空が映ると想定される部分が、探索上限位置Eaよりも画像上側Y1になるように、探索上限位置Eaが設定される。
探索下限位置Ebは、例えば次のように設定される。撮像画像Imの画像下側Y2部分には、上部旋回体13(図1参照)の一部が映る場合がある。この場合、上部旋回体13が映っている部分には、対象物Aが映ることはない。そこで、探索範囲制限部43は、上部旋回体13が映ると想定される部分に基づいて、探索下限位置Ebを設定する。例えば、探索範囲制限部43は、上部旋回体13が映ると想定される部分が探索下限位置Ebよりも画像下側Y2になるように、探索下限位置Ebを設定する。
高低歪領域設定部45(図2参照)(第1高低歪領域設定部、第2高低歪領域設定部)は、撮像画像Imに対して、高歪領域Fb(第1高歪領域、第2高歪領域)と、低歪領域Fa(第1低歪領域、第2低歪領域)と、を設定する。高歪領域Fbは、高低歪領域設定部45に予め設定されてもよく、手動または自動的に設定されてもよい(低歪領域Faも同様)。低歪領域Faは、高歪領域Fbよりも画像の歪曲が小さい領域である。
この高低歪領域設定部45は、高歪領域Fbおよび低歪領域Faを、例えば次のように設定する。撮像画像Imの画像上側Y1部分および画像下側Y2部分は、画像上下方向Y中央部に比べ、歪が大きい場合がある。そこで、撮像画像Imの画像上側Y1部分および画像下側Y2部分が高歪領域Fbとして設定され、撮像画像Imのうち高歪領域Fb以外の部分が低歪領域Faとして設定される。上記のように、撮像画像Imの画像上側Y1部分では、空が映ることが想定されるので、対象物Aの探索が行われなくても問題は生じない。そこで、対象物探索部41(図2参照)による対象物Aの探索範囲は、低歪領域Fa内、および画像下側Y2部分の高歪領域Fb内である。対象物探索部41は、画像上側Y1部分の高歪領域Fbでは対象物Aを探索しない。よって、対象物探索部41が撮像画像Imの全体で探索を行う場合に比べ、対象物探索部41の探索範囲が限定され、処理負荷が軽減され、処理時間が短縮される。一方、対象物探索部41は、画像下側Y2部分の高歪領域Fbでは対象物Aを探索する。よって、作業機械1に接近した対象物Aを適切に検知することができる。
なお、例えば、探索上限位置Ea、探索下限位置Eb、高歪領域Fb、および低歪領域Faのそれぞれが設定される場合が考えられる。この場合、対象物探索部41(図2参照)は、探索上限位置Eaと探索下限位置Ebとの間の領域内かつ低歪領域Fa内で対象物Aを探索し、それ以外の領域では探索を行わない。また、撮像画像Imの画像上側Y1部分および画像下側Y2部分が高歪領域Fb、画像上下方向Yの中央部が低歪領域Faとなるのは、あくまで一例である。撮像装置23の画角、配置、画像補正部31がどのような補正を行うかなどによって、撮像画像Imのどの部分が高歪領域Fbおよび低歪領域Faになるかは様々に考えられる。
検知領域設定部51(図2参照)は、検知領域Dを設定する。検知領域Dは、撮像画像Imにおいて対象物Aを検知する領域であり、対応処理部90(図2参照)による所定の対応処理を行うか否かを決定するための領域である。撮像画像Imのうち検知領域D以外の領域を、非検知領域Cとする。検知領域設定部51は、撮像画像Imに複数の検知領域Dを設定する。図4に示す例では、検知領域設定部51は、左下の検知領域Da、右下の検知領域Db、左上の検知領域Dc、および右上の検知領域Ddの4つの検知領域Dを設定する。
この検知領域設定部51は、撮像画像Imにおける検知領域Dの境界となる境界線Bを設定する。境界線Bには、左右方向境界線Bx(正面直交方向境界線)と、上下方向境界線By(正面方向境界線)と、がある。左右方向境界線Bxは、1本のみ設定されてもよく、複数本設定されてもよい。左右方向境界線Bxには、少なくとも、検知領域Dと非検知領域Cとの境界となる線が含まれる。左右方向境界線Bxが複数本設定される場合は、作業機械1から最も遠い側(画像上側Y1)の左右方向境界線Bxが、検知領域Dと非検知領域Cとの境界(検知領域Dの限界域)となる。左右方向境界線Bxには、複数の検知領域Dを仕切る線が含まれてもよい。具体的には、左右方向境界線Bxには、検知領域Daと検知領域Dcとを仕切る線が含まれてもよく、検知領域Dbと検知領域Ddとを仕切る線が含まれてもよい。左右方向境界線Bxは、制御部30(図2参照)の処理負荷ができるだけ軽くなるように設定されることが好ましい。具体的には、左右方向境界線Bxは、画像左右方向Xに延び、一定の形状(変化しない形状)を有する線である。左右方向境界線Bxは、撮像画像Imにおいて、好ましくは略直線状であり、さらに好ましくは直線状である。上記「略直線状」は、例えば、撮像画像Imに映る上部旋回体13(図1参照)の一部(例えばカウンタウエイト13b(図1参照)の後端など)に沿う曲線状でもよい。
左右方向境界線Bxは、画像補正部31(図2参照)に補正された撮像画像Imに設定されることが好ましい。その理由は、次の通りである。撮像画像Imの歪が大きい部分では、画像上下方向Yにおける対象物Aの位置が同じでも、画像左右方向Xにおける対象物Aの位置によって、作業機械1から対象物Aまでの実際の距離が、大きく異なる。そのため、撮像画像Imの歪が大きい部分に直線状や略直線状の左右方向境界線Bxを設定すると、作業機械1から対象物Aまでの実際の距離が同じでも、画像左右方向Xにおける対象物Aの位置によって、対象物Aが検知領域Dに入ったり入らなかったりする。すると、対応処理部90(図2参照)による対応処理が開始されるときの、対象物Aと作業機械1との実際の距離(対応処理開始距離)が、撮像画像Imの画像左右方向Xにおける対象物Aの位置によって変わる。よって、作業機械1のオペレータにとって、対象物Aが作業機械1にどれだけ近づけば対応処理が開始されるかを把握することが困難になる(オペレータは距離感覚をつかみにくい)。一方、本実施形態では、画像補正部31(図2参照)で歪が補正された撮像画像Imに、略直線状や直線状の左右方向境界線Bxが設定される。よって、画像左右方向Xにおける対象物Aの位置によらず、対応処理開始距離が一定または略一定になる。よって、オペレータは、距離感覚をつかみやすい。また、対応処理開始距離が一定または略一定になるので、対応処理が適正に行われる。
この検知領域設定部51(図2参照)は、上記の理由と同様の理由により、左右方向境界線Bxを低歪領域Fa内に設定する。これにより、画像左右方向Xにおける対象物Aの位置によらず、対応処理開始距離が略一定になり、オペレータは距離感覚をつかみやすい。また、対応処理開始距離が一定または略一定になるので、対応処理が適正に行われる。また、上記のように、撮像画像Imの画像上側Y1部分には空が映り、撮像画像Imの画像下側Y2部分には下部走行体11が映ることが想定される。そのため、撮像画像Imの画像上下方向Y中央部の低歪領域Fa内に左右方向境界線Bxが設定されれば、対象物Aを適切に検知できる。また、低歪領域Faに左右方向境界線Bxが設定されるので、作業機械1側(画像下側Y2)の高歪領域Fbに左右方向境界線Bxが設定される場合に比べ、より早期に対象物Aを検知することができる。
(第1高低歪領域設定部、第2高低歪領域設定部などについて)
ここで、高低歪領域設定部45は、「第1高低歪領域設定部」であり、「第2高低歪領域設定部」でもある。「第1高低歪領域設定部」は、境界線Bが設定され得る低歪領域Fa(すなわち第1低歪領域)と、境界線Bが設定されない高歪領域Fb(すなわち第1高歪領域)と、を設定する。「第2高低歪領域設定部」は、対象物探索部41による探索が行われ得る低歪領域Fa(すなわち第2低歪領域)と、画像下側Y2の高歪領域Fb(すなわち画像下側Y2の第2低歪領域)と、を設定する。また、「第2高低歪領域設定部」は、対象物探索部41による探索が行われない画像上側Y1の高歪領域Fb(すなわち画像上側Y1の第2高歪領域)を設定する。境界線Bが設定される範囲としての低歪領域Fa(第1低歪領域)と、対象物探索部41が対象物Aを探索する範囲としての低歪領域Fa(第2低歪領域)とは、同じでもよく、異なってもよい。第1低歪領域として適切な範囲と、第2低歪領域として適切な範囲とは、必ずしも一致しないので、第1低歪領域と第2低歪領域とは異なる配置であることが好ましい。また、第1低歪領域と第2低歪領域とのうち、一方のみが設定されてもよい。
この検知領域設定部51(図2参照)は、複数の左右方向境界線Bxを設定してもよい。この場合、検知領域設定部51は、画像上下方向Yに互いに間隔をあけて複数の左右方向境界線Bxを設定する。そして、後述するように、対象物Aがどの左右方向境界線Bxを超えたかによって、対応処理部90の対応処理が変えられる。
この検知領域設定部51(図2参照)は、撮像装置23(図1参照)が複数設けられる場合、複数の撮像装置23が取得した複数の撮像画像Imに個別に(撮像装置23ごとに)左右方向境界線Bxを設定する。検知領域設定部51は、例えば、対応処理開始距離が、各撮像装置23で一定または略一定になるように、左右方向境界線Bxを設定する。
この検知領域設定部51は、画像左右方向Xに並ぶ複数の検知領域Dどうしの境界である上下方向境界線Byを設定する。上下方向境界線Byは、画像上下方向Yに延びる。上下方向境界線Byは、一定の形状(変化しない形状)を有する線である。上下方向境界線Byは、撮像画像Imにおいて、好ましくは略直線状であり、さらに好ましくは直線状である。図8に示すように、上下方向境界線Byは、複数設定されてもよい。検知領域設定部51は、画像左右方向Xに互いに間隔をあけて、複数の上下方向境界線Byを設定してもよい。図2に示す検知領域設定部51は、境界線調整部52を備える。
境界線調整部52は、図4に示す左右方向境界線Bxの位置を画像上下方向Yに調整する部分である。境界線調整部52により境界線Bの位置が調整されても、撮像画像Imにおける左右方向境界線Bxの形状は、一定である。撮像画像Imの歪が大きい部分で左右方向境界線Bxの位置が変えられると、撮像画像Imの歪に合わせて左右方向境界線Bxの曲率を変える必要があり、複数のパラメータを用意する必要があるが、本実施形態では左右方向境界線Bxの形状は一定である。境界線調整部52による左右方向境界線Bxの位置の調整は、手動調整でもよく、自動調整でもよい。
左右方向境界線Bxの位置が手動により調整される場合の具体例は、次のとおりである。例えば、制御部30(図2参照)が、「調整モード」に設定される。すると、後述する撮像画像表示部80(図2参照)が、撮像画像Imに左右方向境界線Bxを重ねて表示する。作業者は、この表示を見ながら、左右方向境界線Bxを画像上下方向Yに移動させ、左右方向境界線Bxの位置を決定する操作を行う。この操作は、境界線調整用入力装置21c(図2参照)により行われる。具体的には例えば、作業者は、ジョグダイアル21c1(図2参照)を回転操作することで、左右方向境界線Bxを画像上下方向Yに移動させ、スイッチ21c2(図2参照)を操作する(例えば押す)ことで、左右方向境界線Bxの位置を決定する。
左右方向境界線Bxの位置が自動的に調整される場合の具体例は、次のとおりである。左右方向境界線Bxの位置は、例えば、作業機械1の走行速度に基づいて調整される。具体的には、境界線調整部52(図2参照)は、対象物Aに近づく向きへの作業機械1の走行速度が第1速度のときの、撮像画像Imにおける左右方向境界線Bxの位置を、第1位置Bx1とする。対象物Aに近づく向きへの作業機械1の走行速度であって、第1速度よりも速い速度を、第2速度とする。この第2速度のときの、撮像画像Imにおける左右方向境界線Bxの位置を第2位置Bx2とする。このとき、境界線調整部52は、第2位置Bx2を、第1位置Bx1よりも画像上側Y1に設定する。境界線調整部52は、左右方向境界線Bxの位置を、作業機械1の走行速度が速くなるにしたがって、段階的に画像上側Y1に設定してもよく、連続的に画像上側Y1に設定してもよい。なお、作業機械1の走行の向きが対象物Aに近づく向きか否かは、下部走行体11の走行の向き(前進、後進)と、下部走行体11に対する上部旋回体13の旋回角度と、撮像装置23の撮影方向と、に基づいて判定できる。なお、左右方向境界線Bxの位置は調整されなくてもよい(すなわち、境界線調整部52は設けられなくてもよい)。検知領域設定部51に予め左右方向境界線Bxが設定され、この左右方向境界線Bxの位置が変えられなくてもよい。
この境界線調整部52が左右方向境界線Bxの位置を調整する場合、境界線調整部52は、作業機械1の走行速度を、直接的または間接的に取得する。例えば、図2に示す境界線調整部52は、走行操作部21aの操作量から走行速度を取得してもよい。例えば、境界線調整部52は、下部走行体11(図1参照)を走行させるモータに関する情報(回転数、作動油の流量など)から走行速度を取得してもよい。例えば、境界線調整部52は、作業機械1の位置を検出するセンサから走行速度を取得してもよい。
境界線限度位置設定部53は、図4に示すように、撮像画像Imに対して、境界線上限位置Ga(境界線反機械側限度位置)と、境界線下限位置Gb(境界線機械側限度位置)と、を設定する。境界線下限位置Gbは、境界線上限位置Gaよりも画像下側Y2に設定される。左右方向境界線Bxは、境界線上限位置Gaと境界線下限位置Gbとの間の領域内に設定される。境界線上限位置Gaおよび境界線下限位置Gbは、探索上限位置Eaおよび探索下限位置Ebと同様に、例えば対象物Aの探索の必要性に基づいて設定される。なお、例えば、境界線上限位置Ga、境界線下限位置Gb、高歪領域Fb、および低歪領域Faのそれぞれが設定される場合は、検知領域設定部51は、境界線上限位置Gaと境界線下限位置Gbとの間の領域内かつ低歪領域Fa内に左右方向境界線Bxを設定する。また、図4に示す例では、境界線上限位置Gaと探索上限位置Eaとが一致しているが、これらは一致しなくてもよい(境界線下限位置Gbと探索下限位置Ebとについても同様)。
判定部61(図2参照)は、対象物Aの一部または全部が検知領域Dの内側に存在するか否かの判定を行う。具体的には、判定部61は、例えば、枠Kの画像下側Y2端部(最も画像下側Y2の点である最下点Kb)の座標が、検知領域D内に存在するか否かの判定を行う。左右方向境界線Bxが直線状の場合は、最下点Kbの画像上下方向Yの座標が、左右方向境界線Bxの画像上下方向Yの座標に対して、作業機械1側(画像下側Y2)か否かの単純な判定で、対象物Aが検知領域D内に存在するか否かの判定を行うことができる。
対応処理制御部63(図2参照)は、検知領域Dの内側に対象物Aが進入したことが検出された際に、所定の対応処理を対応処理部90(図2参照)に実行させる(詳細は後述)。対応処理制御部63は、検知領域Dの内側に対象物Aが進入したことが検出されない場合は、対応処理部90に対応処理を実行させない。
表示制御部65(図2参照)は、アイコン表示部70の表示、および撮像画像表示部80の表示を制御する。
アイコン表示部70は、図7に示すように、作業機械1(図1参照)に対する対象物A(図1参照)の位置を示すアイコン71を表示する。アイコン表示部70は、例えば運転室13a(図1参照)内に設けられる。作業機械1が遠隔操作される場合などには、アイコン表示部70は、作業機械1(図1参照)の外部に配置されてもよい。アイコン表示部70は、例えばディスプレイの一部または全部である。アイコン71は、作業機械アイコン71aと、領域アイコン71bと、を備える。作業機械アイコン71aは、例えば上から見た作業機械1(図1参照)を表す図形である。
領域アイコン71bは、上から見た作業機械1(図1参照)の周囲の複数の領域(71bDa、71bDb、71bDc、71bDd)を表す図形である。領域アイコン71bが示す領域(71bDa、71bDb、71bDc、71bDd)は、図4に示す複数の検知領域D(Da、Db、Dc、Dd)に対応する。図7に示す領域アイコン71b(図7参照)の境界は、図4に示す撮像画像Imの境界線Bに対応する。領域アイコン71b(図7参照)のうち、撮像画像Imにおいて対象物Aが進入した検知領域Dに対応する領域(進入領域アイコン71b1(図7参照))が、強調表示される。具体的には、図7に示す進入領域アイコン71b1は、他の領域アイコン71bに対して、色が変えられてもよく、明るさが変えられてもよい。進入領域アイコン71b1は、点滅してもよい。進入領域アイコン71b1が強調表示されることで、オペレータは、図1に示す作業機械1に対してどこに対象物Aが存在するかを、容易に認識することができる。
撮像画像表示部80(図2参照)は、撮像画像Im(図4参照)を表示する。撮像画像表示部80は、例えば図1に示す運転室13a内に設けられる。作業機械1が遠隔操作される場合などには、撮像画像表示部80(図2参照)は、作業機械1の外部に配置されてもよい。撮像画像表示部80は、例えばディスプレイの一部または全部である。撮像画像表示部80の撮像画像Im(図4参照)の表示は、運転室13aからバックミラーを見たときのバックミラーに映る像のように、撮像装置23が撮影した撮像画像Imを左右に反転させた表示である。撮像画像表示部80は、図4に示す撮像画像Imに重ねて、左右方向境界線Bx、上下方向境界線By、および検知領域Dの少なくともいずれかを表示してもよい。なお、左右方向境界線Bxは、撮像画像表示部80に表示されなくてもよく、内側処理(判定部61(図2参照)での判定など)のみに使用されてもよい(上下方向境界線Byおよび検知領域Dも同様)。撮像装置23が複数設けられる場合は、撮像画像表示部80は、撮像装置23ごとに撮像画像Imを切り替えて表示してもよく、複数の撮像装置23で撮影された撮像画像Imを結合した撮像画像Imを表示してもよい。
この撮像画像表示部80(図2参照)は、図4に示す検知領域Dに進入した対象物Aを撮影している撮像装置23(図1参照)の撮像画像Imを表示する。これにより、オペレータは、撮像画像Imを手動で切り替えなくても、対象物Aを検知した位置と、対象物Aが何であるかと、を確認することができる。
対応処理部90(図2参照)は、検知領域Dの内側に対象物Aが進入した場合に、所定の対応処理を実行する。図2に示す対応処理部90が実行する対応処理は、警告でもよく、作業機械1の作動の制限でもよく、これら以外の処理でもよい。対応処理部90が実行する対応処理が警告である場合、この警告は、例えば作業機械1のオペレータに対する警告でもよく、例えば作業機械1の周囲の作業者に対する警告でもよい。この警告は、音による警告でもよく、光による警告でもよく、ディスプレイへの画面表示(文章、図形など)による警告でもよく、これらを組み合わせた警告でもよい。対応処理部90が実行する対応処理が、作業機械1の作動の制限である場合、この制限は、例えば作業機械1の作動の減速でもよく、作業機械1の作動の停止でもよい。対応処理部90が制限する作業機械1の作動は、図1に示す下部走行体11の走行でもよく、下部走行体11に対する上部旋回体13の旋回でもよく、アタッチメント15の作動でもよい。図5に示すように、左右方向境界線Bxが複数設定される場合は、対応処理部90は、対象物Aが超えた左右方向境界線Bxに応じて、実行する対応処理を変えてもよい。この場合、対応処理部90は、対象物Aが超えた左右方向境界線Bxが作業機械1に近い(画像下側Y2の)左右方向境界線Bxであるほど、警告や制限の度合いを高くしてもよい。例えば、対応処理部90は、対象物Aが超えた左右方向境界線Bxに応じて、警告のパターン(警告内容、回数、時間など)を変えてもよく、作業機械1の作動の制限の度合いを変えてもよい。
(対象物座標算出部41aの作動)
対象物座標算出部41a(図2参照)は、次のように、図4に示す撮像画像Imにおける対象物Aの位置(座標)を算出する。対象物座標算出部41aは、図6に示すように、対象物Aを多角形の枠Kで囲む。枠Kは、例えば四角形であり、例えばひし形でもよく、例えば長方形でもよい。次に、対象物座標算出部41a(図2参照)は、枠Kの最下点Kbを通り、画像左右方向Xに延びる直線Lを設定する。ここで、枠Kの左下点Kl(画像下側Y2かつ画像左側Xlの点)を直線Lに画像上下方向Yに投影した点を、左端点Ll(正面直交第2側端点)とする。枠Kの右下点Kr(画像下側Y2かつ画像右側Xrの点)を直線Lに画像上下方向Yに投影した点を、右端点Lr(正面直交第1側端点)とする。左端点Llと右端点Lrとの中央に位置する点(中点)を、中央点Lcとする。
図2に示す対象物座標算出部41aは、操作部21の操作パターンに応じて、図6に示す左端点Ll、右端点Lr、および中央点Lcのいずれかを、対象物Aの位置を示す座標とする。このとき、対象物座標算出部41a(図2参照)は、作業機械1(図1参照)への最接近位置を対象物Aの座標とする。対象物座標算出部41aは、対象物Aのうち作業機械1に厳密に最も近い点(最接近点)を対象物Aの座標とする必要はない。対象物座標算出部41aは、対象物Aのうち作業機械1への最接近点の近傍の位置を、対象物Aの座標としてもよい。対象物座標算出部41aは、対象物Aの作業機械1への最接近点を、対象物Aの座標とすることが好ましい。
(旋回時)
図1に示す上部旋回体13が左旋回したとき、図5に示すように、撮像画像Imにおける対象物Aの位置は、画像右側Xrおよび画像下側Y2に移動する。なお、図5に示す撮像画像Imは、撮像装置23(図1参照)が撮影した画像を左右に反転させていない状態の撮像画像Imである。すると、枠Kの右下点Krが、最も画像下側Y2(すなわち作業機械1側)の位置となる。そこで、図2に示す対象物座標算出部41aは、旋回操作部21bにより、図1に示す下部走行体11に対して上部旋回体13を左旋回させる操作が行われた場合、図6に示す右端点Lrを対象物Aの座標とする。上記「左旋回」は、撮像画像Imに映る景色が画像右側Xrに移動するような、下部走行体11に対する上部旋回体13の旋回である。同様に、図2に示す対象物座標算出部41aは、旋回操作部21bにより、図1に示す下部走行体11に対して上部旋回体13を右旋回させる操作が行われた場合、図6に示す左端点Llを対象物Aの座標とする。上記「右旋回」は、撮像画像Imに映る景色が画像左側Xlに移動するような、下部走行体11に対する上部旋回体13の旋回である。よって、図1に示す上部旋回体13の旋回時に、作業機械1への最接近位置を、図6に示す対象物Aの座標として設定することができる。
(走行時など)
図2に示す対象物座標算出部41aは、走行操作部21aにより下部走行体11(図1参照)を走行させる操作が行われた場合、図6に示す中央点Lcを対象物Aの座標とする。例えば、図2に示す対象物座標算出部41aは、走行操作部21aにより、下部走行体11を、図6に示す対象物Aに近づく向きに走行させる操作が行われた場合、中央点Lcを対象物Aの座標とする。このとき、図4に示す対象物Aの大部分が存在する検知領域Dcに対応する領域アイコン71b(図7参照)が、進入領域アイコン71b1(図7参照)として強調表示される。よって、オペレータは、より正確に対象物Aの位置を把握することができる。なお、図4に示す撮像画像Imは、撮像画像表示部80に表示される撮像画像Imであり、撮像装置23(図1参照)が撮影した画像を左右に反転させた状態の撮像画像Imである。図2に示す対象物座標算出部41aは、操作部21による操作が行われていない場合、図6に示す中央点Lcを対象物Aの座標としてもよい。また、図2に示す走行操作部21aおよび旋回操作部21bが同時に操作された場合は、旋回操作部21bの操作に基づいて、図6に示す右端点Lrまたは左端点Llを対象物Aの座標としてもよい。
図4に示す最下点Kbを、常に対象物Aの座標とする場合について検討する。図4に示す例では、最下点Kbは、検知領域Ddの内側に進入している。一方、対象物Aの大部分は、検知領域Dcの内側に存在する。最下点Kbを対象物Aの座標とした場合、図7に示すアイコン表示部70は、検知領域Ddに対応する領域アイコン71b(71bDd)を強調表示する。一方、図4に示す撮像画像表示部80は、対象物Aの大部分が検知領域Dcに進入した撮像画像Imを表示する。すると、図7に示すアイコン表示部70に強調表示された進入領域アイコン71b1の領域と、図4に示す撮像画像表示部80に表示された対象物Aの検知領域Dと、が一致していないとオペレータが認識することが想定される。なお、図4に示す撮像画像表示部80には、検知領域Dや境界線Bは表示される必要はない。検知領域Dや境界線Bが表示されない場合には、より一層、アイコン表示部70(図7参照)と撮像画像表示部80との表示が一致していないとオペレータが認識しやすい。
一方、本実施形態では、図2に示す操作部21の操作に応じて、図4に示す中央点Lcが対象物Aの座標とされる場合がある。この場合、対象物Aの大部分が存在する検知領域Dcに対応する、図7に示す領域アイコン71b(71bDc)が、進入領域アイコン71b1として強調表示される。よって、上記の問題を抑制することができる。
(作動)
図2に示す制御部30の作動の具体例を、図3を参照して説明する。図2に示す対象物探索部41が、撮像画像Imから対象物Aを探索し(ステップS11)、対象物Aの座標(例えば足元の座標)を算出する(ステップS12)。対象物Aの画像上下方向Yの座標が、左右方向境界線Bxの画像上下方向Yの座標(所定値)を下回ると(ステップS13)、対応処理制御部63が対応処理部90に指令を出力する(ステップS14)。
(処理負荷、処理速度の検討)
図4に示す撮像画像Imの座標が、仮想平面座標に変換される場合について検討する。この場合、次のように処理が行われる。[ステップ1]撮像画像Imにおける対象物Aの位置が、算出される。[ステップ2]撮像画像Imの座標が、図1に示す作業機械1を基準とした仮想平面座標に変換される(仮想平面領域が作成される)。[ステップ3]仮想平面における対象物Aの座標が、算出される。[ステップ4]仮想平面における作業機械1から対象物Aまでの距離が、算出される。[ステップ5]作業機械1から対象物Aまでの距離が所定値を下回った場合に、対応処理(警告、作動制限など)が行われる。
このように、図4に示す撮像画像Imの座標が仮想平面座標に変換される場合には、上記のステップ2、3、および4において、複雑な処理が必要であり、処理負荷が高く、処理時間が長くかかる。例えば、仮想平面における対象物Aの座標を算出するには、撮像装置23(図1参照)の取付位置および取付角度の情報が必要であり、算出のロジックが複雑である。処理時間が長くかかると、検知領域Dの内側に対象物Aが進入してから(左右方向境界線Bxを越えてから)、対応処理が開始されるまでの時間が長くかかる(対応処理が遅れる)。また、通常、作業機械1の機種や仕様ごとに、撮像装置23の取付位置および取付角度が異なる。そのため、作業機械1の機種や仕様ごとにパラメータを設定する必要があるので、この設定に手間がかかる(煩雑になる)。
一方、本実施形態では、撮像画像Imの座標を仮想平面座標に変換しない(図3参照)ので、上記ステップ2、3、および4の処理を省略することができる。よって、制御部30(図2参照)の処理負荷を低くでき、処理速度を向上させることができ、処理時間を短縮することができる。その結果、検知領域Dの内側に対象物Aが進入してから、対応処理(警告、作動制限)が開始されるまでの時間を短くすることができる(対応処理を素早く行える)。また、撮像画像Imの座標を仮想平面座標に変換しないので、撮像装置23(図1参照)の取付位置および取付角度の情報は不要である。よって、複雑なパラメータの設定が行われなくても、周囲検知装置20(図2参照)を様々な機種の作業機械1に適用することができる(汎用性が高い)。
(距離センサとの比較)
一般的には、距離情報を取得するセンサ(例えばTOF(Time Of Flight)センサや、例えば超音波センサ、赤外線センサ、電波(ミリ波など)センサなど)で対象物Aを探索する場合に比べ、撮像画像Imの画像処理によって対象物Aを探索する場合の方が、処理負荷は高く、処理時間は長い。一方、本実施形態では、上記のように、撮像画像Imの一部の範囲でのみ対象物Aを探索するため、処理負荷を軽減でき、処理時間を短縮することができる。また、本実施形態では、対象物Aの探索以外の処理(例えば上記ステップ2、3、および4の処理)を省略することで、制御部30の処理負荷を軽減でき、処理時間を短くすることができる。また、例えば、対象物Aを人とした場合、周囲検知装置20では、この人のみを検出対象として検出することが可能であるが、距離情報を取得するセンサでは、この人のみを検出対象として検出することはできない。
通常、撮像画像Imの画像処理のみによって対象物Aの最接近点の座標を算出する場合に比べ、距離情報を取得可能なセンサに取得された距離情報を用いて対象物Aの最接近点の座標を算出する場合の方が、高精度に最接近点の座標を出力可能である。一方、本実施形態では、操作部21(図2参照)の操作に基づいて、対象物Aの座標を決定するので、最接近点の座標の精度を確保することができる。
(効果)
図2に示す作業機械1の周囲検知装置20による効果は、次の通りである。
(第1の発明の効果)
周囲検知装置20は、撮像装置23と、操作部21と、対象物探索部41と、検知領域設定部51と、対応処理部90と、を備える。撮像装置23は、作業機械1に設けられ、作業機械1の周囲の対象物A(図4参照)を撮影し、撮像画像Imを取得する。操作部21は、作業機械1を操作するためのものである。対象物探索部41は、撮像画像Imにおける対象物A(図4参照)の位置を探索する。
[構成1-1]検知領域設定部51は、図4に示す撮像画像Imにおいて対象物Aを検知する領域である検知領域Dを設定する。対応処理部90(図2参照)は、撮像画像Imにおいて検知領域Dの内側に対象物Aが進入した場合に、所定の対応処理を実行する。
撮像画像Imにおいて、作業機械1に近接する側を画像下側Y2(機械側)、作業機械1から遠い側を画像上側Y1(反機械側)、画像下側Y2と画像上側Y1とを結ぶ方向を画像上下方向Y(正面方向)とする。撮像画像Imにおいて、画像上下方向Yに直交する方向を画像左右方向X(正面直交方向)、画像左右方向Xにおける一方側を画像右側Xr(正面直交第1側)、画像左右方向Xにおける画像右側Xrとは反対側を画像左側Xl(正面直交第2側)とする。対象物探索部41(図2参照)は、撮像画像Imにおいて、図6に示すように、対象物Aを多角形の枠Kで囲み、枠Kの最下点Kbを通り画像左右方向Xに延びる直線Lを設定する。撮像画像Imにおいて、枠Kの左下点Kl(機械側かつ正面直交第2側の点)を直線Lに画像上下方向Yに投影した点を左端点Ll(正面直交第2側端点)とする。枠Kの右下点Kr(機械側かつ正面直交第1側の点)を直線Lに画像上下方向Yに投影した点を右端点Lr(正面直交第1側端点)とする。左端点Llと右端点Lrとの中央に位置する点を中央点Lcとする。
[構成1-2]図2に示す対象物探索部41は、操作部21の操作パターンに応じて、図6に示す左端点Ll、右端点Lr、および中央点Lcのいずれかを、対象物Aの位置を示す座標とする。
上記[構成1-1]により、次の効果が得られる。上記[構成1-1]では、撮像画像Imに設定された検知領域Dの内側に、対象物Aが進入した場合に、対応処理が実行される。周囲検知装置20(図2参照)では、例えば、撮像画像Imにおける対象物Aの座標を、仮想平面における座標に変換し、仮想平面内での作業機械1から対象物Aまでの距離を算出する、といった複雑な処理を行う必要はない。よって、対象物Aの検知に必要な処理の負荷を軽減することができ、処理時間を短縮することができる。その結果、検知領域Dの内側に対象物Aが進入した際の、対応処理部90(図2参照)による対応処理の遅れを抑制することができる。
上記[構成1-2]により、次の効果が得られる。図4に示す作業機械1がどのように作動するかによって、対象物Aの作業機械1への最接近点が変わる。また、作業機械1がどのように作動するかは、図2に示す操作部21の操作パターンにより決まる。そこで、周囲検知装置20は、上記[構成1]を備える。よって、操作部21の操作パターンに応じた、作業機械1への最接近位置を、図4に示す対象物Aの座標とすることができる。その結果、作業機械1の作動に応じて、作業機械1への最接近位置を、対象物Aの座標とすることができる。その結果、対象物Aを早期に検知することができる。
(第2の発明の効果)
図1に示すように、作業機械1は、下部走行体11と、下部走行体11に対して旋回可能である上部旋回体13と、を備える。
[構成2]対象物探索部41(図2参照)は、図4に示す撮像画像Imに映る景色が画像左側Xlに移動するように、図1に示す下部走行体11に対して上部旋回体13を旋回(例えば右旋回)させる操作が、図2に示す操作部21(旋回操作部21b)により行われた場合、図6に示す左端点Llを対象物Aの座標とする。対象物探索部41(図2参照)は、図4に示す撮像画像Imに映る景色が画像右側Xrに移動するように、図1に示す下部走行体11に対して上部旋回体13を旋回(例えば左旋回)させる操作が旋回操作部21b(図2参照)により行われた場合、図6に示す右端点Lrを対象物Aの座標とする。
上記[構成2]により、図1に示す上部旋回体13の旋回方向(右旋回、左旋回)に応じて、図4に示す作業機械1への最接近位置を、対象物Aの座標として設定することができる。その結果、対象物Aを早期に検知することができる。
(第3の発明の効果)
[構成3]図2に示す対象物探索部41は、作業機械1の下部走行体11(図1参照)を走行させる操作が操作部21(走行操作部21a)により行われた場合、図6に示す中央点Lcを対象物Aの座標とする。
上記[構成3]により、下部走行体11(図1参照)が走行する際に、作業機械1への最接近位置を対象物Aの座標とすることができる。その結果、対象物Aを早期に検知することができる。
(第4の発明の効果)
[構成4]図2に示すように、周囲検知装置20は、アイコン表示部70を備える。検知領域設定部51は、図4に示すように、撮像画像Imに複数の検知領域Dを設定する。図7に示すように、アイコン表示部70は、複数の検知領域D(図4参照)に対応する領域であって作業機械1(図1参照)の周囲の複数の領域を示す領域アイコン71bを表示する。アイコン表示部70は、図4に示す撮像画像Imにおいて対象物Aが進入した検知領域Dに対応する領域アイコン71b(進入領域アイコン71b1)を強調表示する。
上記[構成4]では、対象物Aが進入した検知領域D(撮像画像Imにおける領域)が、作業機械1(図1参照)の周囲のどの領域であるかを、図7に示すアイコン表示部70を見たオペレータに把握させることができる。その結果、このオペレータに、適切な回避操作(対象物Aと作業機械1との接触を回避する操作)を促すことができる。
(第5の発明の効果)
[構成5]図2に示す周囲検知装置20は、撮像画像Imを表示する撮像画像表示部80を備える。図1に示す撮像装置23は、複数設けられる。図2に示す撮像画像表示部80は、強調表示された領域アイコン71b(進入領域アイコン71b1)(図7参照)に対応する検知領域D(図4参照)を撮影している撮像装置23(図1参照)の撮像画像Im(図4参照)を表示する。
上記[構成5]により、図4に示すように、対象物Aが進入した検知領域Dに対応する景色の画像、および、対象物Aの画像を、撮像画像表示部80に確認させることができる。その結果、対象物Aの位置や、対象物Aが何であるかなどを、オペレータに確認させることができる。
(第6の発明の効果)
[構成6]検知領域設定部51(図2参照)は、画像左右方向Xに並ぶ複数の検知領域Dどうしの境である上下方向境界線Byを設定する。上下方向境界線Byは、画像上下方向Yに延びる直線状である。
上記[構成6]により、上下方向境界線Byが直線状でない場合(曲線状などである場合)に比べ、画像左右方向Xに隣り合う検知領域Dのどちらに対象物Aが進入したかを判定する処理の負荷を軽減することができ、処理時間を短縮することができる。
(第8の発明の効果)
[構成8]検知領域設定部51(図2参照)は、撮像画像Imにおける検知領域Dの境界となる左右方向境界線Bx(正面直交方向境界線)を設定する。左右方向境界線Bxは、画像左右方向Xに延び、一定の形状を有する。
上記[構成8]により、境界線Bの形状が可変である場合に比べ、検知領域Dの内側に対象物Aが進入したか否かの判定(上記[構成1-1]参照)の処理にかかる負荷を軽減することができる。よって、対象物Aの検知に必要な処理の負荷を軽減することができ、処理時間を短縮することができる。その結果、検知領域Dの内側に対象物Aが進入した際の、対応処理部90(図2参照)による対応処理の遅れを抑制することができる。
(第9の発明の効果)
[構成9]左右方向境界線Bxは、撮像画像Imにおいて直線状である。
上記[構成8]により、検知領域Dの内側に対象物Aが進入したか否かの判定(上記[構成1-1]参照)の処理にかかる負荷を、より軽減することができる。
(第10の発明の効果)
[構成10]図2に示すように、周囲検知装置20は、高低歪領域設定部45(第1高低歪領域設定部)を備える。高低歪領域設定部45は、図4に示すように、撮像画像Imに対して、高歪領域Fb(第1高歪領域)と、高歪領域Fbよりも画像の歪曲が小さい低歪領域Fa(第1低歪領域)と、を設定する。左右方向境界線Bxは、低歪領域Fa内に設定される。
上記[構成10]により、次の効果が得られる。撮像画像Imの歪の大きい領域に、画像左右方向Xに延びる(例えば直線状や略直線状の)左右方向境界線Bxが設定された場合、撮像画像Imの画像左右方向Xにおける対象物Aの位置によって、対応処理開始距離が大きく変わる。すると、作業機械1のオペレータが、対応処理開始距離を把握しにくい(距離感覚をつかみにくい)。そこで、上記[構成10]では、左右方向境界線Bxは、低歪領域Fa内に設定される。よって、撮像画像Imの画像左右方向Xにおける対象物Aの位置によらず、対応処理開始距離を一定または略一定にすることができる。よって、オペレータに、対応処理開始距離を容易に把握させることができる(オペレータが距離感覚をつかみやすい)。その結果、このオペレータに適切な回避操作を促すことができる。
(第11の発明の効果)
[構成11]図2に示すように、周囲検知装置20は、境界線限度位置設定部53を備える。境界線限度位置設定部53は、図4に示すように、撮像画像Imに対して、境界線上限位置Ga(反機械側限度位置)と、境界線上限位置Gaよりも画像下側Y2の境界線下限位置Gb(境界線機械側限度位置)と、を設定する。左右方向境界線Bxは、境界線上限位置Gaと境界線下限位置Gbとの間の領域内に設定される。
上記[構成11]により、次の効果が得られる。撮像画像Imの画像上側Y1部分および画像下側Y2部分は、左右方向境界線Bxの位置として不適切な位置(例えば空や下部走行体11が映っている位置など)である場合が想定される。そこで、上記[構成11]では、左右方向境界線Bxは、境界線上限位置Gaと境界線下限位置Gbとの間の領域内に設定される。よって、対象物Aの検知を適切に行うことができる。例えば、対象物A以外の物を対象物Aとして誤検知することなどを抑制することができる。
(第12の発明の効果)
[構成12]周囲検知装置20(図2参照)は、画像上下方向Yに左右方向境界線Bxの位置を調整する境界線調整部52(図2参照)を備える。
例えば、撮像装置23(図1参照)の画角や取付角度には、公差の範囲内のばらつきがある。そのため、画像上下方向Yにおける左右方向境界線Bxの位置が不変であれば、対応処理開始距離がばらつくことになる。上記[構成12]では、境界線調整部52(図2参照)によって、左右方向境界線Bxの位置が調整されることで、対応処理開始距離を調整することができる。これにより、撮像装置23の画角や取付角度にばらつきがあっても、対応処理開始距離を所定の距離に調整することができる(撮像装置23の画角や取付角度のばらつきを吸収することができる)。
また、例えば、作業機械1の作業現場の状況に応じて、対応処理開始距離を変化させたい場合が想定される。上記[構成12]では、境界線調整部52で左右方向境界線Bxの位置が調整されることにより、対応処理開始距離を変えることができるので、利便性が向上する。
周囲検知装置20(図2参照)が、上記[構成11]と上記[構成12]とを備える場合は、境界線上限位置Gaと境界線下限位置Gbとの間の領域内で、左右方向境界線Bxの位置が調整される。よって、対象物Aの検知を適切に行うことができる範囲内で、左右方向境界線Bxの位置が調整される。よって、例えば、左右方向境界線Bxの位置が不適切な位置(例えば空や下部走行体11が映っている位置など)に調整されるような、誤った調整作業を無くすことができる。よって、左右方向境界線Bxの位置を調整する作業の作業性を向上させることができる。
(第13の発明の効果)
[構成13]対象物Aに近づく向きへの作業機械1の走行速度が第1速度のときの、撮像画像Imにおける左右方向境界線Bxの位置を、第1位置Bx1とする。対象物Aに近づく向きへの作業機械1の走行速度が第1速度よりも速い第2速度のときの、撮像画像Imにおける左右方向境界線Bxの位置を、第2位置Bx2とする。境界線調整部52は、第2位置Bx2を、第1位置Bx1よりも撮像画像Imにおける上側(画像上側Y1)に設定する。
上記[構成13]により、次の効果が得られる。対象物Aに近づく向きへの作業機械1の走行速度が速いほど、作業機械1が対象物Aに到達するまでの時間が短くなり、対応処理が遅れる場合が想定される。上記[構成13]では、作業機械1の走行速度が、第1速度の場合(遅い場合)よりも第2速度の場合(速い場合)に、作業機械1からより遠い位置で、対象物Aが検知領域Dに進入させることができる(対応処理開始距離が長くなる)。よって、第1速度の場合(遅い場合)よりも第2速度の場合(速い場合)に、対応処理を早く開始することができる。
(第14の発明の効果)
[構成14]検知領域設定部51(図2参照)は、図5に示すように、撮像画像Imにおける上下方向(画像上下方向Y)に互いに間隔をあけて複数の左右方向境界線Bxを設定する。対応処理部90(図2参照)は、対象物Aが超えた左右方向境界線Bxに応じて、実行する対応処理を変える。
上記[構成14]により、作業機械1から対象物Aまでの距離に応じて、対応処理の内容(例えば警告や作動制限の内容)を変えることができる。その結果、対象物Aが存在する位置などを適切にオペレータに通知することができる。
(第15の発明の効果)
[構成15]撮像装置23(図1参照)は、複数設けられる。検知領域設定部51(図2参照)は、複数の撮像装置23(図1参照)が取得した撮像画像Imに個別に左右方向境界線Bxを設定する。
上記[構成15]により、撮像装置23ごとに対応処理開始距離を設定できるので、利便性を向上させることができる。さらに詳しくは、例えば、図1に示す複数の撮像装置23間で、画角、取り付け角度、取り付け位置などが異なる。そのため、各撮像装置23の撮像画像Im(図4参照)に、共通の位置に左右方向境界線Bx(図4参照)を設定すれば、撮像装置23ごとに対応処理開始距離が変わる。そこで、上記[構成15]のように、撮像装置23ごとに、左右方向境界線Bxが設定されることで、複数の撮像装置23間で対応処理開始距離を一致または略一致させることができる。
(第16の発明の効果)
[構成16]図2に示すように、周囲検知装置20は、探索範囲制限部43を備える。探索範囲制限部43は、図4に示すように、撮像画像Imに対して、探索上限位置Ea(探索反機械側限度位置)を設定する。対象物探索部41による対象物Aの探索範囲は、探索上限位置Eaよりも画像下側Y2の領域内である。
上記[構成16]により、次の効果が得られる。撮像画像Imの画像上側Y1部分は、対象物Aを探索する位置として不適切な位置(例えば空が映っている位置など)であることが想定される。そこで、上記[構成16]では、対象物探索部41による対象物Aの探索範囲は、探索上限位置Eaよりも画像下側Y2の領域内である。よって、対象物Aの探索を適切に行うことができる。また、対象物探索部41(図2参照)が撮像画像Imの全体で対象物Aを探索する場合に比べ、探索範囲を限定することができる。よって、対象物探索部41(図2参照)の処理の負荷を軽減することができ、処理時間を短縮できる。
(第17の発明の効果)
[構成17]図2に示すように、周囲検知装置20は、探索範囲制限部43を備える。探索範囲制限部43は、図4に示すように、撮像画像Imに対して探索下限位置Eb(探索範囲機械側限度位置)を設定する。対象物探索部41による対象物Aの探索範囲は、探索下限位置Ebよりも画像上側Y1の領域内である。
上記[構成17]により、次の効果が得られる。撮像画像Imの画像下側Y2部分は、対象物Aを探索する位置として不適切な位置(例えば上部旋回体13(図1参照)のみが映っている位置など)であることが想定される。そこで、上記[構成17]では、対象物探索部41による対象物Aの探索範囲は、探索下限位置Ebよりも画像上側Y1の領域内である。よって、対象物Aの探索を適切に行うことができる。また、対象物探索部41(図2参照)が撮像画像Imの全体で対象物Aを探索する場合に比べ、探索範囲を限定することができる。よって、対象物探索部41(図2参照)の処理の負荷を軽減することができ、処理時間を短縮できる。
(第18の発明の効果)
[構成18]図2に示すように、周囲検知装置20は、高低歪領域設定部45(第2高低歪領域設定部)を備える。高低歪領域設定部45は、図4に示すように、撮像画像Imに対して、画像上側Y1および画像下側Y2のそれぞれの高歪領域Fb(第2高歪領域)を設定する。高低歪領域設定部45は、高歪領域Fbよりも画像の歪曲が小さい領域である低歪領域Fa(第2低歪領域)を設定する。対象物探索部41による対象物Aの探索範囲は、低歪領域Fa内および画像下側Y2の高歪領域Fb内である。
上記[構成18]により、次の効果が得られる。撮像画像Imのうち、画像上側Y1部分の歪の大きい領域では、対象物Aを探索する位置として不適切な位置(例えば空が映っている位置など)であることが想定される。そこで、上記[構成18]では、対象物探索部41による対象物Aの探索範囲は、低歪領域Fa内および画像下側Y2部分の高歪領域Fb内である。よって、対象物Aを適切な領域内で探索することができる。また、対象物探索部41(図2参照)が撮像画像Imの全体で対象物Aを探索する場合に比べ、探索範囲を限定することができる。よって、対象物探索部41(図2参照)の処理の負荷を軽減することができ、処理時間を短縮することができる。
(変形例)
図8および図9に示すように、検知領域D(図8参照)および領域アイコン71b(図9参照)は、図4および図7に示す例に比べて細分化されてもよい。検知領域Dおよび領域アイコン71bが細分化されることで、アイコン表示部70(図9参照)を見たオペレータに、図1に示す対象物Aの位置をより詳細に示すことができ、作業機械1に対する対象物Aの位置をより詳細に把握させることができる。図8に示すように、撮像画像Imでは、作業機械1に近い対象物Aは大きく映り、作業機械1から遠い対象物Aは小さく映る。そこで、撮像画像Imにおいて、作業機械1に近い側(画像下側Y2)の検知領域Dに対して、作業機械1から遠い側(画像上側Y1)の検知領域Dを小さく設定することが好ましい。
(第7の発明の効果)
[構成7]検知領域設定部51(図2参照)は、図8に示すように、複数の検知領域Dどうしの境界となる境界線Bを、互いに間隔をあけて複数設定する。
上記[構成7]では、撮像画像Imにおいて、検知領域Dが複数並ぶ。そして、上記[構成4]では、図9に示すように、これらの検知領域Dに対応する領域アイコン71bが、アイコン表示部70に表示される。よって、境界線Bが複数設定されない場合に比べ、図1に示す作業機械1の周囲のどこの領域に対象物Aが進入したかを、アイコン表示部70(図9参照)を見たオペレータに、精度よく把握させることができる。
(他の変形例)
上記実施形態は様々に変形されてもよい。例えば、図2に示す上記実施形態の各構成要素の接続は変更されてもよい。例えば、図4などに示す各領域(低歪領域Faなど)や、領域を定める位置(探索上限位置Eaなど)などは、一定でもよく、手動操作により変えられてもよく、何らかの条件に応じて自動的に変えられてもよい。例えば、構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。例えば、互いに異なる複数の部材や部分として説明したものが、一つの部材や部分とされてもよい。例えば、一つの部材や部分として説明したものが、互いに異なる複数の部材や部分に分けて設けられてもよい。
1 作業機械
11 下部走行体
13 上部旋回体
20 周囲検知装置
21 操作部
23 撮像装置
41 対象物探索部
43 探索範囲制限部
45 高低歪領域設定部
51 検知領域設定部
52 境界線調整部
53 境界線上下限設定部
70 アイコン表示部
71 アイコン
80 撮像画像表示部
90 対応処理部
A 対象物
Bx1 第1位置
Bx2 第2位置
Bx 左右方向境界線
By 上下方向境界線
C 非検知領域
D、Da、Db、Dc、Dd 検知領域
Ea 探索上限位置(探索反機械側限度位置)
Eb 探索下限位置(探索機械側限度位置)
Fa 低歪領域(第1低歪領域、第2低歪領域)
Fb 高歪領域(第1高歪領域、第2高歪領域)
Ga 境界線上限位置(境界線反機械側限度位置)
Gb 境界線下限位置(境界線機械側限度位置)
Im 撮像画像
K 枠
Kb 最下点(枠Kの最も機械側の点)
Kl 左下点(枠Kの機械側かつ正面直交第2側の点)
Kr 右下点(枠Kの機械側かつ正面直交第1側の点)
L 直線
Lc 中央点
Ll 左端点(正面直交第2側端点)
Lr 右端点(正面直交第1側端点)
X 画像左右方向(正面直交方向)
Xr 画像右側(正面直交第1側)
Xl 画像左側(正面直交第2側)
Y 画像上下方向(正面方向)
Y1 画像上側(反機械側)
Y2 画像下側(機械側)

Claims (18)

  1. 作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する撮像装置と、
    前記作業機械を操作するための操作部と、
    前記撮像画像における前記対象物の位置を探索する対象物探索部と、
    前記撮像画像において前記対象物を検知する領域である検知領域を設定する検知領域設定部と、
    前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    を備え、
    前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、
    前記撮像画像において、前記正面方向に直交する方向を正面直交方向、前記正面直交方向における一方側を正面直交第1側、前記正面直交方向における前記正面直交第1側とは反対側を正面直交第2側としたとき、
    前記対象物探索部は、前記撮像画像において、前記対象物を多角形の枠で囲み、前記枠の最も前記機械側の点を通り前記正面直交方向に延びる直線を設定し、
    前記枠の前記機械側かつ前記正面直交第2側の点を前記直線に前記正面方向に投影した点を正面直交第2側端点とし、
    前記枠の前記機械側かつ前記正面直交第1側の点を前記直線に前記正面方向に投影した点を正面直交第1側端点とし、
    前記正面直交第2側端点と前記正面直交第1側端点との中央に位置する点を中央点としたとき、
    前記対象物探索部は、前記操作部の操作パターンに応じて、前記正面直交第2側端点、前記正面直交第1側端点、および前記中央点のいずれかを、前記対象物の位置を示す座標とする、
    作業機械の周囲検知装置。
  2. 請求項1に記載の作業機械の周囲検知装置であって、
    前記作業機械は、
    下部走行体と、
    前記下部走行体に対して旋回可能である上部旋回体と、
    を備え、
    前記対象物探索部は、
    前記撮像画像に映る景色が前記正面直交第2側に移動するように前記下部走行体に対して前記上部旋回体を旋回させる操作が前記操作部により行われた場合、前記正面直交第2側端点を前記対象物の座標とし、
    前記撮像画像に映る景色が前記正面直交第1側に移動するように前記下部走行体に対して前記上部旋回体を旋回させる操作が前記操作部により行われた場合、前記正面直交第1側端点を前記対象物の座標とする、
    作業機械の周囲検知装置。
  3. 請求項1または2に記載の作業機械の周囲検知装置であって、
    前記対象物探索部は、前記作業機械の下部走行体を走行させる操作が前記操作部により行われた場合、前記中央点を前記対象物の座標とする、
    作業機械の周囲検知装置。
  4. 請求項1~3のいずれか1項に記載の作業機械の周囲検知装置であって、
    アイコン表示部を備え、
    前記検知領域設定部は、前記撮像画像に複数の前記検知領域を設定し、
    前記アイコン表示部は、複数の前記検知領域に対応する領域であって前記作業機械の周囲の複数の領域を示す領域アイコンを表示し、
    前記アイコン表示部は、前記撮像画像において前記対象物が進入した前記検知領域に対応する前記領域アイコンを強調表示する、
    作業機械の周囲検知装置。
  5. 請求項4に記載の作業機械の周囲検知装置であって、
    前記撮像画像を表示する撮像画像表示部を備え、
    前記撮像装置は、複数設けられ、
    前記撮像画像表示部は、強調表示された前記領域アイコンに対応する前記検知領域を撮影している前記撮像装置の前記撮像画像を表示する、
    作業機械の周囲検知装置。
  6. 請求項4または5に記載の作業機械の周囲検知装置であって、
    前記検知領域設定部は、前記正面直交方向に並ぶ複数の前記検知領域どうしの境である正面方向境界線を設定し、
    前記正面方向境界線は、前記正面方向に延びる直線状である、
    作業機械の周囲検知装置。
  7. 請求項4~6のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記検知領域設定部は、前記撮像画像における複数の前記検知領域どうしの境界となる境界線を、互いに間隔をあけて複数設定する、
    作業機械の周囲検知装置。
  8. 請求項1~7のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる正面直交方向境界線を設定し、
    前記正面直交方向境界線は、前記正面直交方向に延び、一定の形状を有する、
    作業機械の周囲検知装置。
  9. 請求項8に記載の作業機械の周囲検知装置であって、
    前記正面直交方向境界線は、前記撮像画像において直線状である、
    作業機械の周囲検知装置。
  10. 請求項8または9に記載の作業機械の周囲検知装置であって、
    前記撮像画像に対して、第1高歪領域と、前記第1高歪領域よりも画像の歪曲が小さい第1低歪領域と、を設定する第1高低歪領域設定部を備え、
    前記正面直交方向境界線は、前記第1低歪領域内に設定される、
    作業機械の周囲検知装置。
  11. 請求項8~10のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記撮像画像に対して、境界線反機械側限度位置と、前記境界線反機械側限度位置よりも前記機械側の境界線機械側限度位置と、を設定する境界線限度位置設定部を備え、
    前記正面直交方向境界線は、前記境界線反機械側限度位置と前記境界線機械側限度位置との間の領域内に設定される、
    作業機械の周囲検知装置。
  12. 請求項8~11のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記正面方向に前記正面直交方向境界線の位置を調整する境界線調整部を備える、
    作業機械の周囲検知装置。
  13. 請求項12に記載の作業機械の周囲検知装置であって、
    前記対象物に近づく向きへの前記作業機械の走行速度が第1速度のときの、前記撮像画像における前記正面直交方向境界線の位置を、第1位置とし、
    前記対象物に近づく向きへの前記作業機械の走行速度が前記第1速度よりも速い第2速度のときの、前記撮像画像における前記正面直交方向境界線の位置を、第2位置としたとき、
    前記境界線調整部は、前記第2位置を、前記第1位置よりも前記反機械側に設定する、
    作業機械の周囲検知装置。
  14. 請求項8~13のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記検知領域設定部は、前記正面方向に互いに間隔をあけて複数の前記正面直交方向境界線を設定し、
    前記対応処理部は、前記対象物が超えた前記正面直交方向境界線に応じて、実行する対応処理を変える、
    作業機械の周囲検知装置。
  15. 請求項8~14のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記撮像装置は、複数設けられ、
    前記検知領域設定部は、複数の前記撮像装置が取得した複数の前記撮像画像に個別に前記正面直交方向境界線を設定する、
    作業機械の周囲検知装置。
  16. 請求項1~15のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記撮像画像に対して、探索反機械側限度位置を設定する探索範囲制限部を備え、
    前記対象物探索部による前記対象物の探索範囲は、前記探索反機械側限度位置よりも前記機械側の領域内である、
    作業機械の周囲検知装置。
  17. 請求項1~16のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記撮像画像に対して、探索機械側限度位置を設定する探索範囲制限部を備え、
    前記対象物探索部による前記対象物の探索範囲は、前記探索機械側限度位置よりも前記反機械側の領域内である、
    作業機械の周囲検知装置。
  18. 請求項1~17のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記撮像画像に対して、前記反機械側および前記機械側のそれぞれの第2高歪領域と、前記第2高歪領域よりも画像の歪曲が小さい領域である第2低歪領域と、を設定する第2高低歪領域設定部を備え、
    前記対象物探索部による前記対象物の探索範囲は、前記第2低歪領域内および前記機械側の前記第2高歪領域内である、
    作業機械の周囲検知装置。
JP2020063883A 2020-03-31 2020-03-31 作業機械の周囲検知装置 Active JP7322791B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020063883A JP7322791B2 (ja) 2020-03-31 2020-03-31 作業機械の周囲検知装置
CN202180023849.9A CN115362297B (zh) 2020-03-31 2021-03-24 工程机械的周边检测装置
EP21781724.6A EP4105391B1 (en) 2020-03-31 2021-03-24 Surroundings sensing device for work machine
US17/907,438 US20230105895A1 (en) 2020-03-31 2021-03-24 Surroundings sensing device for work machine
PCT/JP2021/012204 WO2021200458A1 (ja) 2020-03-31 2021-03-24 作業機械の周囲検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020063883A JP7322791B2 (ja) 2020-03-31 2020-03-31 作業機械の周囲検知装置

Publications (2)

Publication Number Publication Date
JP2021163188A JP2021163188A (ja) 2021-10-11
JP7322791B2 true JP7322791B2 (ja) 2023-08-08

Family

ID=77928785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020063883A Active JP7322791B2 (ja) 2020-03-31 2020-03-31 作業機械の周囲検知装置

Country Status (4)

Country Link
US (1) US20230105895A1 (ja)
EP (1) EP4105391B1 (ja)
JP (1) JP7322791B2 (ja)
WO (1) WO2021200458A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230272599A1 (en) * 2022-02-28 2023-08-31 Caterpillar Inc. Work machine safety zone control
JP7500895B1 (ja) 2023-09-21 2024-06-17 株式会社 日立産業制御ソリューションズ 作業管理装置、作業管理システム、および、作業管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017101419A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017151815A (ja) 2016-02-25 2017-08-31 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018123646A (ja) 2017-02-03 2018-08-09 住友重機械工業株式会社 作業機械用周辺監視システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
WO2015198410A1 (ja) 2014-06-25 2015-12-30 株式会社日立製作所 外界認識装置
US10344450B2 (en) * 2015-12-01 2019-07-09 The Charles Machine Works, Inc. Object detection system and method
EP3584120B1 (en) * 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017101419A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017151815A (ja) 2016-02-25 2017-08-31 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018123646A (ja) 2017-02-03 2018-08-09 住友重機械工業株式会社 作業機械用周辺監視システム

Also Published As

Publication number Publication date
JP2021163188A (ja) 2021-10-11
WO2021200458A1 (ja) 2021-10-07
EP4105391A4 (en) 2023-07-12
CN115362297A (zh) 2022-11-18
EP4105391B1 (en) 2024-06-12
EP4105391A1 (en) 2022-12-21
US20230105895A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
EP3409843B1 (en) Working machine
CN111051619B (zh) 作业机械
US9667923B2 (en) Camera attitude detection device and work region line display device
KR102256384B1 (ko) 작업기계용 주변감시시스템
EP3495570A1 (en) Device to monitor area around working machine
JP5227841B2 (ja) 周囲監視装置
JP7322791B2 (ja) 作業機械の周囲検知装置
JP2015224875A (ja) 作業機の作動状態検出システム及び作業機
KR20210089039A (ko) 건설기계의 제어 시스템 및 방법
JP7318258B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP7000957B2 (ja) 作業機械操縦装置
JP2013002101A (ja) 作業機械の視野補助装置
WO2019142523A1 (ja) 先端アタッチメント判別装置
JP7207127B2 (ja) 作業機械の周囲監視装置
JP7428052B2 (ja) 作業機械の周囲検知装置
JP2021031922A (ja) 作業機械
KR20230017724A (ko) 건설기계의 제어 시스템 및 방법
CN115362297B (zh) 工程机械的周边检测装置
KR102023196B1 (ko) 건설기계의 조작안정성 향상장치
WO2021090678A1 (ja) 作業機械の周囲監視装置
US20240117604A1 (en) Automatic mode for object detection range setting
JP2024030383A (ja) 作業機械の安全装置
JP2024030384A (ja) 作業機械の安全装置
JP2022062950A (ja) 作業機械の制御装置
KR20220102765A (ko) 건설기계의 제어 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7322791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150