JP7428052B2 - 作業機械の周囲検知装置 - Google Patents

作業機械の周囲検知装置 Download PDF

Info

Publication number
JP7428052B2
JP7428052B2 JP2020063878A JP2020063878A JP7428052B2 JP 7428052 B2 JP7428052 B2 JP 7428052B2 JP 2020063878 A JP2020063878 A JP 2020063878A JP 2020063878 A JP2020063878 A JP 2020063878A JP 7428052 B2 JP7428052 B2 JP 7428052B2
Authority
JP
Japan
Prior art keywords
captured image
machine
boundary line
detection area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020063878A
Other languages
English (en)
Other versions
JP2021161732A (ja
Inventor
裕樹 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020063878A priority Critical patent/JP7428052B2/ja
Priority to PCT/JP2021/012188 priority patent/WO2021200448A1/ja
Priority to US17/906,559 priority patent/US20230139466A1/en
Priority to CN202180023903.XA priority patent/CN115315559A/zh
Priority to EP21781981.2A priority patent/EP4105392A4/en
Publication of JP2021161732A publication Critical patent/JP2021161732A/ja
Priority to JP2024009595A priority patent/JP2024028633A/ja
Application granted granted Critical
Publication of JP7428052B2 publication Critical patent/JP7428052B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、作業機械の周囲の対象物を検知する作業機械の周囲検知装置に関する。
例えば特許文献1などに、従来の周囲検知装置が記載されている。同文献に記載の技術では、撮像装置が対象物を撮影する。そして、撮像画像に映った対象物の座標が、仮想平面座標に変換される(同文献の図5などを参照)。
特開2017-102604号公報
しかし、撮像画像に映った対象物の座標を仮想平面座標に変換する処理は複雑であり、処理負荷が高く、処理速度が遅い問題がある。また、作業機械の周囲の検知領域に対象物が進入したときに、例えば警告や作動制限などの対応処理が行われる場合がある。この場合、撮像画像に映った対象物の座標を仮想平面座標に変換すると、対応処理の開始が遅れるおそれがある。
そこで、対象物の検知に必要な処理の負荷を軽減することができ、処理時間を短縮することができる、作業機械の周囲検知装置を提供することを目的とする。
作業機械の周囲検知装置は、撮像装置と、対象物探索部と、検知領域設定部と、対応処理部と、を備える。前記撮像装置は、作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する。前記対象物探索部は、前記撮像画像における前記対象物の位置を探索する。前記検知領域設定部は、前記撮像画像において前記対象物を検知する領域である検知領域を設定する。前記対応処理部は、前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する。前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定する。前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、正面方向に直交する方向を正面直交方向とする。前記境界線は、前記正面直交方向に延び、一定の形状を有する。
上記構成により、対象物の検知に必要な処理の負荷を軽減することができ、処理時間を短縮することができる。
作業機械1を上から見た図である。 図1に示す作業機械1の周囲検知装置20を示す図である。 図2に示す制御部30の作動を示すフローチャートである。 図2に示す撮像装置23に取得された撮像画像Imを示す図である。 図4に示す境界線Bが複数設定される場合の図4相当図である。
図1~図5を参照して、作業機械1(図1参照)の周囲検知装置20(図2参照)について説明する。
作業機械1は、図1に示すように、作業を行う機械であり、例えば建設作業を行う建設機械であり、例えばショベル(例えば油圧ショベル)でもよく、クレーンでもよい。以下では、作業機械1がショベルである場合について説明する。作業機械1は、下部走行体11と、上部旋回体13と、アタッチメント15と、を備える。
下部走行体11は、作業機械1を走行させる。下部走行体11は、例えばクローラを備え、排土板を備えてもよい。
上部旋回体13は、下部走行体11に対して旋回可能に搭載される。上部旋回体13は、運転室13aと、カウンタウエイト13bと、を備える。運転室13aは、オペレータが作業機械1に搭乗して作業機械1を操作する場合に、オペレータが操作を行う部分である。カウンタウエイト13bは、作業機械1の前後方向のバランスをとるための、おもりである。
アタッチメント15は、作業を行う部分であり、例えば、ブーム15aと、アーム15bと、先端アタッチメント15cと、を備える。ブーム15aは、上部旋回体13に対して起伏可能に取り付けられる。アーム15bは、ブーム15aに対して回転可能に取り付けられる。先端アタッチメント15cは、アタッチメント15の先端部に設けられ、アーム15bに対して回転可能に取り付けられる。先端アタッチメント15cは、例えば土砂をすくうバケットでもよく、物を挟む装置(グラップルなど)でもよく、破砕や掘削などを行う装置(ブレーカなど)でもよい。
周囲検知装置20は、作業機械1の周囲の物体(対象物A)を検知する装置である。周囲検知装置20は、撮像画像Im(図4参照)を基に対象物Aを検知する。対象物Aは、作業機械1の周囲の人(作業者)でもよく、作業機械1の周囲の人以外の障害物でもよい。図2に示すように、周囲検知装置20は、操作部21と、撮像装置23と、制御部30と、撮像画像表示部80と、対応処理部90と、を備える。
操作部21は、オペレータに操作され、作業機械1(図1参照)を操作するための部分である。操作部21は、運転室13a(図1参照)内に設けられる。作業機械1が遠隔操作される場合は、操作部21は、作業機械1(図1参照)から離れた位置に設けられてもよい。操作部21は、走行操作部21aと、境界線調整用入力装置21cと、を備える。走行操作部21aは、下部走行体11(図1参照)の走行(さらに詳しくは前進走行、後進走行)を操作するための部分である。走行操作部21aは、レバー(操作レバー)である。境界線調整用入力装置21cは、後述する境界線B(図4参照)の位置を調整するための装置である。境界線調整用入力装置21cは、例えば、ジョグダイアル21c1と、スイッチ21c2(例えばプッシュスイッチなど)と、を備える。ジョグダイアル21c1とスイッチ21c2とは、一体的に構成されてもよく、別体でもよい。
撮像装置23は、図1に示すように、対象物Aを撮影(撮像)し、撮像画像Im(図4参照)を取得する。撮像装置23は、作業機械1の周囲を監視する周囲監視撮像装置である。撮像装置23は、上部旋回体13に取り付けられ、固定される。撮像装置23による撮影範囲は、運転室13a内のオペレータから死角になる領域を網羅することが好ましい。撮像装置23の数は、1でもよく、複数でもよい。撮像装置23は、例えば上部旋回体13の後側部分(例えばカウンタウエイト13bまたはその近傍)、右側部分、および左側部分などに設けられる。なお、作業機械1が遠隔操作される場合などには、撮像装置23は、上部旋回体13の前側部分(例えば運転室13a)などに設けられてもよい。撮像装置23は、広範囲を撮影可能なものであり、例えば魚眼レンズを有するものなどである。
この撮像装置23に取得される撮像画像Im(図4参照)は、二次元の画像(さらに詳しくは動画)でもよく、三次元の画像(例えばステレオカメラなどで撮像された画像)でもよい。図4に示す撮像画像Imにおいて、作業機械1に近接する側を画像下側Y2(機械側)とし、作業機械1から遠い側を画像上側Y1(反機械側)とする。撮像画像Imにおいて、画像上側Y1と画像下側Y2とを結ぶ方向を画像上下方向Y(正面方向)とする。撮像画像Imにおいて、画像上下方向Yに直交する方向を画像左右方向X(正面直交方向)とする。なお、「上」「下」「左」「右」は、説明の便宜上用いた用語に過ぎない。例えば、撮像装置23が回転や反転されても構わない。
制御部30(図2参照)は、情報の入出力、演算(判定、設定など)、および情報の記憶などを行う。図2に示す制御部30は、上部旋回体13(図1参照)に設けられてもよく、上部旋回体13の外部(例えばサーバなど)に設けられてもよい。例えば、制御部30の構成要素の一部が上部旋回体13に配置され、他の部分が上部旋回体13の外部に配置されてもよい。制御部30は、画像補正部31と、対象物探索部41と、探索範囲制限部43と、高低歪領域設定部45(第1高低歪領域設定部、第2高低歪領域設定部)と、を備える。制御部30は、検知領域設定部51と、境界線調整部52と、境界線限度位置設定部53と、判定部61と、対応処理制御部63と、表示制御部65と、を備える。
画像補正部31は、撮像装置23が取得した撮像画像Imを補正する。画像補正部31は、撮像画像Imの歪(画像の歪曲)を補正する。画像補正部31による歪補正は、どのような方式でもよい。例えば、画像補正部31は、撮像画像Imを伸縮することにより歪を減らしてもよい。例えば、画像補正部31は、撮像画像Imから、歪の少ない部分を残して歪の多い部分を除去してもよい。画像補正部31に補正された撮像画像Imも「撮像画像Im」という。
対象物探索部41は、図4に示す撮像画像Imにおける対象物Aの位置を探索する。さらに詳しくは、対象物探索部41(図2参照)は、撮像画像Imに映った物が対象物Aか否かを、画像処理により自動的に判別(認識、識別)する。対象物探索部41は、撮像画像Imに映った物の特徴部(例えば形状や色など)に基づいて、この判別を行う。また、対象物探索部41は、対象物Aのうち作業機械1への最接近位置の、撮像画像Imにおける位置(座標Ax,Ay)を算出する。例えば、対象物探索部41は、対象物Aの画像下側Y2部分(例えば作業者の足元部など)の座標を算出する。なお、対象物探索部41は、対象物Aのうち作業機械1に厳密に最も近い点(最接近点)を対象物Aの座標(Ax,Ay)とする必要はない。対象物座標算出部41aは、対象物Aのうち作業機械1への最接近点の近傍の位置を、対象物Aの座標(Ax,Ay)としてもよい。対象物座標算出部41aは、対象物Aの作業機械1への最接近点を、対象物Aの座標(Ax,Ay)とすることが好ましい。
探索範囲制限部43(図2参照)は、撮像画像Imに対して、探索上限位置Ea(探索反機械側限度位置)を設定してもよく、探索下限位置Eb(探索機械側限度位置)を設定してもよい。探索上限位置Eaは、探索範囲制限部43に予め設定されてもよく、手動または自動的に設定されてもよい(探索下限位置Ebも同様)。探索上限位置Eaおよび探索下限位置Ebのそれぞれが設定される場合、探索下限位置Ebは、探索上限位置Eaよりも、画像下側Y2に設定される。
[例1]探索範囲制限部43が探索上限位置Eaを設定した場合、対象物探索部41(図2参照)による対象物Aの探索範囲は、探索上限位置Eaよりも画像下側Y2の領域内である。上記「領域内」は、領域の全体である必要はなく、領域の少なくとも一部である(以下同様)。対象物探索部41は、探索上限位置Eaよりも画像上側Y1の領域では対象物Aを探索しない。[例2]探索範囲制限部43が探索下限位置Ebを設定した場合、対象物探索部41(図2参照)による対象物Aの探索範囲は、探索下限位置Ebよりも画像上側Y1の領域内である。対象物探索部41は、探索下限位置Ebよりも画像下側Y2の領域では対象物Aを探索しない。[例3]探索範囲制限部43が、探索上限位置Eaおよび探索下限位置Ebのそれぞれを設定した場合、対象物探索部41(図2参照)による対象物Aの探索範囲は、探索上限位置Eaと探索下限位置Ebとの間の領域内である。対象物探索部41は、探索上限位置Eaよりも画像上側Y1の領域では対象物Aを探索しない。上記[例1]、[例2]、および[例3]のそれぞれでは、対象物探索部41は、撮像画像Imの一部の領域では対象物Aを探索しない。よって、対象物探索部41が撮像画像Imの全体で探索を行う場合に比べ、対象物探索部41の探索範囲が限定され、処理負荷が軽減され、処理時間が短縮される。探索上限位置Eaおよび探索下限位置Ebは、例えば、対象物Aの探索の必要性に基づいて設定される。
探索上限位置Eaは、例えば次のように設定される。撮像画像Imの画像上側Y1部分には、空が映る(映り込む)場合がある。空が映った部分まで対象物Aの探知が行われると、過剰検知の原因となる場合があり、また、誤検知の原因となる場合がある。そこで、探索上限位置Eaは、空が映ると想定される部分に基づいて設定される。例えば、空が映ると想定される部分が、探索上限位置Eaよりも画像上側Y1になるように、探索上限位置Eaが設定される。
探索下限位置Ebは、例えば次のように設定される。撮像画像Imの画像下側Y2部分には、上部旋回体13(図1参照)の一部が映る場合がある。この場合、上部旋回体13が映っている部分には、対象物Aが映ることはない。そこで、探索範囲制限部43は、上部旋回体13が映ると想定される部分に基づいて、探索下限位置Ebを設定する。例えば、探索範囲制限部43は、上部旋回体13が映ると想定される部分が探索下限位置Ebよりも画像下側Y2になるように、探索下限位置Ebを設定する。
高低歪領域設定部45(図2参照)(第1高低歪領域設定部、第2高低歪領域設定部)は、撮像画像Imに対して、高歪領域Fb(第1高歪領域、第2高歪領域)と、低歪領域Fa(第1低歪領域、第2低歪領域)と、を設定する。高歪領域Fbは、高低歪領域設定部45に予め設定されてもよく、手動または自動的に設定されてもよい(低歪領域Faも同様)。低歪領域Faは、高歪領域Fbよりも画像の歪曲が小さい領域である。
この高低歪領域設定部45は、高歪領域Fbおよび低歪領域Faを、例えば次のように設定する。撮像画像Imの画像上側Y1部分および画像下側Y2部分は、画像上下方向Y中央部に比べ、歪が大きい場合がある。そこで、撮像画像Imの画像上側Y1部分および画像下側Y2部分が高歪領域Fbとして設定され、撮像画像Imのうち高歪領域Fb以外の部分が低歪領域Faとして設定される。上記のように、撮像画像Imの画像上側Y1部分では、空が映ることが想定されるので、対象物Aの探索が行われなくても問題は生じない。そこで、対象物探索部41(図2参照)による対象物Aの探索範囲は、低歪領域Fa内、および画像下側Y2部分の高歪領域Fb内である。対象物探索部41は、画像上側Y1部分の高歪領域Fbでは対象物Aを探索しない。よって、対象物探索部41が撮像画像Imの全体で探索を行う場合に比べ、対象物探索部41の探索範囲が限定され、処理負荷が軽減され、処理時間が短縮される。一方、対象物探索部41は、画像下側Y2部分の高歪領域Fbでは対象物Aを探索する。よって、作業機械1に接近した対象物Aを適切に検知することができる。
なお、例えば、探索上限位置Ea、探索下限位置Eb、高歪領域Fb、および低歪領域Faのそれぞれが設定される場合が考えられる。この場合、対象物探索部41(図2参照)は、探索上限位置Eaと探索下限位置Ebとの間の領域内かつ低歪領域Fa内で対象物Aを探索し、それ以外の領域では探索を行わない。また、撮像画像Imの画像上側Y1部分および画像下側Y2部分が高歪領域Fb、画像上下方向Yの中央部が低歪領域Faとなるのは、あくまで一例である。撮像装置23の画角、配置、画像補正部31がどのような補正を行うかなどによって、撮像画像Imのどの部分が高歪領域Fbおよび低歪領域Faになるかは様々に考えられる。
検知領域設定部51(図2参照)は、検知領域Dを設定する。検知領域Dは、撮像画像Imにおいて対象物Aを検知する領域であり、対応処理部90(図2参照)による所定の対応処理を行うか否かを決定するための領域である。撮像画像Imのうち検知領域D以外の領域を、非検知領域Cとする。
この検知領域設定部51は、撮像画像Imにおける検知領域Dの境界となる境界線Bを設定する。境界線Bは、1本のみ設定されてもよく、複数本設定されてもよい。境界線Bには、少なくとも、検知領域Dと非検知領域Cとの境界となる線が含まれる。境界線Bが複数本設定される場合は、作業機械1から最も遠い側(画像上側Y1)の境界線Bが、検知領域Dと非検知領域Cとの境界(検知領域Dの限界域)となる。境界線Bには、複数の検知領域Dを仕切る線が含まれてもよい。具体的には、境界線Bには、図5に示す検知領域D1と検知領域D2とを仕切る線が含まれてもよい。図4に示すように、境界線Bは、制御部30(図2参照)の処理負荷ができるだけ軽くなるように設定されることが好ましい。具体的には、境界線Bは、画像左右方向Xに延び、一定の形状(変化しない形状)を有する線である。境界線Bは、撮像画像Imにおいて、好ましくは略直線状であり、さらに好ましくは直線状である。上記「略直線状」は、例えば、撮像画像Imに映る上部旋回体13(図1参照)の一部(例えばカウンタウエイト13b(図1参照)の後端など)に沿う曲線状でもよい。
境界線Bは、画像補正部31(図2参照)に補正された撮像画像Imに設定されることが好ましい。その理由は、次の通りである。撮像画像Imの歪が大きい部分では、画像上下方向Yにおける対象物Aの位置が同じでも、画像左右方向Xにおける対象物Aの位置によって、作業機械1から対象物Aまでの実際の距離が、大きく異なる。そのため、撮像画像Imの歪が大きい部分に直線状や略直線状の境界線Bを設定すると、作業機械1から対象物Aまでの実際の距離が同じでも、画像左右方向Xにおける対象物Aの位置によって、対象物Aが検知領域Dに入ったり入らなかったりする。すると、対応処理部90(図2参照)による対応処理が開始されるときの、対象物Aと作業機械1との実際の距離(対応処理開始距離)が、撮像画像Imの画像左右方向Xにおける対象物Aの位置によって変わる。よって、作業機械1のオペレータにとって、対象物Aが作業機械1にどれだけ近づけば対応処理が開始されるかを把握することが困難になる(オペレータは距離感覚をつかみにくい)。一方、本実施形態では、画像補正部31(図2参照)で歪が補正された撮像画像Imに、略直線状や直線状の境界線Bが設定される。よって、画像左右方向Xにおける対象物Aの位置によらず、対応処理開始距離が一定または略一定になる。よって、オペレータは、距離感覚をつかみやすい。また、対応処理開始距離が一定または略一定になるので、対応処理が適正に行われる。
この検知領域設定部51(図2参照)は、上記の理由と同様の理由により、境界線Bを低歪領域Fa内に設定する。これにより、画像左右方向Xにおける対象物Aの位置によらず、対応処理開始距離が略一定になり、オペレータは距離感覚をつかみやすい。また、上記のように、撮像画像Imの画像上側Y1部分には空が映り、撮像画像Imの画像下側Y2部分には下部走行体11が映ることが想定される。そのため、撮像画像Imの画像上下方向Y中央部の低歪領域Fa内に境界線Bが設定されれば、対象物Aを適切に検知できる。また、低歪領域Faに境界線Bが設定されるので、作業機械1側(画像下側Y2)の高歪領域Fbに境界線Bが設定される場合に比べ、より早期に対象物Aを検知することができる。
(第1高低歪領域設定部、第2高低歪領域設定部などについて)
ここで、高低歪領域設定部45は、「第1高低歪領域設定部」であり、「第2高低歪領域設定部」でもある。「第1高低歪領域設定部」は、境界線Bが設定され得る低歪領域Fa(すなわち第1低歪領域)と、境界線Bが設定されない高歪領域Fb(すなわち第1高歪領域)と、を設定する。「第2高低歪領域設定部」は、対象物探索部41による探索が行われ得る低歪領域Fa(すなわち第2低歪領域)と、画像下側Y2の高歪領域Fb(すなわち画像下側Y2の第2低歪領域)と、を設定する。また、「第2高低歪領域設定部」は、対象物探索部41による探索が行われない画像上側Y1の高歪領域Fb(すなわち画像上側Y1の第2高歪領域)を設定する。境界線Bが設定される範囲としての低歪領域Fa(第1低歪領域)と、対象物探索部41が対象物Aを探索する範囲としての低歪領域Fa(第2低歪領域)とは、同じでもよく、異なってもよい。第1低歪領域として適切な範囲と、第2低歪領域として適切な範囲とは、必ずしも一致しないので、第1低歪領域と第2低歪領域とは異なる配置であることが好ましい。また、第1低歪領域と第2低歪領域とのうち、一方のみが設定されてもよい。
この検知領域設定部51(図2参照)は、図5に示すように、複数の境界線Bを設定してもよい。検知領域設定部51は、複数の検知領域D1・D2を設定してもよい。この場合、検知領域設定部51は、画像上下方向Yに互いに間隔をあけて複数の境界線Bを設定する。そして、後述するように、対象物Aがどの境界線Bを超えたかによって、対応処理部90の対応処理が変えられる。
この検知領域設定部51(図2参照)は、撮像装置23(図1参照)が複数設けられる場合、複数の撮像装置23が取得した複数の撮像画像Imに個別に(撮像装置23ごとに)境界線Bを設定する。検知領域設定部51は、例えば、対応処理開始距離が、各撮像装置23で一定または略一定になるように、境界線Bを設定する。検知領域設定部51は、境界線調整部52(図2参照)を備える。
境界線調整部52(図2参照)は、図4に示す境界線Bの位置を画像上下方向Yに調整する部分である。境界線調整部52により境界線Bの位置が調整されても、撮像画像Imにおける境界線Bの形状は、一定である。撮像画像Imの歪が大きい部分で境界線Bの位置が変えられると、撮像画像Imの歪に合わせて境界線Bの曲率を変える必要があり、複数のパラメータを用意する必要があるが、本実施形態では境界線Bの形状は一定である。境界線調整部52による境界線Bの位置の調整は、手動調整でもよく、自動調整でもよい。
境界線Bの位置が手動により調整される場合の具体例は、次のとおりである。例えば、制御部30(図2参照)が、「調整モード」に設定される。すると、後述する撮像画像表示部80(図2参照)が、撮像画像Imに境界線Bを重ねて表示する。作業者は、この表示を見ながら、境界線Bを画像上下方向Yに移動させ、境界線Bの位置を決定する操作を行う。この操作は、境界線調整用入力装置21c(図2参照)により行われる。具体的には例えば、作業者は、ジョグダイアル21c1(図2参照)を回転操作することで、境界線Bを画像上下方向Yに移動させ、スイッチ21c2(図2参照)を操作する(例えば押す)ことで、境界線Bの位置を決定する。
境界線Bの位置が自動的に調整される場合の具体例は、次のとおりである。境界線Bの位置は、例えば、作業機械1の走行速度に基づいて調整される。具体的には、境界線調整部52(図2参照)は、対象物Aに近づく向きへの作業機械1の走行速度が第1速度のときの、撮像画像Imにおける境界線Bの位置を、第1位置B1とする。対象物Aに近づく向きへの作業機械1の走行速度であって、第1速度よりも速い速度を、第2速度とする。この第2速度のときの、撮像画像Imにおける境界線Bの位置を第2位置B2とする。このとき、境界線調整部52は、第2位置B2を、第1位置B1よりも画像上側Y1に設定する。境界線調整部52は、境界線Bの位置を、作業機械1の走行速度が速くなるにしたがって、段階的に画像上側Y1に設定してもよく、連続的に画像上側Y1に設定してもよい。なお、作業機械1の走行の向きが対象物Aに近づく向きか否かは、下部走行体11の走行の向き(前進、後進)と、下部走行体11に対する上部旋回体13の旋回角度と、撮像装置23の撮影方向と、に基づいて判定できる。なお、境界線Bの位置は調整されなくてもよい(すなわち、境界線調整部52は設けられなくてもよい)。検知領域設定部51に予め境界線Bが設定され、この境界線Bの位置が変えられなくてもよい。
この境界線調整部52が境界線Bの位置を調整する場合、境界線調整部52は、作業機械1の走行速度を、直接的または間接的に取得する。例えば、図2に示す境界線調整部52は、走行操作部21aの操作量から走行速度を取得してもよい。例えば、境界線調整部52は、下部走行体11(図1参照)を走行させるモータに関する情報(回転数、作動油の流量など)から走行速度を取得してもよい。例えば、境界線調整部52は、作業機械1の位置を検出するセンサから走行速度を取得してもよい。
境界線限度位置設定部53は、図4に示すように、撮像画像Imに対して、境界線上限位置Ga(境界線反機械側限度位置)と、境界線下限位置Gb(境界線機械側限度位置)と、を設定する。境界線下限位置Gbは、境界線上限位置Gaよりも画像下側Y2に設定される。境界線Bは、境界線上限位置Gaと境界線下限位置Gbとの間の領域内に設定される。境界線上限位置Gaおよび境界線下限位置Gbは、探索上限位置Eaおよび探索下限位置Ebと同様に、例えば対象物Aの探索の必要性に基づいて設定される。なお、例えば、境界線上限位置Ga、境界線下限位置Gb、高歪領域Fb、および低歪領域Faのそれぞれが設定される場合は、検知領域設定部51は、境界線上限位置Gaと境界線下限位置Gbとの間の領域内かつ低歪領域Fa内に境界線Bを設定する。また、図4に示す例では、境界線上限位置Gaと探索上限位置Eaとが一致しているが、これらは一致しなくてもよい(境界線下限位置Gbと探索下限位置Ebとについても同様)。
判定部61(図2参照)は、対象物Aの一部または全部が検知領域Dの内側に存在するか否かの判定を行う。具体的には、判定部61は、例えば、枠Kの画像下側Y2端部の座標(Ax,Ay)が、検知領域D内に存在するか否かの判定を行う。境界線Bが直線状の場合は、対象物Aの画像上下方向Yの座標(Ay)が、境界線Bの画像上下方向Yの座標に対して作業機械1側(画像下側Y2)か否かの単純な判定で、対象物Aが検知領域D内に存在するか否かの判定を行うことができる。
対応処理制御部63(図2参照)は、検知領域Dの内側に対象物Aが進入したことが検出された際に、所定の対応処理を対応処理部90(図2参照)に実行させる(詳細は後述)。対応処理制御部63は、検知領域Dの内側に対象物Aが進入したことが検出されない場合は、対応処理部90に対応処理を実行させない。
表示制御部65(図2参照)は、撮像画像表示部80(図2参照)の表示を制御する。
撮像画像表示部80(図2参照)は、撮像画像Imを表示する。撮像画像表示部80は、例えば図1に示す運転室13a内に設けられる。作業機械1が遠隔操作される場合などには、撮像画像表示部80(図2参照)は、作業機械1の外部に配置されてもよい。撮像画像表示部80は、例えばディスプレイの一部または全部である。撮像画像表示部80の撮像画像Im(図4参照)の表示は、運転室13aからバックミラーを見たときのバックミラーに映る像のように、撮像装置23が撮影した撮像画像Imを左右に反転させた表示である。撮像画像表示部80は、図4に示す撮像画像Imに重ねて、境界線Bを表示してもよい。撮像画像表示部80は、撮像画像Imに重ねて、検知領域Dを表示してもよい。なお、境界線Bは、撮像画像表示部80に表示されなくてもよく、内側処理(判定部61(図2参照)での判定など)のみに使用されてもよい(検知領域Dも同様)。撮像装置23が複数設けられる場合は、撮像画像表示部80は、撮像装置23ごとに撮像画像Imを切り替えて表示してもよく、複数の撮像装置23で撮影された撮像画像Imを結合した撮像画像Imを表示してもよい。
対応処理部90(図2参照)は、検知領域Dの内側に対象物Aが進入した場合に、所定の対応処理を実行する。図2に示す対応処理部90が実行する対応処理は、警告でもよく、作業機械1の作動の制限でもよく、これら以外の処理でもよい。対応処理部90が実行する対応処理が警告である場合、この警告は、例えば作業機械1のオペレータに対する警告でもよく、例えば作業機械1の周囲の作業者に対する警告でもよい。この警告は、音による警告でもよく、光による警告でもよく、ディスプレイへの画面表示(文章、図形など)による警告でもよく、これらを組み合わせた警告でもよい。対応処理部90が実行する対応処理が、作業機械1の作動の制限である場合、この制限は、例えば作業機械1の作動の減速でもよく、作業機械1の作動の停止でもよい。対応処理部90が制限する作業機械1の作動は、図1に示す下部走行体11の走行でもよく、下部走行体11に対する上部旋回体13の旋回でもよく、アタッチメント15の作動でもよい。図5に示すように、境界線Bが複数設定される場合は、対応処理部90は、対象物Aが超えた境界線Bに応じて、実行する対応処理を変えてもよい。この場合、対応処理部90は、対象物Aが超えた境界線Bが作業機械1に近い(画像下側Y2の)境界線Bであるほど、警告や制限の度合いを高くしてもよい。例えば、対応処理部90は、対象物Aが超えた境界線Bに応じて、警告のパターン(警告内容、回数、時間など)を変えてもよく、作業機械1の作動の制限の度合いを変えてもよい。
(作動)
図2に示す制御部30の作動の具体例を、図3を参照して説明する。図2に示す対象物探索部41が、撮像画像Imから対象物Aを探索し(ステップS11)、対象物Aの座標(例えば足元の座標)を算出する(ステップS12)。対象物Aの画像上下方向Yの座標が、境界線Bの画像上下方向Yの座標(所定値)を下回ると(ステップS13)、対応処理制御部63が対応処理部90に指令を出力する(ステップS14)。
(処理負荷、処理速度の検討)
図4に示す撮像画像Imの座標が、仮想平面座標に変換される場合について検討する。この場合、次のように処理が行われる。[ステップ1]撮像画像Imにおける対象物Aの位置が、算出される。[ステップ2]撮像画像Imの座標が、図1に示す作業機械1を基準とした仮想平面座標に変換される(仮想平面領域が作成される)。[ステップ3]仮想平面における対象物Aの座標が、算出される。[ステップ4]仮想平面における作業機械1から対象物Aまでの距離が、算出される。[ステップ5]作業機械1から対象物Aまでの距離が所定値を下回った場合に、対応処理(警告、作動制限など)が行われる。
このように、図4に示す撮像画像Imの座標が仮想平面座標に変換される場合には、上記のステップ2、3、および4において、複雑な処理が必要であり、処理負荷が高く、処理時間が長くかかる。例えば、仮想平面における対象物Aの座標を算出するには、撮像装置23(図1参照)の取付位置および取付角度の情報が必要であり、算出のロジックが複雑である。処理時間が長くかかると、検知領域Dの内側に対象物Aが進入してから(境界線Bを越えてから)、対応処理が開始されるまでの時間が長くかかる(対応処理が遅れる)。また、通常、作業機械1の機種や仕様ごとに、撮像装置23の取付位置および取付角度が異なる。そのため、作業機械1の機種や仕様ごとにパラメータを設定する必要があるので、この設定に手間がかかる(煩雑になる)。
一方、本実施形態では、撮像画像Imの座標を仮想平面座標に変換しない(図3参照)ので、上記ステップ2、3、および4の処理を省略することができる。よって、制御部30(図2参照)の処理負荷を低くでき、処理速度を向上させることができ、処理時間を短縮することができる。その結果、検知領域Dの内側に対象物Aが進入してから、対応処理(警告、作動制限)が開始されるまでの時間を短くすることができる(対応処理を素早く行える)。また、撮像画像Imの座標を仮想平面座標に変換しないので、撮像装置23(図1参照)の取付位置および取付角度の情報は不要である。よって、複雑なパラメータの設定が行われなくても、周囲検知装置20(図2参照)を様々な機種の作業機械1に適用することができる(汎用性が高い)。
(距離センサとの比較)
一般的には、距離情報を取得するセンサ(例えばTOF(Time Of Flight)センサや、例えば超音波センサ、赤外線センサ、電波(ミリ波など)センサなど)で対象物Aを探索する場合に比べ、撮像画像Imの画像処理によって対象物Aを探索する場合の方が、処理負荷は高く、処理時間は長い。一方、本実施形態では、上記のように、撮像画像Imの一部の範囲でのみ対象物Aを探索するため、処理負荷を軽減でき、処理時間を短縮することができる。また、本実施形態では、対象物Aの探索以外の処理(例えば上記ステップ2、3、および4の処理)を省略することで、制御部30の処理負荷を軽減でき、処理時間を短くすることができる。また、例えば、対象物Aを人とした場合、周囲検知装置20では、この人のみを検出対象として検出することが可能であるが、距離情報を取得するセンサでは、この人のみを検出対象として検出することはできない。
(効果)
図2に示す作業機械1の周囲検知装置20による効果は、次の通りである。
(第1の発明の効果)
周囲検知装置20は、撮像装置23と、対象物探索部41と、検知領域設定部51と、対応処理部90と、を備える。撮像装置23は、作業機械1に設けられ、作業機械1の周囲の対象物A(図4参照)を撮影し、撮像画像Imを取得する。対象物探索部41は、撮像画像Imにおける対象物A(図4参照)の位置を探索する。
[構成1-1]検知領域設定部51は、図4に示すように、撮像画像Imにおいて、対象物Aを検知する領域である検知領域Dを設定する。対応処理部90(図2参照)は、撮像画像Imにおいて検知領域Dの内側に対象物Aが進入した場合に、所定の対応処理を実行する。
[構成1-2]検知領域設定部51(図2参照)は、撮像画像Imにおける検知領域Dの境界となる境界線Bを設定する。撮像画像Imにおいて、作業機械1に近接する側を画像下側Y2(機械側)、作業機械1から遠い側を画像上側Y1(反機械側)、画像下側Y2と画像上側Y1とを結ぶ方向を画像上下方向Y(正面方向)とする。撮像画像Imにおいて、画像上下方向Yに直交する方向を画像左右方向X(正面直交方向)とする。境界線Bは、画像左右方向Xに延び、一定の形状を有する。
上記[構成1-1]では、撮像画像Imに設定された検知領域Dの内側に、対象物Aが進入した場合に、対応処理が実行される。周囲検知装置20(図2参照)では、例えば、撮像画像Imにおける対象物Aの座標を、仮想平面における座標に変換し、仮想平面内での作業機械1から対象物Aまでの距離を算出する、といった複雑な処理を行う必要はない。また、上記[構成1-2]では、境界線Bは、画像左右方向Xに延び、一定形状を有する。よって、境界線Bの形状が可変である場合に比べ、検知領域Dの内側に対象物Aが進入したか否かの判定(上記[構成1-1]参照)の処理にかかる負荷を軽減することができる。したがって、上記[構成1-1]および[構成1-2]により、対象物Aの検知に必要な処理の負荷を軽減することができ、処理時間を短縮することができる。その結果、検知領域Dの内側に対象物Aが進入した際の、対応処理部90(図2参照)による対応処理の遅れを抑制することができる。
(第2の発明の効果)
[構成2]境界線Bは、撮像画像Imにおいて直線状である。
上記[構成2]により、検知領域Dの内側に対象物Aが進入したか否かの判定(上記[構成1-1]参照)の処理にかかる負荷を、より軽減することができる。
(第3の発明の効果)
[構成3]図2に示すように、周囲検知装置20は、高低歪領域設定部45(第1高低歪領域設定部)を備える。高低歪領域設定部45は、図4に示すように、撮像画像Imに対して、高歪領域Fb(第1高歪領域)と、高歪領域Fbよりも画像の歪曲が小さい低歪領域Fa(第1低歪領域)と、を設定する。境界線Bは、低歪領域Fa内に設定される。
上記[構成3]により、次の効果が得られる。撮像画像Imの歪の大きい領域に、画像左右方向Xに延びる(例えば直線状や略直線状の)境界線Bが設定された場合、撮像画像Imの画像左右方向Xにおける対象物Aの位置によって、対応処理開始距離が大きく変わる。すると、作業機械1のオペレータが、対応処理開始距離を把握しにくい(距離感覚をつかみにくい)。そこで、上記[構成3]では、境界線Bは、低歪領域Fa内に設定される。よって、撮像画像Imの画像左右方向Xにおける対象物Aの位置によらず、対応処理開始距離を一定または略一定にすることができる。よって、オペレータに、対応処理開始距離を容易に把握させることができる(オペレータが距離感覚をつかみやすい)。その結果、このオペレータに、適切な回避操作(対象物Aと作業機械1との接触を回避する操作)を促すことができる。
(第4の発明の効果)
[構成4]図2に示すように、周囲検知装置20は、境界線限度位置設定部53を備える。境界線限度位置設定部53は、図4に示すように、撮像画像Imに対して、境界線上限位置Ga(境界線反機械側限度位置)と、境界線上限位置Gaよりも画像下側Y2の境界線下限位置Gb(境界線機械側限度位置)と、を設定する。境界線Bは、境界線上限位置Gaと境界線下限位置Gbとの間の領域内に設定される。
上記[構成4]により、次の効果が得られる。撮像画像Imの画像上側Y1部分および画像下側Y2部分は、境界線Bの位置として不適切な位置(例えば空や下部走行体11が映っている位置など)である場合が想定される。そこで、上記[構成4]では、境界線Bは、境界線上限位置Gaと境界線下限位置Gbとの間の領域内に設定される。よって、対象物Aの検知を適切に行うことができる。例えば、対象物A以外の物を対象物Aとして誤検知することなどを抑制することができる。
(第5の発明の効果)
[構成5]周囲検知装置20(図2参照)は、画像上下方向Yに境界線Bの位置を調整する境界線調整部52(図2参照)を備える。
例えば、撮像装置23(図1参照)の画角や取付角度には、公差の範囲内のばらつきがある。そのため、画像上下方向Yにおける境界線Bの位置が不変であれば、対応処理開始距離がばらつくことになる。上記[構成5]では、境界線調整部52(図2参照)により、境界線Bの位置が調整されることで、対応処理開始距離を調整することができる。これにより、撮像装置23の画角や取付角度にばらつきがあっても、対応処理開始距離を所定の距離に調整することができる(撮像装置23の画角や取付角度のばらつきを吸収することができる)。
また、例えば、作業機械1の作業現場の状況に応じて、対応処理開始距離を変化させたい場合が想定される。上記[構成5]では、境界線調整部52で境界線Bの位置が調整されることにより、対応処理開始距離を変えることができるので、利便性が向上する。
周囲検知装置20(図2参照)が、上記[構成4]と上記[構成5]とを備える場合は、境界線上限位置Gaと境界線下限位置Gbとの間の領域内で、境界線Bの位置が調整される。よって、対象物Aの検知を適切に行うことができる範囲内で、境界線Bの位置が調整される。よって、例えば、境界線Bの位置が不適切な位置(例えば空や下部走行体11が映っている位置など)に調整されるような、誤った調整作業を無くすことができる。よって、境界線Bの位置を調整する作業の作業性を向上させることができる。
(第6の発明の効果)
[構成6]対象物Aに近づく向きへの作業機械1の走行速度が第1速度のときの、撮像画像Imにおける境界線Bの位置を、第1位置B1とする。対象物Aに近づく向きへの作業機械1の走行速度が第1速度よりも速い第2速度のときの、撮像画像Imにおける境界線Bの位置を、第2位置B2とする。境界線調整部52は、第2位置B2を、第1位置B1よりも画像上側Y1に設定する。
上記[構成6]により、次の効果が得られる。対象物Aに近づく向きへの作業機械1の走行速度が速いほど、作業機械1が対象物Aに到達するまでの時間が短くなり、対応処理が遅れる場合が想定される。上記[構成6]では、作業機械1の走行速度が、第1速度の場合(遅い場合)よりも第2速度の場合(速い場合)に、作業機械1からより遠い位置で、対象物Aが検知領域Dに進入させることができる(対応処理開始距離が長くなる)。よって、第1速度の場合(遅い場合)よりも第2速度の場合(速い場合)に、対応処理を早く開始することができる。
(第7の発明の効果)
[構成7]図2に示すように、周囲検知装置20は、探索範囲制限部43を備える。探索範囲制限部43は、図4に示すように、撮像画像Imに対して、探索上限位置Ea(探索反機械側限度位置)を設定する。対象物探索部41による対象物Aの探索範囲は、探索上限位置Eaよりも画像下側Y2の領域内である。
上記[構成7]により、次の効果が得られる。撮像画像Imの画像上側Y1部分は、対象物Aを探索する位置として不適切な位置(例えば空が映っている位置など)であることが想定される。そこで、上記[構成7]では、対象物探索部41による対象物Aの探索範囲は、探索上限位置Eaよりも画像下側Y2の領域内である。よって、対象物Aの探索を適切に行うことができる。また、対象物探索部41(図2参照)が撮像画像Imの全体で対象物Aを探索する場合に比べ、探索範囲を限定することができる。よって、対象物探索部41(図2参照)の処理の負荷を軽減することができ、処理時間を短縮できる。
(第8の発明の効果)
[構成8]図2に示すように、周囲検知装置20は、探索範囲制限部43を備える。探索範囲制限部43は、図4に示すように、撮像画像Imに対して探索下限位置Eb(探索機械側限度位置)を設定する。対象物探索部41による対象物Aの探索範囲は、探索下限位置Ebよりも画像上側Y1の領域内である。
上記[構成8]により、次の効果が得られる。撮像画像Imの画像下側Y2部分は、対象物Aを探索する位置として不適切な位置(例えば上部旋回体13(図1参照)のみが映っている位置など)であることが想定される。そこで、上記[構成8]では、対象物探索部41による対象物Aの探索範囲は、探索下限位置Ebよりも画像上側Y1の領域内である。よって、対象物Aの探索を適切に行うことができる。また、対象物探索部41(図2参照)が撮像画像Imの全体で対象物Aを探索する場合に比べ、探索範囲を限定することができる。よって、対象物探索部41(図2参照)の処理の負荷を軽減することができ、処理時間を短縮できる。
(第9の発明の効果)
[構成9]図2に示すように、周囲検知装置20は、高低歪領域設定部45(第2高低歪領域設定部)を備える。高低歪領域設定部45は、図4に示すように、撮像画像Imに対して、画像上側Y1および画像下側Y2のそれぞれの高歪領域Fb(第2高歪領域)を設定する。高低歪領域設定部45は、高歪領域Fbよりも画像の歪曲が小さい領域である低歪領域Fa(第2低歪領域)を設定する。対象物探索部41による対象物Aの探索範囲は、低歪領域Fa内および画像下側Y2の高歪領域Fb内である。
上記[構成9]により、次の効果が得られる。撮像画像Imのうち、画像上側Y1部分の歪の大きい領域では、対象物Aを探索する位置として不適切な位置(例えば空が映っている位置など)であることが想定される。そこで、上記[構成9]では、対象物探索部41による対象物Aの探索範囲は、低歪領域Fa内および画像下側Y2部分の高歪領域Fb内である。よって、対象物Aを適切な領域内で探索することができる。また、対象物探索部41(図2参照)が撮像画像Imの全体で対象物Aを探索する場合に比べ、探索範囲を限定することができる。よって、対象物探索部41(図2参照)の処理の負荷を軽減することができ、処理時間を短縮することができる。
(第10の発明の効果)
[構成10]検知領域設定部51(図2参照)は、図5に示すように、画像上下方向Yに互いに間隔をあけて複数の境界線Bを設定する。対応処理部90(図2参照)は、対象物Aが超えた境界線Bに応じて、実行する対応処理を変える。
上記[構成10]により、作業機械1から対象物Aまでの距離に応じて、対応処理の内容(例えば警告や作動制限の内容)を変えることができる。その結果、対象物Aが存在する位置などを適切にオペレータに通知することができる。
(第11の発明の効果)
[構成11]撮像装置23(図1参照)は、複数設けられる。検知領域設定部51(図2参照)は、複数の撮像装置23(図1参照)が取得した撮像画像Imに個別に境界線Bを設定する。
上記[構成11]により、撮像装置23ごとに対応処理開始距離を設定できるので、利便性を向上させることができる。さらに詳しくは、例えば、図1に示す複数の撮像装置23間で、画角、取り付け角度、取り付け位置などが異なる。そのため、各撮像装置23の撮像画像Im(図4参照)に、共通の位置に境界線B(図4参照)を設定すれば、撮像装置23ごとに対応処理開始距離が変わる。そこで、上記[構成11]のように、撮像装置23ごとに、境界線Bが設定されることで、複数の撮像装置23間で対応処理開始距離を一致または略一致させることができる。
(変形例)
上記実施形態は様々に変形されてもよい。例えば、図2に示す上記実施形態の各構成要素の接続は変更されてもよい。例えば、図4などに示す各領域(低歪領域Faなど)や、領域を定める位置(探索上限位置Eaなど)などは、一定でもよく、手動操作により変えられてもよく、何らかの条件に応じて自動的に変えられてもよい。例えば、構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。例えば、互いに異なる複数の部材や部分として説明したものが、一つの部材や部分とされてもよい。例えば、一つの部材や部分として説明したものが、互いに異なる複数の部材や部分に分けて設けられてもよい。
1 作業機械
20 周囲検知装置
23 撮像装置
41 対象物探索部
43 探索範囲制限部
45 高低歪領域設定部(第1高低歪領域設定部、第2高低歪領域設定部)
51 検知領域設定部
52 境界線調整部
53 境界線限度位置設定部
90 対応処理部
A 対象物
B 境界線
B1 第1位置
B2 第2位置
C 非検知領域
D、D1、D2 検知領域
Ea 探索上限位置(探索反機械側限度位置)
Eb 探索下限位置(探索機械側限度位置)
Fa 低歪領域(第1低歪領域、第2低歪領域)
Fb 高歪領域(第1高歪領域、第2高歪領域)
Ga 境界線上限位置(境界線反機械側限度位置)
Gb 境界線下限位置(境界線機械側限度位置)
Im 撮像画像
X 画像左右方向(正面直交方向)
Y 画像上下方向(正面方向)
Y1 画像上側(反機械側)
Y2 画像下側(機械側)

Claims (13)

  1. 作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する撮像装置と、
    前記撮像画像における前記対象物の位置を探索する対象物探索部と、
    前記撮像画像において前記対象物を検知する領域である検知領域を設定する検知領域設定部と、
    前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    境界線限度位置設定部と、
    を備え、
    前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定し、
    前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、前記正面方向に直交する方向を正面直交方向としたとき、
    前記境界線は、前記正面直交方向に延び、一定の形状を有し、
    前記境界線限度位置設定部は、前記撮像画像に対して、境界線反機械側限度位置と、前記境界線反機械側限度位置よりも前記機械側の境界線機械側限度位置と、を設定し、
    前記境界線は、前記境界線反機械側限度位置と前記境界線機械側限度位置との間の領域内に設定される、
    作業機械の周囲検知装置。
  2. 作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する撮像装置と、
    前記撮像画像における前記対象物の位置を探索する対象物探索部と、
    前記撮像画像において前記対象物を検知する領域である検知領域を設定する検知領域設定部と、
    前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    境界線調整部と、
    を備え、
    前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定し、
    前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、前記正面方向に直交する方向を正面直交方向としたとき、
    前記境界線は、前記正面直交方向に延び、一定の形状を有し、
    前記境界線調整部は、前記正面方向に前記境界線の位置を調整し、
    前記対象物に近づく向きへの前記作業機械の走行速度が第1速度のときの、前記撮像画像における前記境界線の位置を、第1位置とし、
    前記対象物に近づく向きへの前記作業機械の走行速度が前記第1速度よりも速い第2速度のときの、前記撮像画像における前記境界線の位置を、第2位置としたとき、
    前記境界線調整部は、前記第2位置を、前記第1位置よりも前記反機械側に設定する、
    作業機械の周囲検知装置。
  3. 作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する撮像装置と、
    前記撮像画像における前記対象物の位置を探索する対象物探索部と、
    前記撮像画像において前記対象物を検知する領域である検知領域を設定する検知領域設定部と、
    前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    第2高低歪領域設定部と、
    を備え、
    前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定し、
    前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、前記正面方向に直交する方向を正面直交方向としたとき、
    前記境界線は、前記正面直交方向に延び、一定の形状を有し、
    前記第2高低歪領域設定部は、前記撮像画像に対して、前記反機械側および前記機械側のそれぞれの第2高歪領域と、前記第2高歪領域よりも画像の歪曲が小さい領域である第2低歪領域と、を設定し、
    前記対象物探索部による前記対象物の探索範囲は、前記第2低歪領域内および前記機械側の前記第2高歪領域内である、
    作業機械の周囲検知装置。
  4. 作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する撮像装置と、
    前記撮像画像における前記対象物の位置を探索する対象物探索部と、
    前記撮像画像において前記対象物を検知する領域である検知領域を設定する検知領域設定部と、
    前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    を備え、
    前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定し、
    前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、前記正面方向に直交する方向を正面直交方向としたとき、
    前記境界線は、前記正面直交方向に延び、前記撮像画像の前記正面直交方向における一端から他端まで延び、一定の形状を有し、
    前記撮像画像における、前記検知領域よりも前記反機械側の領域は、前記対象物を検知しない非検知領域である、
    作業機械の周囲検知装置。
  5. 作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する撮像装置と、
    前記撮像画像における前記対象物の位置を探索する対象物探索部と、
    前記撮像画像において前記対象物を検知する領域である検知領域を設定する検知領域設定部と、
    前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    探索範囲制限部と、
    を備え、
    前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定し、
    前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、前記正面方向に直交する方向を正面直交方向としたとき、
    前記境界線は、前記正面直交方向に延び、一定の形状を有し、
    前記探索範囲制限部は、前記撮像画像のうち前記対象物が映ることのない部分に基づいて、前記撮像画像に対して探索機械側限度位置を設定し、
    前記対象物探索部による前記対象物の探索範囲は、前記探索機械側限度位置よりも前記反機械側の領域内である、
    作業機械の周囲検知装置。
  6. 作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する撮像装置と、
    前記撮像画像における前記対象物の位置を探索する対象物探索部と、
    前記撮像画像において前記対象物を検知する領域である検知領域を設定する検知領域設定部と、
    前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    を備え、
    前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定し、
    前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、前記正面方向に直交する方向を正面直交方向としたとき、
    前記境界線は、前記正面直交方向に延び、一定の形状を有し、
    前記検知領域は、前記撮像画像の前記機械側の端から前記境界線までわたって設定される、
    作業機械の周囲検知装置。
  7. 作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する撮像装置と、
    前記撮像画像における前記対象物の位置を探索する対象物探索部と、
    前記撮像画像において前記対象物を検知する領域である検知領域を設定する検知領域設定部と、
    前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    境界線限度位置設定部と、
    を備え、
    前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定し、
    前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、前記正面方向に直交する方向を正面直交方向としたとき、
    前記境界線は、前記正面直交方向に延び、一定の形状を有し、
    前記境界線限度位置設定部は、前記撮像画像に対して、境界線機械側限度位置を設定し、
    前記境界線は、前記境界線機械側限度位置よりも前記反機械側に設定される、
    作業機械の周囲検知装置。
  8. 作業機械に設けられ、前記作業機械の周囲の対象物を撮影し、撮像画像を取得する撮像装置と、
    前記撮像画像における前記対象物の位置を探索する対象物探索部と、
    前記撮像画像において前記対象物を検知する領域である検知領域を設定する検知領域設定部と、
    前記撮像画像において前記検知領域の内側に前記対象物が進入した場合に、所定の対応処理を実行する対応処理部と、
    境界線限度位置設定部と、
    を備え、
    前記検知領域設定部は、前記撮像画像における前記検知領域の境界となる境界線を設定し、
    前記撮像画像において、前記作業機械に近接する側を機械側、前記作業機械から遠い側を反機械側、前記機械側と前記反機械側とを結ぶ方向を正面方向とし、前記正面方向に直交する方向を正面直交方向としたとき、
    前記境界線は、前記正面直交方向に延び、一定の形状を有し、
    前記境界線限度位置設定部は、前記撮像画像に対して、境界線反機械側限度位置を設定し、
    前記境界線は、前記境界線反機械側限度位置よりも前記機械側に設定される、
    作業機械の周囲検知装置。
  9. 請求項1~8のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記境界線は、前記撮像画像において直線状である、
    作業機械の周囲検知装置。
  10. 請求項1~9のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記撮像画像に対して、第1高歪領域と、前記第1高歪領域よりも画像の歪曲が小さい第1低歪領域と、を設定する第1高低歪領域設定部を備え、
    前記境界線は、前記第1低歪領域内に設定される、
    作業機械の周囲検知装置。
  11. 請求項1~10のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記撮像画像に対して、探索反機械側限度位置を設定する探索範囲制限部を備え、
    前記対象物探索部による前記対象物の探索範囲は、前記探索反機械側限度位置よりも前記機械側の領域内である、
    作業機械の周囲検知装置。
  12. 請求項1~11のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記検知領域設定部は、前記正面方向に互いに間隔をあけて複数の前記境界線を設定し、
    前記対応処理部は、前記対象物が超えた前記境界線に応じて、実行する対応処理を変える、
    作業機械の周囲検知装置。
  13. 請求項1~12のいずれか1項に記載の作業機械の周囲検知装置であって、
    前記撮像装置は、複数設けられ、
    前記検知領域設定部は、複数の前記撮像装置が取得した前記撮像画像に個別に前記境界線を設定する、
    作業機械の周囲検知装置。
JP2020063878A 2020-03-31 2020-03-31 作業機械の周囲検知装置 Active JP7428052B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020063878A JP7428052B2 (ja) 2020-03-31 2020-03-31 作業機械の周囲検知装置
PCT/JP2021/012188 WO2021200448A1 (ja) 2020-03-31 2021-03-24 作業機械の周囲検知装置
US17/906,559 US20230139466A1 (en) 2020-03-31 2021-03-24 Periphery detection device for work machine
CN202180023903.XA CN115315559A (zh) 2020-03-31 2021-03-24 工程机械的周边检测装置
EP21781981.2A EP4105392A4 (en) 2020-03-31 2021-03-24 PERIPHERY MONITORING DEVICE FOR A CONSTRUCTION MACHINE
JP2024009595A JP2024028633A (ja) 2020-03-31 2024-01-25 作業機械の周囲検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020063878A JP7428052B2 (ja) 2020-03-31 2020-03-31 作業機械の周囲検知装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024009595A Division JP2024028633A (ja) 2020-03-31 2024-01-25 作業機械の周囲検知装置

Publications (2)

Publication Number Publication Date
JP2021161732A JP2021161732A (ja) 2021-10-11
JP7428052B2 true JP7428052B2 (ja) 2024-02-06

Family

ID=77927157

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020063878A Active JP7428052B2 (ja) 2020-03-31 2020-03-31 作業機械の周囲検知装置
JP2024009595A Pending JP2024028633A (ja) 2020-03-31 2024-01-25 作業機械の周囲検知装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024009595A Pending JP2024028633A (ja) 2020-03-31 2024-01-25 作業機械の周囲検知装置

Country Status (5)

Country Link
US (1) US20230139466A1 (ja)
EP (1) EP4105392A4 (ja)
JP (2) JP7428052B2 (ja)
CN (1) CN115315559A (ja)
WO (1) WO2021200448A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168845A (ja) 2011-02-16 2012-09-06 Fujitsu Ten Ltd 物体検出装置、および、物体検出方法
US20150343976A1 (en) 2012-12-24 2015-12-03 Doosan Infracore Co., Ltd. Sensing device and method of construction equipment
JP2017102604A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2019157497A (ja) 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム
JP2020005111A (ja) 2018-06-27 2020-01-09 キヤノン株式会社 情報処理装置、制御方法及びプログラム
JP2020013220A (ja) 2018-07-13 2020-01-23 株式会社神戸製鋼所 建設機械用の物体検出装置及び物体検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165348B2 (en) * 2008-11-17 2012-04-24 International Business Machines Corporation Detecting objects crossing a virtual boundary line
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE
JP6192271B2 (ja) * 2012-08-22 2017-09-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2017094626A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
CN109313840A (zh) * 2016-11-01 2019-02-05 住友建机株式会社 施工机械用安全管理系统、管理装置、安全管理方法
JP6794879B2 (ja) * 2017-03-10 2020-12-02 株式会社タダノ 作業車両用の人物検知システムおよびこれを備える作業車両

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168845A (ja) 2011-02-16 2012-09-06 Fujitsu Ten Ltd 物体検出装置、および、物体検出方法
US20150343976A1 (en) 2012-12-24 2015-12-03 Doosan Infracore Co., Ltd. Sensing device and method of construction equipment
JP2017102604A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2019157497A (ja) 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム
JP2020005111A (ja) 2018-06-27 2020-01-09 キヤノン株式会社 情報処理装置、制御方法及びプログラム
JP2020013220A (ja) 2018-07-13 2020-01-23 株式会社神戸製鋼所 建設機械用の物体検出装置及び物体検出方法

Also Published As

Publication number Publication date
WO2021200448A1 (ja) 2021-10-07
EP4105392A4 (en) 2023-07-19
JP2024028633A (ja) 2024-03-04
CN115315559A (zh) 2022-11-08
US20230139466A1 (en) 2023-05-04
EP4105392A1 (en) 2022-12-21
JP2021161732A (ja) 2021-10-11

Similar Documents

Publication Publication Date Title
EP3409843B1 (en) Working machine
US10527731B2 (en) Obstacle detection device
KR102708684B1 (ko) 굴삭기, 정보처리장치
CN110494613B (zh) 工作机械
CN111051619B (zh) 作业机械
EP2808455B1 (en) Operational stability enhancing device for construction machinery
EP3495570A1 (en) Device to monitor area around working machine
JP5654144B1 (ja) 建設機械の制御システム及び制御方法
JP6752548B2 (ja) 建設機械
KR20210089039A (ko) 건설기계의 제어 시스템 및 방법
JP7000957B2 (ja) 作業機械操縦装置
KR20130069912A (ko) 건설기계의 작업 가이드 정보 표시 장치 및 방법
US10565690B2 (en) External interference removal device
WO2021200458A1 (ja) 作業機械の周囲検知装置
JP6925837B2 (ja) 作業機械用周辺監視システム
US20230137344A1 (en) Work machine
JP7428052B2 (ja) 作業機械の周囲検知装置
JP2021031922A (ja) 作業機械
WO2019142523A1 (ja) 先端アタッチメント判別装置
KR20230017724A (ko) 건설기계의 제어 시스템 및 방법
US20230151583A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP2024122483A (ja) 作業機械および作業機械の制御方法
JP2024030384A (ja) 作業機械の安全装置
JP2024030383A (ja) 作業機械の安全装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240108

R150 Certificate of patent or registration of utility model

Ref document number: 7428052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150