JPWO2017094627A1 - 作業機械用周辺監視システム - Google Patents

作業機械用周辺監視システム Download PDF

Info

Publication number
JPWO2017094627A1
JPWO2017094627A1 JP2017553822A JP2017553822A JPWO2017094627A1 JP WO2017094627 A1 JPWO2017094627 A1 JP WO2017094627A1 JP 2017553822 A JP2017553822 A JP 2017553822A JP 2017553822 A JP2017553822 A JP 2017553822A JP WO2017094627 A1 JPWO2017094627 A1 JP WO2017094627A1
Authority
JP
Japan
Prior art keywords
state
image
work machine
person
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017553822A
Other languages
English (en)
Other versions
JP6363805B2 (ja
Inventor
芳永 清田
芳永 清田
俊介 大槻
俊介 大槻
晋 相澤
晋 相澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=58796690&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPWO2017094627(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of JPWO2017094627A1 publication Critical patent/JPWO2017094627A1/ja
Application granted granted Critical
Publication of JP6363805B2 publication Critical patent/JP6363805B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0261—System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Abstract

周辺監視システム（１００）は、ショベル周辺に存在する人を検知する人検知部（３４）と、人検知部（３４）の検知結果に基づき第１状態と第２状態との間でショベルの状態を切り換える制御部（３５）と、を備える。第１状態は、ショベルの動きの制限が解除されている状態、又は、警報が停止している状態を含み、第２状態は、ショベルの動きを制限し或いは停止させている状態、又は、警報を出力させている状態を含む。制御部（３５）は、ショベルの状態を第２状態に切り換えた後で所定の解除条件が満たされた場合にショベルの状態を第１状態に戻す。所定の解除条件は、ショベル周辺での人の非検知、及び、ショベルが動き出さない状態が確保されていることの検知を含む。

Description

本発明は、作業機械の周囲を監視する作業機械用周辺監視システムに関する。
作業機械の周囲に複数の仮想危険度ポテンシャルゾーンを設定し、危険度の低いゾーンから危険度の高いゾーンへ監視対象が移動した場合に作業機械の動作を停止させるシステムが知られている（特許文献１参照。）。
特開平０５−０２８３８２号公報
しかしながら、上述のシステムは、危険度の高いゾーンから危険度の低いゾーンへ監視対象が移動した場合に作業機械の動作の停止を解除することで作業機械が急に動き出してしまうおそれがある。
上述に鑑み、監視対象の検知に応じて実行された作業機械の動作制限をより適切に解除できる作業機械用周辺監視システムの提供が望まれる。
本発明の実施例に係る作業機械用周辺監視システムは、作業機械の周辺に存在する人を検知する人検知部と、前記人検知部の検知結果に基づき第１状態と第２状態との間で前記作業機械の状態を切り換える制御部と、を備え、前記第１状態は、前記作業機械の動きの制限が解除されている状態、又は、警報が停止している状態を含み、前記第２状態は、前記作業機械の動きを制限し或いは停止させている状態、又は、警報を出力させている状態を含み、前記制御部は、前記作業機械の状態を前記第２状態に切り換えた後で所定の解除条件が満たされた場合に前記作業機械の状態を前記第１状態に戻し、前記所定の解除条件は、前記作業機械の周辺での人の非検知、及び、前記作業機械が動き出さない状態が確保されていることの検知を含む。
上述の手段により、監視対象の検知に応じて実行された作業機械の動作制限をより適切に解除できる作業機械用周辺監視システムが提供される。
本発明の実施例に係る周辺監視システムが搭載されるショベルの側面図である。 周辺監視システムの構成例を示す機能ブロック図である。 後方カメラの撮像画像の例である。 撮像画像から対象画像を切り出す際に用いられる幾何学的関係の一例を示す概略図である。 ショベル後方の実空間の上面視である。 後方カメラの撮像画像の一例である。 撮像画像における対象画像の領域を切り出した図である。 対象画像を正規化した正規化画像である。 撮像画像における対象画像領域の一例である。 対象画像の正規化画像の一例である。 撮像画像における対象画像領域の別の一例である。 対象画像の正規化画像の別の一例である。 撮像画像における対象画像領域の更に別の一例である。 対象画像の正規化画像の更に別の一例である。 対象画像領域と識別処理不適領域との関係を示す図である。 正規化画像の例を示す図である。 撮像画像から対象画像を切り出す際に用いられる幾何学的関係の別の一例を示す概略図である。 撮像画像における特徴画像の一例を示す図である。 画像抽出処理の一例の流れを示すフローチャートである。 制御部が有する機能の一部を示す機能ブロック図である。 周辺監視処理の一例の流れを示すフローチャートである。 制限解除処理の一例の流れを示すフローチャートである。 第１解除条件の例を示す表である。 第２解除条件の例を示す表である。 第３解除条件の例を示す表である。
図１は、本発明の実施例に係る周辺監視システム１００が搭載される建設機械としてのショベルの側面図である。ショベルの下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられる。ブーム４、アーム５、及びバケット６は掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。また、上部旋回体３の上部には撮像装置４０が取り付けられる。具体的には、上部旋回体３の後端上部、左端上部、右端上部に後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒが取り付けられる。また、キャビン１０内にはコントローラ３０及び出力装置５０が設置される。
図２は、周辺監視システム１００の構成例を示す機能ブロック図である。周辺監視システム１００は、主に、コントローラ３０、撮像装置４０、及び出力装置５０を含む。
コントローラ３０は、ショベルの駆動制御を行う制御装置である。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成され、内部メモリに格納された駆動制御用のプログラムをＣＰＵに実行させて各種機能を実現する。
また、コントローラ３０は、各種装置の出力に基づいてショベルの周辺に人が存在するかを判定し、その判定結果に応じて各種装置を制御する。具体的には、コントローラ３０は、撮像装置４０及び入力装置４１の出力を受け、抽出部３１、識別部３２、追跡部３３、及び制御部３５のそれぞれに対応するソフトウェアプログラムを実行する。そして、その実行結果に応じて機械制御装置５１に制御指令を出力してショベルの駆動制御を実行し、或いは、出力装置５０から各種情報を出力させる。なお、コントローラ３０は、画像処理専用の制御装置であってもよい。
コントローラ３０は、例えば、制御部３５を介して各種装置を制御する。制御部３５は、各種装置を制御する機能要素である。制御部３５は、例えば、入力装置４１を介した操作者の入力に応じて各種装置を制御する。具体的には、制御部３５は、タッチパネルを通じて入力された画像切換指令に応じて車載ディスプレイの画面に表示される表示画像を切り換える。表示画像は、後方カメラ４０Ｂのスルー画像、右側方カメラ４０Ｒのスルー画像、左側方カメラ４０Ｌのスルー画像、視点変換画像等を含む。視点変換画像は、例えば、複数のカメラの撮像画像から合成される鳥瞰画像（ショベルの真上にある仮想視点から見た画像）である。スルー画像は、カメラの位置からカメラが向く方向を見たときに見えるシーンを捉えた画像であり、例えば、視点変換処理が施されていない画像を含む。
撮像装置４０は、ショベルの周囲の画像を撮像する装置であり、撮像した画像をコントローラ３０に対して出力する。本実施例では、撮像装置４０は、ＣＣＤ等の撮像素子を採用するワイドカメラであり、上部旋回体３の上部において光軸が斜め下方を向くように取り付けられる。
入力装置４１は操作者の入力を受ける装置である。本実施例では、入力装置４１は、操作装置（操作レバー、操作ペダル等）、ゲートロックレバー、操作装置の先端に設置されたボタン、車載ディスプレイに付属のボタン、タッチパネル等を含む。
出力装置５０は、各種情報を出力する装置であり、例えば、各種画像情報を表示する車載ディスプレイ、各種音声情報を音声出力する車載スピーカ、警報ブザー、警報ランプ等を含む。本実施例では、出力装置５０は、コントローラ３０からの制御指令に応じて各種情報を出力する。
機械制御装置５１は、ショベルの動きを制御する装置であり、例えば、油圧システムにおける作動油の流れを制御する制御弁、ゲートロック弁、エンジン制御装置等を含む。
抽出部３１は、撮像装置４０が撮像した撮像画像から識別処理対象画像を抽出する機能要素である。具体的には、抽出部３１は、局所的な輝度勾配又はエッジに基づく簡易な特徴、Hough変換等による幾何学的特徴、輝度に基づいて分割された領域の面積又はアスペクト比に関する特徴等を抽出する比較的演算量の少ない画像処理（以下、「前段画像認識処理」とする。）によって識別処理対象画像を抽出する。識別処理対象画像（以下、「対象画像」とする。）は、後続の画像処理の対象となる画像部分（撮像画像の一部）であり、人候補画像を含む。人候補画像は、人画像である可能性が高いとされる画像部分（撮像画像の一部）である。
識別部３２は、抽出部３１が抽出した対象画像に含まれる人候補画像が人画像であるかを識別する機能要素である。具体的には、識別部３２は、ＨＯＧ（Histograms of Oriented Gradients）特徴量に代表される画像特徴量記述と機械学習により生成した識別器とを用いた画像認識処理等の比較的演算量の多い画像処理（以下、「後段画像認識処理」とする。）によって人候補画像が人画像であるかを識別する。識別部３２が人候補画像を人画像として識別する割合は、抽出部３１による対象画像の抽出が高精度であるほど高くなる。なお、識別部３２は、夜間、悪天候時等の撮像に適さない環境下で所望の品質の撮像画像を得られない場合等においては、人候補画像の全てが人画像であると識別し、抽出部３１が抽出した対象画像における人候補画像の全てを人であると識別してもよい。人の検知漏れを防止するためである。
次に、図３を参照し、後方カメラ４０Ｂが撮像したショベル後方の撮像画像における人画像の見え方について説明する。なお、図３の２つの撮像画像は、後方カメラ４０Ｂの撮像画像の例である。また、図３の点線円は人画像の存在を表し、実際の撮像画像には表示されない。
後方カメラ４０Ｂは、ワイドカメラであり、且つ、人を斜め上から見下ろす高さに取り付けられる。そのため、撮像画像における人画像の見え方は、後方カメラ４０Ｂから見た人の存在方向によって大きく異なる。例えば、撮像画像中の人画像は、撮像画像の左右の端部に近いほど傾いて表示される。これは、ワイドカメラの広角レンズに起因する像倒れによる。また、後方カメラ４０Ｂに近いほど頭部が大きく表示される。また、脚部がショベルの車体の死角に入って見えなくなってしまう。これらは、後方カメラ４０Ｂの設置位置に起因する。そのため、撮像画像に何らの加工を施すことなく画像処理によってその撮像画像に含まれる人画像を識別するのは困難である。
そこで、本発明の実施例に係る周辺監視システム１００は、対象画像を正規化することで、対象画像に含まれる人画像の識別を促進する。なお、「正規化」は、対象画像を所定サイズ及び所定形状の画像に変換することを意味する。本実施例では、撮像画像において様々な形状を取り得る対象画像は射影変換によって所定サイズの長方形画像に変換される。なお、射影変換としては例えば８変数の射影変換行列が用いられる。
ここで、図４〜図６Ｃを参照し、周辺監視システム１００が対象画像を正規化する処理（以下、「正規化処理」とする。）の一例について説明する。なお、図４は、抽出部３１が撮像画像から対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図である。
図４のボックスＢＸは、実空間における仮想立体物であり、本実施例では、８つの頂点Ａ〜Ｈで定められる仮想直方体である。また、点Ｐｒは、対象画像を参照するために予め設定される参照点である。本実施例では、参照点Ｐｒは、人の想定立ち位置として予め設定される点であり、４つの頂点Ａ〜Ｄで定められる四角形ＡＢＣＤの中心に位置する。また、ボックスＢＸのサイズは、人の向き、歩幅、身長等に基づいて設定される。本実施例では、四角形ＡＢＣＤ及び四角形ＥＦＧＨは正方形であり、一辺の長さは例えば８００ｍｍである。また、直方体の高さは例えば１８００ｍｍである。すなわち、ボックスＢＸは、幅８００ｍｍ×奥行８００ｍｍ×高さ１８００ｍｍの直方体である。
４つの頂点Ａ、Ｂ、Ｇ、Ｈで定められる四角形ＡＢＧＨは、撮像画像における対象画像の領域に対応する仮想平面領域ＴＲを形成する。また、仮想平面領域ＴＲとしての四角形ＡＢＧＨは、水平面である仮想地面に対して傾斜する。
なお、本実施例では、参照点Ｐｒと仮想平面領域ＴＲとの関係を定めるために仮想直方体としてのボックスＢＸが採用される。しかしながら、撮像装置４０の方向を向き且つ仮想地面に対して傾斜する仮想平面領域ＴＲを任意の参照点Ｐｒに関連付けて定めることができるのであれば、他の仮想立体物を用いた関係等の他の幾何学的関係が採用されてもよく、関数、変換テーブル等の他の数学的関係が採用されてもよい。
図５は、ショベル後方の実空間の上面視であり、参照点Ｐｒ１、Ｐｒ２を用いて仮想平面領域ＴＲ１、ＴＲ２が参照された場合における後方カメラ４０Ｂと仮想平面領域ＴＲ１、ＴＲ２との位置関係を示す。なお、本実施例では、参照点Ｐｒは、仮想地面上の仮想グリッドの格子点のそれぞれに配置可能である。但し、参照点Ｐｒは、仮想地面上に不規則に配置されてもよく、後方カメラ４０Ｂの仮想地面への投影点から放射状に伸びる線分上に等間隔に配置されてもよい。例えば、各線分は１度刻みで放射状に伸び、参照点Ｐｒは各線分上に１００ｍｍ間隔に配置される。
図４及び図５に示すように、四角形ＡＢＦＥ（図４参照。）で定められるボックスＢＸの第１面は、参照点Ｐｒ１を用いて仮想平面領域ＴＲ１が参照される場合、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ１とを結ぶ線分は、参照点Ｐｒ１に関連して配置されるボックスＢＸの第１面と上面視で直交する。同様に、ボックスＢＸの第１面は、参照点Ｐｒ２を用いて仮想平面領域ＴＲ２が参照される場合にも、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ２とを結ぶ線分は、参照点Ｐｒ２に関連して配置されるボックスＢＸの第１面と上面視で直交する。この関係は、参照点Ｐｒが何れの格子点上に配置された場合であっても成立する。すなわち、ボックスＢＸは、その第１面が常に後方カメラ４０Ｂに正対するように配置される。
図６Ａ〜図６Ｃは、撮像画像から正規化画像を生成する処理の流れを示す図である。具体的には、図６Ａは、後方カメラ４０Ｂの撮像画像の一例であり、実空間における参照点Ｐｒに関連して配置されるボックスＢＸを映し出す。また、図６Ｂは、撮像画像における対象画像の領域（以下、「対象画像領域ＴＲｇ」とする。）を切り出した図であり、図６Ａの撮像画像に映し出された仮想平面領域ＴＲに対応する。また、図６Ｃは、対象画像領域ＴＲｇを有する対象画像を正規化した正規化画像ＴＲｇｔを示す。
図６Ａに示すように、実空間上で参照点Ｐｒ１に関連して配置されるボックスＢＸは、実空間における仮想平面領域ＴＲの位置を定め、そして、仮想平面領域ＴＲに対応する撮像画像上の対象画像領域ＴＲｇを定める。
このように、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想平面領域ＴＲの位置が一意に決まり、撮像画像における対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、対象画像領域ＴＲｇを有する対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。本実施例では、正規化画像ＴＲｇｔのサイズは、例えば縦６４ピクセル×横３２ピクセルである。
図７Ａ１〜図７Ｃ２は、撮像画像と対象画像領域と正規化画像との関係を示す図である。具体的には、図７Ａ１は、撮像画像における対象画像領域ＴＲｇ３を示し、図７Ａ２は、対象画像領域ＴＲｇ３を有する対象画像の正規化画像ＴＲｇｔ３を示す。また、図７Ｂ１は、撮像画像における対象画像領域ＴＲｇ４を示し、図７Ｂ２は、対象画像領域ＴＲｇ４を有する対象画像の正規化画像ＴＲｇｔ４を示す。同様に、図７Ｃ１は、撮像画像における対象画像領域ＴＲｇ５を示し、図７Ｃ２は、対象画像領域ＴＲｇ５を有する対象画像の正規化画像ＴＲｇｔ５を示す。
図７Ａ１〜図７Ｃ２に示すように、撮像画像における対象画像領域ＴＲｇ５は、撮像画像における対象画像領域ＴＲｇ４より大きい。対象画像領域ＴＲｇ５に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。同様に、撮像画像における対象画像領域ＴＲｇ４は、撮像画像における対象画像領域ＴＲｇ３より大きい。対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、対象画像領域ＴＲｇ３に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。すなわち、撮像画像における対象画像領域は、対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が大きいほど小さい。その一方で、正規化画像ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５は何れも同じサイズの長方形画像である。
このように、抽出部３１は、撮像画像において様々な形状及びサイズを取り得る対象画像を所定サイズの長方形画像に正規化し、人画像を含む人候補画像を正規化できる。具体的には、抽出部３１は、正規化画像の所定領域に人候補画像の頭部であると推定される画像部分（以下、「頭部画像部分」とする。）を配置する。また、正規化画像の別の所定領域に人候補画像の胴体部であると推定される画像部分（以下、「胴体部画像部分」とする。）を配置し、正規化画像のさらに別の所定領域に人候補画像の脚部であると推定される画像部分（以下、「脚部画像部分」とする。）を配置する。また、抽出部３１は、正規化画像の形状に対する人候補画像の傾斜（像倒れ）を抑えた状態で正規化画像を取得できる。
次に、図８を参照し、対象画像領域が、人画像の識別に悪影響を与える識別に適さない画像領域（以下、「識別処理不適領域」とする。）を含む場合の正規化処理について説明する。識別処理不適領域は、人画像が存在し得ない既知の領域であり、例えば、ショベルの車体が映り込んだ領域（以下、「車体映り込み領域」とする。）、撮像画像からはみ出た領域（以下、「はみ出し領域」とする。）等を含む。なお、図８は、対象画像領域と識別処理不適領域との関係を示す図であり、図７Ｃ１及び図７Ｃ２に対応する。また、図８左図の右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２に対応する。
本実施例では、抽出部３１は、対象画像領域ＴＲｇ５がはみ出し領域Ｒ１及び車体映り込み領域Ｒ２の一部を含む場合、それらの識別処理不適領域をマスク処理した後で、対象画像領域ＴＲｇ５を有する対象画像の正規化画像ＴＲｇｔ５を生成する。なお、抽出部３１は、正規化画像ＴＲｇｔ５を生成した後で、正規化画像ＴＲｇｔ５における識別処理不適領域に対応する部分をマスク処理してもよい。
図８右図は、正規化画像ＴＲｇｔ５を示す。また、図８右図において、右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応するマスク領域Ｍ１を表し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２の一部に対応するマスク領域Ｍ２を表す。
このようにして、抽出部３１は、識別処理不適領域の画像をマスク処理することで、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼすのを防止する。このマスク処理により、識別部３２は、識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。なお、抽出部３１は、マスク処理以外の他の任意の公知方法で、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼさないようにしてもよい。
次に、図９を参照し、抽出部３１が生成する正規化画像の特徴について説明する。なお、図９は、正規化画像の例を示す図である。また、図９に示す１４枚の正規化画像は、図の左端に近い正規化画像ほど、後方カメラ４０Ｂから近い位置に存在する人候補の画像を含み、図の右端に近い正規化画像ほど、後方カメラ４０Ｂから遠い位置に存在する人候補の画像を含む。
図９に示すように、抽出部３１は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離（図５に示すＹ軸方向の水平距離）に関係なく、何れの正規化画像内においてもほぼ同じ割合で頭部画像部分、胴体部画像部分、脚部画像部分等を配置できる。そのため、抽出部３１は、識別部３２が識別処理を実行する際の演算負荷を低減でき、且つ、その識別結果の信頼性を向上できる。なお、上述の後方水平距離は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の位置関係に関する情報の一例であり、抽出部３１は、抽出した対象画像にその情報を付加する。また、上述の位置関係に関する情報は、仮想平面領域ＴＲに対応する参照点Ｐｒと後方カメラ４０Ｂとを結ぶ線分の後方カメラ４０Ｂの光軸に対する上面視角度等を含む。
以上の構成により、周辺監視システム１００は、撮像装置４０の方向を向き且つ水平面である仮想地面に対して傾斜する仮想平面領域ＴＲに対応する対象画像領域ＴＲｇから正規化画像ＴＲｇｔを生成する。そのため、人の高さ方向及び奥行き方向の見え方を考慮した正規化を実現できる。その結果、人を斜め上から撮像するように建設機械に取り付けられる撮像装置４０の撮像画像を用いた場合であっても建設機械の周囲に存在する人をより確実に検知できる。特に、人が撮像装置４０に接近した場合であっても、撮像画像上の十分な大きさの領域を占める対象画像から正規化画像を生成できるため、その人を確実に検知できる。
また、周辺監視システム１００は、実空間における仮想直方体であるボックスＢＸの４つの頂点Ａ、Ｂ、Ｇ、Ｈで形成される矩形領域として仮想平面領域ＴＲを定義する。そのため、実空間における参照点Ｐｒと仮想平面領域ＴＲとを幾何学的に対応付けることができ、さらには、実空間における仮想平面領域ＴＲと撮像画像における対象画像領域ＴＲｇとを幾何学的に対応付けることができる。
また、抽出部３１は、対象画像領域ＴＲｇに含まれる識別処理不適領域の画像をマスク処理する。そのため、識別部３２は、車体映り込み領域Ｒ２を含む識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。
また、抽出部３１は、参照点Ｐｒ毎に対象画像を抽出可能である。また、対象画像領域ＴＲｇのそれぞれは、対応する仮想平面領域ＴＲを介して、人の想定立ち位置として予め設定される参照点Ｐｒの１つに関連付けられる。そのため、周辺監視システム１００は、人が存在する可能性が高い参照点Ｐｒを任意の方法で抽出することで、人候補画像を含む可能性が高い対象画像を抽出できる。この場合、人候補画像を含む可能性が低い対象画像に対して、比較的演算量の多い画像処理による識別処理が施されてしまうのを防止でき、人検知処理の高速化を実現できる。
次に、図１０及び図１１を参照し、人候補画像を含む可能性が高い対象画像を抽出部３１が抽出する処理の一例について説明する。なお、図１０は、抽出部３１が撮像画像から対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図であり、図４に対応する。また、図１１は、撮像画像における特徴画像の一例を示す図である。なお、特徴画像は、人の特徴的な部分を表す画像であり、望ましくは、実空間における地面からの高さが変化し難い部分を表す画像である。そのため、特徴画像は、例えば、ヘルメットの画像、肩の画像、頭の画像、人に取り付けられる反射板若しくはマーカの画像等を含む。
特に、ヘルメットは、その形状がおよそ球体であり、その投影像が撮像画像上に投影されたときに撮像方向によらず常に円形に近いという特徴を有する。また、ヘルメットは、表面が硬質で光沢又は半光沢を有し、その投影像が撮像画像上に投影されたときに局所的な高輝度領域とその領域を中心とする放射状の輝度勾配を生じさせ易いという特徴を有する。そのため、ヘルメットの画像は、特徴画像として特に相応しい。なお、その投影像が円形に近いという特徴、局所的な高輝度領域を中心とする放射状の輝度勾配を生じさせ易いという特徴等は、撮像画像からヘルメットの画像を見つけ出す画像処理のために利用されてもよい。また、撮像画像からヘルメットの画像を見つけ出す画像処理は、例えば、輝度平滑化処理、ガウス平滑化処理、輝度極大点探索処理、輝度極小点探索処理等を含む。
本実施例では、抽出部３１は、前段画像認識処理によって、撮像画像におけるヘルメット画像（厳密にはヘルメットであると推定できる画像）を見つけ出す。ショベルの周囲で作業する人はヘルメットを着用していると考えられるためである。そして、抽出部３１は、見つけ出したヘルメット画像の位置から最も関連性の高い参照点Ｐｒを導き出す。その上で、抽出部３１は、その参照点Ｐｒに対応する対象画像を抽出する。
具体的には、抽出部３１は、図１０に示す幾何学的関係を利用し、撮像画像におけるヘルメット画像の位置から関連性の高い参照点Ｐｒを導き出す。なお、図１０の幾何学的関係は、実空間における仮想頭部位置ＨＰを定める点で図４の幾何学的関係と相違するが、その他の点で共通する。
仮想頭部位置ＨＰは、参照点Ｐｒ上に存在すると想定される人の頭部位置を表し、参照点Ｐｒの真上に配置される。本実施例では、参照点Ｐｒ上の高さ１７００ｍｍのところに配置される。そのため、実空間における仮想頭部位置ＨＰが決まれば、実空間における参照点Ｐｒの位置が一意に決まり、実空間における仮想平面領域ＴＲの位置も一意に決まる。また、撮像画像における対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、対象画像領域ＴＲｇを有する対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。
逆に、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想頭部位置ＨＰが一意に決まり、実空間における仮想頭部位置ＨＰに対応する撮像画像上の頭部画像位置ＡＰも一意に決まる。そのため、頭部画像位置ＡＰは、予め設定されている参照点Ｐｒのそれぞれに対応付けて予め設定され得る。なお、頭部画像位置ＡＰは、参照点Ｐｒからリアルタイムに導き出されてもよい。
そこで、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像内でヘルメット画像を探索する。図１１上図は、抽出部３１がヘルメット画像ＨＲｇを見つけ出した状態を示す。そして、抽出部３１は、ヘルメット画像ＨＲｇを見つけ出した場合、その代表位置ＲＰを決定する。なお、代表位置ＲＰは、ヘルメット画像ＨＲｇの大きさ、形状等から導き出される位置である。本実施例では、代表位置ＲＰは、ヘルメット画像ＨＲｇを含むヘルメット画像領域の中心画素の位置である。図１１下図は、図１１上図における白線で区切られた矩形画像領域であるヘルメット画像領域の拡大図であり、そのヘルメット画像領域の中心画素の位置が代表位置ＲＰであることを示す。
その後、抽出部３１は、例えば最近傍探索アルゴリズムを用いて代表位置ＲＰの最も近傍にある頭部画像位置ＡＰを導き出す。図１１下図は、代表位置ＲＰの近くに６つの頭部画像位置ＡＰ１〜ＡＰ６が予め設定されており、そのうちの頭部画像位置ＡＰ５が代表位置ＲＰの最も近傍にある頭部画像位置ＡＰであることを示す。
そして、抽出部３１は、図１０に示す幾何学的関係を利用し、導き出した最近傍の頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点Ｐｒ、仮想平面領域ＴＲを辿って、対応する対象画像領域ＴＲｇを抽出する。その後、抽出部３１は、抽出した対象画像領域ＴＲｇを有する対象画像を正規化して正規化画像ＴＲｇｔを生成する。
このようにして、抽出部３１は、撮像画像における人の特徴画像の位置であるヘルメット画像ＨＲｇの代表位置ＲＰと、予め設定された頭部画像位置ＡＰの１つ（頭部画像位置ＡＰ５）とを対応付けることで対象画像を抽出する。
なお、抽出部３１は、図１０に示す幾何学的関係を利用する代わりに、頭部画像位置ＡＰと参照点Ｐｒ、仮想平面領域ＴＲ、又は対象画像領域ＴＲｇとを直接的に対応付ける参照テーブルを利用し、頭部画像位置ＡＰに対応する対象画像を抽出してもよい。
また、抽出部３１は、山登り法、Mean-shift法等の最近傍探索アルゴリズム以外の他の公知のアルゴリズムを用いて代表位置ＲＰから参照点Ｐｒを導き出してもよい。例えば、山登り法を用いる場合、抽出部３１は、代表位置ＲＰの近傍にある複数の頭部画像位置ＡＰを導き出し、代表位置ＲＰとそれら複数の頭部画像位置ＡＰのそれぞれに対応する参照点Ｐｒとを紐付ける。このとき、抽出部３１は、代表位置ＲＰと頭部画像位置ＡＰが近いほど重みが大きくなるように参照点Ｐｒに重みを付ける。そして、複数の参照点Ｐｒの重みの分布を山登りし、重みの極大点に最も近い重みを有する参照点Ｐｒから対象画像領域ＴＲｇを抽出する。
次に、図１２を参照し、コントローラ３０の抽出部３１が対象画像を抽出する処理（以下、「画像抽出処理」とする。）の一例について説明する。なお、図１２は、画像抽出処理の一例の流れを示すフローチャートである。
最初に、抽出部３１は、撮像画像内でヘルメット画像を探索する（ステップＳＴ１）。本実施例では、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像をラスタスキャンしてヘルメット画像を見つけ出す。
撮像画像でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１のＹＥＳ）、抽出部３１は、ヘルメット画像ＨＲｇの代表位置ＲＰを取得する（ステップＳＴ２）。
その後、抽出部３１は、取得した代表位置ＲＰの最近傍にある頭部画像位置ＡＰを取得する（ステップＳＴ３）。
その後、抽出部３１は、取得した頭部画像位置ＡＰに対応する対象画像を抽出する（ステップＳＴ４）。本実施例では、抽出部３１は、図１０に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って対象画像を抽出する。
なお、抽出部３１は、撮像画像でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１のＮＯ）、対象画像を抽出することなく、処理をステップＳＴ５に移行させる。
その後、抽出部３１は、撮像画像の全体にわたってヘルメット画像を探索したかを判定する（ステップＳＴ５）。
撮像画像の全体を未だ探索していないと判定した場合（ステップＳＴ５のＮＯ）、抽出部３１は、撮像画像の別の領域に対し、ステップＳＴ１〜ステップＳＴ４の処理を実行する。
一方、撮像画像の全体にわたるヘルメット画像の探索を完了したと判定した場合（ステップＳＴ５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
このように、抽出部３１は、最初にヘルメット画像ＨＲｇを見つけ出し、見つけ出したヘルメット画像ＨＲｇの代表位置ＲＰから、頭部画像位置ＡＰ、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て対象画像領域ＴＲｇを特定する。そして、特定した対象画像領域ＴＲｇを有する対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。
以上の構成により、周辺監視システム１００の抽出部３１は、撮像画像における特徴画像としてのヘルメット画像を見つけ出し、そのヘルメット画像の代表位置ＲＰと所定画像位置としての頭部画像位置ＡＰの１つとを対応付けることで対象画像を抽出する。そのため、簡易なシステム構成で後段画像認識処理の対象となる画像部分を絞り込むことができる。
なお、抽出部３１は、最初に撮像画像からヘルメット画像ＨＲｇを見つけ出し、そのヘルメット画像ＨＲｇの代表位置ＲＰに対応する頭部画像位置ＡＰの１つを導き出し、その頭部画像位置ＡＰの１つに対応する対象画像を抽出してもよい。或いは、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得し、その頭部画像位置ＡＰの１つに対応する特徴画像の位置を含む所定領域であるヘルメット画像領域内にヘルメット画像が存在する場合に、その頭部画像位置ＡＰの１つに対応する対象画像を抽出してもよい。
また、抽出部３１は、図１０に示すような所定の幾何学的関係を利用し、撮像画像におけるヘルメット画像の代表位置ＲＰから対象画像を抽出してもよい。この場合、所定の幾何学的関係は、撮像画像における対象画像領域ＴＲｇと、対象画像領域ＴＲｇに対応する実空間における仮想平面領域ＴＲと、仮想平面領域ＴＲに対応する実空間における参照点Ｐｒ（人の想定立ち位置）と、参照点Ｐｒに対応する仮想頭部位置ＨＰ（人の想定立ち位置に対応する人の特徴的な部分の実空間における位置である仮想特徴位置）と、仮想頭部位置ＨＰに対応する撮像画像における頭部画像位置ＡＰ（仮想特徴位置に対応する撮像画像における所定画像位置）との幾何学的関係を表す。
ここで再び図２を参照し、コントローラ３０の他の機能要素についての説明を継続する。
追跡部３３は、識別部３２が所定時間毎に出力する識別結果を追跡して最終的な人検知結果を出力する機能要素である。本実施例では、追跡部３３は、連続する所定回数分の同一人に関する識別結果が所定条件を満たす場合に、対応する人候補画像が人画像であると判定する。すなわち、対応する三次元位置（実在位置）に人が存在すると判定する。同一人であるか否かはその実在位置に基づいて判定される。具体的には、追跡部３３は、識別部３２による１回目の識別処理において人画像であると識別された画像に写る人の実在位置（参照点ＰｒＩ）に基づいて所定時間内にその人が到達可能な範囲を導き出す。到達可能な範囲は、ショベルの最大旋回速度、ショベルの最大走行速度、人の最大移動速度等に基づいて設定される。そして、２回目の識別処理において人画像であると識別された画像に写る人の実在位置（参照点ＰｒＩＩ）がその範囲内であれば同一人であると判定する。３回目以降の識別処理についても同様である。そして、追跡部３３は、例えば、連続する６回の識別結果のうちの４回で同一人の人画像であると識別された場合に、対応する三次元位置に人が存在すると判定する。また、１回目の識別処理において人画像であると識別された場合であっても、その後の連続する３回の識別処理において同一人の人画像が識別されなかった場合には、対応する三次元位置には人が存在しないと判定する。
このように、抽出部３１、識別部３２、及び追跡部３３の組み合わせは、撮像装置４０の撮像画像に基づいてショベルの周辺に人が存在するか否かを検知する人検知部３４を構成する。
この構成により、人検知部３４は、誤報（人が存在しないにもかかわらず人が存在すると判定すること）、失報（人が存在するにもかかわらず人が存在しないと判定すること）等の発生を抑制できる。
また、人検知部３４は、人画像であると識別された画像に写る人の実在位置の推移に基づき、人がショベルに近づいているのかショベルから遠ざかっているのかを判断できる。そして、人検知部３４は、その人の実在位置のショベルからの距離が所定値を下回った場合に制御部３５に制御指令を出力して警報を出力させてもよい。この場合、人検知部３４は、ショベルの動作情報（例えば旋回速度、旋回方向、走行速度、走行方向等）に応じて所定値を調整してもよい。
また、人検知部３４は少なくとも２段階の人検知状態と人非検知状態とを判別して認識してもよい。例えば、距離に関する条件、及び、信頼性に関する条件のうちの少なくとも一方が満たされた状態を第１人検知状態（警戒状態）と判断し、双方が満たされた状態を第２人検知状態（警報状態）と判断してもよい。距離に関する条件は、例えば、人画像であると識別された画像に写る人の実在位置のショベルからの距離が所定値未満であることを含む。信頼性に関する条件は、例えば、連続する６回の識別結果のうちの４回で同一人の人画像であると識別されることを含む。第１人検知状態（警戒状態）では、確度は低いがレスポンスが早い予備的な警報としての第１警報が出力される。第１警報は、例えば小音量のビープ音であり、２つの条件が何れも満たされなくなった場合に自動的に停止される。第２人検知状態（警報状態）では、確度は高いがレスポンスが遅い正式な警報としての第２警報が出力される。第２警報は、例えば大音量のメロディ音であり、少なくとも一方の条件が満たされなくなったとしても自動的に停止されず、その停止には操作者の操作が必要とされる。
次に、図１３を参照し、制御部３５の詳細について説明する。図１３は、制御部３５が有する機能の一部を示す機能ブロック図である。図１３の例では、制御部３５は、人存否判定部３５０、状態切換部３５１、及び、解除条件判定部３５２を含む。
人存否判定部３５０は、ショベル周辺に人が存在するか否かを判定する機能要素である。状態切換部３５１は、ショベルの状態を切り換える機能要素である。解除条件判定部３５２は、解除条件が満たされたか否かを判定する機能要素である。
人存否判定部３５０は、例えば、人検知部３４を構成する追跡部３３の最終的な人検知結果に応じてショベル周辺に人が存在するか否かを判定する。但し、人存否判定部３５０は、追跡部３３による最終的な人検知結果を用いることなく、より一般化された人検知結果を用いて（例えば識別部３２の識別結果のみを用いて）ショベル周辺に人が存在するか否かを判定してもよい。状態切換部３５１は、機械制御装置５１に制御指令を出力してショベルの状態を第１状態と第２状態との間で切り換える。第１状態は、ショベルの動きの制限が解除されている状態、警報の出力が停止されている状態等を含む。第２状態はショベルの動きを制限し或いは停止させている状態、警報を出力させている状態等を含む。本実施例では、状態切換部３５１は、追跡部３３の最終的な人検知結果に基づいてショベルの周辺の所定範囲内に人が存在すると人存否判定部３５０が判定した場合、機械制御装置５１に制御指令を出力してショベルの状態を第１状態から第２状態に切り換える。例えば、ショベルの動きを停止させる。この場合、操作者による操作は無効にされる。操作者による操作の無効化は、例えば、操作装置を反応しない状態にすることで実現される。具体的には、ゲートロック弁に制御指令を出力して操作装置を油圧システムから切り離すことで無操作状態を強制的に創出してショベルの動きを停止させる。或いは、エンジン制御装置に制御指令を出力してエンジンを停止させてもよい。或いは、油圧アクチュエータに流入する作動油の流量を制御する制御弁に制御指令を出力して制御弁の開口面積、開口面積変化速度等を変化させることで油圧アクチュエータの動きを制限してもよい。この場合、最大旋回速度、最大走行速度等が低減される。また、制御弁を閉じることで油圧アクチュエータの動きを停止させてもよい。
また、状態切換部３５１は、ショベルの状態を第２状態とした後で所定の解除条件が満たされたと解除条件判定部３５２が判定した場合にショベルの状態を第１状態に戻す。すなわち、ショベルの動きを制限し或いは停止させた後で所定の解除条件が満たされたと解除条件判定部３５２が判定した場合にその制限又は停止を解除する。所定の解除条件は、例えば、「ショベル周辺の所定範囲内に人が存在しないと判定すること」（以下、「第１解除条件」とする。）を含む。また、所定の解除条件は、例えば、「ショベルが動き出さない状態が確保されていること」（以下、「第２解除条件」とする。）を追加的に含む。また、所定の解除条件は、「ショベル周辺に人がいないことが操作者によって確認されたこと」（以下、「第３解除条件」とする。）を含んでいてもよい。なお、本実施例では、ショベルの動きが制限或いは停止されているか否か、第１解除条件、第２解除条件、第３解除条件のそれぞれが満たされているか否かはフラグを用いて管理される。
第１解除条件は、例えば、「人検知部３４を構成する追跡部３３の最終的な人検知結果に基づいて人存否判定部３５０がショベル周辺の所定範囲内に人が存在しないと判定すること」を含む。
第２解除条件は、例えば、「全ての操作装置が所定時間以上にわたって中立位置になっていること」、「ゲートロックレバーが下ろされていること（操作装置が無効となっていること）」、「全ての操作装置から操作者の手足が離されていること」、「所定の解除操作が行われたこと」等を含む。「全ての操作装置が中立位置になっていること」は、例えば、各操作装置からの指令の有無、各操作装置の操作量を検出するセンサの出力値等に基づいて解除条件判定部３５２が検知する。「所定時間以上にわたって」という条件は瞬間的に中立位置になっただけで第２解除条件が満たされてしまうのを防止する効果がある。「操作装置から操作者の手足が離されていること」は、例えば、運転室内を撮像するカメラの撮像画像、操作装置（例えば操作レバーのグリップ）に取り付けられた静電センサの出力等に基づいて解除条件判定部３５２が検知する。「所定の解除操作が行われたこと」は、例えば、車載ディスプレイの画面に「ショベルが動き出さない状態が確保されていますか？」といったメッセージが表示された状態で確認ボタン（例えばホーンボタン又は同じ画面上に表示されたソフトウェアボタン）が押下された場合に解除条件判定部３５２が検知する。解除条件判定部３５２は、例えば、運転席にあるレバー、ボタン、パネル等に対する操作入力といった操作者による所定の解除操作が行われた場合に「ショベルが動き出さない状態が確保されている」と判断してもよい。
第３解除条件は、例えば、車載ディスプレイの画面に「ショベル周辺に人がいないことを確認しましたか？」といったメッセージが表示された状態で確認ボタンが押下された場合に満たされる。なお、第３解除条件は省略されてもよい。
所定の解除条件に第３解除条件が含まれる場合、第１解除条件と第２解除条件が満たされると、ショベルは制限解除可能状態となる。制限解除可能状態は、ショベル周辺に人がいないことを操作者が確認しさえすれば制限を解除できる状態を意味する。
第１解除条件、第２解除条件、及び第３解除条件のそれぞれが満たされる順番に制限はない。例えば、第３解除条件、第２解除条件、第１解除条件の順で条件が満たされたと解除条件判定部３５２が判定した場合であっても、状態切換部３５１はショベルの動きの制限又は停止を解除する。
また、状態切換部３５１は、所定の解除条件が満たされたと解除条件判定部３５２が判定した後で所定の待ち時間が経過したときにその制限又は停止を解除してもよい。急な解除によって操作者を慌てさせることがないようにするためである。
また、状態切換部３５１は、ショベルの動きを制限し或いは停止させた場合、出力装置５０としての車載ディスプレイに制御指令を出力し、その原因となった人画像が含まれる撮像画像を表示させてもよい。例えば、左側方カメラ４０Ｌの撮像画像のみに人画像が含まれる場合、左側方カメラ４０Ｌのスルー画像を単独で表示させてもよい。或いは、左側方カメラ４０Ｌの撮像画像と後方カメラ４０Ｂの撮像画像のそれぞれに人画像が含まれる場合、２つのカメラのそれぞれのスルー画像を並べて同時に表示させてもよく、２つのカメラの撮像画像を含む１つの合成画像（例えば視点変換画像）を表示させてもよい。また、制限中又は停止中であることを表す画像、解除方法のガイダンス等を表示させてもよい。また、人画像であると識別された人候補画像に対応する画像部分を強調表示してもよい。例えば、対象画像領域ＴＲｇの輪郭線を所定色で表示してもよい。また、所定の解除条件が満たされた後の待ち時間を設定している場合には、所定の解除条件が満たされたときに待ち時間が存在することを操作者に知らせてもよい。例えば、待ち時間が存在する旨を表示した上で、待ち時間のカウントダウンを表示してもよい。また、待ち時間中に警報を出力している場合には待ち時間の経過と共にその警報の音量を徐々に小さくしてもよい。
また、状態切換部３５１は、ショベルの動きを制限し或いは停止させた場合、出力装置５０としての車載スピーカに制御指令を出力し、その原因となった人が存在する側で警報を出力させてもよい。この場合、車載スピーカは、例えば、運転室内の右壁に設置された右側方スピーカ、左壁に設置された左側方スピーカ、及び後壁に設置された後方スピーカで構成される。そして、状態切換部３５１は、左側方カメラ４０Ｌの撮像画像のみに人画像が含まれる場合、左側方スピーカのみから警報を出力させる。或いは、状態切換部３５１は複数のスピーカを含むサラウンドシステムを用いて左側から音が聞こえるように音を定位させてもよい。
また、状態切換部３５１は、人検知部３４が人候補画像を人画像であると識別したと人存否判定部３５０が判定した場合に、ショベルの動きを制限し或いは停止させることなく警報のみを出力させてもよい。この場合も人存否判定部３５０は上述のように距離に関する条件及び信頼性に関する条件のうちの少なくとも一方が満たされた状態を第１人検知状態（警戒状態）と判断し、双方が満たされた状態を第２人検知状態（警報状態）と判断してもよい。そして、状態切換部３５１は、ショベルの動きを制限し或いは停止させた場合と同様に、所定の解除条件が満たされた場合に第２人検知状態（警報状態）での警報を停止させてもよい。自動的に停止され得る第１人検知状態（警戒状態）での警報とは異なり、第２人検知状態（警報状態）での警報の停止には操作者の操作が必要とされるためである。
次に、図１４を参照し、コントローラ３０の制御部３５がショベルの周辺を監視する処理（以下、「周辺監視処理」とする。）の一例について説明する。図１４は、周辺監視処理の一例の流れを示すフローチャートであり、コントローラ３０は所定の制御周期で繰り返しこの周辺監視処理を実行する。
最初に、人存否判定部３５０は、ショベル周辺に人が存在するか否かを判定する（ステップＳＴ１１）。本実施例では、人存否判定部３５０は、追跡部３３の最終的な人検知結果に基づいてショベル周辺に人が存在するか否かを判定する。
その後、ショベル周辺に人が存在すると人存否判定部３５０が判定した場合（ステップＳＴ１１のＹＥＳ）、状態切換部３５１はショベルの動きを制限し或いは停止させる（ステップＳＴ１２）。本実施例では、状態切換部３５１は、例えば、現在の人検知状態が第２人検知状態（警報状態）であると人存否判定部３５０が判断した場合にショベル周辺に人が存在すると判定してショベルの動きを停止させる。
このとき、状態切換部３５１は出力装置５０としての車載スピーカに制御指令を出力して第２警報を出力させる。また、出力装置５０としての車載ディスプレイに制御指令を出力して制限又は停止の原因となった人画像が含まれる撮像画像を表示させる。
ショベル周辺に人が存在しないと人存否判定部３５０が判定した場合（ステップＳＴ１１のＮＯ）、状態切換部３５１はショベルの動きが既に制限或いは停止されているか否かを判定する（ステップＳ１３）。本実施例では、状態切換部３５１は、対応するフラグの値を参照してショベルの動きが既に制限或いは停止されているか否かを判定する。
ショベルの動きが既に制限或いは停止されていると判定した場合（ステップＳＴ１３のＹＥＳ）、状態切換部３５１は、その制限又は停止を解除するための処理（以下、「制限解除処理」とする。）を実行する（ステップＳＴ１４）。
ショベルの動きが未だ制限或いは停止されていないと判定した場合（ステップＳＴ１３のＮＯ）、状態切換部３５１は、制限解除処理を実行することなく、今回のショベル周辺監視処理を終了させる。
次に、図１５Ａ〜図１５Ｄを参照し、コントローラ３０の制御部３５がショベルの動きの制限又は停止を解除する処理について説明する。図１５Ａは、図１４のステップＳＴ１４に示された制限解除処理の一例の流れを示すフローチャートである。図１５Ｂは第１解除条件の例を示す表であり、図１５Ｃは第２解除条件の例を示す表であり、図１５Ｄは第３解除条件の例を示す表である。表中のインデントは、条件の包含関係を表す。
最初に、解除条件判定部３５２は第１解除条件が満たされたか否かを判定する（ステップＳＴ２１）。本実施例では、解除条件判定部３５２は、ショベル周辺の所定範囲内に人が存在しないか否かを判定する。具体的には、現在の人検知状態が第２人検知状態（警報状態）を脱したか否かを判定する。第１人検知状態（警戒状態）及び第２人検知状態（警報状態）を脱したか否かを判定してもよい。
第１解除条件が満たされたと判定した場合（ステップＳＴ２１のＹＥＳ）、解除条件判定部３５２は第２解除条件が満たされたか否かを判定する（ステップＳＴ２２）。本実施例では、解除条件判定部３５２は、ショベルが動き出さない状態が確保されているか否かを判定する。具体的には、ゲートロックレバーが下ろされているか否か（操作装置が無効となっているか否か）を判定する。
第２解除条件が満たされたと判定した場合（ステップＳＴ２２のＹＥＳ）、解除条件判定部３５２は第３解除条件が満たされたか否かを判定する（ステップＳＴ２３）。本実施例では、解除条件判定部３５２は、ショベル周辺に人がいないことが操作者によって確認されたか否かを判定する。具体的には、車載ディスプレイの画面に「ショベル周辺に人がいないことを確認しましたか？」といったメッセージが表示された状態で確認ボタンが押下されたか否かを判定する。
第３解除条件が満たされたと判定した場合（ステップＳＴ２３のＹＥＳ）、状態切換部３５１はショベルの動きの制限又は停止を解除する（ステップＳＴ２４）。
このとき、状態切換部３５１は、出力装置５０としての車載スピーカに制御指令を出力して第２警報の出力を停止させる。また、出力装置５０としての車載ディスプレイに制御指令を出力して制限又は停止の原因となった人画像が含まれる撮像画像の表示を停止させる。例えば、第２警報が出力される前に表示されていたスルー画像を再表示させる。また、状態切換部３５１は、ショベルの動きの制限又は停止が解除されたことを伝えるメッセージを表示させてもよい。
なお、状態切換部３５１は、第１解除条件が満たされていないと解除条件判定部３５２が判定した場合（ステップＳＴ２１のＮＯ）、第２解除条件が満たされていないと解除条件判定部３５２が判定した場合（ステップＳＴ２２のＮＯ）、或いは、第３解除条件が満たされていないと解除条件判定部３５２が判定した場合には（ステップＳＴ２３のＮＯ）、ショベルの動きの制限又は停止を解除することなく、今回の制限解除処理を終了させる。
以上の構成により、コントローラ３０は、ショベル周辺に人が存在すると判定した場合にショベルの動きを制限し或いは停止させることができる。
また、コントローラ３０は、ショベルの動きを制限し或いは停止させた後でショベル周辺に人が存在しないと判定した場合には、ショベルが動き出さない状態が確保されていると判定したときに限り、その制限又は停止を解除できる。また、コントローラ３０は、ショベルが動き出さない状態が確保されていると判定し、且つ、ショベル周辺に人がいないことが操作者によって確認されたと判定したときに限り、その制限又は停止を解除できる。そのため、コントローラ３０は、その制限又は停止を解除した際にショベルが意図せず動き出してしまうのを防止できる。
このように、コントローラ３０は、ショベル周辺に人が存在すると判定した場合にショベルの動きを制限し或いは停止させ且つその人の画像を表示する。そして、ショベルの動きを制限し或いは停止させた後でショベル周辺に人が存在しないと判定した場合には、ショベルが動き出さない状態が確保されていると判定したときに限り、その制限又は停止を解除できると判定する。そして、所定の待ち時間が経過したときにその制限又は停止を実際に解除する。そのため、人の検知に応じて実行されたショベルの動作制限をより適切に解除できる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、ショベルの上部旋回体３の上に取り付けられる撮像装置４０の撮像画像を用いて人を検知する場合を想定するが、本発明はこの構成に限定されるものではない。移動式クレーン、固定式クレーン、リフマグ機、フォークリフト等の他の作業機械の本体部に取り付けられる撮像装置の撮像画像を用いる構成にも適用され得る。
また、上述の実施例では、３つのカメラを用いてショベルの死角領域を撮像するが、１つ、２つ、又は４つ以上のカメラを用いてショベルの死角領域を撮像してもよい。
また、上述の実施例では、撮像装置４０の撮像画像を用いて人検知が行われるが、超音波センサ、レーザレーダ、焦電センサ、ミリ波レーダ等の出力を用いて人検知が行われてもよい。
また、上述の実施例では、複数の撮像画像のそれぞれに対して個別に人検知処理が適用されるが、複数の撮像画像から生成される１つの合成画像に対して人検知処理が適用されてもよい。
また、本願は、２０１５年１１月３０日に出願した日本国特許出願第２０１５−２３３９７５に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。
１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン ３０・・・コントローラ ３１・・・抽出部 ３２・・・識別部 ３３・・・追跡部 ３４・・・人検知部 ３５・・・制御部 ４０・・・撮像装置 ４０Ｂ・・・後方カメラ ４０Ｌ・・・左側方カメラ ４０Ｒ・・・右側方カメラ ４１・・・入力装置 ５０・・・出力装置 ５１・・・機械制御装置 １００・・・周辺監視システム ３５０・・・人存否判定部 ３５１・・・状態切換部 ３５２・・・解除条件判定部 ＡＰ、ＡＰ１〜ＡＰ６・・・頭部画像位置 ＢＸ・・・ボックス Ｇ１・・・カメラ画像部分 Ｇ２・・・インジケータ部分 Ｇ３・・・視点変換画像部分 ＨＤ・・・頭部 ＨＰ・・・仮想頭部位置 ＨＲｇ・・・ヘルメット画像 Ｍ１、Ｍ２・・・マスク領域 Ｐｒ、Ｐｒ１、Ｐｒ２、Ｐｒ１０〜Ｐｒ１２・・・参照点 Ｒ１・・・はみ出し領域 Ｒ２・・・車体映り込み領域 ＲＰ・・・代表位置 ＴＲ、ＴＲ１、ＴＲ２、ＴＲ１０〜ＴＲ１２・・・仮想平面領域 ＴＲｇ、ＴＲｇ３、ＴＲｇ４、ＴＲｇ５・・・対象画像領域 ＴＲｇｔ、ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５・・・正規化画像
１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン ３０・・・コントローラ ３１・・・抽出部 ３２・・・識別部 ３３・・・追跡部 ３４・・・人検知部 ３５・・・制御部 ４０・・・撮像装置 ４０Ｂ・・・後方カメラ ４０Ｌ・・・左側方カメラ ４０Ｒ・・・右側方カメラ ４１・・・入力装置 ５０・・・出力装置 ５１・・・機械制御装置 １００・・・周辺監視システム ３５０・・・人存否判定部 ３５１・・・状態切換部 ３５２・・・解除条件判定部 ＡＰ、ＡＰ１〜ＡＰ６・・・頭部画像位置 ＢＸ・・・ボックス ＨＤ・・・頭部 ＨＰ・・・仮想頭部位置 ＨＲｇ・・・ヘルメット画像 Ｍ１、Ｍ２・・・マスク領域 Ｐｒ、Ｐｒ１、Ｐｒ２・・・参照点 Ｒ１・・・はみ出し領域 Ｒ２・・・車体映り込み領域 ＲＰ・・・代表位置 ＴＲ、ＴＲ１、ＴＲ２・・・仮想平面領域 ＴＲｇ、ＴＲｇ３、ＴＲｇ４、ＴＲｇ５・・・対象画像領域 ＴＲｇｔ、ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５・・・正規化画像

Claims (12)

  1. 作業機械の周辺に存在する人を検知する人検知部と、
    前記人検知部の検知結果に基づき第１状態と第２状態との間で前記作業機械の状態を切り換える制御部と、を備え、
    前記第１状態は、前記作業機械の動きの制限が解除されている状態、又は、警報が停止している状態を含み、
    前記第２状態は、前記作業機械の動きを制限し或いは停止させている状態、又は、警報を出力させている状態を含み、
    前記制御部は、前記作業機械の状態を前記第２状態に切り換えた後で所定の条件が満たされた場合に前記作業機械の状態を前記第１状態に戻し、
    前記所定の条件は、前記作業機械の周辺での人の非検知、及び、前記作業機械が動き出さない状態が確保されていることを含む、
    作業機械用周辺監視システム。
  2. 前記制御部は、前記作業機械の周辺で人を検知しているか否か、及び、前記作業機械が動き出さない状態か否かに基づいて前記作業機械の動きの制限を解除する、
    請求項１に記載の作業機械用周辺監視システム。
  3. 前記作業機械が動き出さない状態が確保されていることは、人の非検知時に操作装置が所定時間以上にわたって中立位置になっていること、ゲートロックレバーが下ろされていること、操作装置から操作者の手足が離されていることを含む、
    請求項１に記載の作業機械用周辺監視システム。
  4. 前記作業機械が動き出さない状態が確保されていることは、所定の解除操作が行われたことを含む、
    請求項３に記載の作業機械用周辺監視システム。
  5. 前記作業機械の動きを制限し或いは停止させている状態は、操作装置が反応しない状態、エンジンを停止させた状態、又は、油圧アクチュエータの動きが制限された状態を含む、
    請求項１に記載の作業機械用周辺監視システム。
  6. 前記制御部は、前記作業機械の周辺に存在する人が検知されて前記作業機械の状態が前記第２状態となっているときに、該人の画像が含まれた撮像画像をディスプレイに表示させる、
    請求項１に記載の作業機械用周辺監視システム。
  7. 前記制御部は、前記作業機械の状態が前記第２状態となっているときに、前記第２状態となっていることを伝えるメッセージを表示する、
    請求項１に記載の作業機械用周辺監視システム。
  8. 前記制御部は、前記作業機械の状態が前記第２状態となっているときに、前記第２状態を解除する方法を表示する、
    請求項１に記載の作業機械用周辺監視システム。
  9. 前記制御部は、前記第２状態が解除されたときに、前記第２状態が解除されたことを表示する、
    請求項１に記載の作業機械用周辺監視システム。
  10. 前記制御部は、前記作業機械の周辺に存在する人が検知された場合に、該人の画像を強調表示する、
    請求項１に記載の作業機械用周辺監視システム。
  11. 前記制御部は、前記作業機械の状態を前記第２状態に切り換えた後で前記所定の条件が満たされた場合に、前記第１状態に戻すまでの待ち時間が存在することを知らせる、
    請求項１に記載の作業機械用周辺監視システム。
  12. 前記制御部は、前記待ち時間のカウントダウンをディスプレイに表示させ、或いは、前記待ち時間中に警報を出力している場合には前記待ち時間の経過と共に該警報の音量を徐々に小さくする、
    請求項１１に記載の作業機械用周辺監視システム。
JP2017553822A 2015-11-30 2016-11-25 作業機械用周辺監視システム Active JP6363805B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015233975 2015-11-30
JP2015233975 2015-11-30
PCT/JP2016/085045 WO2017094627A1 (ja) 2015-11-30 2016-11-25 作業機械用周辺監視システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018122781A Division JP6553255B2 (ja) 2015-11-30 2018-06-28 作業機械用周辺監視システム

Publications (2)

Publication Number Publication Date
JPWO2017094627A1 true JPWO2017094627A1 (ja) 2018-06-21
JP6363805B2 JP6363805B2 (ja) 2018-07-25

Family

ID=58796690

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017553822A Active JP6363805B2 (ja) 2015-11-30 2016-11-25 作業機械用周辺監視システム
JP2018122781A Active JP6553255B2 (ja) 2015-11-30 2018-06-28 作業機械用周辺監視システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018122781A Active JP6553255B2 (ja) 2015-11-30 2018-06-28 作業機械用周辺監視システム

Country Status (5)

Country Link
US (1) US10323386B2 (ja)
EP (2) EP3386195A4 (ja)
JP (2) JP6363805B2 (ja)
CN (2) CN107925745B (ja)
WO (1) WO2017094627A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016004382A1 (de) * 2016-04-08 2017-10-12 Liebherr-Werk Biberach Gmbh Verfahren und Vorrichtung zum Planen und/oder Steuern und/oder Simulieren des Betriebs einer Baumaschine
EP3587675A4 (en) * 2017-02-22 2020-04-29 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. EXCAVATOR
JP6760163B2 (ja) * 2017-03-22 2020-09-23 コベルコ建機株式会社 建設機械
JP6589945B2 (ja) * 2017-07-14 2019-10-16 コベルコ建機株式会社 建設機械
JP7027738B2 (ja) * 2017-09-06 2022-03-02 株式会社デンソー 運転支援装置
JP7252137B2 (ja) 2017-12-04 2023-04-04 住友重機械工業株式会社 周辺監視装置
JP6909730B2 (ja) * 2017-12-06 2021-07-28 株式会社小松製作所 ホイールローダの周辺監視システム及びホイールローダの周辺監視方法
JP6900897B2 (ja) * 2017-12-25 2021-07-07 コベルコ建機株式会社 建設機械の障害物検出装置
KR102638315B1 (ko) * 2018-03-26 2024-02-16 스미토모 겐키 가부시키가이샤 쇼벨
KR102659075B1 (ko) * 2018-03-26 2024-04-18 스미토모 겐키 가부시키가이샤 쇼벨
EP3572971B1 (de) * 2018-05-22 2021-02-24 Sick Ag Absichern eines überwachungsbereichs mit mindestens einer maschine
US10800409B2 (en) * 2018-09-04 2020-10-13 Caterpillar Paving Products Inc. Systems and methods for operating a mobile machine using detected sounds
EP3620332B1 (en) * 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
CN109163707B (zh) * 2018-09-06 2019-11-26 百度在线网络技术（北京）有限公司 障碍物感知方法、系统、计算机设备、计算机存储介质
AU2019347838A1 (en) * 2018-09-25 2021-04-22 Joy Global Surface Mining Inc Proximity detection system for an industrial machine including externally mounted indicators
JP2020051092A (ja) * 2018-09-26 2020-04-02 コベルコ建機株式会社 作業機械情報表示システム
JP2020063566A (ja) * 2018-10-15 2020-04-23 日立建機株式会社 油圧ショベル
JP7133428B2 (ja) * 2018-10-15 2022-09-08 日立建機株式会社 油圧ショベル
CN112996963B (zh) * 2018-10-31 2022-12-02 住友建机株式会社 挖土机、挖土机支援系统
WO2020101006A1 (ja) * 2018-11-14 2020-05-22 住友重機械工業株式会社 ショベル、ショベルの制御装置
CN113039327B (zh) * 2018-11-14 2022-10-25 住友重机械工业株式会社 挖土机、挖土机的控制装置
JP2020149261A (ja) * 2019-03-13 2020-09-17 コベルコ建機株式会社 作業機械用周辺監視装置
KR20210152493A (ko) * 2019-04-26 2021-12-15 스미토모 겐키 가부시키가이샤 쇼벨, 작업현장의 안전장비확인시스템
JP7161444B2 (ja) * 2019-05-20 2022-10-26 日立建機株式会社 転圧機械
JP7201548B2 (ja) * 2019-07-12 2023-01-10 株式会社小松製作所 作業機械
WO2021010467A1 (ja) * 2019-07-18 2021-01-21 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
US10949685B2 (en) * 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information
WO2021054417A1 (ja) * 2019-09-19 2021-03-25 住友重機械工業株式会社 ショベル、ショベルの管理装置、ショベルの管理システム、ショベルの支援装置
JP7126095B2 (ja) * 2019-09-24 2022-08-26 Ｊｆｅスチール株式会社 侵入検出装置及び侵入検出方法
JP7305274B2 (ja) * 2019-09-25 2023-07-10 日立建機株式会社 建設機械
JP7252107B2 (ja) * 2019-09-25 2023-04-04 株式会社日立国際電気 監視システム及び監視方法
JP7261721B2 (ja) * 2019-10-15 2023-04-20 日立建機株式会社 施工支援システムおよび作業機械
JP7234095B2 (ja) * 2019-10-31 2023-03-07 日立建機株式会社 建設機械
JP7153627B2 (ja) * 2019-10-31 2022-10-14 日立建機株式会社 作業機械および周囲監視システム
EP4015714A4 (en) * 2019-12-27 2023-09-06 Hitachi Construction Machinery Co., Ltd. CONSTRUCTION MACHINE
US11698458B2 (en) * 2020-02-04 2023-07-11 Caterpillar Inc. Method and system for performing dynamic LIDAR scanning
JP2022131770A (ja) * 2021-02-26 2022-09-07 日本電気株式会社 作業機械の姿勢復旧方法、姿勢復旧システムおよび姿勢復旧装置
JP7437835B1 (ja) 2023-10-17 2024-02-26 株式会社レグラス 作業機械の安全装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03187423A (ja) * 1989-12-18 1991-08-15 Fujita Corp 無人建設車両の安全監視システム
JPH04371616A (ja) * 1991-06-20 1992-12-24 Kubota Corp バックホウ
JPH0564254U (ja) * 1992-01-30 1993-08-27 新キャタピラー三菱株式会社 建設機械の安全装置
JP2014181509A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2015063864A (ja) * 2013-09-26 2015-04-09 住友建機株式会社 ショベル、及びショベル用管理装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2700710B2 (ja) * 1990-06-21 1998-01-21 新キャタピラー三菱株式会社 建設機械の警報装置
JP2785081B2 (ja) 1991-07-22 1998-08-13 日立建機株式会社 作業機械の警報システム
JP3902168B2 (ja) * 2003-09-04 2007-04-04 日立建機株式会社 建設機械の診断情報表示システム
JP4310632B2 (ja) * 2003-11-07 2009-08-12 日立建機株式会社 建設機械の表示装置
JP2005163370A (ja) * 2003-12-02 2005-06-23 Hitachi Constr Mach Co Ltd 建設機械の画像表示装置
DE102005056647B4 (de) * 2004-11-30 2011-02-03 Honda Motor Co., Ltd. Fahrzeugumgebungsüberwachungsvorrichtung
GB2427918B (en) * 2005-07-01 2009-01-28 David Richard Andrews A monitoring system
US7865285B2 (en) * 2006-12-27 2011-01-04 Caterpillar Inc Machine control system and method
CA2617976A1 (en) * 2008-01-11 2009-07-11 John Dasilva Personnel safety system utilizing time variable frequencies
US8245263B2 (en) * 2008-11-17 2012-08-14 At&T Ip I, Lp System and method for managing conditional access blackout events in a video data distribution system
WO2011158955A1 (ja) * 2010-06-18 2011-12-22 日立建機株式会社 作業機械の周囲監視装置
DE202010011345U1 (de) * 2010-08-11 2010-10-21 Terex Demag Gmbh Überwachungs- und Warneinrichtung an Baumaschinen
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
US20120287277A1 (en) * 2011-05-13 2012-11-15 Koehrsen Craig L Machine display system
KR20140035440A (ko) * 2011-06-02 2014-03-21 히다찌 겐끼 가부시키가이샤 작업 기계의 주위 감시 장치
US9030332B2 (en) * 2011-06-27 2015-05-12 Motion Metrics International Corp. Method and apparatus for generating an indication of an object within an operating ambit of heavy loading equipment
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
US9014939B1 (en) * 2012-12-12 2015-04-21 Robert L. Mendenhall Signal based safety system for construction zone
US8849522B1 (en) * 2012-12-12 2014-09-30 Robert L. Mendenhall Signal based safety system for construction zone
JP6456584B2 (ja) * 2013-03-19 2019-01-23 住友重機械工業株式会社 作業機械用周辺監視装置
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
US9457718B2 (en) * 2014-12-19 2016-10-04 Caterpillar Inc. Obstacle detection system
JP6456173B2 (ja) * 2015-02-04 2019-01-23 日立建機株式会社 車体外部移動物体検知装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03187423A (ja) * 1989-12-18 1991-08-15 Fujita Corp 無人建設車両の安全監視システム
JPH04371616A (ja) * 1991-06-20 1992-12-24 Kubota Corp バックホウ
JPH0564254U (ja) * 1992-01-30 1993-08-27 新キャタピラー三菱株式会社 建設機械の安全装置
JP2014181509A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2015063864A (ja) * 2013-09-26 2015-04-09 住友建機株式会社 ショベル、及びショベル用管理装置

Also Published As

Publication number Publication date
EP3386195A1 (en) 2018-10-10
CN111953942A (zh) 2020-11-17
US20180209122A1 (en) 2018-07-26
CN107925745A (zh) 2018-04-17
EP3386195A4 (en) 2018-12-19
CN111953942B (zh) 2022-07-12
JP6553255B2 (ja) 2019-07-31
EP3742725B1 (en) 2024-03-20
US10323386B2 (en) 2019-06-18
JP2018197491A (ja) 2018-12-13
WO2017094627A1 (ja) 2017-06-08
JP6363805B2 (ja) 2018-07-25
EP3742725A1 (en) 2020-11-25
CN107925745B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
JP6363805B2 (ja) 作業機械用周辺監視システム
US11697920B2 (en) Surroundings monitoring system for work machine
JP6419677B2 (ja) 作業機械用周辺監視システム
JP7084521B2 (ja) ショベル
JP6997066B2 (ja) 人検知システム
JP6662622B2 (ja) 作業機械用周辺監視システム及び作業機械用周辺監視システムを備えた建設機械
JP2017102604A (ja) 作業機械用周辺監視システム
JP6474396B2 (ja) 人検知システム及びショベル
WO2014148202A1 (ja) 作業機械用周辺監視装置
JP6755672B2 (ja) 作業機械用周辺監視システム
JP2016056006A (ja) 作業機用ブーム衝突回避装置
JP2017158033A (ja) 作業機械用周辺監視システム
JP6689669B2 (ja) ショベル
JP6515021B2 (ja) 作業機械用周辺監視システム
JP6515020B2 (ja) 作業機械用周辺監視システム
JP2020127225A (ja) 作業機械用周辺監視システム及びショベル
JP2005277640A (ja) 画像領域設定装置及び画像領域設定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180215

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180215

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180628

R150 Certificate of patent or registration of utility model

Ref document number: 6363805

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150