JP6474396B2 - 人検知システム及びショベル - Google Patents

人検知システム及びショベル Download PDF

Info

Publication number
JP6474396B2
JP6474396B2 JP2016525782A JP2016525782A JP6474396B2 JP 6474396 B2 JP6474396 B2 JP 6474396B2 JP 2016525782 A JP2016525782 A JP 2016525782A JP 2016525782 A JP2016525782 A JP 2016525782A JP 6474396 B2 JP6474396 B2 JP 6474396B2
Authority
JP
Japan
Prior art keywords
image
target image
extraction unit
detection system
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016525782A
Other languages
English (en)
Other versions
JPWO2015186570A1 (ja
Inventor
芳永 清田
芳永 清田
晋 相澤
晋 相澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of JPWO2015186570A1 publication Critical patent/JPWO2015186570A1/ja
Application granted granted Critical
Publication of JP6474396B2 publication Critical patent/JP6474396B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Description

本発明は、建設機械の周囲に存在する人物を検知する建設機械用人物検知システムに関する。
イメージ・センサと熱を感知するサーモパイル・アレイを持ち、撮像範囲と熱検出範囲を重複させ、サーモパイル・アレイの出力が示す人体らしき範囲のみを顔抽出範囲と限定して画像識別処理の際の不要な演算処理量を減らす人体検出装置が知られている（特許文献１参照。）。
特開２００６−０５９０１５号公報
しかしながら、上述の装置は、イメージ・センサとサーモパイル・アレイを併設し、且つ、撮像範囲と熱検出範囲とを正確に重複させる必要があるため、システム構成が複雑になってしまう。
上述に鑑み、より簡易なシステム構成で画像識別処理の対象となる画像部分を絞り込むことができる建設機械用人物検知システムの提供が望まれる。
本発明の一実施例に係る建設機械用人物検知システムは、建設機械に取り付けられる撮像装置の撮像画像を用いて該建設機械の周辺に存在する人物を検知する建設機械用人物検知システムであって、前記撮像画像の一部を識別処理対象画像として抽出する抽出部と、前記抽出部が抽出した識別処理対象画像に含まれる画像が人物の画像であるかを画像識別処理によって識別する識別部とを有し、前記撮像画像における前記識別処理対象画像の領域は、前記撮像画像における所定画像位置の１つに予め対応付けられ、前記抽出部は、前記撮像画像における人物の特徴的な部分を表す特徴画像を見つけ出し、該特徴画像の位置と、前記所定画像位置の１つとを対応付けることで前記識別処理対象画像を抽出する。
上述の手段により、より簡易なシステム構成で画像識別処理の対象となる画像部分を絞り込むことができる建設機械用人物検知システムが提供される。
本発明の実施例に係る人物検知システムが搭載されるショベルの側面図である。 人物検知システムの構成例を示す機能ブロック図である。 後方カメラの撮像画像の例である。 後方カメラの撮像画像の例である。 撮像画像から識別処理対象画像を切り出す際に用いられる幾何学的関係の一例を示す概略図である。 ショベル後方の実空間の上面視である。 後方カメラの撮像画像の一例である。 撮像画像における識別処理対象画像領域を切り出した図である。 識別処理対象画像領域を有する識別処理対象画像を正規化した正規化画像の一例である。 撮像画像における識別処理対象画像領域を示す図である。 識別処理対象画像領域を有する識別処理対象画像の正規化画像を示す図である。 撮像画像における識別処理対象画像領域を示す図である。 識別処理対象画像領域を有する識別処理対象画像の正規化画像を示す図である。 撮像画像における識別処理対象画像領域を示す図である。 識別処理対象画像領域を有する識別処理対象画像の正規化画像を示す図である。 識別処理対象画像領域と識別処理不適領域との関係を示す図である。 はみ出し領域に対応するマスク領域と車体映り込み領域の一部に対応するマスク領域とを含む正規化画像を示す図である。 正規化画像の例を示す図である。 実空間における仮想平面領域と後方カメラとの間の後方水平距離と、正規化画像における頭部画像部分の大きさとの関係を説明する図である。 撮像画像から識別処理対象画像を切り出す際に用いられる幾何学的関係の別の一例を示す概略図である。 撮像画像における特徴画像の一例を示す図である。 特徴画像としてのヘルメット画像の拡大図である。 照明装置が搭載されたショベルの側面図である。 画像抽出処理の一例の流れを示すフローチャートである。 画像抽出処理の別の一例の流れを示すフローチャートである。
図１は、本発明の実施例に係る人物検知システム１００が搭載される建設機械としてのショベルの側面図である。ショベルの下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられる。ブーム４、アーム５、及びバケット６は掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。また、上部旋回体３の上部には撮像装置４０が取り付けられる。具体的には、上部旋回体３の後端上部、左端上部、右端上部に後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒが取り付けられる。また、キャビン１０内にはコントローラ３０及び出力装置５０が設置される。
図２は、人物検知システム１００の構成例を示す機能ブロック図である。人物検知システム１００は、主に、コントローラ３０、撮像装置４０、及び出力装置５０を含む。
コントローラ３０は、ショベルの駆動制御を行う制御装置である。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成され、内部メモリに格納された駆動制御用のプログラムをＣＰＵに実行させて各種機能を実現する。
また、コントローラ３０は、各種装置の出力に基づいてショベルの周辺に人物が存在するかを判定し、その判定結果に応じて各種装置を制御する。具体的には、コントローラ３０は、撮像装置４０の出力を受け、抽出部３１及び識別部３２のそれぞれに対応するソフトウェアプログラムを実行する。そして、その実行結果に応じてショベルの駆動制御を実行し、或いは、出力装置５０から各種情報を出力させる。なお、コントローラ３０は、画像処理専用の制御装置であってもよい。
撮像装置４０は、ショベルの周囲の画像を撮像する装置であり、撮像した画像をコントローラ３０に対して出力する。本実施例では、撮像装置４０は、ＣＣＤ等の撮像素子を採用するワイドカメラであり、上部旋回体３の上部において光軸が斜め下方を向くように取り付けられる。
出力装置５０は、各種情報を出力する装置であり、例えば、各種画像情報を表示する車載ディスプレイ、各種音声情報を音声出力する車載スピーカ等を含む。本実施例では、出力装置５０は、コントローラ３０からの制御指令に応じて各種情報を出力する。
抽出部３１は、撮像装置４０が撮像した撮像画像から識別処理対象画像を抽出する機能要素である。具体的には、抽出部３１は、比較的演算量の少ない画像処理（以下、「前段画像認識処理」とする。）によって識別処理対象画像を抽出する。前段画像認識処理は、局所的な輝度勾配又はエッジに基づく簡易な特徴、Hough変換等による幾何学的特徴、輝度に基づいて分割された領域の面積又はアスペクト比に関する特徴等を抽出する画像処理を含む。識別処理対象画像は、後続の画像処理の対象となる画像部分（撮像画像の一部）であり、人物候補画像を含む。人物候補画像は、人物画像である可能性が高いとされる画像部分（撮像画像の一部）である。
識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人物候補画像が人物画像であるかを識別する機能要素である。具体的には、識別部３２は、比較的演算量の多い画像処理（以下、「後段画像認識処理」とする。）によって人物候補画像が人物画像であるかを識別する。後段画像認識処理は、ＨＯＧ（Histograms of Oriented Gradients）特徴量に代表される画像特徴量記述と機械学習により生成した識別器とを用いた画像認識処理等を含む。識別部３２が人物候補画像を人物画像として識別する割合は、抽出部３１による識別処理対象画像の抽出が高精度であるほど高くなる。なお、識別部３２は、夜間、悪天候時等の撮像に適さない環境下で所望の品質の撮像画像を得られない場合等においては、人物候補画像の全てが人物画像であると識別してもよい。すなわち、抽出部３１が抽出した識別処理対象画像における人物候補画像の全てを人物であると識別してもよい。人物の検知漏れを防止するためである。
次に、図３Ａ及び図３Ｂを参照し、後方カメラ４０Ｂが撮像したショベル後方の撮像画像における人物画像の見え方について説明する。なお、図３Ａ及び図３Ｂの２つの撮像画像は、後方カメラ４０Ｂの撮像画像の例である。また、図３Ａ及び図３Ｂの点線円は人物画像の存在を表し、実際の撮像画像には表示されない。
後方カメラ４０Ｂは、ワイドカメラであり、且つ、人物を斜め上から見下ろす高さに取り付けられる。そのため、撮像画像における人物画像の見え方は、後方カメラ４０Ｂから見た人物の存在方向によって大きく異なる。例えば、撮像画像中の人物画像は、撮像画像の左右の端部に近いほど傾いて表示される。これは、ワイドカメラの広角レンズに起因する像倒れによる。また、後方カメラ４０Ｂに近いほど頭部が大きく表示される。また、脚部がショベルの車体の死角に入って見えなくなってしまう。これらは、後方カメラ４０Ｂの設置位置に起因する。そのため、撮像画像に何らの加工を施すことなく画像処理によってその撮像画像に含まれる人物画像を識別するのは困難である。
そこで、本発明の実施例に係る人物検知システム１００は、識別処理対象画像を正規化することで、識別処理対象画像に含まれる人物画像の識別を促進する。なお、「正規化」は、識別処理対象画像を所定サイズ及び所定形状の画像に変換することを意味する。本実施例では、撮像画像において様々な形状を取り得る識別処理対象画像は射影変換によって所定サイズの長方形画像に変換される。なお、射影変換としては例えば８変数の射影変換行列が用いられる。
ここで、図４〜図６Ｃを参照し、人物検知システム１００が識別処理対象画像を正規化する処理（以下、「正規化処理」とする。）の一例について説明する。なお、図４は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図である。
図４のボックスＢＸは、実空間における仮想立体物であり、本実施例では、８つの頂点Ａ〜Ｈで定められる仮想直方体である。また、点Ｐｒは、識別処理対象画像を参照するために予め設定される参照点である。本実施例では、参照点Ｐｒは、人物の想定立ち位置として予め設定される点であり、４つの頂点Ａ〜Ｄで定められる四角形ＡＢＣＤの中心に位置する。また、ボックスＢＸのサイズは、人物の向き、歩幅、身長等に基づいて設定される。本実施例では、四角形ＡＢＣＤ及び四角形ＥＦＧＨは正方形であり、一辺の長さは例えば８００ｍｍである。また、直方体の高さは例えば１８００ｍｍである。すなわち、ボックスＢＸは、幅８００ｍｍ×奥行８００ｍｍ×高さ１８００ｍｍの直方体である。
４つの頂点Ａ、Ｂ、Ｇ、Ｈで定められる四角形ＡＢＧＨは、撮像画像における識別処理対象画像の領域に対応する仮想平面領域ＴＲを形成する。また、仮想平面領域ＴＲとしての四角形ＡＢＧＨは、水平面である仮想地面に対して傾斜する。
なお、本実施例では、参照点Ｐｒと仮想平面領域ＴＲとの関係を定めるために仮想直方体としてのボックスＢＸが採用される。しかしながら、撮像装置４０の方向を向き且つ仮想地面に対して傾斜する仮想平面領域ＴＲを任意の参照点Ｐｒに関連付けて定めることができるのであればこの限りではない。例えば、他の仮想立体物を用いた関係等の他の幾何学的関係が採用されてもよく、関数、変換テーブル等の他の数学的関係が採用されてもよい。
図５は、ショベル後方の実空間の上面視であり、参照点Ｐｒ１、Ｐｒ２を用いて仮想平面領域ＴＲ１、ＴＲ２が参照された場合における後方カメラ４０Ｂと仮想平面領域ＴＲ１、ＴＲ２との位置関係を示す。なお、本実施例では、参照点Ｐｒは、仮想地面上の仮想グリッドの格子点のそれぞれに配置可能である。但し、参照点Ｐｒは、仮想地面上に不規則に配置されてもよく、後方カメラ４０Ｂの仮想地面への投影点から放射状に伸びる線分上に等間隔に配置されてもよい。例えば、各線分は１度刻みで放射状に伸び、参照点Ｐｒは各線分上に１００ｍｍ間隔に配置されてもよい。
図４及び図５に示すように、四角形ＡＢＦＥ（図４参照。）で定められるボックスＢＸの第１面は、参照点Ｐｒ１を用いて仮想平面領域ＴＲ１が参照される場合、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ１とを結ぶ線分は、参照点Ｐｒ１に関連して配置されるボックスＢＸの第１面と上面視で直交する。同様に、ボックスＢＸの第１面は、参照点Ｐｒ２を用いて仮想平面領域ＴＲ２が参照される場合にも、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ２とを結ぶ線分は、参照点Ｐｒ２に関連して配置されるボックスＢＸの第１面と上面視で直交する。この関係は、参照点Ｐｒが何れの格子点上に配置された場合であっても成立する。すなわち、ボックスＢＸは、その第１面が常に後方カメラ４０Ｂに正対するように配置される。
図６Ａ〜図６Ｃは、撮像画像から正規化画像を生成する処理の流れを示す図である。具体的には、図６Ａは、後方カメラ４０Ｂの撮像画像の一例であり、実空間における参照点Ｐｒに関連して配置されるボックスＢＸを示す。また、図６Ｂは、撮像画像における識別処理対象画像の領域ＴＲｇ（以下、「識別処理対象画像領域ＴＲｇ」とする。）を切り出した図であり、図６Ａの撮像画像に映し出された仮想平面領域ＴＲに対応する。また、図６Ｃは、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化した正規化画像ＴＲｇｔを示す。
図６Ａに示すように、実空間上で参照点Ｐｒ１に関連して配置されるボックスＢＸは、実空間における仮想平面領域ＴＲの位置を定め、そして、仮想平面領域ＴＲに対応する撮像画像上の識別処理対象画像領域ＴＲｇを定める。
このように、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想平面領域ＴＲの位置が一意に決まり、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。本実施例では、正規化画像ＴＲｇｔのサイズは、例えば縦６４ピクセル×横３２ピクセルである。
図７（Ａ１）〜図７（Ｃ２）は、撮像画像と識別処理対象画像領域と正規化画像との関係を示す図である。具体的には、図７Ａ１は、撮像画像における識別処理対象画像領域ＴＲｇ３を示し、図７Ａ２は、識別処理対象画像領域ＴＲｇ３を有する識別処理対象画像の正規化画像ＴＲｇｔ３を示す。また、図７Ｂ１は、撮像画像における識別処理対象画像領域ＴＲｇ４を示し、図７Ｂ２は、識別処理対象画像領域ＴＲｇ４を有する識別処理対象画像の正規化画像ＴＲｇｔ４を示す。同様に、図７Ｃ１は、撮像画像における識別処理対象画像領域ＴＲｇ５を示し、図７Ｃ２は、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を示す。
図７（Ａ１）〜図７（Ｃ２）に示すように、撮像画像における識別処理対象画像領域ＴＲｇ５は、撮像画像における識別処理対象画像領域ＴＲｇ４より大きい。識別処理対象画像領域ＴＲｇ５に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。同様に、撮像画像における識別処理対象画像領域ＴＲｇ４は、撮像画像における識別処理対象画像領域ＴＲｇ３より大きい。識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ３に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。すなわち、撮像画像における識別処理対象画像領域は、対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が大きいほど小さい。その一方で、正規化画像ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５は何れも同じサイズの長方形画像である。
このように、抽出部３１は、撮像画像において様々な形状及びサイズを取り得る識別処理対象画像を所定サイズの長方形画像に正規化し、人物画像を含む人物候補画像を正規化できる。具体的には、抽出部３１は、正規化画像の所定領域に人物候補画像の頭部であると推定される画像部分（以下、「頭部画像部分」とする。）を配置する。また、正規化画像の別の所定領域に人物候補画像の胴体部であると推定される画像部分（以下、「胴体部画像部分」とする。）を配置し、正規化画像のさらに別の所定領域に人物候補画像の脚部であると推定される画像部分（以下、「脚部画像部分」とする。）を配置する。また、抽出部３１は、正規化画像の形状に対する人物候補画像の傾斜（像倒れ）を抑えた状態で正規化画像を取得できる。
次に、図８Ａ及び図８Ｂを参照し、識別処理対象画像領域が、人物画像の識別に悪影響を与える識別に適さない画像領域（以下、「識別処理不適領域」とする。）を含む場合の正規化処理について説明する。識別処理不適領域は、人物画像が存在し得ない既知の領域であり、例えば、ショベルの車体が映り込んだ領域（以下、「車体映り込み領域」とする。）、撮像画像からはみ出た領域（以下、「はみ出し領域」とする。）等を含む。なお、図８Ａ及び図８Ｂは、識別処理対象画像領域と識別処理不適領域との関係を示す図であり、図７Ｃ１及び図７Ｃ２に対応する。また、図８Ａの右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２に対応する。
本実施例では、抽出部３１は、識別処理対象画像領域ＴＲｇ５がはみ出し領域Ｒ１及び車体映り込み領域Ｒ２の一部を含む場合、それらの識別処理不適領域をマスク処理する。そして、マスク処理した後で、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を生成する。なお、抽出部３１は、正規化画像ＴＲｇｔ５を生成した後で、正規化画像ＴＲｇｔ５における識別処理不適領域に対応する部分をマスク処理してもよい。
図８Ｂは、正規化画像ＴＲｇｔ５を示す。また、図８Ｂにおいて、右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応するマスク領域Ｍ１を表し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２の一部に対応するマスク領域Ｍ２を表す。
このようにして、抽出部３１は、識別処理不適領域の画像をマスク処理することで、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼすのを防止する。このマスク処理により、識別部３２は、識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人物画像であるかを識別できる。なお、抽出部３１は、マスク処理以外の他の任意の公知方法で、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼさないようにしてもよい。
次に、図９を参照し、抽出部３１が生成する正規化画像の特徴について説明する。なお、図９は、正規化画像の例を示す図である。また、図９に示す１４枚の正規化画像は、図の左端に近い正規化画像ほど、後方カメラ４０Ｂから近い位置に存在する人物候補の画像を含み、図の右端に近い正規化画像ほど、後方カメラ４０Ｂから遠い位置に存在する人物候補の画像を含む。
図９に示すように、抽出部３１は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離（図５に示すＹ軸方向の水平距離）に関係なく、何れの正規化画像内においてもほぼ同じ割合で頭部画像部分、胴体部画像部分、脚部画像部分等を配置できる。そのため、抽出部３１は、識別部３２が識別処理を実行する際の演算負荷を低減でき、且つ、その識別結果の信頼性を向上できる。なお、上述の後方水平距離は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の位置関係に関する情報の一例であり、抽出部３１は、抽出した識別処理対象画像にその情報を付加する。また、上述の位置関係に関する情報は、仮想平面領域ＴＲに対応する参照点Ｐｒと後方カメラ４０Ｂとを結ぶ線分の後方カメラ４０Ｂの光軸に対する上面視角度等を含む。
次に、図１０を参照し、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離と、正規化画像における頭部画像部分の大きさとの関係について説明する。なお、図１０上図は、後方カメラ４０Ｂからの後方水平距離がそれぞれ異なる３つの参照点Ｐｒ１０、Ｐｒ１１、Ｐ１２のところに人物が存在する場合の頭部画像部分の大きさＬ１０、Ｌ１１、Ｌ１２を示す図であり、横軸が後方水平距離に対応する。また、図１０下図は、後方水平距離と頭部画像部分の大きさの関係を示すグラフであり、縦軸が頭部画像部分の大きさに対応し、横軸が後方水平距離に対応する。なお、図１０上図及び図１０下図の横軸は共通である。また、本実施例は、カメラ高さを２１００ｍｍとし、頭部ＨＤの中心の地面からの高さを１６００ｍｍとし、頭部の直径を２５０ｍｍとする。
図１０上図に示すように、参照点Ｐｒ１０で示す位置に人物が存在する場合、頭部画像部分の大きさＬ１０は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１０への投影像の大きさに相当する。同様に、参照点Ｐｒ１１、Ｐｒ１２で示す位置に人物が存在する場合、頭部画像部分の大きさＬ１１、Ｌ１２は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１１、ＴＲ１２への投影像の大きさに相当する。なお、正規化画像における頭部画像部分の大きさは投影像の大きさに伴って変化する。
そして、図１０下図に示すように、正規化画像における頭部画像部分の大きさは、後方水平距離がＤ１（例えば７００ｍｍ）以上ではほぼ同じ大きさを維持するが、後方水平距離がＤ１を下回ったところで急激に増大する。
そこで、識別部３２は、後方水平距離に応じて識別処理の内容を変更する。例えば、識別部３２は、教師あり学習（機械学習）の手法を用いる場合、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。具体的には、近距離用グループと遠距離用グループに学習サンプルを分けるようにする。この構成により、識別部３２は、より高精度に人物画像を識別できる。
以上の構成により、人物検知システム１００は、撮像装置４０の方向を向き且つ水平面である仮想地面に対して傾斜する仮想平面領域ＴＲに対応する識別処理対象画像領域ＴＲｇから正規化画像ＴＲｇｔを生成する。そのため、人物の高さ方向及び奥行き方向の見え方を考慮した正規化を実現できる。その結果、人物を斜め上から撮像するように建設機械に取り付けられる撮像装置４０の撮像画像を用いた場合であっても建設機械の周囲に存在する人物をより確実に検知できる。特に、人物が撮像装置４０に接近した場合であっても、撮像画像上の十分な大きさの領域を占める識別処理対象画像から正規化画像を生成できるため、その人物を確実に検知できる。
また、人物検知システム１００は、実空間における仮想直方体であるボックスＢＸの４つの頂点Ａ、Ｂ、Ｇ、Ｈで形成される矩形領域として仮想平面領域ＴＲを定義する。そのため、実空間における参照点Ｐｒと仮想平面領域ＴＲとを幾何学的に対応付けることができ、さらには、実空間における仮想平面領域ＴＲと撮像画像における識別処理対象画像領域ＴＲｇとを幾何学的に対応付けることができる。
また、抽出部３１は、識別処理対象画像領域ＴＲｇに含まれる識別処理不適領域の画像をマスク処理する。そのため、識別部３２は、車体映り込み領域Ｒ２を含む識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人物画像であるかを識別できる。
また、抽出部３１は、識別処理対象画像を抽出した場合、仮想平面領域ＴＲと撮像装置４０との位置関係に関する情報として両者間の後方水平距離をその識別処理対象画像に付加する。そして、識別部３２は、その後方水平距離に応じて識別処理の内容を変更する。具体的には、識別部３２は、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。この構成により、識別部３２は、より高精度に人物画像を識別できる。
また、抽出部３１は、参照点Ｐｒ毎に識別処理対象画像を抽出可能である。また、識別処理対象画像領域ＴＲｇのそれぞれは、対応する仮想平面領域ＴＲを介して、人物の想定立ち位置として予め設定される参照点Ｐｒの１つに関連付けられる。そのため、人物検知システム１００は、人物が存在する可能性が高い参照点Ｐｒを任意の方法で抽出することで、人物候補画像を含む可能性が高い識別処理対象画像を抽出できる。この場合、人物候補画像を含む可能性が低い識別処理対象画像に対して、比較的演算量の多い画像処理による識別処理が施されてしまうのを防止でき、人物検出処理の高速化を実現できる。
次に、図１１、図１２Ａ、及び図１２Ｂを参照し、人物候補画像を含む可能性が高い識別処理対象画像を抽出部３１が抽出する処理の一例について説明する。なお、図１１は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図であり、図４に対応する。また、図１２Ａ及び図１２Ｂは、撮像画像における特徴画像の一例を示す図である。なお、特徴画像は、人物の特徴的な部分を表す画像であり、望ましくは、実空間における地面からの高さが変化し難い部分を表す画像である。そのため、特徴画像は、例えば、ヘルメットの画像、肩の画像、頭の画像、人物に取り付けられる反射板若しくはマーカの画像等を含む。
特に、ヘルメットは、その形状がおよそ球体であり、その投影像が撮像画像上に投影されたときに撮像方向によらず常に円形に近いという特徴を有する。また、ヘルメットは、表面が硬質で光沢又は半光沢を有し、その投影像が撮像画像上に投影されたときに局所的な高輝度領域とその領域を中心とする放射状の輝度勾配を生じさせ易いという特徴を有する。そのため、ヘルメットの画像は、特徴画像として特に相応しい。なお、その投影像が円形に近いという特徴、局所的な高輝度領域を中心とする放射状の輝度勾配を生じさせ易いという特徴等は、撮像画像からヘルメットの画像を見つけ出す画像処理のために利用されてもよい。また、撮像画像からヘルメットの画像を見つけ出す画像処理は、例えば、輝度平滑化処理、ガウス平滑化処理、輝度極大点探索処理、輝度極小点探索処理等を含む。
また、撮像画像において局所的な高輝度領域を中心とする放射状のグラデーション（輝度勾配）を生じさせ易いという特徴を安定的に引き出すために、撮像装置４０の近くには照明装置が設置されてもよい。この場合、照明装置は、例えば、撮像装置４０の撮像領域を照らすように照明装置４１の上に取り付けられる。
図１３は、照明装置４１が搭載されたショベルの側面図である。具体的には、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの上に後方ライト４１Ｂ、左側方ライト４１Ｌ、右側方ライト４１Ｒが取り付けられる。
この構成により、照明装置は、ヘルメットからの反射光によって形成される撮像画像における局所的な高輝度領域を中心とする放射状の輝度勾配を強調できる。また、照明装置は、背景色と見分けがつきにくい色のヘルメットを目立たせることができ、また、屋内、夜間等、環境光が少ない場所でもヘルメットを目立たせることができる。
本実施例では、抽出部３１は、前段画像認識処理によって、撮像画像におけるヘルメット画像（厳密にはヘルメットであると推定できる画像）を見つけ出す。ショベルの周囲で作業する人物はヘルメットを着用していると考えられるためである。そして、抽出部３１は、見つけ出したヘルメット画像の位置から最も関連性の高い参照点Ｐｒを導き出す。その上で、抽出部３１は、その参照点Ｐｒに対応する識別処理対象画像を抽出する。
具体的には、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像におけるヘルメット画像の位置から関連性の高い参照点Ｐｒを導き出す。なお、図１１の幾何学的関係は、実空間における仮想頭部位置ＨＰを定める点で図４の幾何学的関係と相違するが、その他の点で共通する。
仮想頭部位置ＨＰは、参照点Ｐｒ上に存在すると想定される人物の頭部位置を表し、参照点Ｐｒの真上に配置される。本実施例では、参照点Ｐｒ上の高さ１７００ｍｍのところに配置される。そのため、実空間における仮想頭部位置ＨＰが決まれば、実空間における参照点Ｐｒの位置が一意に決まり、実空間における仮想平面領域ＴＲの位置も一意に決まる。また、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。
逆に、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想頭部位置ＨＰが一意に決まり、実空間における仮想頭部位置ＨＰに対応する撮像画像上の頭部画像位置ＡＰも一意に決まる。そのため、頭部画像位置ＡＰは、予め設定されている参照点Ｐｒのそれぞれに対応付けて予め設定され得る。なお、頭部画像位置ＡＰは、参照点Ｐｒからリアルタイムに導き出されてもよい。
そこで、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像内でヘルメット画像を探索する。図１２Ａは、抽出部３１がヘルメット画像ＨＲｇを見つけ出した状態を示す。そして、抽出部３１は、ヘルメット画像ＨＲｇを見つけ出した場合、その代表位置ＲＰを決定する。なお、代表位置ＲＰは、ヘルメット画像ＨＲｇの大きさ、形状等から導き出される位置である。本実施例では、代表位置ＲＰは、ヘルメット画像ＨＲｇを含むヘルメット画像領域の中心画素の位置である。図１２Ｂは、図１２Ａにおける白線で区切られた矩形画像領域であるヘルメット画像領域の拡大図であり、そのヘルメット画像領域の中心画素の位置が代表位置ＲＰであることを示す。
その後、抽出部３１は、例えば最近傍探索アルゴリズムを用いて代表位置ＲＰの最も近傍にある頭部画像位置ＡＰを導き出す。図１２Ｂは、代表位置ＲＰの近くに６つの頭部画像位置ＡＰ１〜ＡＰ６が予め設定されており、そのうちの頭部画像位置ＡＰ５が代表位置ＲＰの最も近傍にある頭部画像位置ＡＰであることを示す。
そして、抽出部３１は、図１１に示す幾何学的関係を利用し、導き出した最近傍の頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点Ｐｒ、仮想平面領域ＴＲを辿って、対応する識別処理対象画像領域ＴＲｇを抽出する。その後、抽出部３１は、抽出した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して正規化画像ＴＲｇｔを生成する。
このようにして、抽出部３１は、撮像画像における人物の特徴画像の位置であるヘルメット画像ＨＲｇの代表位置ＲＰと、予め設定された頭部画像位置ＡＰの１つ（頭部画像位置ＡＰ５）とを対応付けることで識別処理対象画像を抽出する。
なお、抽出部３１は、図１１に示す幾何学的関係を利用する代わりに、頭部画像位置ＡＰと参照点Ｐｒ、仮想平面領域ＴＲ、又は識別処理対象画像領域ＴＲｇとを直接的に対応付ける参照テーブルを利用し、頭部画像位置ＡＰに対応する識別処理対象画像を抽出してもよい。
また、抽出部３１は、山登り法、Mean-shift法等の最近傍探索アルゴリズム以外の他の公知のアルゴリズムを用いて代表位置ＲＰから参照点Ｐｒを導き出してもよい。例えば、山登り法を用いる場合、抽出部３１は、代表位置ＲＰの近傍にある複数の頭部画像位置ＡＰを導き出し、代表位置ＲＰとそれら複数の頭部画像位置ＡＰのそれぞれに対応する参照点Ｐｒとを紐付ける。このとき、抽出部３１は、代表位置ＲＰと頭部画像位置ＡＰが近いほど重みが大きくなるように参照点Ｐｒに重みを付ける。そして、複数の参照点Ｐｒの重みの分布に基づき、重みの極大点に最も近い重みを有する参照点Ｐｒから識別処理対象画像領域ＴＲｇを抽出する。
次に、図１４を参照し、コントローラ３０の抽出部３１が識別処理対象画像を抽出する処理（以下、「画像抽出処理」とする。）の一例について説明する。なお、図１４は、画像抽出処理の一例の流れを示すフローチャートである。
最初に、抽出部３１は、撮像画像内でヘルメット画像を探索する（ステップＳＴ１）。本実施例では、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像をラスタスキャンしてヘルメット画像を見つけ出す。
撮像画像でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１のＹＥＳ）、抽出部３１は、ヘルメット画像ＨＲｇの代表位置ＲＰを取得する（ステップＳＴ２）。
その後、抽出部３１は、取得した代表位置ＲＰの最近傍にある頭部画像位置ＡＰを取得する（ステップＳＴ３）。
その後、抽出部３１は、取得した頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人物の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。
なお、抽出部３１は、撮像画像でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ５に移行させる。
その後、抽出部３１は、撮像画像の全体にわたってヘルメット画像を探索したかを判定する（ステップＳＴ５）。
撮像画像の全体を未だ探索していないと判定した場合（ステップＳＴ５のＮＯ）、抽出部３１は、撮像画像の別の領域に対し、ステップＳＴ１〜ステップＳＴ４の処理を実行する。
一方、撮像画像の全体にわたるヘルメット画像の探索を完了したと判定した場合（ステップＳＴ５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
このように、抽出部３１は、最初にヘルメット画像ＨＲｇを見つけ出し、見つけ出したヘルメット画像ＨＲｇの代表位置ＲＰから、頭部画像位置ＡＰ、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。
次に、図１５を参照し、画像抽出処理の別の一例について説明する。なお、図１５は、画像抽出処理の別の一例の流れを示すフローチャートである。
最初に、抽出部３１は、頭部画像位置ＡＰの１つを取得する（ステップＳＴ１１）。その後、抽出部３１は、その頭部画像位置ＡＰに対応するヘルメット画像領域を取得する（ステップＳＴ１２）。本実施例では、ヘルメット画像領域は、頭部画像位置ＡＰのそれぞれについて予め設定された所定サイズの画像領域である。
その後、抽出部３１は、ヘルメット画像領域内でヘルメット画像を探索する（ステップＳＴ１３）。本実施例では、抽出部３１は、前段画像認識処理によりヘルメット画像領域内をラスタスキャンしてヘルメット画像を見つけ出す。
ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１３のＹＥＳ）、抽出部３１は、そのときの頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ１４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人物の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。
なお、抽出部３１は、ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１３のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ１５に移行させる。
その後、抽出部３１は、全ての頭部画像位置ＡＰを取得したかを判定する（ステップＳＴ１５）。そして、全ての頭部画像位置ＡＰを未だ取得していないと判定した場合（ステップＳＴ１５のＮＯ）、抽出部３１は、未取得の別の頭部画像位置ＡＰを取得し、ステップＳＴ１１〜ステップＳＴ１４の処理を実行する。一方、全ての頭部画像位置ＡＰを取得したと判定した場合（ステップＳＴ１５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
このように、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得する。そして、取得した頭部画像位置ＡＰに対応するヘルメット画像領域でヘルメット画像ＨＲｇを見つけ出した場合に、そのときの頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て、識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。
以上の構成により、人物検知システム１００の抽出部３１は、撮像画像における特徴画像としてのヘルメット画像を見つけ出し、そのヘルメット画像の代表位置ＲＰと所定画像位置としての頭部画像位置ＡＰの１つとを対応付けることで識別処理対象画像を抽出する。そのため、簡易なシステム構成で後段画像認識処理の対象となる画像部分を絞り込むことができる。
なお、抽出部３１は、最初に撮像画像からヘルメット画像ＨＲｇを見つけ出し、そのヘルメット画像ＨＲｇの代表位置ＲＰに対応する頭部画像位置ＡＰの１つを導き出し、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。或いは、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得し、その頭部画像位置ＡＰの１つに対応する特徴画像の位置を含む所定領域であるヘルメット画像領域内にヘルメット画像が存在する場合に、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。
また、抽出部３１は、図１１に示すような所定の幾何学的関係を利用し、撮像画像におけるヘルメット画像の代表位置ＲＰから識別処理対象画像を抽出してもよい。この場合、所定の幾何学的関係は、撮像画像における識別処理対象画像領域ＴＲｇと、識別処理対象画像領域ＴＲｇに対応する実空間における仮想平面領域ＴＲと、仮想平面領域ＴＲに対応する実空間における参照点Ｐｒ（人物の想定立ち位置）と、参照点Ｐｒに対応する仮想頭部位置ＨＰ（人物の想定立ち位置に対応する人物の特徴的な部分の実空間における位置である仮想特徴位置）と、仮想頭部位置ＨＰに対応する撮像画像における頭部画像位置ＡＰ（仮想特徴位置に対応する撮像画像における所定画像位置）との幾何学的関係を表す。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、ショベルの上部旋回体３の上に取り付けられる撮像装置４０の撮像画像を用いて人物を検知する場合を想定するが、本発明はこの構成に限定されるものではない。例えば、クレーン、リフマグ機等の本体部に取り付けられる撮像装置の撮像画像を用いる構成にも適用され得る。
また、上述の実施例では、３つのカメラを用いてショベルの死角領域を撮像するが、１つ、２つ、又は４つ以上のカメラを用いてショベルの死角領域を撮像してもよい。
また、本願は、２０１４年６月３日に出願した日本国特許出願２０１４−１１５２２７号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。
１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン ３０・・・コントローラ ３１・・・抽出部 ３２・・・識別部 ４０・・・撮像装置 ４０Ｂ・・・後方カメラ ４０Ｌ・・・左側方カメラ ４０Ｒ・・・右側方カメラ ４１・・・照明装置 ４１Ｂ・・・後方ライト ４１Ｌ・・・左側方ライト ４１Ｒ・・・右側方ライト ５０・・・出力装置 １００・・・人物検知システム ＡＰ、ＡＰ１〜ＡＰ６・・・頭部画像位置 ＢＸ・・・ボックス ＨＤ・・・頭部 ＨＰ・・・仮想頭部位置 ＨＲｇ・・・ヘルメット画像 Ｍ１、Ｍ２・・・マスク領域 Ｐｒ、Ｐｒ１、Ｐｒ２、Ｐｒ１０〜Ｐｒ１２・・・参照点 Ｒ１・・・はみ出し領域 Ｒ２・・・車体映り込み領域 ＲＰ・・・代表位置 ＴＲ、ＴＲ１、ＴＲ２、ＴＲ１０〜ＴＲ１２・・・仮想平面領域 ＴＲｇ、ＴＲｇ３、ＴＲｇ４、ＴＲｇ５・・・識別処理対象画像領域 ＴＲｇｔ、ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５・・・正規化画像

Claims (13)

  1. 撮像装置の撮像画像を用いて周辺に存在する人を検知する人検知システムであって、
    前記撮像画像の一部を対象画像として抽出する抽出部と、
    前記対象画像に含まれる画像が人の画像であるかを識別する識別部と、を有し、
    前記抽出部は、前記撮像画像における人の特徴的な部分を表す特徴画像を見つけ出した後で、該特徴画像を含む前記対象画像を抽出する、
    人検知システム。
  2. 前記抽出部は、前記特徴画像の位置に対応する、予め設定された位置の前記対象画像を抽出する、
    請求項１に記載の人検知システム。
  3. 前記抽出部は、前記撮像画像において予め設定されている所定領域内に前記特徴画像が存在する場合に、前記所定領域を含む画像を前記対象画像として抽出する、
    請求項１に記載の人検知システム。
  4. 前記特徴画像は、ヘルメットの画像、肩の画像、頭の画像、又は、人に取り付けられる反射板若しくはマーカの画像を含む、
    請求項１に記載の人検知システム。
  5. 前記撮像装置の撮像領域を照らす照明装置を備え、
    前記抽出部は、前記照明装置によって照らされる、前記撮像画像における人が着用するヘルメットの画像を前記特徴画像として見つけ出し、該特徴画像を含む前記対象画像を抽出する、
    請求項１に記載の人検知システム。
  6. 前記抽出部は、所定の幾何学的関係を利用し、前記撮像画像における前記特徴画像の位置から前記対象画像を抽出し、
    前記所定の幾何学的関係は、前記撮像画像における前記対象画像の領域と、前記対象画像の領域に対応する実空間における仮想平面領域と、前記仮想平面領域に対応する実空間における人の想定立ち位置と、前記想定立ち位置に対応する人の特徴的な部分の実空間における位置である仮想特徴位置と、前記仮想特徴位置に対応する前記撮像画像における所定画像位置との幾何学的関係を表す、
    請求項１に記載の人検知システム。
  7. 前記撮像画像における前記対象画像の領域は、実空間の水平面に配置された仮想グリッドの格子点に対応付けられている、
    請求項１に記載の人検知システム。
  8. 前記抽出部は、前記対象画像を正規化し、
    正規化された前記対象画像では、前記仮想平面領域と前記撮像装置との距離に関係なく、ほぼ同じ割合で、頭部画像部分、胴体部画像部分、及び脚部画像部分が配置されている、
    請求項６に記載の人検知システム。
  9. 正規化された前記対象画像における前記頭部画像部分の大きさは、前記距離が所定値以上の場合、ほぼ同じである、
    請求項８に記載の人検知システム。
  10. 前記特徴画像の位置は、前記仮想グリッドの格子点に対応付けられている、
    請求項７に記載の人検知システム。
  11. 前記抽出部は、前記特徴画像としてのヘルメット画像を見つけ出し、該ヘルメット画像の位置から前記対象画像を特定する、
    請求項１に記載の人検知システム。
  12. 前記抽出部は、参照テーブルを利用して前記対象画像を抽出する、
    請求項１に記載の人検知システム。
  13. 撮像装置の撮像画像を用いて周辺に存在する人を検知するショベルであって、
    前記撮像画像の一部を対象画像として抽出する抽出部と、
    前記対象画像に含まれる画像が人の画像であるかを識別する識別部と、を有し、
    前記抽出部は、前記撮像画像における人の特徴的な部分を表す特徴画像を見つけ出した後で、該特徴画像を含む前記対象画像を抽出する、
    ショベル。
JP2016525782A 2014-06-03 2015-05-26 人検知システム及びショベル Active JP6474396B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014115227 2014-06-03
JP2014115227 2014-06-03
PCT/JP2015/065094 WO2015186570A1 (ja) 2014-06-03 2015-05-26 建設機械用人物検知システム

Publications (2)

Publication Number Publication Date
JPWO2015186570A1 JPWO2015186570A1 (ja) 2017-05-25
JP6474396B2 true JP6474396B2 (ja) 2019-02-27

Family

ID=54766643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016525782A Active JP6474396B2 (ja) 2014-06-03 2015-05-26 人検知システム及びショベル

Country Status (5)

Country Link
US (1) US10465362B2 (ja)
EP (1) EP3154024B1 (ja)
JP (1) JP6474396B2 (ja)
CN (1) CN106462962B (ja)
WO (1) WO2015186570A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158033A (ja) * 2016-03-01 2017-09-07 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP7097301B2 (ja) * 2016-12-06 2022-07-07 住友建機株式会社 建設機械
KR102488447B1 (ko) * 2017-02-24 2023-01-12 스미도모쥬기가이고교 가부시키가이샤 쇼벨, 쇼벨의 제어방법 및 휴대정보단말
WO2020196874A1 (ja) * 2019-03-27 2020-10-01 住友建機株式会社 建設機械、支援システム
WO2021138619A2 (en) 2020-01-03 2021-07-08 Mobileye Vision Technologies Ltd. Vehicle navigation with pedestrians and determining vehicle free space
CN112911255B (zh) * 2020-11-10 2021-12-07 江苏国兴建设项目管理有限公司 建筑工地安全状态检测系统
CN112669555A (zh) * 2020-12-11 2021-04-16 北京京能能源技术研究有限责任公司 智能安全预警方法及系统

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298142A (ja) * 2001-03-29 2002-10-11 Minolta Co Ltd 人物画像検出方法、この方法を実行するためのプログラムを記録した記録媒体、人物画像検出装置及びこの装置を備えた撮影装置
JP3894782B2 (ja) * 2001-12-10 2007-03-22 株式会社国際電気通信基礎技術研究所 物体認識装置
JP4318465B2 (ja) * 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
US20100013615A1 (en) * 2004-03-31 2010-01-21 Carnegie Mellon University Obstacle detection having enhanced classification
JP4604606B2 (ja) 2004-08-18 2011-01-05 ソニー株式会社 顔検出装置及び顔検出方法、並びにコンピュータ・プログラム
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
JP2008181423A (ja) * 2007-01-25 2008-08-07 Fujitsu Ten Ltd 歩行者認識装置および歩行者認識方法
JP4874913B2 (ja) * 2007-09-28 2012-02-15 富士フイルム株式会社 頭頂位置算出装置、それを用いた画像処理装置および頭頂位置算出方法並びにプログラム
JP4975666B2 (ja) * 2008-03-19 2012-07-11 セコム株式会社 監視装置
JP2010064725A (ja) * 2008-09-15 2010-03-25 Denso Corp 車載撮影画像表示制御装置、車載撮影画像表示制御装置用のプログラム、および車載撮影画像表示システム
JP5100612B2 (ja) * 2008-10-29 2012-12-19 住友重機械工業株式会社 真直度測定方法及び真直度測定装置
JP5305979B2 (ja) * 2009-02-24 2013-10-02 株式会社東芝 監視システム及び監視方法
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP5251800B2 (ja) * 2009-09-16 2013-07-31 株式会社豊田中央研究所 対象物追跡装置及びプログラム
JP5349622B2 (ja) * 2010-02-10 2013-11-20 株式会社東芝 パターン識別装置
JP5493108B2 (ja) * 2010-09-09 2014-05-14 オプテックス株式会社 距離画像カメラを用いた人体識別方法および人体識別装置
KR101751405B1 (ko) * 2010-10-22 2017-06-27 히다치 겡키 가부시키 가이샤 작업 기계의 주변 감시 장치
KR101972356B1 (ko) * 2010-12-21 2019-04-25 한국전자통신연구원 상반신 검출장치 및 검출방법
JP5715833B2 (ja) * 2011-01-24 2015-05-13 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法
CN102136076A (zh) * 2011-03-14 2011-07-27 徐州中矿大华洋通信设备有限公司 基于安全帽检测的煤矿井下人员定位与跟踪方法
JP5726596B2 (ja) * 2011-03-30 2015-06-03 セコム株式会社 画像監視装置
JP5594672B2 (ja) * 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
WO2012169355A1 (ja) * 2011-06-09 2012-12-13 アイシン精機株式会社 画像生成装置
JP5756709B2 (ja) * 2011-08-03 2015-07-29 綜合警備保障株式会社 身長推定装置、身長推定方法、及び身長推定プログラム
US10565438B2 (en) * 2012-03-12 2020-02-18 Honda Motor Co., Ltd. Vehicle periphery monitor device
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
JP5959951B2 (ja) * 2012-06-15 2016-08-02 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
JP5961472B2 (ja) 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
JP6072064B2 (ja) * 2012-11-08 2017-02-01 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
KR101717729B1 (ko) * 2012-12-17 2017-03-17 한국전자통신연구원 영상에서의 휴먼 인지 장치 및 방법
DE102012024878A1 (de) * 2012-12-19 2014-06-26 Connaught Electronics Ltd. Verfahren zum Detektieren eines Zielobjekts anhand eines Kamerabilds durch Clusterbildung aus mehreren benachbarten Bildzellen, Kameraeinrichtung und Kraftfahrzeug
CA2896291A1 (en) * 2012-12-25 2014-07-03 Keisuke Miyagawa Vehicle periphery monitoring device
JP6545430B2 (ja) * 2013-03-19 2019-07-17 住友重機械工業株式会社 ショベル
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
US9087263B2 (en) * 2013-12-09 2015-07-21 National Chung Shan Institute Of Science And Technology Vision based pedestrian and cyclist detection method
US9152856B2 (en) * 2013-12-19 2015-10-06 Institute For Information Industry Pedestrian detection system and method
JP6396022B2 (ja) * 2014-01-21 2018-09-26 住友重機械工業株式会社 出力画像を生成する装置
JP6434507B2 (ja) * 2014-06-03 2018-12-05 住友重機械工業株式会社 建設機械用人検知システム及びショベル
EP2988248B1 (en) * 2014-07-22 2019-09-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, information processing apparatus, information processing method, and program
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
US10043091B2 (en) * 2014-12-05 2018-08-07 Magna Electronics Inc. Vehicle vision system with retroreflector pattern recognition
US10493985B2 (en) * 2014-12-19 2019-12-03 Hitachi, Ltd. Travel control device
CN106296628B (zh) * 2015-05-11 2019-03-05 株式会社理光 检测异常情形的方法和装置
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6624877B2 (ja) * 2015-10-15 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
WO2015186570A1 (ja) 2015-12-10
EP3154024A1 (en) 2017-04-12
US10465362B2 (en) 2019-11-05
CN106462962B (zh) 2020-08-04
EP3154024A4 (en) 2017-11-15
JPWO2015186570A1 (ja) 2017-05-25
US20170073934A1 (en) 2017-03-16
CN106462962A (zh) 2017-02-22
EP3154024B1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
JP6997066B2 (ja) 人検知システム
JP6474396B2 (ja) 人検知システム及びショベル
JP6553255B2 (ja) 作業機械用周辺監視システム
US11697920B2 (en) Surroundings monitoring system for work machine
JP6755672B2 (ja) 作業機械用周辺監視システム
JP2017102604A (ja) 作業機械用周辺監視システム
JP2017158033A (ja) 作業機械用周辺監視システム
JP7084521B2 (ja) ショベル
Přibyl et al. Feature point detection under extreme lighting conditions
JP6662622B2 (ja) 作業機械用周辺監視システム及び作業機械用周辺監視システムを備えた建設機械
Petrovai et al. Obstacle detection using stereovision for Android-based mobile devices
JP7077356B2 (ja) 作業機械用周辺監視システム
KR101233938B1 (ko) 객체 추적 로봇 및 그 방법
JP6515021B2 (ja) 作業機械用周辺監視システム
JP6515020B2 (ja) 作業機械用周辺監視システム
CN114219801A (zh) 用于挖掘机无人化破碎的石块智能识别方法及装置
JP2011248441A (ja) 画像処理装置及び移動体位置推定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190129

R150 Certificate of patent or registration of utility model

Ref document number: 6474396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150