JP7280852B2

JP7280852B2 - 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル

Info

Publication number: JP7280852B2
Application number: JP2020067453A
Authority: JP
Inventors: 章平本木; 成美八代
Original assignee: Toda Corp
Current assignee: Toda Corp
Priority date: 2020-04-03
Filing date: 2020-04-03
Publication date: 2023-05-24
Anticipated expiration: 2040-04-03
Also published as: JP2021163401A

Description

本発明は、走行する機械が稼働する現場において人物を検知する技術に関する。

建設現場における重大災害の一つに、建設機械と人との接触による災害がある。このような災害が生ずるのを防ぐためには、建設機械のオペレータの目視によらずに人物を検知することが求められる。例えば下記特許文献１、２には、カメラによって人物を検知する技術が開示されている。
また、建設現場だけでなく、運搬機械が稼働する工場や倉庫、農業用機械が稼働する農場等においても、人物を検知することにより機械と人との接触を防止する必要がある。

特許６４３４５０７号公報特許６４７４３９６号公報

しかし、カメラとして可視光カメラを用いる場合には、太陽光などの光の影響を受けるため、逆光や暗闇、及び、粉塵の環境下では、人物検知機能が低下する。また、比較的近距離のものしか検知することができない。
一方、電波や赤外線によるセンサーを用いることも可能ではあるが、この場合は、人と物とを判別できないため、多くの物に反応してしまうという問題がある。作業員に対してＩＣタグを身につけさせ、ＩＣタグに対する反応によって人物を検出することも可能ではあるが、この場合は、ＩＣタグを身につけている者しか検出できない。

本発明は、このような事情にかんがみなされたもので、走行する機械が稼働する現場の逆光や暗闇、粉塵といった環境下においても、また、人物が比較的離れた位置にいる場合にも、人物と物とを判別して検知し、機械と人との接触を未然に防ぐことを目的とする。

本発明は、走行する機械が稼働する現場において人物を検知する人物検知システムであって、前記機械に備えられた遠赤外線カメラと、前記遠赤外線カメラによって取得された熱画像から、学習済みモデルを用いた画像処理によって人物を検知する人物検知部と、前記人物検知部が人物を検知したことを報知する報知部と、を備え、前記遠赤外線カメラは単眼カメラであり、前記熱画像には、人物の体の一部が映った画像が含まれ、前記単眼カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、前記俯瞰変換した画像上において前記遠赤外線カメラから前記人物の接地位置までの距離を計測する測距部を備え、前記測距部は、前記俯瞰変換をした画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線カメラから前記接地位置までの距離を計測することができず、前記遠赤外線カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記学習済みモデルに基づき前記人物が前記遠赤外線カメラに接近していると判断する。
この人物検知システムにおいて、前記人物検知部が人物を検知しうるエリアを前記遠赤外線カメラからの距離ごとに段階的に分割し、前記報知部は、検出された人物が前記分割されたエリアのいずれに位置するかに応じて報知の仕方を変更することが望ましい。
この人物検知システムにおいて、前記遠赤外線カメラには、レンズに付着する粉塵を清掃する除去装置を備えることが望ましい。
また、本発明は、コンピュータを、遠赤外線単眼カメラによって取得された熱画像から学習済みモデルを用いた画像処理によって人物を検知する人物検知部と、前記人物検知部が人物を検知したことを報知する報知部と、前記遠赤外線単眼カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、前記俯瞰変換した画像上において前記遠赤外線単眼カメラから前記人物の接地位置までの距離を計測する機能を有し、前記俯瞰変換をした画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができず、前記遠赤外線単眼カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記学習済みモデルに基づき前記人物が前記遠赤外線単眼カメラに接近していると判断する測距部と、して機能させるための人物検知プログラムである。
また、本発明は、遠赤外線単眼カメラによって取得された熱画像と前記熱画像に含まれる人物との組を学習データとする機械学習により、前記熱画像に基づいて前記人物を検出するための学習済みモデルを生成する学習済みモデル生成プログラムであって、人物が映った種々の学習用の画像を記録装置に記録する処理と、前記種々の学習用の画像に、作業員、ヘルメット、機械、自動車のクラスをラベリングする処理と、前記学習用の画像中から抽出された温度データに基づき前記作業員が検知され、前記学習用の画像を俯瞰変換した画像において前記作業員の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができない場合は、前記作業員が前記遠赤外線単眼カメラに接近していると判断するようニューラルネットワークを調整する処理と、を備える。
また、本発明は、遠赤外線単眼カメラによって取得された熱画像と前記熱画像に含まれる人物との組を学習データとする機械学習により生成され、前記熱画像に基づいて前記人物を検出するための学習済みモデルであって、前記熱画像は、作業員、ヘルメット、機械、自動車のクラスがラベリングされた画像であり、前記ラベリングされた画像には、前記作業員の体の一部が映っている画像が含まれ、前記遠赤外線単眼カメラによって取得された熱画像から画像処理によって人物を検知する人物検知部と、前記遠赤外線単眼カメラが取得した画像を俯瞰変換した画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができず、前記遠赤外線単眼カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記人物が前記遠赤外線単眼カメラに接近していると判断する測距部と、として機能させる。

本発明では、機械に遠赤外線カメラを備えることにより、距離が離れていても、また、逆光や暗闇、粉塵や濃霧といった環境下においても、人物及び物を撮影することができる。そして、遠赤外線カメラによって取得した画像から、学習済みモデルを用いた画像処理によって人を検知するため、人と物とを区別して検知することが可能となる。さらに、報知部が検知結果を報知することにより、機械が人と接触するのを防ぐことができる。
遠赤外線カメラが単眼カメラであり、遠赤外線カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、俯瞰変換した画像上において遠赤外線カメラから人物の接地位置までの距離を計測することにより、遠赤外線カメラと人物との距離に応じた報知が可能となる。また、単眼カメラを用いることにより、小型化を図ることができる。
人物検知部が人物を検知しうるエリアを遠赤外線カメラからの距離ごとに段階的に分割し、報知部が、検出された人物が前記分割されたエリアのいずれに位置するかに応じて報知の仕方を変更することにより、機械のオペレータ及び検知された人物は、危険度の度合いを認識することができる。
測距部は、遠赤外線カメラが取得した画像に人物の体の一部が映っていると判断した場合は、人物が赤外線カメラに接近していると判断するため、人物の接地点がわからない場合においても危険である旨を報知することが可能となる。
遠赤外線カメラに、レンズに付着する粉塵を清掃する除去装置を備えることにより、粉塵が飛散する環境下においても、人物を検知することが可能となる。

人物検知システムの構成例を示すブロック図である。ニューラルネットワークの例を示す模式図である。学習用に用いられる画像データの例を示す図である。ホイールローダ及びその撮影範囲の例を示す平面図である。人物が検知された画像データの例を示す図である。透視投影の画像を俯瞰変換した状態を示す模式図である。分割されたエリアの例を示す平面図である。

本発明の実施形態の一例として、建設現場において人物を検知する場合について説明する。
１人物検知システムの構成
図１に示す人物検知システム１は、建設現場において稼働するシステムであり、遠赤外線カメラ２と、遠赤外線カメラ２が取得した画像を処理する画像処理部３と、画像処理部３による処理の結果に応じた報知を行う報知部４と、遠赤外線カメラ２が所得した画像又は画像処理部３が処理した画像を表示するモニター５とを備えている。

遠赤外線カメラ２は、波長が３～１０００μｍの遠赤外線による撮像を行う単眼カメラである。遠赤外線を用いて熱画像を取得するカメラであるため、可視光カメラとは異なり、逆光の影響を受けずに、暗闇においても鮮明な画像を取得することができる。また、粉塵や濃霧の影響を受けにくい。さらに、比較的長い距離離れている人物又は物体の画像を取得することも可能である。遠赤外線カメラ２には、粉塵を除去するための除去装置、例えばワイパーを設け、より鮮明な画像を取得可能とすることが好ましい。

遠赤外線カメラ２は、建設現場において稼働する建設機械に備えるものであり、建設機械に最初から搭載されているものでもよいし、後付けで付加されたものであってもよい。建設機械としては、トンネル内における作業に使用されるもの、例えばホイールローダが挙げられる。なお、建設機械が使用される場所及び建設機械の種類は、特に限定されない。

画像処理部３は、遠赤外線カメラ２と接続されており、遠赤外線カメラ２が取得した画像の転送を受けてその画像を処理するコンピュータである。画像処理部３を構成するコンピュータは、ＣＰＵやＧＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ等のメモリ、ハードディスク等の記録装置、外部装置とのインタフェースを少なくとも備えている。

画像処理部３は、遠赤外線カメラ２が取得した画像中の人物を検知する人物検知部３１と、遠赤外線カメラ２から検知した人物までの距離を計測する測距部３２とを有しており、人物検知部３１及び測距部３２は、人物検知機能を有するプログラムと測距機能を有するプログラムとがそれぞれＣＰＵにおいて実行されることにより実現される。

人物検知部３１は、画像中の温度分布により、何らかの対象物が存在することを検知することができる。また、人物検知部３１は、ディープラーニングによる学習機能を有している。人物検知部３１は、図２に示すように、遠赤外線カメラ２が取得した画像を入力する入力層３１１と、あらかじめ作成される中間層３１２と、画像に人物、物体等が含まれる確率をそれぞれ出力する出力層３１３とを備えたニューラルネットワーク３１０を有している。ニューラルネットワーク３１０においては、遠赤外線カメラが取得した画像の各画素値が入力層３１１から入力され、画像中に人物、物体等が含まれる確率が出力層３１３から出力される。

画像処理部３は、建設機械に搭載されていてもよいし、建設機械とは別の場所に位置していてもよい。画像処理部３が建設機械とは別の場所に位置する場合は、画像処理部３と遠赤外線カメラ２とを無線にて接続する。

図１に示すように、報知部４は、有線又は無線にて画像処理部３と接続され、画像処理部３からの信号を受けて、建設現場の作業員や建設機械の操作者等に対し、人間の視覚又は聴覚にうったえる手段によって、人物を検知したことを知らせる機能を有する。報知部４としては、例えば、３色の光による報知の機能とブザーによる報知の機能とを併せ持つ警告灯を用いることができる。

モニター５は、画像処理部３と接続され、遠赤外線カメラ２が取得した画像や、画像処理部３によって処理された画像を表示する機能を有する。モニター５は、建設機械のオペレータから視認できる位置に搭載される。

２人物検知システムの動作
例えば、トンネル工事において人物検知を行う場合、実際の工事に人物検知を行う前に、画像処理部３に備えた記録装置に、人物が映った種々の学習用の画像を記録する。これらの画像は、同じトンネル内で撮影した画像とし、例えば、図３（ａ）に示すように人物及び自動車が比較的遠くに映った画像６１、図３（ｂ）に示すように遠い位置に複数の人物及び自動車が映った画像６２、図３（ｃ）に示すように比較的離れた位置に複数の人物及び建設機械が映った画像６３、図３（ｄ）に示すように異なる近距離に複数の人物が映った画像６４、図３（ｅ）に示すように比較的近い位置に一人の人物が映った画像６５、図３（ｆ）に示すように近距離に人物の体の一部が映った画像６６等、様々な状況の画像がある。これらの画像は、熱画像とそれに含まれる人物との組からなる学習データとなる。

これらの画像には、アノテーションによりクラスをラベリングする。例えば、作業員、ヘルメット、建設機械、自動車という４つのクラスを各画像にラベリングする。そして、各画像の画素情報から温度データを抽出し、温度データ値を入力層３１１への入力値とする。
これらの画像をもとに、人物検知部３１に人物検知を行わせ、出力層３１３における出力に誤りがある場合には、図２に示した入力層３１１と中間層３１２とをつなぐ部分、中間層３１２の内部、及び、中間層３１２と出力層３１３とをつなぐ部分の重みを変更し、正しい出力が得られるように調整する。このような作業を反復し、ニューラルネットワーク３１０にあらかじめ学習させて、学習モデルを作成しておく。このような学習は、学習済みモデル生成プログラムによって行われる。

学習済みモデルが生成された後、例えば、トンネル工事において、建設機械として図４に示すホイールローダ７が用いられる場合、ホイールローダ７に備える遠赤外線カメラ２が、現場において動画の撮影を開始する。ここでは、図４に示すように、ホイールローダ７の後部に遠赤外線カメラ２が設置され、後進方向の撮影を開始することとする。なお、例えば、水平視野角は９０度、鉛直視野角は６５度とする。

遠赤外線カメラ２により撮影された動画は、図１に示したモニター５において、例えば図５に示す画像７１のように表示される。表示される画像においては、撮影範囲の温度に応じた色に表示される。例えば、対象物の温度が高いほど赤で表示され、温度が低いほど青で表示される。

また、遠赤外線カメラ２が取得した画像は、画像処理部３に送られる。そして、画像処理部３の人物検知部３１においては、人に特有の温度分布を用いることにより、人物を検知することが可能となる。また、遠赤外線カメラ２が取得した画像は、図２に示した入力層３１１に入力され、出力層３１３には、検知した対象物が、作業員である確率、ヘルメットである確率、建機である確率、自動車である確率が、それぞれ出力される。人物検知部３１は、出力された確率によって、検知した対象物が人物か否かを判断する。図５に示すように、人物検知部３１が検知した人物については、枠に囲まれて表示される。

人物検知部３１が人物を検知したと判断すると、次に、測距部３２が、遠赤外線カメラ２から検知した人物までの距離を計測する。遠赤外線カメラ２が取得した画像は、奥側が小さく映る透視投影となっているため、遠赤外線カメラ２が取得した画像からは距離を直接計測することはできない。そこで、測距部３２は、図６に示すように、取得された画像７２を透視投影から視点変換により俯瞰図に変換して画像７３を生成し、路面上における人物Ａ，Ｂの接地点Ａ１、Ｂ１の座標を求める。そして、遠赤外線カメラ２の座標と接地点Ａ１、Ｂ１の座標とから、遠赤外線カメラ２と設置点Ａ１との直線距離、及び、遠赤外線カメラ２と設置点Ａ１との直線距離を、画素情報に基づき算出する。算出された距離の値７．３メートル及び１２メートルは、モニター５に表示される。遠赤外線カメラ２による撮影は、ホイールローダ２が移動しながら行うため、測距部３２により計測される距離は、時々刻々変化する。

図７に示すように、撮影範囲を距離ごとに分割する。図７の例では、遠赤外線カメラ２からの距離が、５メートル以内のエリア１００、５メートルから１０メートルまでのエリア２００、１０メートルから２０メートルまでのエリア３００の３つのエリアに分割している。測距部３２は、距離の算出結果により、どのエリアに人物がいるかを判断する。そして、報知部４は、人物がいるエリアに応じたアラートを行う。例えば、人物がエリア１００にいる場合は、危険であるため、警告灯を赤く点滅させるとともに、ブザーを鳴動させ、ホイールローダ７の走路からの退去を促す。一方、人物がエリア２００にいる場合は、警告灯を黄色く点滅させる。この場合、危険が差し迫っているわけではないため、ブザーは鳴らさない。また、人物がエリア３００にいる場合は、警告灯を緑色に点滅させる。この場合もブザーは鳴らさない。

図７の例では、遠赤外線カメラ２からの距離を１５メートルまでとしたが、実際にはそれ以上、例えば４０メートルほど離れていても、対象物を検知し、人か物かを判別することができる。また、アラート行う対象エリアの設定を変更することが可能である。

図３（ｆ）の画像のような人物の一部が映った画像を、人物がホイールローダ７の近くに接近している状態であるとニューラルネットワーク３１０に学習させておくことにより、遠赤外線カメラ２が取得した画像に人物の体の一部しか映っていない画像を取得した場合においても、測距部３２は、人物が接近していると判断し、報知部４は、人物が接近している旨の報知をすることできる。すなわち、遠赤外線カメラ２が実際に取得した画像に人物の体の一部が映っているのみであると、測距部３２は、その人物が近距離に接近していると判断する。特に、図６に示したような俯瞰変換をした画像において足元の一部が映っておらず、接地点を検出できない場合は、遠赤外線カメラ２から接地点までの距離を計測することはできないが、その場合は人物が近くに接近していると判断し、その旨を報知部４に報知させる。

このように、人物検知システム１では、遠赤外線カメラ２による画像を用いるため、逆光や暗闇、粉塵といった環境下においても、また、人物が比較的離れた位置にいる場合にも、対象物を検知することができ、また、ディープラーニングを用いた判別をすることにより、作業員にＩＣタグ等を身につけさせなくても、人物を物と区別して認識することが可能となる。

また、単眼カメラを用いて撮影を行い、測距部３２が画像を俯瞰変換してから人物までの距離を算出するため、遠赤外線カメラ２と人物との距離に応じた報知が可能となる。また、単眼カメラを用いることにより、ステレオカメラより小型化した設備において実現可能であるため、建設機械の大型化を防止できる。

人物検知部３が人物を検知しうるエリアを遠赤外線カメラからの距離ごとに段階的に分割し、報知部４が、検出された人物が分割されたエリアのいずれに位置するかに応じて報知の仕方を変更することにより、建設機械のオペレータ及び検知された人物は、危険度の度合いを認識することができる。

なお、人物検知部３１による人物の検知及び測距部３２による距離の計測の結果に応じ、建設機械を自動で制御するようにしてもよい。例えば、人物検知部３１と建設機械の制御部とを電気的に接続しておき、人物が所定範囲内に近づいていることを検知した時に、建設機械を自動的に停止させたり、移動の方向を変更したりする処理を行うとよい。

上記実施形態では、建設現場における人物検知について説明したが、本発明の人物検知システムは、建設現場以外、例えばフォークリフト等の運搬機械が稼働する工場や倉庫、農業用機械が稼働する農場等、走行する機械が稼働する現場であれば、広く利用することができる。

１：人物検知システム１
２：遠赤外線カメラ
３：画像処理部
３１：人物検知部
３１０：ニューラルネットワーク３１１：入力層３１２：中間層３１３：出力層
３２：測距部
４：報知部５：モニター
６１～６６：画像
７：ホイールローダ７１～７３：画像
１００、２００、３００：エリア

Claims

走行する機械が稼働する現場において人物を検知する人物検知システムであって、
前記機械に備えられた遠赤外線カメラと、
前記遠赤外線カメラによって取得された熱画像から、学習済みモデルを用いた画像処理によって人物を検知する人物検知部と、
前記人物検知部が人物を検知したことを報知する報知部と、
を備え、
前記遠赤外線カメラは単眼カメラであり、
前記熱画像には、人物の体の一部が映った画像が含まれ、
前記単眼カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、前記俯瞰変換した画像上において前記遠赤外線カメラから前記人物の接地位置までの距離を計測する測距部を備え、
前記測距部は、前記俯瞰変換をした画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線カメラから前記接地位置までの距離を計測することができず、前記遠赤外線カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記学習済みモデルに基づき前記人物が前記遠赤外線カメラに接近していると判断する
人物検知システム。
前記人物検知部が人物を検知しうるエリアを前記遠赤外線カメラからの距離ごとに段階的に分割し、前記報知部は、検出された人物が前記分割されたエリアのいずれに位置するかに応じて報知の仕方を変更する
請求項１に記載の人物検知システム。
前記遠赤外線カメラには、レンズに付着する粉塵を清掃する除去装置を備える
請求項１又は２のいずれか１項に記載の人物検知システム。
コンピュータを、
遠赤外線単眼カメラによって取得された熱画像から学習済みモデルを用いた画像処理によって人物を検知する人物検知部と、
前記人物検知部が人物を検知したことを報知する報知部と、
前記遠赤外線単眼カメラが取得した画像に俯瞰変換を行い、人物の接地位置を検出し、前記俯瞰変換した画像上において前記遠赤外線単眼カメラから前記人物の接地位置までの距離を計測する機能を有し、前記俯瞰変換をした画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができず、前記遠赤外線単眼カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記学習済みモデルに基づき前記人物が前記遠赤外線単眼カメラに接近していると判断する測距部と、
として機能させる人物検知プログラム。
遠赤外線単眼カメラによって取得された熱画像と前記熱画像に含まれる人物との組を学習データとする機械学習により、前記熱画像に基づいて前記人物を検出するための学習済みモデルを生成する学習済みモデル生成プログラムであって、
人物が映った種々の学習用の画像を記録装置に記録する処理と、
前記種々の学習用の画像に、作業員、ヘルメット、機械、自動車のクラスをラベリングする処理と、
前記学習用の画像中から抽出された温度データに基づき前記作業員が検知され、前記学習用の画像を俯瞰変換した画像において前記作業員の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができない場合は、前記作業員が前記遠赤外線単眼カメラに接近していると判断するようニューラルネットワークを調整する処理と、
を備える
学習済みモデル生成プログラム。
遠赤外線単眼カメラによって取得された熱画像と前記熱画像に含まれる人物との組を学習データとする機械学習により生成され、前記熱画像に基づいて前記人物を検出するための学習済みモデルであって、
前記熱画像は、作業員、ヘルメット、機械、自動車のクラスがラベリングされた画像であり、前記ラベリングされた画像には、前記作業員の体の一部が映っている画像が含まれ、
前記遠赤外線単眼カメラによって取得された熱画像から画像処理によって人物を検知する人物検知部と、
前記遠赤外線単眼カメラが取得した画像を俯瞰変換した画像において人物の足元の一部が映っておらず、接地位置を検出できないために、前記遠赤外線単眼カメラから前記接地位置までの距離を計測することができず、前記遠赤外線単眼カメラが取得した画像に人物の体の一部が映っていると判断した場合は、前記人物が前記遠赤外線単眼カメラに接近していると判断する測距部と、
として機能させる
学習済みモデル。