JP7201418B2

JP7201418B2 - 人検知システム

Info

Publication number: JP7201418B2
Application number: JP2018231967A
Authority: JP
Inventors: 俊介大槻
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2023-01-10
Anticipated expiration: 2038-12-11
Also published as: JP2020095415A

Description

本発明は、人検知システムに関する。

特許文献１には、属性推定対象人物を撮影して画像を生成するカメラと、前記カメラが生成した画像に写っている人物の属性を、推定モデルを用いて推定する属性推定部と、前記カメラによる前記属性推定対象人物の撮影環境を示す、撮影環境データを取得する撮影環境データ取得部と、人物画像である標準画像を取得する標準画像取得部と、前記撮影環境データに応じて前記標準画像のデータを加工することにより、前記標準画像に前記撮影環境を反映させた疑似現場画像を生成する疑似現場画像生成部と、前記疑似現場画像を用いて前記推定モデルの学習を行なう学習部と、を備えたことを特徴とする人物属性推定システムが開示されている。

特許第５８９９４７２号公報

ところで、汎用的な人検知システムにおいて、検知精度を向上させるためには、膨大な学習データが必要となる。また、学習データが増えることや機械学習モデルの複雑化により、人検知の処理を行う処理装置（例えば、ＣＰＵ）も高性能で高価なものを必要とする。また、使いたい現場にシステムを最適化するには、現場のデータを多数収集する手間を必要とする。

そこで、本発明は、データ収集の手間や、処理装置のコストを抑えつつ、検知精度を向上させる人検知システムを提供することを目的とする。

実施形態の一態様の人検知システムは、検知させたい服装を着た人が写されている現場画像を服装変換指令として出力する服装変換指令部と、人が写されている画像が格納された人物画像データベースと、前記現場画像を教師データとして、前記服装変換指令に基づいて、前記人物画像データベースの画像に写されている人の服装を変換して服装変換画像を生成する服装変換画像生成部と、前記服装変換画像に基づいて、人検知パラメータを生成する人検知パラメータ生成部と、前記人検知パラメータに基づいて人検知を実行する人検知実行部と、を備える。

本発明によれば、データ収集の手間や、処理装置のコストを抑えつつ、検知精度を向上させる人検知システムを提供することができる。

第１実施形態に係る人検知システムＳ１の構成図。服装変換入力部の操作画面の一例。第２実施形態に係る人検知システムＳ２の構成図。

以下、本発明を実施するための形態について図面を参照して説明する。各図面において、同一の又は対応する構成については同一の又は対応する符号を付して説明を省略する。

第１実施形態に係る人検知システムＳ１について、図１を用いて説明する。図１は、第１実施形態に係る人検知システムＳ１の構成図である。

人検知システムＳ１は、カメラ１１と、トリガ１２と、服装変換入力部１３と、服装変換画像生成部１４と、人検知パラメータ生成部１５と、人検知パラメータ格納部１６と、人検知実行部１７と、人物画像データベース（以下、「人物画像ＤＢ」と称する。）２１と、非人物画像データベース（以下、「非人物画像ＤＢ」と称する。）２２と、を備えている。

カメラ１１は、例えばＣＣＤカメラ等の可視光カメラであり、画像を撮像する。なお、カメラ１１で撮像される画像は、静止画であってもよく、動画であってもよく、所定のフレームレートで更新される連続静止画であってもよい。

トリガ１２からトリガー信号が出力されると、カメラ１１が撮像した画像が現場画像３１として服装変換画像生成部１４に出力される。ここで、現場画像３１には、人が写されているものとする。例えば、トリガ１２はスイッチであり、人検知システムＳ１はカメラ１１の画像を表示する表示部（図示せず）をさらに備えている。設定作業者が表示部に表示される画像を見て、画像に人が写されているときにスイッチを押すことで、トリガ１２からトリガー信号を出力してもよい。また、トリガ１２は、カメラ１１が撮像した動画または連続静止画から移動体の有無を判定し、移動体がある場合にトリガ１２からトリガー信号を出力してもよい。

服装変換入力部１３は、設定作業者の入力に基づいて服装変換画像生成部１４に服装変換指令を出力する。図２は、服装変換入力部１３の操作画面４０の一例である。例えば、人検知システムＳ１は、操作画面４０を表示する表示部（図示せず）と、設定作業者からの入力を受け付ける入力部（図示せず）と、を備えている。

操作画面４０には、服装の項目４１～４４が表示されている。服装の項目４１に対応して、選択ボタン４１ａ～４１ｃが設けられている。例えば、服装の項目４１として「ヘルメット」が設定されている。また、選択ボタン４１ａには「色１」が設定され、選択ボタン４１ｂには「色２」が設定され、選択ボタン４１ｃには「色３」が設定されている。設定作業者が選択ボタン４１ａ～４１ｃを選択することにより、ヘルメットの色を設定することができる。服装の項目４２に対応して、選択ボタン４２ａ～４２ｃ及びチェックボックス４２ｄが設けられている。例えば、服装の項目４２として「上半身」が設定されている。また、選択ボタン４２ａには「色１」が設定され、選択ボタン４２ｂには「色２」が設定され、選択ボタン４２ｃには「色３」が設定されている。チェックボックス４２ｄには「安全帯」が設定されている。設定作業者が選択ボタン４２ａ～４２ｃを選択することにより、上半身（例えば、上着）の色を設定することができる。また、チェックボックス４２ｄを選択または解除することにより、安全帯の有無を設定することができる。服装の項目４３に対応して、選択ボタン４３ａ～４３ｃが設けられている。例えば、服装の項目４３として「下半身」が設定されている。また、選択ボタン４３ａには「色１」が設定され、選択ボタン４３ｂには「色２」が設定され、選択ボタン４３ｃには「色３」が設定されている。設定作業者が選択ボタン４３ａ～４３ｃを選択することにより、下半身（例えば、ズボン）の色を設定することができる。服装の項目４４に対応して、チェックボックス４４ａ～４４ｄが設けられている。例えば、服装の項目４４として「手荷物」が設定されている。また、チェックボックス４４ａには「警棒」が設定され、チェックボックス４４ｂには「バインダー」が設定され、チェックボックス４４ｃには「工具」が設定され、チェックボックス４４ｄには「カバン」が設定されている。チェックボックス４４ａ～４４ｄを選択または解除することにより、各手荷物の有無を設定することができる。

設定作業者は、操作画面４０を参照して、服装を選択する。例えば、設定作業者は、人検知させたい服装（人検知を行う現場における服装）を選択する。例えば、「ヘルメットが色１」という服装の属性情報の選択したい場合には、選択ボタン４１ａを選択する。これにより、服装変換入力部１３は、操作画面４０の選択結果に基づいて、服装の属性情報を服装変換指令として、服装変換画像生成部１４に出力する。なお、服装変換指令には、服装の属性情報が複数含まれていてもよい。

図1に戻り、人物画像ＤＢ２１は、人が写されている画像が格納されている。なお、人物画像ＤＢ２１は、人検知を行う現場の特性に依存しない汎用的なデータベースとしてもよい。

服装変換画像生成部１４には、服装変換指令及び人物画像ＤＢ２１の画像が入力される。服装変換画像生成部１４は、服装変換指令に基づいて、人物画像ＤＢ２１の画像の服装を変換し、服装変換画像３２を生成して出力する。

ここで、服装変換指令として、例えば、現場画像３１が服装変換画像生成部１４に入力される。この場合、カメラ１１及びトリガ１２が服装変換指令部（図１において破線の囲みで示す。）として機能してもよく、服装変換指令を撮像済の画像で与えてもよい。服装変換画像生成部１４は、現場画像３１を教師データとして、人物画像ＤＢ２１の画像の服装を変換する。なお、人物画像ＤＢ２１の画像から服装変換画像３２への変換は、例えば、GAN(Generative Adversarial Network)、Cycle-GAN等の公知の変換手法を用いることができる。例えば、現場画像３１として、検知させたい服装（例えば、上着が色２等）を着た人が写されている画像を服装変換画像生成部１４に入力する。服装変換画像生成部１４は、人物画像ＤＢ２１の画像の服装を現場画像３１に写されている人の服装（例えば、上着が色２等）に変換して、服装変換画像３２を生成する。このように、検知させたい服装を着た人が写されている現場画像３１を入力（例えば、数十枚）することにより、検知させたい服装を着た人が写されている服装変換画像３２が多数（例えば、数千枚）得られる。

また、服装変換指令として、例えば、服装変換入力部１３からの服装変換指令が服装変換画像生成部１４に入力される。この場合、服装変換入力部１３が服装変換指令部（図１において破線の囲みで示す。）として機能する。ここで、服装変換指令には、服装の属性情報（例えば、上着が色２等）が含まれている。例えば、服装変換画像生成部１４は、人物画像ＤＢ２１の画像の中から、服装変換指令に含まれる服装の属性情報（例えば、上着が色２等）に合致する画像をピックアップする。例えば、人物画像ＤＢ２１に格納されている画像には、服装の属性情報が紐付けされている。服装変換画像生成部１４は、服装変換指令に含まれる服装の属性情報及び画像に紐付けされた服装の属性情報に基づいて、ピックアップする画像を選択する。そして、服装変換画像生成部１４は、ピックアップされた画像を教師データとして、人物画像ＤＢ２１の画像の服装を変換する。なお、服装変換画像生成部１４は、ピックアップされた画像を教師データとして、現場画像３１の服装を変換してもよい。なお、人物画像ＤＢ２１の画像、現場画像３１から服装変換画像３２への変換は、例えば、GAN、Cycle-GAN等の公知の変換手法を用いることができる。これにより、検知させたい服装を服装変換指令として入力することにより、検知させたい服装を着た人が写されている服装変換画像３２が多数（例えば、数千枚）得られる。

また、服装変換指令として、例えば、服装変換入力部１３からの服装変換指令が服装変換画像生成部１４に入力される。この場合、服装変換入力部１３が服装変換指令部（図１において破線の囲みで示す。）として機能する。例えば、服装変換画像生成部１４は、服装変換指令に基づいて人物画像ＤＢ２１の画像のコントラスト、色相等を変換することで、服装変換画像３２を生成する。なお、人物画像ＤＢ２１の画像、現場画像３１から服装変換画像３２への変換は、例えば、画像の全部または一部について、色情報を色相・明度・彩度に分解し、その色相部分を服装変換指令で与えられた色の色相に変換する方法や、GAN(Generative Adversarial Network)等の公知の変換手法を用いることができる。これにより、検知させたい服装を服装変換指令として入力することにより、検知させたい服装を着た人が写されている服装変換画像３２が多数（例えば、数千枚）得られる。

なお、服装変換指令は、現場画像３１（服装変換指令）と、服装変換入力部１３からの服装変換指令とのうち、いずれか一方を用いて服装変換画像３２を生成してもよく、両方を用いて服装変換画像３２を生成してもよい。

非人物画像ＤＢ２２は、人が写されていない画像が格納されている。なお、非人物画像ＤＢ２２は、汎用的なデータベースとしてもよい。

人検知パラメータ生成部１５には、学習データとして、人が写されている第１の入力画像群及び人が写されていない第２の入力画像群が入力される。人検知パラメータ生成部１５は、第１の入力画像群と第２の入力画像群に基づいて、機械学習を行い、人検知パラメータを生成して出力する。ここで、第１の入力画像群は、人が写されている画像群であり、少なくとも服装変換画像３２を用いる。また、第１の入力画像群は、現場画像３１、人物画像ＤＢ２１の画像を用いてもよい。第２の入力画像群は、人が写されていない画像群であり、非人物画像ＤＢ２２の画像を用いる。なお、人検知パラメータ生成部１５における機械学習は、例えば、畳込みニューラルネットワーク等の公知の機械学習モデルを用いることができる。

ここで、服装変換画像生成部１４が、検知させたい服装を着た人が写されている服装変換画像３２を多数（例えば、数千枚）生成することにより、第１の入力画像群には、検知させたい服装を着た人が写されている画像が多数含まれる。このため、人検知パラメータ生成部１５によって生成された人検知パラメータを用いることで、検知させたい服装を着た人の検知精度が向上する。

人検知パラメータ格納部１６は、人検知パラメータ生成部１５で生成された人検知パラメータを格納する。

人検知実行部１７は、人検知パラメータ格納部１６に格納された人検知パラメータに基づいて、人検知の判定を行う。例えば、人検知実行部１７は、現場に設置された人検知カメラ１１ａおよびトリガ１２ａによって撮像された現場画像３３について、人が写されているか否かを判定する人検知を行い、検知結果３４を出力する。この現場に設置される人検知カメラ１１ａは、前述のカメラ１１と同じであってもよく、異なっていてもよい。なお、人検知実行部１７における人検知は、人検知パラメータ生成部１５と同一の機械学習モデルを用いる。なお、人検知実行部１７が人検知したと判定した場合、人検知システムＳ１は警告音や警告表示等を出力してもよい。また、人検知カメラの画像を表示する表示部（図示せず）を有し、人検知カメラの画像の上に検知した人を囲む枠線を重畳表示してもよい。また、人検知カメラがショベルに搭載されたカメラの場合、例えば、ショベルのアームの可動や旋回、本体の移動等を制限したり、停止させたりしてもよい。

以上、第１実施形態に係る人検知システムＳ１によれば、服装変換画像生成部１４で検知させたい服装を着た人が写されている服装変換画像３２が生成される。また、人検知パラメータ生成部１５は、この服装変換画像３２を学習データとして機械学習を行い人検知パラメータを生成する。これにより、人検知実行部１７において、検知させたい服装を着た人の検知精度を向上させることができる。

ここで、第１実施形態に係る人検知システムＳ１における人検知カメラは、例えば工事現場で作業するショベルに搭載される。また、人検知カメラは、工場やオフィス等の入館ゲートに設置されていてもよい。工事現場や工場、オフィス等において、検知対象の人は似たような服装を着用している。例えば、工事現場や工場の作業員は、支給されたヘルメット、ベスト、作業着等を着用している。例えば、オフィスでは、スーツ等を着用している。服装変換指令として、人検知カメラが設置される現場の状況に併せて検知させたい服装を入力することにより、人検知カメラが設置される現場における人の検知精度を向上させることができる。

また、服装変換指令として現場画像３１を用いる場合、用意する現場画像３１の枚数は、機械学習に用いる服装変換画像３２の枚数よりも少なくてよい。第１実施形態に係る人検知システムＳ１は、限られた枚数の現場画像３１でも、人検知システムＳ１における検知精度を向上させることができる。

また、服装変換指令として操作画面４０で選択され服装変換入力部１３から出力された服装変換指令を用いる場合、現場の環境に適合させるための画像を用いなくても、人検知システムＳ１における検知精度を向上させることができる。また、図２に示すような操作画面４０を用いた簡単な選択操作で現場の環境に適合した人検知パラメータを生成することができ、人検知システムＳ１における検知精度を向上させることができる。

なお、汎用的な人検知システムにおいて、多種多様な服装の検知に対応しようとすると、全体の検知性能が低下するおそれがある。また、汎用的な人検知システムにおいて、検知精度を向上させるためには、膨大な学習データを準備して、複雑な機械学習モデルの人検知パラメータ生成部で人検知パラメータを生成する。また、人検知実行部は、生成された人検知パラメータを用いて人検知の判定を行う。このため、人検知パラメータ生成部における演算処理量や、人検知実行部１７における演算処理量が増大する。よって、ＣＰＵは高性能なものが要求され、人検知システム全体のコストも増大する。

これに対し、第１実施形態に係る人検知システムＳ１は、汎用的な人検知システムと比較して、人検知パラメータ生成部１５に入力する人が写されている画像の枚数が少なくても、または汎用的な人検知システムより単純な機械学習モデルでも、検知させたい服装を着た人の検知精度を向上させることができる。このため、人検知パラメータ生成部１５における演算処理量や、人検知実行部１７における演算処理量を低減することができる。よって、要求されるＣＰＵの処理能力を抑え、人検知システム全体のコストを低減することができる。

次に第２実施形態に係る人検知システムＳ２について、図３を用いて説明する。図３は、第２実施形態に係る人検知システムＳ２の構成図である。

第２実施形態に係る人検知システムＳ２は、端末１００と、サーバ２００と、人検知装置３００と、を備えている。なお、端末１００や人検知装置３００は、複数（図３では、３組３００ａ～３００ｃ）備えていてもよい。また、人検知装置３００にサーバ２００の一部または全部の機能を含んでもよい。

端末１００は、サーバ２００に服装変換指令を送信する。端末１００は、例えば、スマートフォン、タブレット端末（スレート端末）、ＰＣ等で構成されている。端末１００は、表示部１１０と、入力部１２０と、を有する。なお、端末１００とサーバ２００との通信は、例えば、衛星通信網、携帯電話通信網、インターネット網等を通じて情報が送受信される。

例えば、表示部１１０には、人検知装置３００のカメラ１１の画像が表示される。設定作業者は、入力部１２０に設けられたトリガ１２を操作することにより、表示部１１０に表示されている画像を現場画像３１（服装変換指令）として、サーバ２００に送信する。

また、例えば、表示部１１０には、操作画面４０（図２参照）が表示される。設定作業者は、操作画面４０を操作する。これにより、端末１００に設けられた服装変換入力部１３は、服装の属性情報を有する服装変換指令をサーバ２００に送信する。

サーバ２００は、端末１００から送信された服装変換指令に基づいて、人検知パラメータを生成する。即ち、サーバ２００は、服装変換画像生成部１４と、人検知パラメータ生成部１５と、人検知パラメータ格納部１６と、人物画像ＤＢ２１と、非人物画像ＤＢ２２と、を備えている。服装変換指令に基づいて生成された人検知装置３００ａの人検知パラメータは、人検知装置３００ａへと送信され、人検知パラメータ格納部１６ａに格納される。同様に、服装変換指令に基づいて生成された人検知装置３００ｂの人検知パラメータは、人検知装置３００ｂへと送信され、人検知パラメータ格納部１６ｂに格納される。服装変換指令に基づいて生成された人検知装置３００ｃの人検知パラメータは、人検知装置３００ｃへと送信され、人検知パラメータ格納部１６ｃに格納される。なお、サーバ２００から人検知装置３００への人検知パラメータの送信は、例えば、衛星通信網、携帯電話通信網、インターネット網等を通じて直接送信されてもよい。また、サーバ２００から端末１００に情報を送信した後に、端末１００から人検知装置３００に情報を送信してもよい。なお、端末１００と人検知装置３００との通信は、例えば、有線通信、近距離無線通信等を通じて情報が送受信されてもよく、外部記録媒体を介して情報を受け渡してもよい。

人検知装置３００ａは、カメラ（人検知カメラ）１１と、人検知パラメータ格納部１６ａと、人検知実行部１７と、を備えている。人検知パラメータ格納部１６ａには、人検知装置３００ａで用いる人検知パラメータが格納される。人検知実行部１７は、サーバ２００から送信され人検知パラメータ格納部１６ａに格納された人検知パラメータに基づいて、人検知の判定を行う。例えば、人検知実行部１７は、現場に設置された人検知カメラ１１で撮像された画像について、人が写されているか否かを判定する人検知を行う。なお、人検知実行部１７が人検知したと判定した場合、人検知システムＳ１は警告音や警告表示等を出力してもよい。また、端末１００の表示部１１０にカメラ１１の画像を表示する構成において、カメラ１１の画像の上に検知した人を囲む枠線を重畳表示してもよい。また、カメラ１１がショベルに搭載されたカメラの場合、例えば、ショベルのアームの可動や旋回、本体の移動等を制限したり、停止させたりしてもよい。人検知装置３００ｂ，３００ｃについても同様である。

以上、第２実施形態に係る人検知システムＳ２によれば、第１実施形態に係る人検知システムＳ１と同様に、検知させたい服装を着た人の検知精度を向上させることができる。

また、第２実施形態に係る人検知システムＳ２によれば、各人検知装置３００を設置する現場の環境、換言すれば、現場で検知したい人の服装に応じて服装変換指令を端末１００からサーバ２００に送信することにより、各現場の環境に応じた人検知パラメータが生成される。これにより、それぞれの現場において、人検知装置３００は、検知させたい服装を着た人の検知精度を向上させることができる。また、人物画像ＤＢ２１、非人物画像ＤＢ２２のデータや、服装変換画像生成部１４、人検知パラメータ生成部１５の演算リソースを共用することができるので、システム全体のコストを低減することができる。

以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Ｓ１，Ｓ２人検知システム
１１カメラ（服装変換指令部）
１２トリガ（服装変換指令部）
１３服装変換入力部（服装変換指令部）
１４服装変換画像生成部
１５人検知パラメータ生成部
１６人検知パラメータ格納部
１７人検知実行部
２１人物画像ＤＢ
２２非人物画像ＤＢ
３１現場画像
３２服装変換画像
４０操作画面
１００端末
１１０表示部
１２０入力部
２００サーバ
３００人検知装置

Claims

検知させたい服装を着た人が写されている現場画像を服装変換指令として出力する服装変換指令部と、
人が写されている画像が格納された人物画像データベースと、
前記現場画像を教師データとして、前記服装変換指令に基づいて、前記人物画像データベースの画像に写されている人の服装を変換して服装変換画像を生成する服装変換画像生成部と、
前記服装変換画像に基づいて、人検知パラメータを生成する人検知パラメータ生成部と、
前記人検知パラメータに基づいて人検知を実行する人検知実行部と、を備える、人検知システム。
前記服装変換画像生成部は、
前記人物画像データベースの画像に写されている人の服装を前記教師データの画像に写されている人の服装に変換して前記服装変換画像を生成する、
請求項１に記載の人検知システム。
前記服装変換指令部は、
検知させたい服装の属性情報を有する前記服装変換指令を出力し、
前記人物画像データベースは、
人が写されている前記画像と、前記画像に写されている人の服装の属性情報と、が紐付けされて格納され、
前記服装変換画像生成部は、
前記人物画像データベースから前記服装変換指令の前記服装の属性情報に合致する画像を選択し、選択された該画像を教師データとして、前記人物画像データベースの画像に写されている人の服装を変換して服装変換画像を生成する、
請求項１または請求項２に記載の人検知システム。
前記服装変換画像生成部は、
前記人物画像データベースの画像に写されている人の服装を前記教師データの画像に写されている人の服装に変換して前記服装変換画像を生成する、
請求項３に記載の人検知システム。
前記人検知実行部は、前記人検知パラメータに基づいて現場に設置された人検知カメラで撮像された画像の人検知を実行し、
前記服装変換指令部は、前記現場の状況に併せて検知させたい服装を入力可能な入力部を有し、
前記服装変換画像生成部は、前記検知させたい服装に基づいて、前記人物画像データベースの画像に写されている人の服装を前記検知させたい服装に変換して服装変換画像を生成し、
前記人検知パラメータ生成部は、前記服装変換画像に基づいて、前記現場の状況に併せた人検知パラメータを生成する、
請求項１に記載の人検知システム。
検知させたい服装を着た人が写されている現場画像を服装変換指令として出力する端末と、
前記服装変換指令に基づいて、人検知パラメータを生成するサーバと、
前記人検知パラメータに基づいて人検知を実行する人検知実行部を有する人検知装置と
、を備え、
前記サーバは、
人が写されている画像が格納された人物画像データベースと、
前記現場画像を教師データとして、前記服装変換指令に基づいて、前記人物画像データベースの画像に写されている人の服装を変換して服装変換画像を生成する服装変換画像生成部と、
前記服装変換画像に基づいて、前記人検知パラメータを生成する人検知パラメータ生成部と、を有する、人検知システム。