JP2024023434A - 移動物追跡装置 - Google Patents

移動物追跡装置 Download PDF

Info

Publication number
JP2024023434A
JP2024023434A JP2023201383A JP2023201383A JP2024023434A JP 2024023434 A JP2024023434 A JP 2024023434A JP 2023201383 A JP2023201383 A JP 2023201383A JP 2023201383 A JP2023201383 A JP 2023201383A JP 2024023434 A JP2024023434 A JP 2024023434A
Authority
JP
Japan
Prior art keywords
moving object
identification code
identification
code
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023201383A
Other languages
English (en)
Inventor
成典 田中
龍一 今井
大介 神谷
晴可 井上
諭 窪田
健二 中村
雄平 山本
義典 塚田
文渊 姜
伸介 中島
真由美 上田
雅洋 蔭山
俊秀 伊藤
光宏 辻
佳奈 五藤
一磨 坂本
仁 仲条
琢哉 藤井
利弘 藤原
英一 菊地
健太郎 三村
誠 伊藤
雅俊 椿
泰夫 三浦
俊也 齊藤
正幸 高野
英一 政木
貴之 山田
庄治 大月
順俊 平野
修 西村
和宏 宮辻
丈司 鳴尾
良信 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Style Co Ltd
Original Assignee
Intelligent Style Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Style Co Ltd filed Critical Intelligent Style Co Ltd
Publication of JP2024023434A publication Critical patent/JP2024023434A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】簡易な構成でありながら対象となる人物や機械の特定精度の高いシステムを提供する。【解決手段】作業者の入場時には、入場カメラ7によってヘルメット4を装着した作業者2が撮像され、認識手段10によって識別符号が認識される。上記入場時に、ID取得手段14は、作業者2から作業者IDを取得する。対応記録手段16は、取得された作業者IDと、推定された識別符号とを対応づけて記録する。作業場に入った作業者2は、作業場カメラ8によって撮像される。撮像されたヘルメット4の識別符号は、認識手段10によって認識される。画像位置取得手段18は、ヘルメット4を装着した作業者2の撮像画像に基づいて、当該作業者2の位置を推定して取得する。位置処理手段20は、認識された識別符号によって対応する作業者IDを特定し、当該作業者IDに対応付けて作業者の位置を記録部に記録する。【選択図】図1

Description

この発明は、作業場、施設などの対象領域における、人や移動機械などの追跡に関するものである。
作業場、施設などにおいて、人や移動機械などの場所を追跡することが行われている。追跡を行うことにより、行動を把握したり、危険領域への警告を行ったりする等の処理を行うことができる。
特許文献1には、人に携帯用の送受信機を装着しておき、当該携帯用の送受信機と通信可能な複数の位置特定装置を設けて、人の位置を特定して追跡するシステムが開示されている。
特許文献2には、カメラにて人を撮像して特定し、撮像画像に基づいて人の移動軌跡を求めて記録するシステムが開示されている。このシステムによれば、人に送受信機を携帯させる必要がなく、移動軌跡を取得することができる。
特許文献3には、作業機械などにGPS受信機を装着しておき、作業機械の移動軌跡を追跡するシステムが開示されている。したがって、作業機械などの稼働状況を遠隔から把握することができる。
国際公開2010/029918 特開2018-93283 特開2003-34954
しかしながら、上記のような従来技術においては、次のような問題点があった。
特許文献1、3においては、人や機械に送受信機を設けなければ追跡ができず、各人や機械ごとに送受信機を装着しなければならず、費用を要していた。
特許文献2においては、人や機械に送受信機を装着する必要がなく簡易に実施できる。しかし、撮像した顔画像に基づいて人物を特定しており、顔が映し出されていない場合など、人物特定の精度が十分ではなかった。
この発明は上記のような問題点を解決して、簡易な構成でありながら対象となる人物や機械の特定精度の高いシステムを提供することを目的とする。
この発明を独立して適用可能ないくつかの特徴を以下に列挙する。
(1)(3)この発明に係る移動物追跡装置は、対象領域を撮像する一以上の対象領域カメラと、対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、前記撮像画像に基づいて、前記移動物の対象領域内での位置を取得する画像位置取得手段と、前記認識された識別符号に基づいて移動物の同一性を判断し、当該移動物の位置の時間的変化を記録部に記録する位置処理手段とを備えた移動物追跡装置であって、前記認識手段は、第1の識別符号とそれ以外の識別符号とを区別し、第1の識別符号である推定確率を算出する第1の推定手段と、第2の識別符号とそれ以外の識別符号とを区別し、第2の識別符号である推定確率を算出する第2の推定手段と・・・第nの識別符号とそれ以外の識別符号とを区別し、第nの識別符号である推定確率を算出する第nの推定手段と、第1~第nの推定手段の推定結果に基づいて、識別符号の認識を行う統合手段とを備えている。
したがって、移動物の動きを精度良く追跡することができる。
(2)(4)この発明に係る移動物追跡装置は、カメラには、入場時カメラが含まれており、対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段とをさらに備え、前記位置処理手段は、前記対象領域カメラにて撮像した移動物の撮像画像から認識した識別符号に基づいて、前記記録部を参照して、当該移動物の移動物IDを取得することを特徴としている。
したがって、対象領域への入場時に、移動物IDと識別符号とを自動的に対応付けることができる。
(5)この発明に係る移動物追跡装置は、移動物には識別符号が複数個表示されており、前記認識手段は、移動物に表示された識別符号を異なる角度から撮像した画像に基づいて学習を行った機械学習の学習済みモデルによって識別符号を認識することを特徴としている。
したがって、撮像角度によらずに、正しく識別符号を認識することができる。
(6)この発明にかかる移動物追跡装置は、識別符号が、前記移動物に装着された装着物に表示されていることを特徴としている。
したがって、装着物の装着によって識別符号との紐付けを行うことができる。
(7)この発明に係る移動物追跡装置は、統合手段が、第1の識別符号~第nの識別符号のうち、最も高い推定確率が所定の確定確率以上であれば、当該最も高い推定確率の識別符号を認識結果とすることを特徴としている。
したがって、正確な推定結果を得ることができる。
(8)この発明に係る移動物追跡装置は、統合手段が、第1の識別符号~第nの識別符号のうち、最も高い推定確率が所定の除外確率以下であれば、当該識別符号を第n+1の識別符号であるとして、撮像画像に基づく学習を行い、第n+1の識別符号とそれ以外の識別符号とを区別し、第n+1の識別符号である推定確率を算出する第n+1の推定手段を生成する学習処理を行い、あるいは当該学習処理を提案することを特徴としている。
したがって、あらたな移動物についても認識を行うための学習を行うことができる。
(9)この発明に係る移動物追跡装置は、統合手段が、第1の識別符号~第nの識別符号のうち、所定の除外確率を超え、所定の確定確率以下の推定確率が複数ある場合、前記カメラにて撮像した移動物画像を表示し、操作者に選択させることを特徴としている。
したがって、より正確な推定結果を得ることができる。
(10)この発明に係る移動物追跡装置は、移動物ID取得手段が、移動物である人物が所持する移動物IDを記録した媒体から近距離通信によって、あるいは当該人物の入力操作により、前記移動物IDを取得することを特徴としている。
これにより、移動部IDと識別符号とを紐付けることができる。
(11)この発明に係る移動物追跡装置は、位置処理手段が、前記画像位置取得手段によって取得した移動物の位置に基づいて、各移動物について記録された進入禁止区域を参照し、当該移動物が進入禁止区域に入った場合には、警告を出力する警告手段を備えることを特徴としている。
したがって、作業者の安全や機密の保持などを確保することができる。
(12)この発明に係る移動物追跡装置は、進入禁止区域が、危険性のある移動物の移動につれてあるいは日時とともにダイナミックに変化することを特徴としている。
したがって、刻々と変化する危険状況にも対応して警告を発することができる。
(13)この発明に係る移動物追跡装置は、認識手段が、移動物が特定できる状態にて、装着物が装着された当該移動物が一つだけで撮像された画像に基づいて、認識手段を学習する学習手段を備えることを特徴としている。
したがって、より精度良く推定できるように追加学習を行うことができる。
(14)この発明に係る移動物追跡装置は、識別符号が、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴としている。
したがって、個別符号がいずれの桁のものであるかを容易に認識することができる。
(15)この発明に係る移動物追跡装置は、識別符号が、複数桁の個別符号を有しており、認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴としている。
したがって、推定の精度を高めることができる。
(16)この発明に係る移動物追跡装置は、識別符号の各桁の個別符号が、互いに類似性の低いものを用いるようにしたことを特徴としている。
したがって、推定精度を高くすることができる。
(17)(18)この発明に係る移動物追跡装置は、対象領域を撮像する一以上の対象領域カメラと、対象領域に入場しようとする移動物を撮像する入場カメラと、対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段と、対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、認識手段によって認識した識別符号と、記録部に記録された識別符号と移動物IDの対応に基づいて、前記対象領域カメラによって撮像した移動物を特定する特定手段とを備えた移動物特定装置であって、
前記認識手段は、第1の識別符号とそれ以外の識別符号とを区別し、第1の識別符号である推定確率を算出する第1の推定手段と、第2の識別符号とそれ以外の識別符号とを区別し、第2の識別符号である推定確率を算出する第2の推定手段と、・・・第nの識別符号とそれ以外の識別符号とを区別し、第nの識別符号である推定確率を算出する第nの推定手段と、第1~第nの推定手段の推定結果に基づいて、識別符号の認識を行う統合手段とを備えていることを特徴としている。
したがって、移動物の動きを精度良く追跡することができる。
(19)この発明に係る移動物追跡装置は、移動物には識別符号が複数個表示されており、前記認識手段は、移動物に表示された識別符号を異なる角度から撮像した画像に基づいて学習を行った機械学習の学習済みモデルによって識別符号を認識することを特徴としている。
したがって、撮像角度によらずに、正しく識別符号を認識することができる。
(20)この発明に係る移動物追跡装置は、統合手段が、第1の識別符号~第nの識別符号のうち、最も高い推定確率が所定の確定確率以上であれば、当該最も高い推定確率の識別符号を認識結果とすることを特徴としている。
したがって、正確な推定結果を得ることができる。
(21)この発明に係る移動物追跡装置は、統合手段が、第1の識別符号~第nの識別符号のうち、最も高い推定確率が所定の除外確率以下であれば、当該識別符号を第n+1の識別符号であるとして、撮像画像に基づく学習を行い、第n+1の識別符号とそれ以外の識別符号とを区別し、第n+1の識別符号である推定確率を算出する第n+1の推定手段を生成する学習処理を行い、あるいは当該学習処理を提案することを特徴としている。
したがって、あらたな移動物についても認識を行うための学習を行うことができる。
(22)この発明に係る移動物追跡装置は、統合手段が、第1の識別符号~第nの識別符号のうち、所定の除外確率を超え、所定の確定確率以下の推定確率が複数ある場合、前記カメラにて撮像した移動物画像を表示し、操作者に選択させることを特徴としている。
したがって、より正確な推定結果を得ることができる。
(23)この発明に係る移動物追跡装置は、識別符号が、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴としている。
したがって、個別符号がいずれの桁のものであるか認識精度を高くすることができる。
(24)この発明に係る移動物追跡装置は、識別符号が、複数桁の個別符号を有しており、認識手段が、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴としている。
したがって、認識精度を高くすることができる。
(25)この発明に係る移動物追跡装置は、識別符号の各桁の個別符号は、互いに類似性の低いものを用いるようにしたことを特徴としている。
したがって、認識精度を高くすることができる。
(26)(27)この発明に係る認識装置は、カメラにて撮像した画像に基づいて、対象物を認識する認識装置であって、第1の識別符号とそれ以外の識別符号とを区別し、第1の識別符号である推定確率を算出する第1の推定手段と、第2の識別符号とそれ以外の識別符号とを区別し、第2の識別符号である推定確率を算出する第2の推定手段と、・・・第nの識別符号とそれ以外の識別符号とを区別し、第nの識別符号である推定確率を算出する第nの推定手段と、第1~第nの推定手段によって推定された第1の対象物~第nの対象物のうち、最も高い推定確率が所定の確定確率以上であれば、当該最も高い推定確率の識別符号を認識結果とする統合手段とを備えたことを特徴としている。
したがって、より精度良く対象物を認識することができる。
(28)この発明に係る認識装置は、識別符号が、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴としている。
したがって、個別符号がいずれの桁のものであるかの推定精度を高くすることができる。
(29)この発明に係る認識装置は、識別符号が、複数桁の個別符号を有しており、前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴としている。
したがって、認識精度を高くすることができる。
(30)この発明に係る認識装置は、識別符号の各桁の個別符号が、互いに類似性の低いものを用いるようにしたことを特徴としている。
したがって、認識精度を高くすることができる。
(31)この発明に係る認識装置は、第1~第nの各推定手段は、推定対象とする第1~第nの識別符号を対象識別符号とし、それ以外の識別符号を対象外識別符号としたとき、学習に用いる対象識別符号と対象外識別符号のデータ数を実質的に同じ数とした学習データにて学習されたものであることを特徴としている。
したがって、適切な学習を行うことができる。
(32)(36)(48)(51)この発明に係る認識装置は、対象領域を撮像する一以上の対象領域カメラと、対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、前記撮像画像に基づいて、前記移動物の対象領域内での位置を取得する画像位置取得手段と、前記認識された識別符号に基づいて移動物の同一性を判断し、当該移動物の位置の時間的変化を記録部に記録する位置処理手段とを備えた移動物追跡装置であって、前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴としている。
したがって、個別符号がいずれの桁であるかの推定が容易であり、推定精度を高くして追跡を行うことができる。
(33)(37)(49)(52)この発明に係る移動物追跡装置は、認識手段が、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴としている。
したがって、推定精度を高くすることができる。
(34)(38)(50)(53)この発明に係る対象物追跡装置は、対象領域を撮像する一以上の対象領域カメラと、対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、前記撮像画像に基づいて、前記移動物の対象領域内での位置を取得する画像位置取得手段と、前記認識された識別符号に基づいて移動物の同一性を判断し、当該移動物の位置の時間的変化を記録部に記録する位置処理手段とを備えた移動物追跡装置であって、前記識別符号は、複数桁の個別符号を有しており、前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴としている。
したがって、精度良く推定を行って、対象物を追跡することができる。
(35)(39)この発明に係る対象物追跡装置は、前記カメラには、入場時カメラが含まれており、対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段とをさらに備え、前記位置処理手段は、前記対象領域カメラにて撮像した移動物の撮像画像から認識した識別符号に基づいて、前記記録部を参照して、当該移動物の移動物IDを取得することを特徴としている。
したがって、入場時の画像で対応づけを行うことができる。
(40)(54)この発明に係る対象物追跡装置は、識別符号の各桁の個別符号が、互いに類似性の低いものを用いるようにしたことを特徴としている。
したがって、推定精度を高くすることができる。
(41)この発明に係る対象物追跡装置は、前記移動物には識別符号が複数個表示されており、前記認識手段は、移動物に表示された識別符号を異なる角度から撮像した画像に基づいて学習を行った機械学習の学習済みモデルによって識別符号を認識することを特徴としている。
したがって、推定精度を高くすることができる。
(42)この発明に係る対象物追跡装置は、識別符号は、前記移動物に装着された装着物に表示されていることを特徴としている。
したがって、ヘルメットなどの装着物の識別符号によって追跡を行うことができる。
(43)この発明に係る対象物追跡装置は、移動物ID取得手段は、移動物である人物が所持する移動物IDを記録した媒体から近距離通信によって、あるいは当該人物の入力操作により、前記移動物IDを取得することを特徴としている。
したがって、適切に人物と移動物IDとを対応付けることができる。
(44)この発明に係る対象物移動装置は、位置処理手段が、前記画像位置取得手段によって取得した移動物の位置に基づいて、各移動物について記録された進入禁止区域を参照し、当該移動物が進入禁止区域に入った場合には、警告を出力する警告手段を備えることを特徴としている。
したがって、警告によって安全を確保することができる。
(45)この発明に係る対象物移動装置は、進入禁止区域が、危険性のある移動物の移動につれてあるいは日時とともにダイナミックに変化することを特徴としている。
したがって、状況に応じて適切な警告を行うことができる。
(46)この発明に係る対象物移動装置は、認識手段が、移動物が特定できる状態にて、装着物が装着された当該移動物が一つだけで撮像された画像に基づいて、認識手段を学習する学習手段を備えることを特徴としている。
したがって、対応づけを確実に行うことができる。
(47)この発明に係る対象物移動装置は、第1~第nの各推定手段は、推定対象とする第1~第nの識別符号を対象識別符号とし、それ以外の識別符号を対象外識別符号としたとき、学習に用いる対象識別符号と対象外識別符号のデータ数を実質的に同じ数とした学習データにて学習されたものであることを特徴している。
したがって、適切な学習を行うことができる。
(55)(58)この発明に係る認識装置は、カメラにて撮像した画像に基づいて、識別符号を認識する認識装置であって、前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴としている。
したがって、個別符号がいずれの桁であるかを容易に認識することができる。
(56)(59)この発明に係る認識装置は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴としている。
したがって、認識精度を高くすることができる。
(57)(60)この発明に係る認識装置は、カメラにて撮像した画像に基づいて、識別符号を認識する認識装置であって、前記識別符号は、複数桁の個別符号を有しており、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴としている。
したがって、認識精度を高くすることができる。
(61)この発明に係る認識装置は、識別符号の各桁の個別符号は、互いに類似性の低いものを用いるようにしたことを特徴としている。
したがって、認識精度を高くすることができる。
(62)(63)この発明に係る警告装置は、対象領域を動く複数の移動物の位置を取得する位置取得手段と、前記位置取得手段によって取得した移動物の位置に基づいて、各移動物について記録された進入禁止区域を参照し、当該移動物が進入禁止区域に入った場合には、警告を出力する警告手段とを備えている。
したがって、移動物に対して進入禁止区域に対する警告を発することができる。
(64)この発明に係る警告装置は、進入禁止区域が、危険性のある移動物の移動につれてあるいは日時とともにダイナミックに変化することを特徴としている。
したがって、刻々と変化する危険状況に応じた警告を発することができる。
「認識手段」は、実施形態においては、ステップS26~S35、S54~S63などがこれに対応する。
「移動物ID取得手段」は、実施形態においては、ステップS22がこれに対応する。
「対応記録手段」は、実施形態においては、ステップS46がこれに対応する。
「位置記録手段」は、実施形態においては、ステップS67がこれに対応する。
「プログラム」とは、CPUまたはGPU(あるいはその双方)により直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
この発明の一実施形態による移動物追跡装置の機能ブロック図である。 移動物追跡装置を作業現場28に設けた場合のシステム構成例である。 PC24のハードウエア構成である。 ヘルメット4に付した識別符号の例である。 学習用データ生成のフローチャートである。 学習用データ生成のための画像処理を示す図である。 学習データセットを示す図である。 入場時処理のフローチャートである。 入場時処理のフローチャートである。 入場時処理における画像処理を示す図である。 推定確率の例である。 作業者IDと識別符号との対応テーブルである。 識別符号を選択させる画面の例である。 新たな識別符号を入力するための画面例である。 追跡処理のフローチャートである。 追跡処理のフローチャートである。 追跡処理における画像処理を説明するための図である。 推定確率の例である。 追跡データの例である。 他の追跡手法を示す図である。 他の実施形態によるシステムの構成図である。 危険エリアへの進入可否を記録したテーブルである。 他の実施形態による移動物追跡装置のシステム図である。 第2の実施形態による移動物追跡装置の機能ブロック図である。 移動物追跡装置を作業現場28に設けた場合のシステム構成例である。 追加学習処理のフローチャートである。 追加学習処理における画像処理を説明するための図である。 第3の実施形態による移動物追跡装置の機能ブロック図である。 符号の付されたヘルメットを示す図である。 選択された使用文字の例を示す図である。 学習用データ生成のフローチャートである。 学習のための画像を示す図である。 入場時処理のフローチャートである。 入場時処理のフローチャートである。 撮像画像から抽出された識別符号の画像、個別符号の画像を示す図である。 全体符号の推定確率を示す図である。 個別符号の推定確率を示す図である。 個別符号の推定結果と全体符号の推定結果を示す図である。 個別符号の推定結果と全体符号の推定結果を示す図である。 個別符号の推定結果と全体符号の推定結果を示す図である。 追跡処理のフローチャートである。 撮像画像を示す図である。 人物画像とヘルメット画像との対応を示す図である。
1.第1の実施形態
1.1全体構成
図1に、この発明の第1の実施形態による人物追跡装置の機能構成を示す。この実施形態では、作業現場における作業者の行動追跡を例として説明する。
作業者2は、作業現場への入場時に装着物であるヘルメット4を装着する。ヘルメット4には、前面、後面、左右側面、上面など複数箇所に識別符号6が印刷などの方法で付されている。同じヘルメット4には同じ識別符号が複数箇所に付されており、ヘルメット4ごとにユニークに異なる識別符号が付されている。たとえば、「0」「1」・・・「9」の識別符号が付されている。
作業者の入場時には、入場カメラ7によってヘルメット4を装着した作業者2が撮像される。撮像された画像は、認識手段10によって識別符号が認識される。認識手段10は、第1の推定手段E1、第2の推定手段E2・・・第nの推定手段Enを備えている。
第1の推定手段E1は、撮像した識別符号が「0」であるか、「0」以外であるか(「1」・・・「9」のいずれかであるか)を推定する。第2の推定手段E2は、撮像した識別符号が「1」であるか、「1」以外であるか(「0」「2」・・・「9」のいずれかであるか)を推定する。以下、同様に、第nの推定手段Enは、撮像した識別符号が「9」であるか、「9」以外であるか(「0」・・・「8」のいずれかであるか)を推定する。
統合手段12は、第1の推定手段E1~第nの推定手段Enの推定結果を統合して、撮像された識別符号が何であるかを認識する。
上記入場時における入場カメラ7での撮像時に、ID取得手段14は、作業者2から作業者IDを取得する。たとえば、作業者の有する近距離通信機能のあるIDカードを読み取り器にかざしてもらい、作業者IDを読み取ることができる。
対応記録手段16は、取得された作業者IDと、推定された識別符号とを対応づけて記録する。これにより、当該識別符号の付されたヘルメットを装着している作業者を特定することができる。
作業場に入った作業者2は、作業場カメラ8によって撮像される。撮像されたヘルメット4の識別符号は、認識手段10によって認識される。画像位置取得手段18は、ヘルメット4を装着した作業者2の撮像画像に基づいて、当該作業者2の位置を推定して取得する。
位置処理手段20は、認識された識別符号によって対応する作業者IDを特定し、当該作業者IDに対応付けて作業者の位置を記録部に記録する。
カメラ8を複数設けることで、広範囲にわたる作業者の移動軌跡を記録することができる。
1.2システム構成
図2に、移動物追跡装置のシステム構成を示す。作業現場28には、入場エリア26が設けられている。作業員が作業現場28に入場する際には、ヘルメットを着用し、入場エリア26にて、IDカードをカード読取器22にかざして認証を行う。IDカードには、各作業者の作業者IDが記録されており、カード読取器22はこれを読み取って、PC21を介して、現場事務所などに設けられたPC24に送信する。IDカードとしては、フェリカ(商標)などの近距離通信方式などを用いることができる。
入場エリア26には、入場カメラC1が設けられており、識別符号の付されたヘルメットを装着した作業員を撮像する。撮像画像は、PC24に送られる。PC24は、この画像に基づいて識別符号を認識する。さらに、これを、カード読取器22より受信した作業者IDと対応づけて記録する。
図においては、作業者W1~W5が入場済みであることが示されている。作業現場28には、作業場カメラC2~C5が設けられ、作業現場28を撮像している。この撮像画像は、PC24に送られ、各作業者W1~W5のヘルメットの識別符号が認識される。また、画像に基づいて、作業者の位置が把握される。したがって、各作業者W1~W5の位置を知ることができ、その行動軌跡を記録することができる。
なお、作業現場28には、建設機械M1も入場している。この建設機械M1にも、識別符号が付されている。したがって、作業場カメラC2~C5で撮像し、その移動軌跡を記録することができる。なお、この実施形態においては、当該建設機械M1について予め定められた識別符号が付されている。この点、作業者については、装着するヘルメットによって識別符号が変化する点と異なっている。
図3に、PC24のハードウエア構成を示す。CPU30には、メモリ32、ディスプレイ34、ハードディスク36、DVD-ROMドライブ38、キーボード/マウス40、通信回路42が接続されている。通信回路42は、ネットワークやインターネットに接続するためのものである。
ハードディスク36には、オペレーティングシステム44、移動物追跡プログラム46が記録されている。移動物追跡プログラム46は、オペレーティングシステム44と協働してその機能を発揮するものである。これらプログラムは、DVD-ROM48に記録されていたものを、DVD-ROMドライブ38を介して、ハードディスク36にインストールしたものである。
図4に、作業者が着用するためのヘルメット4を示す。各ヘルメット4には、それぞれ、ユニークな識別符号が付されている。図においては、「0」から「9」の識別符号が付されている。また、各ヘルメット4において、前面、後面、左右側面、上面のそれぞれに、同じ識別符号が付されている。これは、様々な角度から撮像された際であっても、画像中に識別符号が含まれるようにするためである。
1.3追跡処理
以下、ヘルメット4を着用した作業者の行動を追跡する処理について説明する。
(1)学習用データ生成処理および学習済モデル生成
この実施形態では、撮像した識別符号を、深層学習の学習済みモデルにて認識するようにしている。そこで、まず、学習用データ生成の処理から説明する。
図5に、移動物追跡プログラム46の学習用データ生成処理のフローチャートを示す。図4のヘルメット4を様々な角度から撮像した多数の画像を、予めハードディスク36に記録しておく。
CPU30は、この画像を一枚ずつハードディスク36から読み出す(ステップS2)。読み出された画像の例を、図6Aに示す。図においては、モノクロにて示しているが、この実施形態ではカラー画像を用いている(モノクロ画像を用いてもよい)。
次に、CPU30は、この画像から、ヘルメット4のみを抽出する(ステップS3)。この実施形態では、HSVによる色相、彩度、明度を指定して、予め定められたヘルメット4の部分を取り出す。ヘルメット4が黄色であれば、当該黄色に対して所定の幅を持って、色相、彩度、明度を指定し、ヘルメット部分を取り出す。抽出した画像を、図6Bに示す。なお、RGBなど他の色表現に基づいて取り出すようにしてもよい。
次に、CPU30は、ヘルメットの黄色について膨張・収縮処理を行う(たとえばクロージング処理)。これにより、ヘルメット中に含まれていた識別符号が除去(黄色に塗りつぶされる)され、ヘルメット全体の領域を抽出することができる。なお、輪郭認識などの方法によってヘルメットの領域を認識するようにしてもよい。
続いて、CPU30は、認識したヘルメット全体の領域を参照し、元画像中から識別符号を抽出する(ステップS4)。識別符号に用いられている所定色(この実施形態では黒色)を抽出する。抽出された識別符号を図6Cに示す。この実施形態では、ヘルメット4において複数箇所に識別符号を付している。したがって、図6Cに示すように、抽出された画像にも、一部しか撮像されていない識別符号も含めて、複数の識別符号が含まれている。
次に、CPU30は、この抽出した識別符号の画像をディスプレイ34に表示するとともに、操作者に教師データとしてのクラス(ここでは画像によって示される識別符号の値)の入力を促す(ステップS5)。これを受けて、操作者は、キーボード/マウス40により、クラス(図6Cの例であれば「0」)を入力する。CPU30は、入力されたクラスを、図6Cの識別符号の画像と対応づけて記録する。
なお、図6Aのような画像の状態で、予めクラスを付して記録しておいてもよい。
以上のようにして一つの画像についての処理が終了すると、記録されている次の画像について、同様の処理を行って識別符号の抽出、クラスの付与を行う(ステップS1~S6)。
全ての画像について、識別符号の抽出、クラスの付与を行うと、CPU30は、識別符号「0」のクラスのための学習データセットを生成する(ステップS7)。図7Aに示すように、「0」のクラスが付された識別符号の画像と、「0」以外のクラスが付された識別符号の画像(ここでは、「1」~「9」のクラスが付された画像)とによって、「0」のための学習データセットが生成される。
次に、CPU30は、識別符号「1」のクラスのための学習データセットを生成する(ステップS8)。図7Bに示すように、「1」のクラスが付された識別符号の画像と、「1」以外のクラスが付された識別符号の画像(ここでは、「0」「2」~「9」のクラスが付された画像)とによって、「1」のための学習データセットが生成される。
以下、同様にして、CPU30は、識別符号「3」「4」「5」「6」「7」「8」「9」のための学習データセットをそれぞれ生成する。
なお、ステップS1~S6において生成したクラス付きの識別符号の画像が、少数しかなければ、学習データセットのデータが少なくなってしまい、学習効果を得ることができない。そこで、学習データセットのデータ数を豊富にするため、ステップS1~S6において生成したクラス付きの識別符号の画像に対し、変形、移動などの加工を施して、1枚の画像から複数枚を得るようにしてもよい。
以上のようにして、「0」から「9」のそれぞれについての学習データセットを生成すると、CPU30は、それぞれの学習データセットに基づいて深層学習のプログラムの学習を行う。これにより、CPU30は、「0」を推定するための学習済モデル、「1」を推定するための学習済モデル・・・「9」を推定するための学習済モデルを得ることができる。これらモデルは、ハードディスク36に保持される。
(2)識別符号と作業者IDとの対応付処理
作業者2がいずれのヘルメット4を装着するかが決まっていない場合、作業者IDとヘルメット4の識別符号とを対応づける必要がある。この実施形態においては、作業現場への入場時にこれを行うようにしている。
図8、図9に、移動物追跡プログラム46の入場時処理のフローチャートを示す。作業者2は、入場エリア26において、入場時にIDカードをカード読取器22にかざす。IDカードから読み取られた作業者IDは、PC21を介して、PC24に送信される。
CPU30は、IDカードが読み取られて、作業者IDが送信されてきたかどうかを判断する(ステップS21)。作業者IDが送信されてくると、当該作業者IDを、本日の出勤作業者としてハードディスク36に記録する(ステップS22)。
CPU30は、続いて、入場エリア26に設けられたカメラC1が撮像した、当該作業者2の画像を取得する(ステップS23)。取得された画像の例を図10Aに示す。CPU10は、この画像から作業者2の画像を抽出する(ステップS24)。この実施形態では、Dark Net(商標)を用いて、深層学習による推定プログラムにて、人物(作業者2)の画像を抽出するようにしている。なお、入場エリア26の撮像時の背景が一定であれば、背景差分法によって作業者2の画像を抽出してもよい。抽出した画像例を、図10Bに示す。
さらに、CPU30は、図5のステップS3、S4と同じようにして、図10Bの人物画像から、ヘルメット4の画像を抽出し、識別符号を抽出する(ステップS25)。図10Cに、抽出された識別符号の画像を示す。
次に、CPU30は、この識別符号の画像に写された識別符号を認識する処理を行う。この推定処理は、前述の深層学習によって学習したモデルを用いて行われる。
この実施形態では、識別符号の画像から、いずれの識別符号であるかを1回の推定処理で行うのではなく、複数回の推定処理を行い、その結果を統合して最終的な推定を行うようにしている。
CPU30は、まず、図10Cに示す画像が、「0」であるかどうかを推定し、推定確率を出力する(ステップS26)。この際には、「0」のための学習済モデルを用いる。前述のように、「0」のための学習済モデルは、「0」と「0」以外とを区別したデータによって学習したものである。
続いて、CPU30は、「1」のための学習済モデルを用い、図10Cに示す画像が「1」であるかどうかを推定し、推定確率を出力する(ステップS27)。
以下、同様にして、図10Cに示す画像が、それぞれ「2」「3」「4」・・・「9」であるかどうかを推定し、推定確率を出力する。
図11に、算出された推定確率の例を示す。次に、CPU30は、最も高い推定確率を選択し、これが所定の確定確率以上であるかどうかを判断する(ステップS41)。図11において、最も高い推定確率は、「2」についての97.7%である。CPU30は、これが、確定確率(信頼にたる所定の確率、たとえば95%)以上であるかどうかを判断する。
ここでは、所定確率以上であるから、この推定確率にしたがって、識別符号を認識する(ステップS43)。すなわち、識別符号は「2」であると認識する。CPU30は、認識した識別符号と、ステップS22で取得した作業者IDとを対応づけて記録する。
この処理は、各作業者が入場するたびに行われるので、図12に示すように、各作業者の作業者IDと着用したヘルメット4に付された識別符号との対応が記録されることになる。また、一日ごとにこの対応づけは更新される。
ステップS41において、最も高い推定確率が確定確率を下回っていた場合、CPU30は、最も高い推定確率が除外確率(信頼に値しない所定の確率、たとえば10%)未満であるかどうかを判断する(ステップS42)。
除外確率以上であるとすれば(すなわち確定確率未満、除外確率以上)、CPU30は、除外確率以上の推定確率の識別符号を全て(推定確率の上位所定個でもよい)選択し、これをステップS25の識別符号画像とともにディスプレイ34に表示する(ステップS44)。
図13に、その画面例を示す。上部に、識別符号画像が表示され、その下に、ラジオボタンとともに選択肢「9」「8」「いずれでもない」が表示されている。操作者が、「9」または「8」を選択すると、この選択に従って識別符号の認識を行う(ステップS45)。
この場合、CPU30は、操作者の選択を教師データとして、当該識別符号画像によって上記の学習済モデルをさらに学習するようにしてもよい。
なお、操作者が「いずれでもない」を選択した場合には、正しい識別符号を入力するように求める。これに応じて、入力された識別符号に従って認識を行う。この場合も、上記と同様、再学習を行うようにしてもよい。
また、ステップS42において、最も高い推定確率が、除外確率未満であった場合、CPU30は、いずれの識別符号にも該当しないと判断し、その確認を操作者に求める。その画面例を、図14に示す。
画面から数字が認識できる場合には、操作者が正しい識別符号を入力する。CPU30は、これにしたがって認識を行う(ステップS47)。したがって、学習モデルを用意していない識別符号についても、処理を行うことができる。
なお、新たな識別符号が所定数以上入力されて、その画像と教師データが蓄積されると、CPU30は、この識別符号のための学習モデルを新たに生成する。また、他の識別符号のための学習モデルを再学習する。
また、画面から数字が認識できない場合には、操作者は「数字が読み取れません」のラジオボタンをクリックする。これにより、CPU30は、作業者がヘルメットを装着していないと判断する。なお、ヘルメットの装着の有無については、ステップS3において、ヘルメットに対応する色の領域面積が所定値以下である場合に、ヘルメットを装着していないものとして、以後の処理を行わないようにしてもよい。
以上のようにして、図12に示すような対応表を得ることができる。なお、この対応表は、毎日更新されることになる。作業現場において、各作業者2が着用するヘルメットは、毎日変わることがあるからである。
(3)追跡処理
作業現場28に入った作業者2は、カメラC2~C5によって動画として撮像され、その行動軌跡が記録される。
CPU30は、各カメラC2~C5からの画像を取得する(ステップS51)。取得した画像から、人物画像を抽出する(ステップS52)。図17AにカメラC2からの画像、図17Bに抽出された人物の画像を示す。
この実施形態では、深層学習によって学習済モデルにより、画像中から人物画像を抽出するようにしている。たとえば、Dark Net(商標)を用いることができる。Dark Net(商標)によれば、人物、建設機械などを区別して、それを取り囲む矩形として抽出することができる。
続いて、CPU30は、人物画像からヘルメット画像を抽出し、識別符号画像を得る(ステップS53)。この抽出方法は、図8のステップS25と同じとすることが好ましい。抽出されたヘルメット画像を図17Cに、識別符号画像を図17Dに示す。
次に、CPU30は、この識別符号の画像に写された識別符号を認識する処理を行う。この推定処理は、前述の深層学習によって学習したモデルを用いて行われる。
CPU30は、まず、図17Dに示す画像が、「0」であるかどうかを推定し、推定確率を出力する(ステップS54)。この際には、「0」のための学習済モデルを用いる。前述のように、「0」のための学習済モデルは、「0」と「0」以外とを区別したデータによって学習したものである。
続いて、CPU30は、「1」のための学習済モデルを用い、図17Dに示す画像が「1」であるかどうかを推定し、推定確率を出力する(ステップS55)。
以下、同様にして、図17Dに示す画像が、それぞれ「2」「3」「4」・・・「9」であるかどうかを推定し、推定確率を出力する。
図18に、算出された推定確率の例を示す。次に、CPU30は、最も高い推定確率を選択し、これが所定の確定確率以上であるかどうかを判断する(ステップS64)。図18において、最も高い推定確率は、「5」についての96.2%である。CPU30は、これが、確定確率(信頼にたる所定の確率、たとえば95%)以上であるかどうかを判断する。
ここでは、所定確率以上であるから、この推定確率にしたがって、識別符号を認識する(ステップS65)。すなわち、識別符号は「5」であると認識する。さらに、CPU30は、図12のテーブルを参照して、識別符号「5」に対応する作業者IDを取得する。
次に、CPU30は、図17Aの画像に基づいて当該作業者の位置を特定する(ステップS66)。図17Aに示すように、人物を抽出する際の枠60の下辺の中央点62を、作業者の位置として特定する。
カメラC2による撮像範囲は決まっている。この実施形態では、予め撮像画像中の特徴点(目印になるマークのある点、壁と地面の接する点など)F1~F4が定められており、それぞれの座標位置が記録されている。したがって、CPU30は、作業者の位置を示す中央点62の座標を、特徴点F1~F4との相対的な位置関係にて算出する(射影変換)。このようにして、作業者の位置座標を得ることができる。
次に、CPU30は、当該座標位置を、作業者IDに対応づけて記録する(ステップS67)。この際、図17Aの画像の撮像時刻(画像に付されている)を併せて記録する。なお、図17Aにおいて複数の作業者が撮像されていれば、それぞれの作業者について識別符号を認識し座標位置を特定する。
さらに、CPU30は、上記の処理を、他のカメラC3~C5の画像についても行う。このようにして、作業者ごとに、図19に示すような時刻と位置とが記録されることになる。
したがって、時間経過とともに、各作業者の移動軌跡を記録することができる。また、時間的な位置の変化を作業現場の平面図上に画像として表示するようにしてもよい。
上記では作業者の軌跡を追跡する例を示したが、建設機械M1についても同様にその軌跡を記録することができる。なお、建設機械M1については、直接識別符号を付すことが好ましい。したがって、予め、各建設機械M1について、識別符号の対応を記録しておくことができる。
1.4その他
(1)上記実施形態では、リアルタイムに作業者の位置を判断して記録するようにしている。しかし、所定時間分(たとえば1日分)の画像を記録しておき、まとめて作業者の位置を判断して記録するようにしてもよい。
(2)上記実施形態では、撮像された動画の各フレーム間における画像の関連性を考慮せずに、作業者を特定して位置を特定するようにしている。しかし、フレーム間の関連を考慮して作業者を特定するようにしてもよい。
たとえば、撮像された動画において、第1フレームが図20A、第2フレームが図20B、第3フレームが図20C、第4フレームが図20Dであったとする。この時、CPU30は、まず、第1フレームにおいて作業者のヘルメットの識別符号を認識し作業者を特定する(たとえば作業者Aと特定したとする)。その位置を中央点62aによって特定する。
次に、CPU30は、第2フレーム(図20B)において、中央点62aの周囲所定範囲にある人物画像を抽出する。この作業者画像の識別符号を認識し作業者を特定する。その位置を中央点62bによって特定する。
次に、CPU30は、第3フレーム(図20C)において、中央点62bの周囲所定範囲にある人物画像を抽出する。この作業者画像の識別符号を認識し作業者を特定する。その位置を中央点62cによって特定する。
以上の処理を繰り返すことで、特定の作業者の軌跡を追跡することが容易にできる。なお、識別符号によって認識した作業者が、前後のフレームと異なる場合には、前後のフレームと合致させるようにしてもよい。たとえば、図20A、図20B、図20Dのフレームにおいて作業者Aと認識され、図20Cのフレームにおいてのみ作業者Bと認識された場合には、図20Cのフレームについても作業者Aであると認識する。
(3)上記実施形態では、作業者IDをIDカードから取得するようにしている。しかし、バーコードリーダなどを用いて作業者の有するQRコードなどを読み取るようにしてもよい。また、作業者の所有するスマートフォンから取得してもよい。
たとえば、スマートフォンの位置情報(内蔵のGPS受信機による)と予め記録した作業者ID(あるいはこれと紐付けられた機体IDなど)を、インターネットを経由してPC24に送信するようにする。この送信処理は、スマートフォンにインストールされたアプリ(プログラム)によって行う。これにより、PC24は、作業者が入場エリア26に入ったことを検知し、作業者IDを取得することができる。
また、作業者自身に、キーボードなどから入力させるようにしてもよい。
(4)上記実施形態では、識別符号として数字を用いている。しかし、文字、記号、模様などを用いてもよい。さらに、識別符号を模様としてランダムに複数生成して、学習済みの推定手段によって正しく推定される確率の高い複数の模様の組合せを用いるようにしてもよい。
(5)上記実施形態では、作業者の軌跡を記録するようにしている。しかし、これに代えて、あるいはこれに加えて、取得した作業者の位置に基づいて警告などを発するようにしてもよい。
図21に示すように、作業現場において、危険エリア70が設定されていたとする。たとえば、建築物の崩壊のおそれがあるため進入しては行けない区域が危険エリア70として、その四隅の座標が予めハードディスク36に記録されている。
CPU30は、各作業者の位置を特定した後、いずれかの作業者がこの危険エリア70に入ったかどうかを判断する。危険エリア70に入ったと判断した場合、CPU30は、当該作業者の有するスマートフォンに対して、電話をかけ警告メッセージを送信する。
これらの処理を行うためには、各作業者の有するスマートフォンの電話番号をハードディスク36に予め記録しておく。また、警告の音声メッセージをハードディスク36に予め記録しておく。
上記では、電話によって警告音声メッセージを送信したが、スマートフォンに予め専用のアプリケーションをインストールしておき、インターネットなどを介して当該アプリケーションを制御して警告音を発するように制御してもよい。
なお、許可を得た者などに限定して、危険エリア70に進入可能とする場合もある。この場合、作業者ごとに危険エリア70に進入可能かどうかを予めテーブルとして記録しておくことができる。図22にその例を示す。この図では、作業者IDが1328の作業者は、危険エリア70に進入可能となっている。
CPU30は、危険エリア70に入った作業者が進入可能かどうかを判断し、進入可能でなければ警告を発するようにする。
なお、進入可能かどうかについて、当該作業者の当日の作業継続時間に応じて決定するようにしてもよい。たとえば、長時間労働している作業者が進入してはいけない領域などを設けてもよい。
また、午前中は進入不可であるが、午後からは進入可能となるようなエリアを設けてもよい。これを記録しておけば、時間に応じて警告を発することができる。
上記実施形態では、危険エリア70は固定的であった。しかし、図21の危険エリア72に示すように、動的に変化する場合もある。すなわち、建設機械M1の移動につれて、その周囲所定範囲の危険エリア72も移動することになる。CPU30は、建設機械M1の位置も把握しているので、刻々、危険エリア72を更新することができる。
(6)上記実施形態では、カメラC2~C5によって作業員・建設機械を撮像し、位置を特定するようにしている。しかし、作業員にGPS受信機を持たせて(建設機械にGPS受信機を設けて)各作業員・建設機械の位置を取得するようにしてもよい。いずれの作業員・建設機械の位置であるかは、GPS受信機の固有のIDによって識別することができる。
しかし、上記のようにGPS受信機による位置特定では、電波の届かない屋内などでは用いることができない。そこで、屋内などGPSの電波の届かない場所に関しては、上記実施形態によるカメラでの位置特定を併用すればよい。
図23に、GPS電波の届かない領域90のある作業現場28を示す。作業者の入場時に、ヘルメットの識別符号を読み取って作業者IDと紐付ける点は同様である。当該ヘルメットには、GPS受信機が設けられている。したがって、このGPS受信機の受信機IDも、作業者IDと紐付けられる。なお、GPS受信機は、ヘルメットではなく作業者の身体に装着するようにしてもよい。この場合、作業者の入場時刻と、GPS受信機による時刻・位置に基づいて、紐付けを行うようにすればよい。
電波の届かない領域90以外の作業現場28では、GPS受信機により各作業者の位置が特定され、その軌跡が追跡される。電波の届かない領域90においては、カメラC7による画像により、作業者が特定され、その位置が特定される。
(7)上記実施形態では、作業現場28における動体の追跡について説明した。しかし、作業現場以外での動体の追跡にも適用することができる。たとえば、図書館等の施設、テーマパーク、公園などの施設、工場などの設備などにも適用することができる。
(8)上記実施形態では、ヘルメットに識別符号を付している。しかし、社員証、IDカード、服、リストバンドなどに識別符号を付すようにしてもよい。
(9)上記実施形態では、作業者の装着したヘルメットの識別符号によって作業者を特定するようにしている。しかし、作業者の顔、身体の画像に基づいて、作業者を特定するようにしてもよい。
(10)上記実施形態では、識別符号ごと(「0」から「9」ごと)に推定を行って、その推定結果を統合するようにしている。
しかし、識別符号画像がいずれの識別符号を示しているかを推定する一つの推定手段を設けるようにしてもよい。
(11)上記では、作業者個人の軌跡を追跡するようにしている。
しかし、作業者のグループごと(左官、鳶などの業務ごと)にヘルメットの識別符号を異なるようにし、個人を特定せず、グループに属する作業者の軌跡を追跡するようにしてもよい。
(12)上記実施形態では、識別符号を認識して作業者を特定し、これに基づいて作業者の追跡を行うようにしている。しかし、識別符号を認識することで作業者を特定する処理は、追跡以外の場合に用いることができる。たとえば、作業者の特定自体や、作業者が現場にいるかどうかなどの処理にも用いることができる。
(13)上記実施形態では、作業者の追跡を行った上で、危険区域への侵入警告を行うようにしている。しかし、追跡は行わずに、侵入警告だけを行うようにしてもよい。
(14)上記実施形態およびその変形例は、他の実施形態にも適用可能である。
2.第2の実施形態
2.1全体構成
図24に、この発明の第2の実施形態による人物追跡装置の機能構成を示す。この実施形態では、作業現場における作業者の行動追跡を例として説明する。追跡の処理は、第1の実施形態と同じものを用いることができる。この実施形態は、その認識手段10の追加学習についての仕組みに関するものである。
作業者2は、作業現場への入場時に装着物であるヘルメット4を装着する。ヘルメット4には、前面、後面、左右側面、上面など複数箇所に識別符号6が印刷などの方法で付されている。同じヘルメット4には同じ識別符号が複数箇所に付されており、ヘルメット4ごとにユニークに異なる識別符号が付されている。たとえば、「0」「1」・・・「9」の識別符号が付されている。
入場時に、作業者IDと識別符号との対応づけが成される点は、第1の実施形態と同様である。
入場後、作業者が自動販売機にて飲み物を購入したとする。この作業現場では、各作業者のIDカードを自動販売機にかざすことで商品を購入できるようになっている。したがって、商品購入時に、作業者IDを取得して、その自動販売機の前にいる作業者が誰であるかを特定することができる。すなわち、ID取得手段14は、作業者IDを取得する。
自動販売機には、カメラ9が設けられており、作業者を撮像できるようになっている。学習手段13は、特定された作業者IDと撮像された作業者の画像とに基づいて、第1の推定手段E1~Enを追加学習する。
これにより、第1の推定手段E1~Enの推定精度を向上させることができる。
2.2システム構成
図25に、移動物追跡装置のシステム構成を示す。作業現場28には、入場エリア26が設けられている。作業員が作業現場28に入場する際には、ヘルメットを着用し、入場エリア26にて、IDカードをカード読取器22にかざして認証を行う。IDカードには、各作業者の作業者IDが記録されており、カード読取器22はこれを読み取って、PC21を介して、現場事務所などに設けられたPC24に送信する。IDカードとしては、フェリカ(商標)などの近距離通信方式などを用いることができる。
入場エリア26には、入場カメラC1が設けられており、識別符号の付されたヘルメットを装着した作業員を撮像する。撮像画像は、PC24に送られる。PC24は、この画像に基づいて識別符号を認識する。さらに、これを、カード読取器22より受信した作業者IDと対応づけて記録する。
図においては、作業者W1~W5が入場済みであることが示されている。作業現場28には、作業場カメラC2~C5が設けられ、作業現場28を撮像している。この撮像画像は、PC24に送られ、各作業者W1~W5のヘルメットの識別符号が認識される。また、画像に基づいて、その位置が把握される。したがって、各作業者W1~W5の位置を知ることができ、その行動軌跡を記録することができる。
作業現場28には、飲料などの自動販売機94が設置されている。この自動販売機94には、各作業者の有するIDカードの作業者IDを読み取る機能が内蔵されている。これにより、商品購入時の清算を行うようにしている。自動販売機94によって読み取られた作業者IDは、PC24に送信される。
また、自動販売機94には、カメラW8が設置されており、商品を購入した作業者W3を撮像できるようになっている。撮像された画像は、上記の作業者IDとともに、PC24に送信される。
PC24は、送られてきた作業者IDと作業者の画像とに基づいて、識別符号を認識するプログラムを追加学習する。
PC24のハードウエア構成は、図3に示すものと同様である。
2.3追加学習処理
作業者の追跡処理については、第1の実施形態と同様である。以下では、追加学習処理について説明する。
図26に、移動物追跡プログラム46における追加学習処理のフローチャートを示す。
CPU30は、自動販売機94から作業者IDが送信されてきたかどうか(すなわち、作業者が自動販売機で商品を購入したかどうか)を判断する(ステップS91)。作業者IDが送信されてくると、CPU30は、当該作業者IDをハードディスク36に記録する(ステップS92)。
続いて、CPU30は、自動販売機94が撮像した購入時の作業者の画像を取得して記録する(ステップS93)。取得した画像の例を図27Aに示す。
次に、CPU30は、この作業者画像から人物を抽出し、さらに、ヘルメットを抽出し、識別符号の画像を抽出する(ステップS94)。この処理は、第1の実施形態にて説明したとおりである。抽出された識別符号画像の例を、図27Bに示す。
さらに、CPU30は、取得した作業者IDに紐付けられた識別符号を取得する(ステップS95)。すなわち、図8、図9の入場時処理のステップS46において記録された識別符号を取得する。
CPU30は、上記にて得た識別符号画像について、取得した識別符号を教師データとして、「0」から「9」のそれぞれの推定手段の追加学習を行う(ステップS96~S105)。
以上のようにして、推定手段の推定精度を高くすることができる。
2.4その他
(1)上記実施形態では、作業者IDを取得して作業者を特定した状態にて撮像した画像により、追加学習を行うようにしている。
しかし、その他作業者が特定できる状態での画像に基づいて、追加学習を行ってもよい。
たとえば、GPS受信機を所持している作業者が、一人だけで撮像されている画像に基づいて、追加学習をしてもよい。この場合、作業者の位置が特定されているので、撮像されている作業者を特定することができる。
あるいは、特定の場所・特定の時刻にその場所にいることが定められている作業者を撮像した画像に基づいて追加学習をしてもよい。この場合も、撮像されている作業者を特定することができるからである。
(2)上記実施形態およびその変形例は、他の実施形態にも適用可能である。
3.第3の実施形態
3.1全体構成
図28に、この発明の第3の実施形態による人物追跡装置の機能構成を示す。基本的な構成は、第1の実施形態と同様である。
ただし、ヘルメット4に付された識別符号6が異なっている。この実施形態においては、複数桁で、各桁の色が異なる識別符号6を用いている。これにより、色も考慮してより正確に識別符号6を認識することができる。
3.2システム構成
システム構成は、図2、図3を用いて説明した第1の実施形態と同様である。
図29に、作業者が着用するためのヘルメット4を示す。各ヘルメット4には、それぞれ、ユニークな識別符号が記載されたシール7が貼り付けられている。なお、シール7の素材としては反射の少ない素材や反射の少ない表面加工の施されたものが好ましい。たとえば、マット紙を用いることができる。この実施形態では、白色のマット紙に、黒の背景と色のついた識別符号を印刷してシール7を形成している。
シール7は、地色が黒色(特定色)であり、その中に所定桁数(この例では3桁)の識別符号が記載されている。たとえば、左上のヘルメット4であれば、「J」「1」「K」という個別符号を並べて識別符号が構成されている。また、前面、上面、左右側面のそれぞれに、同じ識別符号が付されている。これは、様々な角度から撮像された際であっても、画像中に識別符号が含まれるようにするためである。
また、各桁において、個別符号の色を変えるようにしている。図29には現れていないが、この実施形態では、最初の桁はピンク、2番目の桁は黄色、3番目の桁は青色にて表示している。なお、区別可能な色であればどのような色の組合せを用いてもよいが、各色のRGB値が大きく異なるように設定することが好ましい。
また、各桁において用いる符号のフォントは、線幅が均一となるもの(ゴチックなど)が好ましい。
さらに、各桁において用いる符号は、互いに類似度の低いものを用いるようにしている。この実施形態では、数字、アルファベットの中から、図30に示す丸印を付したものを用いるようにしている。
類似度の低い符号の選定にあたっては、次のようにして行ってもよい。候補となる複数種類の符号(たとえば、0~9、A~Z)について学習させた認識手段10に、判断したい符号を所定数与えて判断させる。この判断結果に基づき、各符号ごとにF値(F尺度)を算出する。このF値は、以下の式によって算出される。
F値=(2・適合率・再現率)/(適合率+再現率)
たとえば、符号「1」についての適合率は以下のようにして算出する。認識手段10が「1」であると判断したものが15個あったとき、その内の10個が「1」を与えた場合である場合には、適合率は、10/15となる。すなわち、当該符号であると認識した数のうちに正当数がいくらあるかによって算出される。
また、符号「1」についての再現率は以下のようにして算出する。符号「1」を12個与えたとき、その内、認識手段10が「1」と正しく判断した数が10個であれば、再現率は10/12となる、すなわち、当該符号を所定数与えたときに、その内、いくつ正答するかによって算出される。
以上のようにして、候補となる各符号についてF値を算出し、F値の上位から所定個数を使用する符号として選定する。
3.3追跡処理
以下、ヘルメット4を着用した作業者の行動を追跡する処理について説明する。
(1)学習用データ生成処理および学習済モデル生成
この実施形態では、撮像した識別符号を、深層学習の学習済みモデルにて認識するようにしている。そこで、まず、学習用データ生成の処理から説明する。
図31に、移動物追跡プログラム46の学習用データ生成処理のフローチャートを示す。図29のヘルメット4を様々な角度から撮像した多数の画像を、予めハードディスク36に記録しておく。
CPU30は、この画像を一枚ずつハードディスク36から読み出す(ステップS2)。読み出された画像の例を、図32Aに示す。図においては、モノクロにて示しているが、この実施形態ではカラー画像を用いている。
次に、CPU30は、この画像から、ヘルメット4のみを抽出する(ステップS103)。この実施形態では、ヘルメットの画像を深層学習した学習済みモデルにて、ヘルメットを抽出するようにしている。たとえば、YOLO(https://pjreddie.com/darknet/yolo/)を用いることができる。図32Aに示すように、ヘルメット4の領域が矩形のバウンダリーボックスにて抽出される。
次に、CPU30は、抽出したヘルメット4の画像から、シール4の色(この実施形態では黒)に基づいて、シール7全体を抽出する(ステップS104)。抽出された画像の例を図32Bに示す。なお、図32Aにおいては、シール7が3カ所写し出されている。この実施形態では、最も面積の広いシール7の画像を一つ選択するようにしている。また、各桁の色に基づいて、3つの桁全てが含まれるシール7の画像を選択するようにしてもよい。なお、シール4の画像の選択は、操作者がマウスなどを用いて行うようにしてもよい。
シール7に示された識別符号は色がついているが、CPU30は、抽出したシール7の画像の識別符号の部分を白色に変換し、図32Bのような画像を得ている。
CPU30は、このようにして抽出したシール7の画像(すなわち全体符号)を、ディスプレイに表示する。操作者は、この画像を見て、全体符号のクラス(図32Bの例であれば「J1K」)を入力する(ステップS105)。CPU30は、図32Bの全体符号の画像と入力されたクラス「J1K」とを対応づけて記録する。
続いて、CPU30は、全体符号の画像(シール7の画像)を、その色に基づいて各桁に分ける(ステップS106)。1桁目はピンク、2桁目は黄色、3桁目は青色であるので、これにしたがって各桁の個別符号を分離する。CPU30は、認識した各個別符号の部分を白色に変換し、他の部分を黒色にして、桁ごとに分離された画像を、図32Cのように得る。
CPU30は、このようにして抽出した個別符号の画像を、ディスプレイに表示する。操作者は、この画像を見て、個別符号のクラス(図32Bの例であれば「J」「1」「K」)を入力する(ステップS107)。CPU30は、各個別画像に対応付けて、入力されたクラス「J」「1」「K」を対応づけて記録する。
以上のようにして一つの画像についての処理が終了すると、記録されている次の画像について、同様の処理を行って全体符号の抽出とクラスの付与、個別符号の抽出とクラスの付与を行う(ステップS101~S108)。
全ての画像について、全体符号・個別符号の抽出、クラスの付与を行うと、CPU30は、識別符号「J1K」のクラスのための学習データセットを生成する(ステップS7)。「J1K」の学習データセットは、「J1K」のクラスが付された全体符号の画像と、「J1K」以外のクラスが付された全体符号の画像とによって生成される。
なお、図31のステップS101~S108にて生成した「J1K」のデータセットの数と、「J1K」以外のデータセットの数は、等しくないのが通常である。たとえば、全体符号のクラスが10個あれば、1:9となるのが通常である。
しかし、「J1K」のデータセットの数と、「J1K」以外のデータセットの数が大きく異なるような学習用データセットは、学習のために好ましいものではない。そこで、この実施形態では、「J1K」以外のデータからピックアップして学習用データセットとして用いることで、「J1K」のデータセットの数と、「J1K」以外のデータセットの数がほぼ等しくなるようにしている(たとえば1:1.5を超えない範囲(好ましくは、1:1.1を超えない範囲)としている)。
CPU30は、同様の処理を行って、「BW2」「RJ6」「LNU」「YHX」「4UC」「STD」「TL1」「CKF」「F2Y」のクラスのためのそれぞれの学習データセットを生成する(ステップS109~S110)。
次に、CPU30は、個別符号「1」のクラスのための学習データセットを生成する(ステップS111)。「1」の学習データセットは、「1」のクラスが付された個別符号の画像と、「1」以外のクラスが付された個別符号の画像とによって生成される。
なお、図31のステップS101~S108にて生成した「1」のデータセットの数と、「1」以外のデータセットの数は、等しくないのが通常である。たとえば、個別符号のクラスが20個あれば、1:19となるのが通常である。
しかし、「1」のデータセットの数と、「1」以外のデータセットの数が大きく異なるような学習用データセットは、学習のために好ましいものではない。そこで、この実施形態では、「1」以外のデータからピックアップして学習用データセットとして用いることで、「1」のデータセットの数と、「1」以外のデータセットの数がほぼ等しくなるようにしている(たとえば1:1.5を超えない範囲(好ましくは、1:1.1を超えない範囲)としている)。
CPU30は、同様の処理を行って、「2」「4」「6」「B」「C」「D」「F」「H」「J」「K」「L」「N」「R」「S」「T」「U」「W」「X」「Y」のクラスのためのそれぞれの学習データセットを生成する(ステップS111~S112)。
以上のようにして、全体符号、個別符号のそれぞれについての学習データセットを生成すると、CPU30は、それぞれの学習データセットに基づいて深層学習のプログラムの学習を行う。これにより、CPU30は、全体符号「J1K」「BW2」・・・「CKF」「F2Y」を推定するための学習済みモデル、個別符号「1」「2」・・・「X」「Y」を推定するための学習済みモデルを得ることができる。これらモデルは、ハードディスク36に保持される。
(2)識別符号と作業者IDとの対応付処理
作業者2がいずれのヘルメット4を装着するかが決まっていない場合、作業者IDとヘルメット4の識別符号とを対応づける必要がある。この実施形態においては、作業現場への入場時にこれを行うようにしている。
図33、図34に、移動物追跡プログラム46の入場時処理のフローチャートを示す。作業者2は、入場エリア26において、入場時にIDカードをカード読取器22にかざす。IDカードから読み取られた作業者IDは、PC21を介して、PC24に送信される。
CPU30は、IDカードが読み取られて、作業者IDが送信されてきたかどうかを判断する(ステップS121)。作業者IDが送信されてくると、当該作業者IDを、本日の出勤作業者としてハードディスク36に記録する(ステップS122)。
CPU30は、続いて、入場エリア26に設けられたカメラC1が撮像した、当該作業者2の画像を取得する(ステップS123)。取得された画像の例を図35Aに示す。CPU10は、この画像からヘルメット4の画像を抽出する(ステップS124)。この実施形態では、深層学習による推定プログラムにて、ヘルメット4の画像を抽出するようにしている。たとえば、YOLOを用いることができる。図35Aに示すように、ヘルメット4の画像が矩形領域(バウンダリーボックス)として抽出される。
さらに、CPU30は、シール7の地色(この実施形態では黒)に基づいて、識別符号の記載されたシール7の画像を抽出する(ステップS125)。なお、図35Aにおいては、ヘルメット4の画像内に3つのシール7の画像が写されている。CPU30は、最も面積の広いシール7の画像を一つ選択するようにしている。また、各桁の色に基づいて、3つの桁全てが含まれるシール7の画像を選択するようにしてもよい。図35Bに、抽出されたシール7の画像を示す。
シール7に示された識別符号は色がついているが、CPU30は、抽出したシール7の識別符号の部分を白色に変換し、図35Cのような画像を得ている。
続いて、CPU30は、図35Bのカラー画像に基づいて、各桁の個別符号を抽出する(ステップS126)。CPU30は、図35Dに示すように、抽出した個別符号の識別符号の部分を白色に変換し、他の部分を黒色にする。
次に、CPU30は、上記で抽出した全体符号および各桁の個別符号の画像に写された符号を認識する処理を行う。この推定処理は、前述の深層学習によって学習したモデルを用いて行われる。
CPU30は、まず、図35Cに示す画像が、「J1K」であるかどうかを推定し、推定確率を出力する(ステップS127)。この際には、「J1K」のための学習済モデルを用いる。前述のように、「J1K」のための学習済モデルは、「J1K」と「J1K」以外とを区別したデータによって学習したものである。
続いて、CPU30は、「BW2」のための学習済モデルを用い、図35Cに示す画像が「BW2」であるかどうかを推定し、推定確率を出力する。
以下、同様にして、図35Cに示す画像が、「RJ6」「LNU」「YXH」・・・「F2Y」であるかどうかを推定し、推定確率を出力する。図36に、全体符号について算出された推定確率の例を示す。
続いて、CPU30は、図35Dに示す最初の桁の画像が、「1」であるかどうかを推定し、推定確率を出力する(ステップS131)。この際には、「1」のための学習済モデルを用いる。前述のように、「1」のための学習済モデルは、「1」と「1」以外とを区別したデータによって学習したものである。
さらに、CPU30は、「2」のための学習済みモデルを用い、図35Dに示す最初の桁の画像が「2」であるかどうかを推定し、推定確率を出力する。
以下同様にして、図35Dに示す最初の桁の画像が、「4」「6」・・・「X」「Y」であるかどうかを推定し、推定確率を出力する(ステップS132)。このようにして、最初の桁の個別符号がいずれに該当するかの推定確率が算出される。
続いて、CPU30は、上記と同様の処理によって、図35Dの2番目の桁の画像、3番目の桁の画像が、それぞれ、いずれに該当するかの推定確率を算出する。図37に、個別符号について算出された推定確率の例を示す。
CPU30は、推定された全体符号と、推定された個別符号とに基づいて、識別符号の推定を行う(ステップS134)。たとえば、CPU30は、次のようにして識別符号の推定を行う。
CPU30は、まず、個別符号について各桁ごとに最も高い推定確率のものを選択する。図37の例であれば、1桁目の個別符号として「R」、2桁目の個別符号として「J」、3桁目の個別符号として「6」が選択されることになる。
続いて、CPU30は、このようにして選択した個別符号「R」「J」「6」と、図36の全ての全体符号との間で、各桁ごとに比較を行ってハミング距離(各桁ごとに合致していれば「0」、合致していなければ「1」としたときの合計)を算出する。図38に、算出したハミング距離を示す。全体符号「J1K」についてはハミング距離「3」、「BW2」についてはハミング距離「3」、「RJ6」についてはハミング距離「0」・・・というように算出される。
CPU30は、これら算出されたハミング距離のうちの最小のものに対応する全体符号を、第1の識別符号候補として決定する。図38の場合には、全体符号「RJ6」が、第1の識別符号候補として決定されることになる。
次に、CPU30は、全体符号について最も高い推定確率のものを第2の識別符号候補として選択する。図36に示す場合であれば、全体符号「RJ6」が第2の識別符号候補として決定されることになる。
CPU30は、上記の第1の識別符号候補と第2の識別符号候補が同じ場合には、当該全体符号を識別符号として決定する。図38の場合であれば、識別符号は「RJ6」と決定されることになる。
第1の識別符号候補と第2の識別符号候補が異なる場合には、CPU30は、いずれかを選択して識別符号を決定する。たとえば、図39に示すように、第1の識別符号候補が「RJ6」として選択され、第2の識別符号候補が「YXH」として選択された場合を例として説明する。図39では、全体符号についての推定確率は、「YXH」が最も高い(0.931)ので、これが第2の識別符号候補として選択されることになる。
CPU30は、まず、第1の識別符号候補「RJ6」において、各個別符号「R」「J」「6」のうち、各桁の符号が合致する個別符号についての代表推定確率を算出する。ここでは、個別符号「R」「J」「6」は、全体符号「RJ6」に対して全ての桁において符号が合致している。したがって、CPU30は、これらの個別符号の推定確率の平均値(最大値でもよい)を、代表推定確率として算出する。個別符号「R」「J」「6」の推定確率が、それぞれ、「0.988」「0.975」「0.964」であれば、代表推定確率(平均値)は、0.975となる。
CPU30は、このようにして算出した第1の識別符号候補の代表推定確率(0.975)と、第2の識別符号候補の推定確率(0.931)とを比較する。そして、推定確率の高い方を、識別符号として決定する。図39の例であれば、第1の識別符号候補が識別符号として選択されることになる。
上記のように、CPU30は、個別符号の推定結果と全体符号の推定結果の双方を考慮して、最終的な識別符号の推定を行うようにしている。
なお、第1の識別符号候補の決定において、図38では、ハミング距離が最小となるものが一つだけであった。しかし、図40に示すように、ハミング距離が最小となるものが複数見いだされる場合もある。図40では、ハミング距離「2」の「BW2」「RJ6」「LNU」が3つ選択されることになる。
この場合には、CPU30は、次のようにして、第1の識別符号候補を選択する。上記3つの全体符号に表された各桁のうち、符号が合致する個別符号の推定確率を取得する。図40の例であれば、全体符号「BW2」については、個別符号「B」の推定確率、全体符号「RJ6」については、個別符号「6」の推定確率、全体符号「LNU」については、個別符号「N」の推定確率を取得し代表推定確率とする。ここでは、それぞれ、図40に示すように、「1.000」「0.990」「0.985」が取得されたものとする。
なお、一つの全体符号について符号が合致する個別符号が複数ある場合には、その推定確率の平均値(または最大値)を代表推定確率として算出する。
CPU30は、上記によって取得した代表推定確率の最も高いものに対応する全体符号を選択し、これを第1の識別符号候補とする。図40の例であれば、全体符号「BW2」が選択されて、第1の識別符号候補とされることになる。
このようにして、ハミング距離が最小の全体符号が複数存在する場合にも、一つの第1の識別符号候補を選択することができる。
CPU30は、上記のようにして第1の識別符号候補と第2の識別符号候補とに基づいて識別符号を推定する。さらに、推定した識別符号と作業者IDとを対応付けて記録する(ステップS135)。
以上のようにして、対応表を得ることができる。なお、この対応表は、毎日更新されることになる。作業現場において、各作業者2が着用するヘルメットは、毎日変わることがあるからである。
(3)追跡処理
作業現場28に入った作業者2は、カメラC2~C5によって動画として撮像され、その行動軌跡が記録される。追跡処理のフローチャートを図41に示す。
CPU30は、各カメラC2~C5からの画像を取得する(ステップS151)。取得した画像から、人物画像60およびヘルメット画像61を抽出する(ステップS152、S153)。人物画像60とヘルメット画像61は互いに対応付けて記録される。これは、複数の人物が撮像された時にその対応関係を明確にするためである。
図43に、複数の人物が重なって撮像された時の人物画像の枠60a、ヘルメット画像の枠61aと、他の人物画像の枠60b、ヘルメット画像の枠61bを示す。
CPU30は、各人物画像枠60a、60bについて、それぞれのヘルメット画像枠61a、61b枠の重なり度合いを算出する。人物画像枠60の中にヘルメット画像枠61が完全に含まれていれば100%、全く重なっていなければ0%として、重なり度合いを算出する。CPU30は、注目する人物画像枠60とヘルメット画像枠61の重なり度合いが所定の割合(たとえば10%)を超えるようなヘルメット画像枠61を選択する。図43の例であれば、人物画像枠60aについては、ヘルメット画像枠61a、61bが選択されることになる。人物画像枠60bについては、ヘルメット画像枠61bのみが選択されることになる。
CPU30は、人物画像枠に対して一つのヘルメット画像枠が選択された場合には、このヘルメット画像枠を人物画像枠に対応づける。図43の例であれば、人物画像枠60bに対してはヘルメット画像枠61bが対応づけられる。
人物画像枠に対して複数のヘルメット画像枠が選択された場合には、それらヘルメット画像枠の上辺が最も上のものを一つ選択して対応づける。図43の例であれば、人物画像枠60aに対して、ヘルメット画像枠61aが対応づけられる。
以上のようにして、第1の対応候補(60aと61a、60bと61b)が得られる。これをそのまま対応付けとして用いてもよいが、この実施形態では、確実性を高めるために、以下のようにして第2の対応候補も算出している。
CPU30は、各ヘルメット画像枠61a、61bについて、上記重なり度合いが所定以上の人物画像枠60a、60bを選択する。図43の例であれば,ヘルメット画像枠61aについては、人物画像枠60aのみが選択される。ヘルメット画像枠61bについては、人物画像枠60a、60bが選択される。
CPU30は、ヘルメット画像枠に対して一つの人物画像枠が選択された場合には、この人物画像枠をヘルメット画像枠に対応づける。図43の例であれば、ヘルメット画像枠61aに対しては人物画像枠60aが対応づけられる。
ヘルメット画像枠に対して複数の人物画像枠が選択された場合には、それら人物画像枠の上辺が最も下のものを一つ選択して対応づける。図43の例であれば、ヘルメット画像枠61bに対して、人物画像枠60bが対応づけられる。
以上のようにして、第2の対応候補(60aと61a、60bと61b)が得られる。
CPU30は、第1の対応候補と第2の対応候補のうち、対応が合致しているものを対応付けとして採用する。上記の例であれば、いずれも合致しているので、全ての対応付けを採用して記録する。
合致しない対応付けについては採用しない。したがって、対応付けとして採用しなかった人物については、当該フレームに関して、下記の位置推定を行わないことになる。なお、前後のフレームの情報から、対応付けできなかった人物とヘルメットとの対応付けを行うようにしてもよい。
図42AにカメラC2からの画像、図42Bに抽出されたヘルメットの画像61を示す。人物画像60も同様に抽出される。
この実施形態では、深層学習による学習済モデルにより、画像中から人物画像およびヘルメット画像を抽出するようにしている。たとえば、YOLOを用いることができる。
続いて、CPU30は、ヘルメット画像からシール部分を抽出する。抽出されたシール画像を図42Cに示す。さらに、図42Dに示すように、全体符号、個別符号の画像を得る。このようにして抽出した、全体符号、個別符号の画像から、識別符号の推定を行う(ステップS154)。この処理は、図33、図34のステップS125~S134と同様の処理である。
次に、CPU30は、図42Aの画像に基づいて当該作業者の位置を特定する(ステップS155)。図42Aに示すように、人物を抽出する際の枠60の下辺の中央点62を、作業者の位置として特定する。なお、枠60の重心点や他の点を作業者の位置として用いるようにしてもよい。
カメラC2による撮像範囲は決まっている。この実施形態では、予め撮像画像中の特徴点(目印になるマークのある点、タイルの端、壁と地面の接する点など)F1~F4が定められており、それぞれの座標位置が記録されている。したがって、CPU30は、作業者の位置を示す中央点62の座標を、特徴点F1~F4との相対的な位置関係にて算出する(射影変換)。このようにして、作業者の位置座標を得ることができる。
次に、CPU30は、当該座標位置を、作業者IDに対応づけて記録する(ステップS156)。この際、図42Aの画像の撮像時刻(画像に付されている)を併せて記録する。なお、図42Aにおいて複数の作業者が撮像されていれば、それぞれの作業者について識別符号を認識し座標位置を特定する。
さらに、CPU30は、上記の処理を、他のカメラC3~C5の画像についても行う。このようにして、作業者ごとに、図19に示すような時刻と位置とが記録されることになる。
したがって、時間経過とともに、各作業者の移動軌跡を記録することができる。また、時間的な位置の変化を作業現場の平面図上に画像として表示するようにしてもよい。
上記では作業者の軌跡を追跡する例を示したが、建設機械M1についても同様にその軌跡を記録することができる。なお、建設機械M1については、直接識別符号を付すことが好ましい。したがって、予め、各建設機械M1について、識別符号の対応を記録しておくことができる。
3.4その他
(1)上記実施形態では、個別符号の色を変えることで各桁を区別するようにしている。しかし、個別符号の模様などの表示形態を変えることで区別するようにしてもよい。また、個別符号の背景の色や背景の模様などの背景の表示形態を変えることによって区別をしてもよい。
(2)上記実施形態では、ヘルメットに写し出されたシール7のうち、3つの桁全部が写し出されている画像のみを用いて、個別符号の推定を行っている。しかし、これに加えて、2つの桁や1つの桁のみが写し出されているシール7の画像も考慮して、個別符号を推定してもよい。たとえば、3つの桁全部が写し出されているシール画像に基づく個別符号の推定と、2つの桁や1つの桁のみが写し出されているシール画像に基づく個別符号の推定とが異なる場合、推定確率の高い方を選択するようにするとよい。
(3)上記実施形態では、ハミング距離を用いて、識別符号を推定するようにしている。しかし、同じ桁には異なる個別符号を用るように識別符号を設定し、ナンバリング条件によって、識別符号を推定するようにしてもよい。
たとえば、各桁の個別符号について最も推定確率の高いものが「B」「1」「K」であったとする。ここで、一番目の桁に「B」がくる全体符号は「BW2」のみである。二番目の桁に「1」がくる全体符号は「J1K」のみである。三番目の桁に「K」がくる全体符号は「J1K」のみである。この結果、「BW2」が1つ、「J1K」が2つ見いだされたので、最も多い「J1K」を各桁の個別符号に基づく第1の識別符号候補として決定することができる。第2の識別符号候補と一致すれば、これを識別符号として決定する。異なる場合の処理は、上記にて説明したとおりである。
また、各桁の個別符号について最も推定確率の高いものが複数得られることもある。このような場合にも、上記のようなナンバリング条件を用いて、第1の識別符号候補を決定することができる。
たとえば、各桁の個別符号について最も推定確率の高いものが「B」「1」「HまたはK」であったとする。すなわち、3桁目の個別符号については、「H」と「K」の推定確率が最も高く優劣が付けられなかったとする。
ここで、一番目の桁に「B」がくる全体符号は「BW2」である。二番目の桁に「1」がくる全体符号は「J1K」である。三番目の桁に「K」がくる全体符号は「J1K」であり、「H」がくる全体符号は「YXH」である。この結果、「BW2」が1つ、「YXH」が1つ、「J1K」が2つ見いだされたので、最も多い「J1K」を各桁の個別符号に基づく第1の識別符号候補として決定することができる。
(4)上記実施形態では、3桁の識別符号を用いたが、2桁以下、4桁以上の識別符号を用いてもよい。
(5)上記実施形態では、個別符号の推定に基づいて第1の識別符号候補を算出し、全体符号の推定に基づいて第2の識別符号候補を算出し、第1の識別符号候補と第2の識別符号候補とに基づいて最終的な識別符号の推定を行うようにしている。
しかし、第1の識別符号候補のみ、第2の識別符号候補のみによって最終的な識別符号を推定するようにしてもよい。たとえば、第1の識別符号候補のみで判断する場合には、作業者のヘルメットに3桁全ての符号が写し出されたシール7が画像中になくとも、複数のシール7に写し出された符号を統合して識別符号を推定することもできる。たとえば、作業者を撮像した画像(たとえば図32A)において、3つのシール7a、7b、7cが写し出されていたとする。シール7aには第1桁、第2桁が含まれ、シール7bには第2桁、第3桁が含まれ、シール7cには第3桁のみが含まれていたとする。CPU30は、符号の色によってこれを判断することができる。
上記の場合であれば、シール7aの画像に基づく個別符号の推定と、シール7bの画像に基づく個別符号の推定と、シール7cの画像に基づく個別符号の推定とを統合することで(第2桁、第3桁については推定確率の高い方を用いるとよい)、各桁の個別符号を推定し、識別符号を推定することができる。
また、ハミング距離に基づいて、第1の識別符号候補のみで判断するか、第2の識別符号候補も用いるかを決定してもよい。たとえば、第1の識別符号候補についてハミング距離が「0」であれば、第2の識別符号候補を算出することなく、第1の識別符号候補を識別符号として決定する。第1の識別符号候補についてハミング距離が「0」でなければ、第2の識別符号候補を算出し、両者を考慮して識別符号を決定する。
(6)上記実施形態では、撮像された動画の各フレーム間における画像の関連性を考慮せずに、作業者を特定して位置を特定するようにしている。しかし、フレーム間の関連を考慮して作業者を特定するようにしてもよい。
たとえば、撮像された動画において、第1フレームが図20A、第2フレームが図20B、第3フレームが図20C、第4フレームが図20Dであったとする。この時、CPU30は、まず、第1フレームにおいて作業者のヘルメットの識別符号を認識し作業者を特定する(たとえば作業者Aと特定したとする)。その位置を中央点62aによって特定する。
次に、CPU30は、第2フレーム(図20B)において、中央点62aの周囲所定範囲にある人物画像を抽出する。この作業者画像の識別符号を認識し作業者を特定する。その位置を中央点62bによって特定する。
次に、CPU30は、第3フレーム(図20C)において、中央点62bの周囲所定範囲にある人物画像を抽出する。この作業者画像の識別符号を認識し作業者を特定する。その位置を中央点62cによって特定する。
以上の処理を繰り返すことで、特定の作業者の軌跡を追跡することが容易にできる。なお、識別符号によって認識した作業者が、前後のフレームと異なる場合には、前後のフレームと合致させるようにしてもよい。たとえば、図20A、図20B、図20Dのフレームにおいて作業者Aと認識され、図20Cのフレームにおいてのみ作業者Bと認識された場合には、図20Cのフレームについても作業者Aであると認識する。
(7)上記実施形態においては、ステップS155にて人物枠を用いて作業者の位置を決定している。しかし、背景差分法などによって人物画像のみを取り出して二値化し、当該二値化した人物画像の下端付近の2カ所の極小値のピクセル(2つの足先に対応)の中点の座標を人物位置として用いるようにしてもよい。また、二値化した画像において、2つの足先が認識されない場合(足が一つにまとまっている場合)には、最下端のピクセルの座標を人物位置として用いるようにしてもよい。
さらに、次のようにして算出してもよい。多数の人物画像とこれに対する人物位置座標(足元の一点の座標など)を学習データとして与えて学習させた学習済モデルを用意する。この学習済モデルに、人物画像を与えて人物枠内でのローカルなローカル座標を算出し、人物枠の位置と組み合わせて人物位置座標を決定するようにしてもよい。
(8)上記実施形態およびその変形例は、他の実施形態にも適用可能である。

Claims (64)

  1. 対象領域を撮像する一以上の対象領域カメラと、
    対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    前記撮像画像に基づいて、前記移動物の対象領域内での位置を取得する画像位置取得手段と、
    前記認識された識別符号に基づいて移動物の同一性を判断し、当該移動物の位置の時間的変化を記録部に記録する位置処理手段と、
    を備えた移動物追跡装置であって、
    前記認識手段は、
    第1の識別符号とそれ以外の識別符号とを区別し、第1の識別符号である推定確率を算出する第1の推定手段と、
    第2の識別符号とそれ以外の識別符号とを区別し、第2の識別符号である推定確率を算出する第2の推定手段と、
    ・・・
    第nの識別符号とそれ以外の識別符号とを区別し、第nの識別符号である推定確率を算出する第nの推定手段と、
    第1~第nの推定手段の推定結果に基づいて、識別符号の認識を行う統合手段とを備えていることを特徴とする移動物追跡装置。
  2. 請求項1の移動物追跡装置において、
    前記カメラには、入場時カメラが含まれており、
    対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、
    前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、
    取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段とをさらに備え、
    前記位置処理手段は、前記対象領域カメラにて撮像した移動物の撮像画像から認識した識別符号に基づいて、前記記録部を参照して、当該移動物の移動物IDを取得することを特徴とする移動物追跡装置。
  3. 移動物追跡装置をコンピュータによって実現するための移動物追跡プログラムであって、コンピュータを、
    対象領域を動く移動物に表示されたユニークな識別符号を、対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    前記撮像画像に基づいて、前記移動物の対象領域内での位置を取得する画像位置取得手段と、
    前記認識された識別符号に基づいて移動物の同一性を判断し、当該移動物の位置の時間的変化を記録部に記録する位置処理手段として機能させるための移動物追跡プログラムにおいて、
    前記認識手段は、
    第1の識別符号とそれ以外の識別符号とを区別し、第1の識別符号である推定確率を算出する第1の推定手段と、
    第2の識別符号とそれ以外の識別符号とを区別し、第2の識別符号である推定確率を算出する第2の推定手段と、
    ・・・
    第nの識別符号とそれ以外の識別符号とを区別し、第nの識別符号である推定確率を算出する第nの推定手段と、
    第1~第nの推定手段の推定結果に基づいて、識別符号の認識を行う統合手段とを備えていることを特徴とする移動物追跡プログラム。
  4. 請求項3の移動物追跡プログラムにおいて、
    前記カメラには、入場時カメラが含まれており、
    前記移動物追跡プログラムは、コンピュータを、さらに、対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段として機能させるためのものであり、
    前記位置処理手段は、前記対象領域カメラにて撮像した移動物の撮像画像から認識した識別符号に基づいて、前記記録部を参照して、当該移動物の移動物IDを取得することを特徴とする移動物追跡プログラム。
  5. 請求項1~4のいずれかの装置またはプログラムにおいて、
    前記移動物には識別符号が複数個表示されており、
    前記認識手段は、移動物に表示された識別符号を異なる角度から撮像した画像に基づいて学習を行った機械学習の学習済みモデルによって識別符号を認識することを特徴とする装置またはプログラム。
  6. 請求項1~5のいずれかの装置またはプログラムにおいて、
    前記識別符号は、前記移動物に装着された装着物に表示されていることを特徴とする装置またはプログラム。
  7. 請求項1~6のいずれかの装置またはプログラムにおいて、
    前記統合手段は、第1の識別符号~第nの識別符号のうち、最も高い推定確率が所定の確定確率以上であれば、当該最も高い推定確率の識別符号を認識結果とすることを特徴とする装置またはプログラム。
  8. 請求項1~7のいずれかの装置またはプログラムにおいて、
    前記統合手段は、第1の識別符号~第nの識別符号のうち、最も高い推定確率が所定の除外確率以下であれば、当該識別符号を第n+1の識別符号であるとして、撮像画像に基づく学習を行い、第n+1の識別符号とそれ以外の識別符号とを区別し、第n+1の識別符号である推定確率を算出する第n+1の推定手段を生成する学習処理を行い、あるいは当該学習処理を提案することを特徴とする装置またはプログラム。
  9. 請求項1~8のいずれかの装置またはプログラムにおいて、
    前記統合手段は、第1の識別符号~第nの識別符号のうち、所定の除外確率を超え、所定の確定確率以下の推定確率が複数ある場合、前記カメラにて撮像した移動物画像を表示し、操作者に選択させることを特徴とする装置またはプログラム。
  10. 請求項1~9のいずれかの装置またはプログラムにおいて、
    前記移動物ID取得手段は、移動物である人物が所持する移動物IDを記録した媒体から近距離通信によって、あるいは当該人物の入力操作により、前記移動物IDを取得することを特徴とする装置またはプログラム。
  11. 請求項1~10のいずれかの装置またはプログラムにおいて、
    前記位置処理手段は、前記画像位置取得手段によって取得した移動物の位置に基づいて、各移動物について記録された進入禁止区域を参照し、当該移動物が進入禁止区域に入った場合には、警告を出力する警告手段を備えることを特徴とする装置またはプログラム。
  12. 請求項11のいずれかの装置またはプログラムにおいて、
    前記進入禁止区域は、危険性のある移動物の移動につれてあるいは日時とともにダイナミックに変化することを特徴とする装置またはプログラム。
  13. 請求項1~12のいずれかの装置またはプログラムにおいて、
    前記認識手段は、移動物が特定できる状態にて、装着物が装着された当該移動物が一つだけで撮像された画像に基づいて、認識手段を学習する学習手段を備えることを特徴とする装置またはプログラム。
  14. 請求項1~13のいずれかの装置またはプログラムにおいて、
    前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、
    前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴とする装置またはプログラム。
  15. 請求項1~14のいずれかの装置またはプログラムにおいて、
    前記識別符号は、複数桁の個別符号を有しており、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする装置またはプログラム。
  16. 請求項14または15のいずれかの装置またはプログラムにおいて、
    前記識別符号の各桁の個別符号は、互いに類似性の低いものを用いるようにしたことを特徴とする装置またはプログラム。
  17. 対象領域を撮像する一以上の対象領域カメラと、
    対象領域に入場しようとする移動物を撮像する入場カメラと、
    対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、
    前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、
    取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段と、
    対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    認識手段によって認識した識別符号と、記録部に記録された識別符号と移動物IDの対応に基づいて、前記対象領域カメラによって撮像した移動物を特定する特定手段と、
    を備えた移動物特定装置であって、
    前記認識手段は、
    第1の識別符号とそれ以外の識別符号とを区別し、第1の識別符号である推定確率を算出する第1の推定手段と、
    第2の識別符号とそれ以外の識別符号とを区別し、第2の識別符号である推定確率を算出する第2の推定手段と、
    ・・・
    第nの識別符号とそれ以外の識別符号とを区別し、第nの識別符号である推定確率を算出する第nの推定手段と、
    第1~第nの推定手段の推定結果に基づいて、識別符号の認識を行う統合手段とを備えていることを特徴とする移動物特定装置。
  18. 移動物特定装置をコンピュータによって実現するための移動物特定プログラムであって、コンピュータを、
    対象領域に入場しようとする移動物に表示されたユニークな識別符号を、対象領域に入場しようとする移動物を撮像する入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、
    前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、
    取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段と、
    対象領域を動く移動物に表示されたユニークな識別符号を、対象領域を撮像する一以上の対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    認識手段によって認識した識別符号と、記録部に記録された識別符号と移動物IDの対応に基づいて、前記対象領域カメラによって撮像した移動物を特定する特定手段として機能させるための移動物特定プログラムにおいて、
    前記認識手段は、
    第1の識別符号とそれ以外の識別符号とを区別し、第1の識別符号である推定確率を算出する第1の推定手段と、
    第2の識別符号とそれ以外の識別符号とを区別し、第2の識別符号である推定確率を算出する第2の推定手段と、
    ・・・
    第nの識別符号とそれ以外の識別符号とを区別し、第nの識別符号である推定確率を算出する第nの推定手段と、
    第1~第nの推定手段の推定結果に基づいて、識別符号の認識を行う統合手段とを備えていることを特徴とする移動物特定プログラム。
  19. 請求項17の装置または請求項18のプログラムにおいて、
    前記移動物には識別符号が複数個表示されており、
    前記認識手段は、移動物に表示された識別符号を異なる角度から撮像した画像に基づいて学習を行った機械学習の学習済みモデルによって識別符号を認識することを特徴とする装置またはプログラム。
  20. 請求項17~19のいずれかの装置またはプログラムにおいて、
    前記統合手段は、第1の識別符号~第nの識別符号のうち、最も高い推定確率が所定の確定確率以上であれば、当該最も高い推定確率の識別符号を認識結果とすることを特徴とする装置またはプログラム。
  21. 請求項17~20のいずれかの装置またはプログラムにおいて、
    前記統合手段は、第1の識別符号~第nの識別符号のうち、最も高い推定確率が所定の除外確率以下であれば、当該識別符号を第n+1の識別符号であるとして、撮像画像に基づく学習を行い、第n+1の識別符号とそれ以外の識別符号とを区別し、第n+1の識別符号である推定確率を算出する第n+1の推定手段を生成する学習処理を行い、あるいは当該学習処理を提案することを特徴とする装置またはプログラム。
  22. 請求項17~21のいずれかの装置またはプログラムにおいて、
    前記統合手段は、第1の識別符号~第nの識別符号のうち、所定の除外確率を超え、所定の確定確率以下の推定確率が複数ある場合、前記カメラにて撮像した移動物画像を表示し、操作者に選択させることを特徴とする装置またはプログラム。
  23. 請求項17~22のいずれかの装置またはプログラムにおいて、
    前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、
    前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴とする装置またはプログラム。
  24. 請求項17~23のいずれかの装置またはプログラムにおいて、
    前記識別符号は、複数桁の個別符号を有しており、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする装置またはプログラム。
  25. 請求項23または24のいずれかの装置またはプログラムにおいて、
    前記識別符号の各桁の個別符号は、互いに類似性の低いものを用いるようにしたことを特徴とする装置またはプログラム。
  26. カメラにて撮像した画像に基づいて、対象物を認識する認識装置であって、
    第1の識別符号とそれ以外の識別符号とを区別し、第1の識別符号である推定確率を算出する第1の推定手段と、
    第2の識別符号とそれ以外の識別符号とを区別し、第2の識別符号である推定確率を算出する第2の推定手段と、
    ・・・
    第nの識別符号とそれ以外の識別符号とを区別し、第nの識別符号である推定確率を算出する第nの推定手段と、
    第1~第nの推定手段によって推定された第1の対象物~第nの対象物のうち、最も高い推定確率が所定の確定確率以上であれば、当該最も高い推定確率の識別符号を認識結果とする統合手段と、
    を備えたことを特徴とする認識装置。
  27. カメラにて撮像した画像に基づいて、対象物を認識する認識装置を、コンピュータによって実現するための認識プログラムであって、コンピュータを、
    第1の識別符号とそれ以外の識別符号とを区別し、第1の識別符号である推定確率を算出する第1の推定手段と、
    第2の識別符号とそれ以外の識別符号とを区別し、第2の識別符号である推定確率を算出する第2の推定手段と、
    ・・・
    第nの識別符号とそれ以外の識別符号とを区別し、第nの識別符号である推定確率を算出する第nの推定手段と、
    第1~第nの推定手段によって推定された第1の対象物~第nの対象物のうち、最も高い推定確率が所定の確定確率以上であれば、当該最も高い推定確率の識別符号を認識結果とする統合手段として機能させるための認識プログラム。
  28. 請求項26の装置または請求項27のプログラムにおいて、
    前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、
    前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴とする装置またはプログラム。
  29. 請求項26~28のいずれかの装置またはプログラムにおいて、
    前記識別符号は、複数桁の個別符号を有しており、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする装置またはプログラム。
  30. 請求項28または29のいずれかの装置またはプログラムにおいて、
    前記識別符号の各桁の個別符号は、互いに類似性の低いものを用いるようにしたことを特徴とする装置またはプログラム。
  31. 請求項1~30のいずれかの装置またはプログラムにおいて、
    前記第1~第nの各推定手段は、推定対象とする第1~第nの識別符号を対象識別符号とし、それ以外の識別符号を対象外識別符号としたとき、学習に用いる対象識別符号と対象外識別符号のデータ数を実質的に同じ数とした学習データにて学習されたものであることを特徴とする装置またはプログラム。
  32. 対象領域を撮像する一以上の対象領域カメラと、
    対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    前記撮像画像に基づいて、前記移動物の対象領域内での位置を取得する画像位置取得手段と、
    前記認識された識別符号に基づいて移動物の同一性を判断し、当該移動物の位置の時間的変化を記録部に記録する位置処理手段と、
    を備えた移動物追跡装置であって、
    前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、
    前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴とする移動物追跡装置。
  33. 請求項32の移動物追跡装置において、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする移動物追跡装置。
  34. 対象領域を撮像する一以上の対象領域カメラと、
    対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    前記撮像画像に基づいて、前記移動物の対象領域内での位置を取得する画像位置取得手段と、
    前記認識された識別符号に基づいて移動物の同一性を判断し、当該移動物の位置の時間的変化を記録部に記録する位置処理手段と、
    を備えた移動物追跡装置であって、
    前記識別符号は、複数桁の個別符号を有しており、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする移動物追跡装置。
  35. 請求項32~34のいずれかの移動物追跡装置において、
    前記カメラには、入場時カメラが含まれており、
    対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、
    前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、
    取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段とをさらに備え、
    前記位置処理手段は、前記対象領域カメラにて撮像した移動物の撮像画像から認識した識別符号に基づいて、前記記録部を参照して、当該移動物の移動物IDを取得することを特徴とする移動物追跡装置。
  36. 移動物追跡装置をコンピュータによって実現するための移動物追跡プログラムであって、コンピュータを、
    対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    前記撮像画像に基づいて、前記移動物の対象領域内での位置を取得する画像位置取得手段と、
    前記認識された識別符号に基づいて移動物の同一性を判断し、当該移動物の位置の時間的変化を記録部に記録する位置処理手段として機能させるための移動物追跡プログラムにおいて、
    前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、
    前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴とする移動物追跡プログラム。
  37. 請求項36の移動物追跡プログラムにおいて、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする移動物追跡プログラム。
  38. 移動物追跡装置をコンピュータによって実現するための移動物追跡プログラムであって、コンピュータを、
    対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    前記撮像画像に基づいて、前記移動物の対象領域内での位置を取得する画像位置取得手段と、
    前記認識された識別符号に基づいて移動物の同一性を判断し、当該移動物の位置の時間的変化を記録部に記録する位置処理手段として機能させるための移動物追跡プログラムであって、
    前記識別符号は、複数桁の個別符号を有しており、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする移動物追跡プログラム。
  39. 請求項36~38のいずれかの移動物追跡プログラムにおいて、
    前記カメラには、入場時カメラが含まれており、
    前記移動物追跡プログラムは、コンピュータを、さらに、対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段として機能させるためのものであり、
    前記位置処理手段は、前記対象領域カメラにて撮像した移動物の撮像画像から認識した識別符号に基づいて、前記記録部を参照して、当該移動物の移動物IDを取得することを特徴とする移動物追跡プログラム。
  40. 請求項32~39のいずれかの装置またはプログラムにおいて、
    前記識別符号の各桁の個別符号は、互いに類似性の低いものを用いるようにしたことを特徴とする装置またはプログラム。
  41. 請求項32~40のいずれかの装置またはプログラムにおいて、
    前記移動物には識別符号が複数個表示されており、
    前記認識手段は、移動物に表示された識別符号を異なる角度から撮像した画像に基づいて学習を行った機械学習の学習済みモデルによって識別符号を認識することを特徴とする装置またはプログラム。
  42. 請求項32~41のいずれかの装置またはプログラムにおいて、
    前記識別符号は、前記移動物に装着された装着物に表示されていることを特徴とする装置またはプログラム。
  43. 請求項32~42のいずれかの装置またはプログラムにおいて、
    前記移動物ID取得手段は、移動物である人物が所持する移動物IDを記録した媒体から近距離通信によって、あるいは当該人物の入力操作により、前記移動物IDを取得することを特徴とする装置またはプログラム。
  44. 請求項32~43のいずれかの装置またはプログラムにおいて、
    前記位置処理手段は、前記画像位置取得手段によって取得した移動物の位置に基づいて、各移動物について記録された進入禁止区域を参照し、当該移動物が進入禁止区域に入った場合には、警告を出力する警告手段を備えることを特徴とする装置またはプログラム。
  45. 請求項44の装置またはプログラムにおいて、
    前記進入禁止区域は、危険性のある移動物の移動につれてあるいは日時とともにダイナミックに変化することを特徴とする装置またはプログラム。
  46. 請求項32~45のいずれかの装置またはプログラムにおいて、
    前記認識手段は、移動物が特定できる状態にて、装着物が装着された当該移動物が一つだけで撮像された画像に基づいて、認識手段を学習する学習手段を備えることを特徴とする装置またはプログラム。
  47. 請求項32~46のいずれかの装置またはプログラムにおいて、
    前記第1~第nの各推定手段は、推定対象とする第1~第nの識別符号を対象識別符号とし、それ以外の識別符号を対象外識別符号としたとき、学習に用いる対象識別符号と対象外識別符号のデータ数を実質的に同じ数とした学習データにて学習されたものであることを特徴とする装置またはプログラム。
  48. 対象領域を撮像する一以上の対象領域カメラと、
    対象領域に入場しようとする移動物を撮像する入場カメラと、
    対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、
    前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、
    取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段と、
    対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    認識手段によって認識した識別符号と、記録部に記録された識別符号と移動物IDの対応に基づいて、前記対象領域カメラによって撮像した移動物を特定する特定手段と、
    を備えた移動物特定装置であって、
    前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、
    前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴とする移動物特定装置。
  49. 請求項48の移動物特定装置において、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする移動物特定装置。
  50. 対象領域を撮像する一以上の対象領域カメラと、
    対象領域に入場しようとする移動物を撮像する入場カメラと、
    対象領域に入場しようとする移動物に表示されたユニークな識別符号を、前記入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、
    前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、
    取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段と、
    対象領域を動く移動物に表示されたユニークな識別符号を、前記対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    認識手段によって認識した識別符号と、記録部に記録された識別符号と移動物IDの対応に基づいて、前記対象領域カメラによって撮像した移動物を特定する特定手段と、
    を備えた移動物特定装置であって、
    前記識別符号は、複数桁の個別符号を有しており、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする移動物特定装置。
  51. 移動物特定装置をコンピュータによって実現するための移動物特定プログラムであって、コンピュータを、
    対象領域に入場しようとする移動物に表示されたユニークな識別符号を、対象領域に入場しようとする移動物を撮像する入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、
    前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、
    取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段と、
    対象領域を動く移動物に表示されたユニークな識別符号を、対象領域を撮像する一以上の対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    認識手段によって認識した識別符号と、記録部に記録された識別符号と移動物IDの対応に基づいて、前記対象領域カメラによって撮像した移動物を特定する特定手段として機能させるための移動物特定プログラムにおいて、
    前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、
    前記認識手段は、前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴とする移動物特定プログラム。
  52. 請求項51の移動物特定プログラムにおいて、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする移動物特定プログラム。
  53. 移動物特定装置をコンピュータによって実現するための移動物特定プログラムであって、コンピュータを、
    対象領域に入場しようとする移動物に表示されたユニークな識別符号を、対象領域に入場しようとする移動物を撮像する入場カメラによって撮像した画像に基づいて認識する入場時認識手段と、
    前記移動物を前記入場時カメラで撮像した際に、当該移動物の移動物IDを取得する移動物ID取得手段と、
    取得した移動物IDと前記認識した識別符号を対応づけて記録部に記録する対応記録手段と、
    対象領域を動く移動物に表示されたユニークな識別符号を、対象領域を撮像する一以上の対象領域カメラによって撮像した画像に基づいて認識する認識手段と、
    認識手段によって認識した識別符号と、記録部に記録された識別符号と移動物IDの対応に基づいて、前記対象領域カメラによって撮像した移動物を特定する特定手段として機能させるための移動物特定プログラムにおいて、
    前記識別符号は、複数桁の個別符号を有しており、
    前記認識手段は、各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする移動物特定プログラム。
  54. 請求項48~53のいずれかの装置またはプログラムにおいて、
    前記識別符号の各桁の個別符号は、互いに類似性の低いものを用いるようにしたことを特徴とする装置またはプログラム。
  55. カメラにて撮像した画像に基づいて、識別符号を認識する認識装置であって、
    前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、
    前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴とする認識装置。
  56. 請求項55の認識装置にておいて、
    各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする認識装置。
  57. カメラにて撮像した画像に基づいて、識別符号を認識する認識装置であって、
    前記識別符号は、複数桁の個別符号を有しており、
    各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする認識装置。
  58. カメラにて撮像した画像に基づいて、識別符号を認識する認識装置をコンピュータによって実現するための認識プログラムであって、
    前記識別符号は、複数桁の個別符号を有し、当該個別符号の表示形態またはその背景の表示形態を、前記桁に応じて変えるよう構成されており、
    前記識別符号の表示形態または背景の表示形態に基づいて、個別符号がいずれの桁であるかを認識し、識別符号を認識することを特徴とする認識プログラム。
  59. 請求項58の認識プログラムにておいて、
    各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする認識プログラム。
  60. カメラにて撮像した画像に基づいて、識別符号を認識する認識装置をコンピュータによって実現するための認識プログラムであって、
    前記識別符号は、複数桁の個別符号を有しており、
    各桁の個別符号の認識結果と、複数桁全体の認識結果とに基づいて、識別符号を認識することを特徴とする認識プログラム。
  61. 請求項55~60のいずれかの装置またはプログラムにおいて、
    前記識別符号の各桁の個別符号は、互いに類似性の低いものを用いるようにしたことを特徴とする装置またはプログラム。
  62. 対象領域を動く複数の移動物の位置を取得する位置取得手段と、
    前記位置取得手段によって取得した移動物の位置に基づいて、各移動物について記録された進入禁止区域を参照し、当該移動物が進入禁止区域に入った場合には、警告を出力する警告手段と、
    を備えた警告装置。
  63. 警告装置をコンピュータによって実現するための警告プログラムであって、コンピュータを、
    対象領域を動く複数の移動物の位置を取得する位置取得手段と、
    前記位置取得手段によって取得した移動物の位置に基づいて、各移動物について記録された進入禁止区域を参照し、当該移動物が進入禁止区域に入った場合には、警告を出力する警告手段として機能させるための警告プログラム。
  64. 請求項62の装置または請求項63のプログラムにおいて、
    前記進入禁止区域は、危険性のある移動物の移動につれてあるいは日時とともにダイナミックに変化することを特徴とする装置またはプログラム。
JP2023201383A 2018-12-13 2023-11-29 移動物追跡装置 Pending JP2024023434A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018233356 2018-12-13
JP2018233356 2018-12-13
JP2019216362A JP2020098590A (ja) 2018-12-13 2019-11-29 移動物追跡装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019216362A Division JP2020098590A (ja) 2018-12-13 2019-11-29 移動物追跡装置

Publications (1)

Publication Number Publication Date
JP2024023434A true JP2024023434A (ja) 2024-02-21

Family

ID=71106036

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019216362A Pending JP2020098590A (ja) 2018-12-13 2019-11-29 移動物追跡装置
JP2023201383A Pending JP2024023434A (ja) 2018-12-13 2023-11-29 移動物追跡装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019216362A Pending JP2020098590A (ja) 2018-12-13 2019-11-29 移動物追跡装置

Country Status (1)

Country Link
JP (2) JP2020098590A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256019A (zh) * 2020-09-07 2021-01-22 北京京东乾石科技有限公司 自动引导车控制方法、装置、仓储系统、电子设备和介质
JP7453125B2 (ja) 2020-11-18 2024-03-19 大成建設株式会社 画像処理装置および画像処理方法
JP2022139871A (ja) * 2021-03-12 2022-09-26 大日本印刷株式会社 撮影システム
EP4064118A1 (en) 2021-03-25 2022-09-28 Grazper Technologies ApS Utility vehicle and corresponding apparatus, method and computer program for a utility vehicle
CN117441189A (zh) * 2021-06-11 2024-01-23 松下知识产权经营株式会社 作业分析装置以及方法
JP2023105741A (ja) * 2022-01-19 2023-07-31 株式会社Ridge-i 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP2020098590A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
JP2024023434A (ja) 移動物追跡装置
JP4970195B2 (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
US7680295B2 (en) Hand-gesture based interface apparatus
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
AU2014304760B2 (en) Devices, systems and methods of virtualizing a mirror
CN113557551A (zh) 用于使用电话传感器引导卡定位的系统和方法
US20160080662A1 (en) Methods for extracting objects from digital images and for performing color change on the object
CN107978051A (zh) 一种基于人脸识别的门禁系统及方法
CN101763671A (zh) 通过使用摄像机来监控人的系统
KR20150055543A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN104615234A (zh) 信息处理设备以及信息处理方法
EP2746899A1 (en) Gesture recognition device, electronic apparatus, gesture recognition device control method, control program, and recording medium
CN104615233A (zh) 信息处理设备以及信息处理方法
JP2014016968A (ja) 人物検索装置及びデータ収集装置
KR101668555B1 (ko) 작업 현장 영상 데이터 내의 작업자 인식 방법
KR20200079721A (ko) 스마트 의류 관리 시스템 및 그 방법
WO2017179543A1 (ja) 情報処理装置、情報処理方法及びプログラム記録媒体
WO2018185574A1 (en) Apparatus and method for documents and/or personal identities recognition and validation
JP3860560B2 (ja) 表示インタフェース方法および装置
KR102250712B1 (ko) 전자 장치 및 제어 방법
KR20120091970A (ko) 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체
Tu et al. An intelligent video framework for homeland protection
KR102101332B1 (ko) 작업자 확인 방법
CN112560715A (zh) 操作记录展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240301