JP2023529648A - 自動バーコードベースの個人安全コンプライアンスシステム - Google Patents
自動バーコードベースの個人安全コンプライアンスシステム Download PDFInfo
- Publication number
- JP2023529648A JP2023529648A JP2022574678A JP2022574678A JP2023529648A JP 2023529648 A JP2023529648 A JP 2023529648A JP 2022574678 A JP2022574678 A JP 2022574678A JP 2022574678 A JP2022574678 A JP 2022574678A JP 2023529648 A JP2023529648 A JP 2023529648A
- Authority
- JP
- Japan
- Prior art keywords
- barcode
- image
- images
- barcodes
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 96
- 230000001681 protective effect Effects 0.000 claims abstract description 92
- 230000008569 process Effects 0.000 claims abstract description 89
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 73
- 238000010191 image analysis Methods 0.000 claims description 42
- 230000009471 action Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 abstract description 13
- 230000006378 damage Effects 0.000 abstract description 8
- 231100001261 hazardous Toxicity 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 59
- 230000036760 body temperature Effects 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 13
- 208000027418 Wounds and injury Diseases 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 208000014674 injury Diseases 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000020564 Eye injury Diseases 0.000 description 3
- 208000011092 Hand injury Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 208000017899 Foot injury Diseases 0.000 description 1
- 206010061225 Limb injury Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229960000074 biopharmaceutical Drugs 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004980 dosimetry Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000005336 safety glass Substances 0.000 description 1
- 230000009476 short term action Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 208000037975 work-related injury Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
- G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1413—1D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Databases & Information Systems (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Lock And Its Accessories (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
作業空間における個人用防護具の使用を監視するための自動システムおよびプロセスのための様々な実装が提供される。このシステムは、個人用防護具に取り付けられたバ-コ-ドを含む。システムの動作は、作業空間の画像をキャプチャすることと、画像内の人型オブジェクトおよびバ-コ-ドオブジェクトを検出することとを伴う。システムおよびプロセスは、作業空間に適用可能な安全規則に従って、ユ-ザがすべての個人用防護具を着用している確率を計算することをさらに伴う。いくつかの実装形態では、システムおよびプロセスは、作業空間内の個人用防護具および他のオブジェクトを追跡するために使用され得る。したがって、システムおよびプロセスは、危険な作業環境におけるアクシデント、インシデント、および/または負傷の発生を防止または制限するために使用され得る。【選択図】図1
Description
関連出願の相互参照
本出願は、2020年6月5日に出願された米国仮特許出願第63/035,298号の利益を主張し、特許出願第63/035,298号の内容全体が参照により本明細書に組み込まれるものとする。
本出願は、2020年6月5日に出願された米国仮特許出願第63/035,298号の利益を主張し、特許出願第63/035,298号の内容全体が参照により本明細書に組み込まれるものとする。
本開示は、危険な環境で動作する人に安全を提供するためのシステムおよびプロセスに関し、より詳細には、保護服および物品の使用を必要とする環境に適用可能なシステムおよびプロセスに関する。
以下の段落は、本開示の背景として提供される。しかしながら、それらは、本明細書で論じられるいかなるものも、先行技術または当業者の知識の一部であるという承認ではない。
米国では、毎年、治療を必要とする約900,000件の業務関係の眼の負傷、および約750,000件の業務関係の手の負傷が報告されている。報告された症例の80%において、負傷は、安全ヘルメット、手袋、フェイスシールド、ブーツなどの適切な防護服または物品を着用していない人が被ると推定される(例えば、http://www.preventblindness.org/ten-ways-prevent-eye-injuries-workおよびhttp://www.ishn.com/articles/94029-drive-home-the-value-of-gloves--hand-injuries-send-a-million-workers-to-ers-each-yearを参照されたい)。そのような負傷に起因する明らかな個人的影響を超えて、負傷の治療に関連するかなりの医療費が存在する。したがって、危険な作業環境で作業する際に職場の職員が取る予防的安全対策を改善することによって、報告される職場での負傷の数を減らすことが非常に望ましい。
したがって、当技術分野では、危険な環境で作業する人々の負傷を低減するためのシステムおよびプロセスが必要とされている。個人用防護具の使用を正確かつ連続的に監視することができ、多種多様な作業空間において容易に実施することができる自動システムが特に望ましい。
以下の段落は、以下のより詳細な説明を読者に紹介することを意図しており、本開示の特許請求される主題を定義または限定することを意図していない。
1つの広範な態様では、本開示は、個人用防護具の使用を監視するためのシステムおよびプロセスに関する。したがって、本開示は、少なくとも1つの態様において、少なくとも1つの実装形態において、作業空間における作業者による個人用防護具の使用を自動的に監視するためのシステムであって、
複数のバーコードであって、各バーコードが、一意の個人用防護具アイテムに関連付けられ、関連する個人用防護具アイテムを識別するオブジェクト情報と、個人用防護具アイテムを使用する所与の作業者のユーザ情報とを含む、複数のバーコードと、
作業空間内に設置可能な第1および第2の画像センサであって、第1および第2の画像センサが、互いに間隔をあけて配置され、それぞれ異なる第1および第2の視野をカバーするように位置し、第1および第2の視野が、作業空間内の所与のエリア内で重複し、第1および第2の画像センサが、所与のエリアの第1の複数の画像を集合的にキャプチャするように適合される、第1および第2の画像センサと、
第1および第2の画像センサに結合される中央コントローラであって、少なくとも1つのプロセッサと、1つ以上のバーコードが所与の作業者のユーザ情報とリンクされるように、複数のバーコードおよびユーザ情報を記憶するように構成されたデータベースを含むメモリ要素とを含む中央コントローラとを含み、
少なくとも1つのプロセッサと、第1および第2の画像センサとが一緒に、
(i)第1の複数の画像において人型オブジェクトを検出することと、
(ii)第1の複数の画像から第2の複数の画像を識別することであって、第2の複数の画像が検出された人型オブジェクトを含む、識別することと、
(iii)第2の複数の画像のうちの少なくとも1つにおいて第1のバーコードオブジェクトを検出することであって、第1のバーコードオブジェクトが検出された人型オブジェクトに関連付けられている、検出することと、
(iv)検出された第1のバーコードオブジェクトに対応する第1のバーコードを識別することと、
(v)それにリンクされたユーザ情報と、識別されたユーザ情報にリンクされた追加のバーコードとを識別するために、第1のバーコードを使用してデータベース内の検索を実行することと、
(vi)第2の複数の画像において、識別された追加のバーコードに対応する追加のバーコードオブジェクトを検出することと、
(vii)検出された人型オブジェクトに対応する作業者が、作業空間に適用可能な安全規則に従って、第1の検出されたバーコードおよび追加の識別されたバーコードに関連付けられた各個人用防護具アイテムを着用している確率を計算するために確率アルゴリズムを適用することであって、第2の複数の画像における第1の検出されたバーコードおよび追加のバーコードに対応する各バーコードオブジェクトの普及率を決定するために確率アルゴリズムが適用される、適用することと、
(viii)所定の確率閾値よりも低い計算された確率を有する、第1の検出されたバーコードおよび追加のバーコードオブジェクトの各々について、安全行動を実行することと
を行うように構成されているシステムを提供する。
複数のバーコードであって、各バーコードが、一意の個人用防護具アイテムに関連付けられ、関連する個人用防護具アイテムを識別するオブジェクト情報と、個人用防護具アイテムを使用する所与の作業者のユーザ情報とを含む、複数のバーコードと、
作業空間内に設置可能な第1および第2の画像センサであって、第1および第2の画像センサが、互いに間隔をあけて配置され、それぞれ異なる第1および第2の視野をカバーするように位置し、第1および第2の視野が、作業空間内の所与のエリア内で重複し、第1および第2の画像センサが、所与のエリアの第1の複数の画像を集合的にキャプチャするように適合される、第1および第2の画像センサと、
第1および第2の画像センサに結合される中央コントローラであって、少なくとも1つのプロセッサと、1つ以上のバーコードが所与の作業者のユーザ情報とリンクされるように、複数のバーコードおよびユーザ情報を記憶するように構成されたデータベースを含むメモリ要素とを含む中央コントローラとを含み、
少なくとも1つのプロセッサと、第1および第2の画像センサとが一緒に、
(i)第1の複数の画像において人型オブジェクトを検出することと、
(ii)第1の複数の画像から第2の複数の画像を識別することであって、第2の複数の画像が検出された人型オブジェクトを含む、識別することと、
(iii)第2の複数の画像のうちの少なくとも1つにおいて第1のバーコードオブジェクトを検出することであって、第1のバーコードオブジェクトが検出された人型オブジェクトに関連付けられている、検出することと、
(iv)検出された第1のバーコードオブジェクトに対応する第1のバーコードを識別することと、
(v)それにリンクされたユーザ情報と、識別されたユーザ情報にリンクされた追加のバーコードとを識別するために、第1のバーコードを使用してデータベース内の検索を実行することと、
(vi)第2の複数の画像において、識別された追加のバーコードに対応する追加のバーコードオブジェクトを検出することと、
(vii)検出された人型オブジェクトに対応する作業者が、作業空間に適用可能な安全規則に従って、第1の検出されたバーコードおよび追加の識別されたバーコードに関連付けられた各個人用防護具アイテムを着用している確率を計算するために確率アルゴリズムを適用することであって、第2の複数の画像における第1の検出されたバーコードおよび追加のバーコードに対応する各バーコードオブジェクトの普及率を決定するために確率アルゴリズムが適用される、適用することと、
(viii)所定の確率閾値よりも低い計算された確率を有する、第1の検出されたバーコードおよび追加のバーコードオブジェクトの各々について、安全行動を実行することと
を行うように構成されているシステムを提供する。
少なくとも1つの実装形態において、バーコードオブジェクトのいずれかが、第2の複数の画像内の画定された画像領域において検出され得、各画定された画像領域が、検出された人型オブジェクトを含むように構築されている。
少なくとも1つの実装形態において、第1の複数の画像が、所与の時間期間中に第1の画像センサによってキャプチャされた時間的に連続した画像の第1のセットと、所与の時間期間中に第2の画像センサによってキャプチャされた時間的に連続した画像の第2のセットとを含み得る。
少なくとも1つの実装形態において、所与の時間期間は、約5~約60秒とすることができる。
少なくとも1つの実装形態において、画像の第1および第2のセットは各々、少なくとも10個の画像を含む。
少なくとも1つの実装形態において、第1および第2の画像センサが、それぞれ第1の画像センサおよび第2の画像センサの視野を通って中心に延びる第1の軸と第2の軸との間の交点が、約15度~約175度、または約205度~約345度の範囲の角度を形成するように、間隔をあけて配置され、角度が付けられている。
少なくとも1つの実装形態において、角度は、約30度~約150度、または約210度~約330度の範囲とすることができる。
少なくとも1つの実装形態において、人型オブジェクト画像解析アルゴリズムを第1の複数の画像に適用することによって、人型オブジェクトが検出され得る。
少なくとも1つの実装形態において、バーコードオブジェクトは、バーコードオブジェクト画像解析アルゴリズムを第2の複数の画像に適用することによって検出され得る。
少なくとも1つの実装形態において、画定された画像領域が、フレーム内に検出された人型オブジェクトの全体を包含する画像境界を有するフレームを使用して構築され得、画像境界が、検出された人型オブジェクトと画像境界との間に接触がないように形成される。
少なくとも1つの実装形態において、画像境界は、画像領域内で検出された人型オブジェクトから約0.5メートル~約3メートル離れた距離に対応し得る。
少なくとも1つの実装形態において、中央コントローラが入力デバイスに結合され、入力デバイスが、クエリバーコードの形態でユーザエントリを受信するように構成され、中央コントローラならびに第1および第2の画像センサが、複数のバーコードオブジェクトを検出し、第1および第2の複数の画像の各々において検出されたバーコードオブジェクトに対応するバーコードを読み取り、1つ以上の読み取られたバーコードが、画像のうちの1つと、第1および/または第2の画像センサによって画像がキャプチャされた時間とにリンクされるように、リンク関係を使用することによって、第1および/または第2の画像センサによって画像がキャプチャされた時間と一緒に複数の読み取られたバーコードおよび画像を記憶するように構成された第2のデータベースに読み取られたバーコードを記憶するようにさらに構成され、中央コントローラが、クエリバーコードと読み取られた記憶されたバーコードのうちの1つとの間に一致があるときを決定するようにさらに構成されている。
少なくとも1つの実装形態において、中央コントローラは出力デバイスに結合され得、中央コントローラは、クエリバーコードが検出された読み取られたバーコードと同一であるとき、出力を出力デバイスに提供するようにさらに構成されている。
少なくとも1つの実装形態において、出力は、クエリバーコードに一致する記憶されたバーコードにリンクされた画像が第1および/または第2の画像センサによってキャプチャされた時間に対応する時間インジケータを含み得る。
少なくとも1つの実装形態において、出力は、クエリバーコードに一致する記憶されたバーコードにリンクされた画像を含み得る。
少なくとも1つの実装形態において、出力は、クエリバーコードと同一である記憶されたバーコードにリンクされた画像が第1および/または第2の画像センサによってキャプチャされた時間を示す時間インジケータを含むことができ、および/または、出力が、クエリバーコードと同一である記憶されたバーコードにリンクされた画像を含むことができ、時間インジケータまたはリンクされた画像が、クエリバーコードが入力された時間に対して、クエリバーコードと読み取られた記憶されたバーコードとの間の一致が識別された最新の時間に対応する。
少なくとも1つの実装形態において、入力デバイスは、第1の時間および第2の時間によって定義されるクエリ時間期間のユーザによる入力を受信するようにさらに構成され得、中央コントローラが、クエリ時間期間中に第1および/または第2の画像センサによってキャプチャされた第1および第2の複数の画像において、複数のバーコードオブジェクトおよびそれに対応するバーコードを検出するように構成されている。
少なくとも1つの実装形態において、システムは、個人用防護アイテム以外のオブジェクトに関連付けられた複数のバーコードをさらに含み得、バーコードが、オブジェクトを識別するオブジェクト情報を含む。
さらなる態様では、本開示は、少なくとも1つの実装形態において、作業空間における作業者による個人用防護具の使用を監視するための自動プロセスを提供し、プロセスは、
作業空間内に設置可能な第1および第2の画像センサを使用して第1の複数の画像を取得することであって、第1および第2の画像センサが、互いに間隔をあけて配置され、それぞれ異なる第1および第2の視野をカバーするように位置し、第1および第2の視野が、作業空間内の所与のエリア内で重複する、取得することと、
第1の複数の画像において所与の作業者の人型オブジェクトを検出することと、
第1の複数の画像から第2の複数の画像を識別することであって、第2の複数の画像が検出された人型オブジェクトを含む、識別することと、
第2の複数の画像のうちの少なくとも1つにおいて第1のバーコードオブジェクトを検出することであって、第1のバーコードオブジェクトが検出された人型オブジェクトに関連付けられている、検出することと、
検出された第1のバーコードオブジェクトに対応する第1のバーコードを識別することと、
それにリンクされたユーザ情報と、識別されたユーザ情報にリンクされた追加のバーコードとを識別するために、第1のバーコードを使用してデータベース内の検索を実行することであって、データベースが、1つ以上のバーコードが作業者のユーザ情報にリンクされるように、リンク関係を使用して、複数のバーコードおよびユーザ情報を記憶する、実行することと、
第2の複数の画像において、識別された追加のバーコードに対応する追加のバーコードオブジェクトを検出することと、
検出された人型オブジェクトに対応する所与の作業者が、作業空間に適用可能な安全規則に従って、第1の検出されたバーコードおよび追加の識別されたバーコードに関連付けられた各個人用防護具アイテムを着用している確率を計算するために確率アルゴリズムを適用することであって、第2の複数の画像における第1の検出されたバーコードおよび追加のバーコードに対応する各バーコードオブジェクトの普及率を決定するために確率アルゴリズムが適用される、適用することと、
所定の確率閾値よりも低い計算された確率を有する、第1の検出されたバーコードおよび追加のバーコードオブジェクトの各々について、安全行動を実行することと
を含む。
作業空間内に設置可能な第1および第2の画像センサを使用して第1の複数の画像を取得することであって、第1および第2の画像センサが、互いに間隔をあけて配置され、それぞれ異なる第1および第2の視野をカバーするように位置し、第1および第2の視野が、作業空間内の所与のエリア内で重複する、取得することと、
第1の複数の画像において所与の作業者の人型オブジェクトを検出することと、
第1の複数の画像から第2の複数の画像を識別することであって、第2の複数の画像が検出された人型オブジェクトを含む、識別することと、
第2の複数の画像のうちの少なくとも1つにおいて第1のバーコードオブジェクトを検出することであって、第1のバーコードオブジェクトが検出された人型オブジェクトに関連付けられている、検出することと、
検出された第1のバーコードオブジェクトに対応する第1のバーコードを識別することと、
それにリンクされたユーザ情報と、識別されたユーザ情報にリンクされた追加のバーコードとを識別するために、第1のバーコードを使用してデータベース内の検索を実行することであって、データベースが、1つ以上のバーコードが作業者のユーザ情報にリンクされるように、リンク関係を使用して、複数のバーコードおよびユーザ情報を記憶する、実行することと、
第2の複数の画像において、識別された追加のバーコードに対応する追加のバーコードオブジェクトを検出することと、
検出された人型オブジェクトに対応する所与の作業者が、作業空間に適用可能な安全規則に従って、第1の検出されたバーコードおよび追加の識別されたバーコードに関連付けられた各個人用防護具アイテムを着用している確率を計算するために確率アルゴリズムを適用することであって、第2の複数の画像における第1の検出されたバーコードおよび追加のバーコードに対応する各バーコードオブジェクトの普及率を決定するために確率アルゴリズムが適用される、適用することと、
所定の確率閾値よりも低い計算された確率を有する、第1の検出されたバーコードおよび追加のバーコードオブジェクトの各々について、安全行動を実行することと
を含む。
少なくとも1つの実装形態において、バーコードオブジェクトのいずれかが、第2の複数の画像内の定義された画像領域において検出され得、各定義された画像領域が、検出された人型オブジェクトを含むように構築されている。
少なくとも1つの実装形態において、第1の複数の画像が、所与の時間期間中に第1の画像センサによってキャプチャされた時間的に連続した画像の第1のセットと、所与の時間期間中に第2の画像センサによってキャプチャされた時間的に連続した画像の第2のセットとを含み得る。
少なくとも1つの実装形態において、所与の時間期間は、約5~約60秒とすることができる。
少なくとも1つの実装形態において、画像の第1および第2のセットは各々、少なくとも10個の画像を含み得る。
少なくとも1つの実装形態において、第1および第2の画像センサが、それぞれ第1の画像センサおよび第2の画像センサの視野を通って中心に延びる第1の軸と第2の軸との間の交点が、約15度~約175度、または約205度~約345度の範囲の角度を形成するように、間隔をあけて配置され、角度が付けられている。
少なくとも1つの実装形態において、角度は、約30度~約150度、または約210度~約330度の範囲とすることができる。
少なくとも1つの実装形態において、人型オブジェクト画像解析アルゴリズムを第1の複数の画像に適用することによって、人型オブジェクトが検出され得る。
少なくとも1つの実装形態において、バーコードオブジェクトは、バーコードオブジェクト画像解析アルゴリズムを第2の複数の画像に適用することによって検出され得る。
少なくとも1つの実装形態において、定義された画像領域が、フレーム内に検出された人型オブジェクトの全体を包含する画像境界を有するフレームを使用して構築され得、画像境界が、検出された人型オブジェクトと画像境界との間に接触がないように形成される。
少なくとも1つの実装形態において、画像境界は、画像領域内で検出された人型オブジェクトから約0.5メートル~約3メートル離れた距離に対応し得る。
少なくとも1つの実装形態において、中央コントローラが入力デバイスに結合され得、入力デバイスが、クエリバーコードを含むユーザエントリを受信するように構成され、中央コントローラならびに第1および第2の画像センサが、第1および第2の複数の画像の各々において、複数のバーコードオブジェクト、およびそれに対応するバーコードを読み取り、1つ以上の読み取られたバーコードが、1つ以上の読み取られたバーコードが取得された画像と、第1および/または第2の画像センサによって画像がキャプチャされた時間とにリンクされるように、リンク関係を使用することによって、第1および/または第2の画像センサによって所与の画像がキャプチャされた時間と一緒に複数の読み取られたバーコードおよび画像を記憶するように構成された第2のデータベースに読み取られたバーコードを記憶するようにさらに構成され、中央コントローラが、クエリバーコードと読み取られた記憶されたバーコードのうちの1つとの間に一致があるかどうかを決定するようにさらに構成されている。
少なくとも1つの実装形態において、中央コントローラは出力デバイスに結合され得、中央コントローラは、クエリバーコードが読み取られた記憶されたバーコードと同一であるとき、出力を出力デバイスに提供するように構成されている。
少なくとも1つの実装形態において、出力は、クエリバーコードと同一であるバーコードにリンクされた画像が第1および/または第2の画像センサによってキャプチャされた時間に対応する時間インジケータを含み得る。
少なくとも1つの実装形態において、出力は、クエリバーコードと同一であり、第1および/または第2の画像センサによってキャプチャされたバーコードを含む画像を含み得る。
少なくとも1つの実装形態において、出力は、クエリバーコードと一致するバーコードにリンクされた画像が第1および/または第2の画像センサによってキャプチャされた時間を示す時間インジケータ、および/または、出力が、クエリバーコードと一致するバーコードにリンクされた画像を含み得、時間インジケータまたは画像が、クエリバーコードがユーザから受信された時間に対して、クエリバーコードと読み取られた記憶されたバーコードのうちの1つとの間で一致した最新の時間に対応する。
少なくとも1つの実装形態において、入力デバイスは、第1の時間および第2の時間によって定義されるクエリ時間期間のユーザからの入力を受信するようにさらに構成され得、中央コントローラが、クエリ時間期間中に第1および/または第2の画像センサによってキャプチャされた画像のセットにおいて、複数のバーコードオブジェクトおよびそれに対応するバーコードを検出するように構成されている。
少なくとも1つの実装形態において、システムは、個人用防護アイテム以外のオブジェクトに関連付けられた複数のバーコードをさらに含み得、バーコードが、オブジェクトを識別するオブジェクト情報を含む。
本開示の他の特徴および利点は、以下の詳細な説明から明らかになるであろう。しかしながら、詳細な説明は、本開示のいくつかの例示的な実装形態を示しているが、本開示の趣旨および範囲内の様々な変更および修正が、詳細な説明から当業者に明らかになるので、例示としてのみ与えられていることを理解されたい。
本開示は、添付の図面に関連して、例として、以下に提供される段落に記載される。本明細書で提供される図は、例示的な実装形態をよりよく理解するために、および様々な実装形態がどのように実施され得るかをより明確に示すために提供される。図面は、本開示を限定することを意図していない。
特許請求される各主題の実装または実装の例を提供するために、様々なシステムおよびプロセスについて、以下で説明する。以下で説明するいかなる実装形態も、特許請求されるいかなる主題も限定せず、特許請求されるいかなる主題も、以下で説明するものとは異なる方法、システム、デバイス、アセンブリ、プロセス、または装置をカバーし得る。特許請求される主題は、本明細書に記載される任意の1つのシステム、方法、デバイス、装置、アセンブリ、またはプロセスの特徴のすべてを有するシステムまたはプロセス、あるいは本明細書に記載される複数のまたはすべてのシステム、方法、デバイス、装置、アセンブリ、またはプロセスに共通の特徴に限定されるものではない。本明細書に記載されたシステムまたはプロセスが、任意の特許請求される主題の実装または実装でない可能性がある。本明細書において請求されていない、本明細書に記載されたシステムまたはプロセスに開示された任意の主題は、別の保護手段、例えば、継続特許出願の主題である場合があり、出願人、発明者、または所有者は、本明細書におけるその開示によって、任意のそのような主題を放棄(abandon)、放棄(disclaim)、または公衆に提供する意図はない。
本明細書および特許請求の範囲において使用される場合、「a」、「an」および「the」などの単数形は、文脈上明らかにそうでないことが示されない限り、複数の参照を含み、逆もまた同様である。本明細書全体を通して、別段の指示がない限り、「含む(comprise)」、「含む(comprises)」および「含む(comprising)」という用語は、排他的ではなく包括的に使用され、その結果、記載された整数または整数群は、1つ以上の他の記載されていない整数または整数群を含み得る。
「または」という用語は、例えば「いずれか」によって修飾されない限り、包括的である。
幾何学的パラメータまたは例示的な距離など、範囲が本明細書で使用されるとき、範囲のすべての組合せおよび部分的組合せ、ならびにその中の特定の実装形態が含まれることが意図される。操作例以外で、または他に示される場合を除いて、本明細書で使用される成分の量または反応条件を表すすべての数は、すべての場合において、「約」という用語によって修飾されると理解されるべきである。「約」という用語は、数または数値範囲に言及するとき、言及される数または数値範囲が、許容される実験的変動性(または統計的実験誤差内)内の近似であることを意味し、したがって、数または数値範囲は、文脈によって容易に認識されるように、言及される数または数値範囲の1%~15%の間で変わり得る。さらに、本明細書に記載される値の任意の範囲は、範囲の限定値、および所与の範囲内の任意の中間値またはサブ範囲を具体的に含むことが意図され、すべてのそのような中間値およびサブ範囲は、個別に具体的に開示される(例えば、1~5の範囲は、1、1.5、2、2.75、3、3.90、4、および5を含む)。同様に、本明細書で使用される「実質的に」、「約」など、他の程度の用語は、最終結果が大幅に変更されないような修飾された用語の妥当な量の偏差を意味する。これらの程度の用語は、修飾された用語の意味を否定しない場合は、修飾された用語の逸脱を含むと解釈されるものとする。
別段の定義がない限り、本明細書に記載される任意の明確な語句に関連して使用される科学および技術用語は、当業者によって一般に理解される意味を有するものとする。本明細書で使用される用語は、特定の実装形態を説明するためのものであり、特許請求の範囲によってのみ定義される本明細書の教示の範囲を限定することを意図するものではない。
すべての出版物、特許、および特許出願は、各個々の出版物、特許、または特許出願が、参照によりその全体が組み込まれるように具体的かつ個別に示されている場合と同じ程度に、その全体が本明細書に参照により組み込まれる。
定義
定義
本明細書で互換的に使用される「自動システム」または「システム」という用語は、1つ以上のプロセッサ、特定用途向け集積回路(ASIC)、グラフィックス処理ユニット(GPU)、および非コンパイルまたはコンパイルされた(すなわち、機械実行可能な)命令を実行することができるフィールドプログラマブルゲートアレイ(FGPA)を含むハードウェア論理などの1つ以上の電子処理要素を含む、デバイス、または複数のデバイスの構成を指し、そのようなデバイスは、限定はしないが、任意のパーソナルコンピュータ、デスクトップコンピュータ、ハンドヘルドコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯電話コンピュータ、スマートフォンコンピュータ、または他の適切な電子デバイス、または複数のデバイスを含む。
本明細書の教示によって説明されるシステム、デバイス、または方法の例示的な実装形態の一部は、ハードウェアまたはソフトウェアの組合せとして実装され得る。例えば、本明細書に記載された実装形態の一部は、少なくとも1つの処理要素および少なくとも1つのデータ記憶要素(揮発性および不揮発性メモリを含む)を各々含む1つ以上のプログラマブルデバイス(すなわちコンピューティングデバイス)上で実行される、1つ以上のコンピュータプログラムを使用することによって、少なくとも部分的に実装され得る。これらのデバイスはまた、本明細書で定義されるように、少なくとも1つの入力デバイスおよび少なくとも1つの出力デバイスを有し得る。
オブジェクト指向プログラミングなど、高レベル手続き型言語で書かれたソフトウェアを介して実装され得る、本明細書に記載される実装形態のうちの少なくとも一部を実装するために使用されるいくつかの要素があり得ることにも留意されたい。したがって、プログラムコードは、MATLABTM、Visual Basic、Fortran、C、C++、または任意の他の適切なプログラミング言語で記述されてもよく、オブジェクト指向プログラミングの当業者に知られているように、モジュールまたはクラスを含んでいてもよい。代替的に、または追加として、ソフトウェアを介して実装されるこれらの要素のうちのいくつかは、必要に応じて、アセンブリ言語、機械語、またはファームウェアで記述されてもよい。
本明細書に記載された実装形態の少なくとも1つを実施するために使用されるソフトウェアプログラムの少なくとも一部は、記憶媒体(例えば、限定はしないが、読み取り専用メモリ(ROM)、磁気ディスク、光ディスクなどのコンピュータ可読媒体)、または汎用もしくは専用のプログラム可能デバイスによって読み取り可能なデバイスに記憶されてもよい。ソフトウェアプログラムコードは、プログラマブルデバイスの少なくとも1つのプロセッサによって読み取られると、本明細書に記載された方法の少なくとも1つを実行するために、少なくとも1つのプロセッサを、新しい特定のあらかじめ定義された方法で動作するように構成する。
さらに、本明細書に記載された実装形態のシステムおよび方法に関連付けられたプログラムの少なくともいくつかを、1つ以上のプロセッサのための、プログラムコードまたはプログラム命令などのコンピュータ使用可能命令を担持するコンピュータ可読媒体を含むコンピュータプログラム製品中に分散することが可能であり得る。プログラムコードは、製造中にプリインストールされ、埋め込まれてもよく、および/または、すでに配備されたコンピューティングシステムの更新として後でインストールされてもよい。媒体は、限定はしないが、例えば、1つ以上のディスケット、コンパクトディスク、テープ、チップ、ユニバーサルシリアルバス(USB)キー、外部ハードドライブ、磁気および電子媒体ストレージ、タブレット(例えば、iPad)またはスマートフォン(例えば、iPhone)アプリなどの非一時的な形態を含む、様々な形態で提供され得る。代替の実装形態では、媒体は、限定はしないが、有線送信、衛星送信、インターネット送信(例えば、ダウンロード)、媒体、ならびにデジタル信号およびアナログ信号など、本質的に一時的であり得る。コンピュータ使用可能命令はまた、コンパイルされたコードおよびコンパイルされていないコードを含む、様々なフォーマットであり得る。
一態様では、本開示は、本明細書に記載されたプロセスの実装形態のいずれかに従って個人用防護具の使用を監視するためのプロセスを実装するようにデバイスを適合させるためのデバイスの処理ユニット上で実行可能な複数の命令を含むコンピュータ可読媒体を含む。
本明細書で使用される「バーコード」という用語は、光学的に復号可能なまたは識別可能な指標を含む任意のアイテムまたは画像を指す。一般的なタイプのバーコードは、例えば、一次元(1D)バーコードとも呼ばれる線形バーコードを含み、そのようなバーコードは、バーコード内の複数の平行線の幅、高さ、および/または間隔を変えることによって情報を表す。別の一般的なタイプのバーコードは、2次元バーコード(2D)とも呼ばれるマトリクスバーコードを含み、そのようなバーコードは、長方形、ドット、六角形、または2次元で間隔をあけて配置された他の幾何学的パターンなどの幾何学的パターンを使用して情報を表す。
本明細書で使用される「バーコードオブジェクト」という用語は、実際のバーコードに対応するバーコードの画像を指す。
本明細書で使用される「結合」という用語は、その用語が使用される状況に応じて、いくつかの異なる意味を有する可能性がある。例えば、結合という用語は、それが使用される文脈に応じて、すなわち、物理的レイアウトを記述するか、または場合によってはデータの送信を記述するかに応じて、機械的または電気的意味を有することができる。例えば、文脈に応じて、結合という用語は、2つの要素またはデバイスが、互いに直接物理的または電気的に接続され得るか、または限定はしないが、例えば、ワイヤ、非能動回路要素(例えば、抵抗器)などの物理的または電気的要素を介して、1つ以上の中間要素またはデバイスを介して互いに接続され得ることを示し得る。
本明細書で使用される「安全行動を実行する」という語句は、システムのユーザの安全性を高めるための行動を実行する自動システムまたは自動システムの構成要素を指す。これは、警告信号を発するなどの即時の短期的な行動、または、例えば、安全レポート、もしくは安全トレーニング関連情報を提供するなどの、より長期的な行動を含む。
本明細書で使用される「人型」という用語は、例えば、人または顔または手など、その一部の形状に一意的に対応する形状を指す。
本明細書で使用する「人型オブジェクト」という用語は、現実の人物に対応する人物の画像、または、例えば、顔もしくは手など、現実の人物の一部に対応する人物の一部の画像を指す。一般に、本開示の文脈では、人型オブジェクトは、職場画像などの画像内に存在し得る。一般に、作業空間画像は、1つ以上の人型オブジェクト、および/または1つ以上の非人型オブジェクトを含み得る。例えば、職場画像が現実の職場に対応するように、画像は現実に対応する。
本明細書で使用される「入力デバイス」という用語は、情報を入力するために使用される任意のユーザ操作可能デバイスを指し、限定はしないが、端末、タッチスクリーン、キーボード、マウス、マウスパッド、トラッカーボール、ジョイスティック、マイクロフォン、音声認識システム、ライトペン、カメラ、バーコードリーダまたは磁気インク文字認識デバイスなどのデータ入力デバイス、センサ、または入力データを受信することが可能な任意の他のコンピューティングユニットのうちの1つ以上を含む。入力デバイスは、TV、または液晶ディスプレイ(LCD)などの2次元ディスプレイ、または発光ダイオード(LED)バックライトディスプレイ、携帯電話ディスプレイ、または例えばタッチスクリーンによってユーザから入力を受信することが可能なディスプレイを含み得る。
本明細書によるユーザは、例えば、任意の安全管理者、または作業現場のオペレータもしくは管理者を含む、任意のユーザまたはオペレータであり得る。
「非人型」という用語は、人または人の一部に一意的に対応する形状以外の任意のまたはすべての形状に対応する形状を指す。
「非人型オブジェクト」という用語は、現実の人またはその一部を除く、現実のオブジェクトに対応する形状の画像を指す。
本明細書で使用される「出力デバイス」という用語は、情報を出力するために使用される任意のデバイスを指し、限定はしないが、ディスプレイ端末、スクリーン、プリンタ(例えば、レーザ、インクジェット、ドットマトリクス)、プロッタもしくは他のハードコピー出力デバイス、スピーカ、ヘッドフォン、電子記憶デバイス、ブザーもしくはバイブレータ、別のデバイスと通信し得る無線もしくは他の通信デバイス、または任意の他のコンピューティングユニットのうちの1つ以上を含む。出力デバイスはまた、ユーザが見ることができる形式で出力データを提供することができる、テレビジョン、LCD、またはLEDバックライトディスプレイ、および/または携帯電話ディスプレイなどの2次元ディスプレイを含み得る。
本明細書で使用される「入出力デバイス」という用語は、入力機能と出力機能の両方をデバイスに含めることによって、入力デバイスと出力デバイスの両方として使用することができる任意のデバイスを指す。
「個人用防護具」または「PPE」という用語は、本明細書では互換的に使用され、職場でのインシデントを含むインシデント、アクシデント、および/または危害の結果として、人の負傷または身体的損傷、例えば、眼の負傷、手の負傷、足の負傷、および他の形態の身体的被害のリスクを低減することができる任意の機器、器具、または物品を指す。PPEは、限定はしないが、安全ヘルメット、安全手袋、安全メガネまたは安全ゴーグル、安全靴、フェイスシールドまたはフェイスマスク、聴覚保護デバイス、保護ベストまたは保護ジャケット、安全スーツまたは安全ガウン、ガスタンクおよび/または呼吸装置、および安全靴などの保護物品を含む。PPEはまた、限定はしないが、放射線量測定デバイス、ノイズ測定デバイス、および/または可視範囲または別の波長範囲の光を測定するための光強度測定デバイスなど、保護のために使用されるデバイスを含む。これらの用語は、例えば、電子機器製造、または医薬品もしくは生物製剤製造において使用される保護物品および器具のような作業オブジェクトとの直接的な人間の接触による作業オブジェクトの汚染のリスクがある職場において着用される保護装置をさらに含むことを意図する。
システムの一般的な実装
システムの一般的な実装
前述のように、本開示は、個人用防護具の使用を監視するためのシステムおよびプロセスに関する。自動システムおよびプロセスは、危険な作業環境などの作業空間において適用可能な安全規則およびガイドラインの強力な遵守を促進する方法で実施することができる。システムは、危険な作業環境に存在する間、人が1つ以上の個人用防護具アイテムを着用しているかどうかを正確かつ連続的にまたは定期的に監視し、確認するように構成され得る。本開示のシステムは、作業空間において、複数の人、例えば10人または20人を同時に監視することができ、各人は、複数の個人用防護具アイテム、例えば5個または10個のそのようなアイテムを着用する。
システムが、人によって着用されていない個人用防護具アイテムを検出すると、システムは、安全警告を発するなどの安全行動を実行することができる。本開示のシステムは、比較的短い時間期間において、ユーザと個人用防護具アイテムとの間の分離(例えば、10秒)および/または比較的短い距離(例えば、1m)にわたるユーザと個人用防護具との間の物理的分離を容易に検出するのに十分な感度を有する。したがって、本明細書に開示されるシステムは、建設現場などの変化の激しいまたは一時的な作業空間を含む、多くの環境での柔軟な使用に適している。プロセスおよびシステムは、ユーザが着用するセンサがない、すなわち、システムは、保護具がユーザによって着用されているかどうかを監視するために、光電センサまたは圧力センサなどのウェアラブルセンサの使用を伴わない。したがって、システムは、センサの誤動作、または個人用防護具を着用しているユーザが随時行う可能性のあるわずかな調整、または天候などの外部要因の影響を受けにくく、これらのすべては、誤警報の生成をもたらす可能性があるウェアラブルセンサの機能を妨げる可能性がある。システムはまた、ウェアラブルセンサベースのシステムに必要とされ得るようなカスタムフィッティングを必要としない。これらおよび他の有益な態様によって、本明細書に開示されるシステムは、作業に関連する負傷の発生を防止するのに有用である。
広義には、1つ以上の個人用防護具の使用を自動的に監視するためのシステムは、複数のバーコードを含み、各バーコードは、個人用防護具のアイテム、ならびに、個人用防護具のアイテムのユーザのユーザ情報に関連付けられている。画像センサは、作業空間に設置され、個人用防護具を着用しているユーザが存在する作業空間の画像をキャプチャする。システムは、(個人用防護具のユーザに対応する)人型オブジェクトと、画像内の(バーコードに対応する)バーコードオブジェクトとを検出するように構成されている。検出された人型オブジェクトおよびバーコードオブジェクトに基づいて、確率アルゴリズムを使用して、画像がキャプチャされた時点で、画像内の任意のユーザが作業空間に適用可能な安全規則に従ってすべての個人用防護具を着用していた確率を計算する。システムは、計算された確率が所定の確率閾値よりも低いとき、安全行動を実行するようにさらに構成される。
以下、図面を参照して、選択された実施形態について説明する。
一般的な概要として、図1、図3、図4、図5A、図5Bおよび図5Cは、本開示のシステムの例示的な実装形態による、様々なハードウェア構成要素およびシステムの構成の概略図である。図2は、本開示の自動処理の例示的な実施形態のフローチャート図である。図6A、図6B、図7A、図7B、図7C、図7D、図7E、図7F、図8A、図8B、図8C、図8D、図8Eおよび図8Fは、本開示のシステムの例示的な実装形態による、画像センサによってキャプチャされた画像の例示的な図である。図9A、図9B、図9Cおよび図9Dは、本開示のシステムの例示的な実装形態による例示的な画像センサの設置の概略図である。図10は、代替の例示的な実装形態による、システムの様々なハードウェア構成要素および構成の概略図であり、図11Aおよび図11Bは、本開示の自動プロセスの代替の例示的な実施形態のフローチャート図である。
最初に図1を参照すると、本開示は、例示的な実装形態において、個人用防護具と併せて使用するためのシステム100を提供する。システム100は、作業空間内の複数の作業者による複数の個人用防護具の使用の自動監視を可能にする。複数の個人用防護具は、安全ヘルメット110aおよび110b、ならびに安全ベスト107aおよび107bによって示されている。安全ヘルメット110aおよび110b、ならびに安全ベスト107aおよび107bは、個人用防護具の例を表すことを理解されたい。個人用防護具の他の例としては、限定はしないが、安全手袋、安全靴、安全スーツ、安全ゴーグル、安全マスク、および聴覚保護デバイスのうちの少なくとも1つが挙げられ、例えば、これらはすべて図示されていないが、追加的にまたは代替的に、本明細書に開示されるシステム100によって検出および監視され得る。個人用防護具107a、107b、110a、および110bの各々は、バーコード109a、109b、115a、115bを個人用防護具107a、107b、110a、および110bにそれぞれ接着または取り付けることによって、バーコード109a、109b、115a、および115bでそれぞれ個別に、恒久的に、または取り外し可能にタグ付けされる。様々な実装形態におけるバーコード109a、109b、115a、および115bは、1Dバーコードまたは2Dバーコード、例えば、QR Code、Data Matrix、MaxicodeもしくはPDF417、または1Dバーコードと2Dバーコードとの組合せとすることができる。個々のバーコードは、一般に、各個人用防護具アイテムに一意であるように選択され、その結果、異なるクラスの個人用防護具(例えば、安全手袋、安全マスクのクラス)だけでなく、所与のクラスの個人用防護具(例えば、複数の安全手袋)内の個々の個人用防護具アイテムも、一意のバーコードを有することに留意されたい。したがって、バーコードの画像は、特定の個人用機器アイテム、例えば特定の安全ヘルメット、または例えば安全ベスト107aおよび安全ベスト107bなど特定の安全ベストを別々に識別することを可能にする個人用防護具アイテムのオブジェクト情報を表すと言うことができる。図1には、ほんの一例として、2Dバーコードが示されている。しかしながら、1Dバーコードは、2Dバーコードよりも画像歪みに対して感度が低くなり得るので、保護具の曲面もしくは湾曲面へのバーコードの物理的付着を伴う実装、またはより感度が低いもしくはより少ないセンサを伴う実装では、1Dバーコードが好ましい可能性がある。あるいは、より多くの情報をバーコードに含めることが望ましい実装では、2Dバーコードが好ましい可能性がある。さらに、画像データが記録される実装形態では、以下でさらに説明するように、2Dバーコードが、取得された画像データ中の任意の誤った情報を再構成するために使用され得るさらなる情報を含むという事実を考慮して、2Dバーコードのいくつかの誤った情報を有する取得された画像データを補正することがより容易になり得る。
引き続き図1を参照すると、システム100は、作業空間周辺部156によって画定される作業空間155内に設置され、作業空間155内で作業する作業者105aおよび105bは、作業空間155の適用可能な安全規則に従って、それぞれバーコード115aおよび115bを含むそれぞれの安全ヘルメット110aおよび110b、ならびにそれぞれバーコード109aおよび109bを含むそれぞれの安全ベスト107aおよび107bを着用する必要がある。バーコード109a、109b、115a、115bの一意性により、作業者105aと作業者105bとを区別することができることに留意されたい。いくつかの実装形態では、作業空間155は、恒久的な作業空間、例えば、倉庫、製造施設、または研究所などであり得る。他の実装形態では、作業空間155は、建設現場などの一時的な作業空間とすることができる。さらに他の実装形態では、作業空間155は、例えば、フォークリフト、丸鋸などの周りの空間など、個々の危険な機器の周りの比較的小さい空間であり得る。
システム100は、作業空間155に間隔を空けて設置された第1および第2の画像センサ120および125をそれぞれさらに含む。さらに、第1および第2の画像センサ120および125は、(図9A~図9Dを参照して以下に説明するように)、第1および第2の画角(画像センサ120a1を取り付けるために画像センサ120a1の角度を選択することができる可能な角度の範囲を示す図9Aの画像センサ120および125のそれぞれについての両頭矢印ar-aおよびar-b、ならびにar1およびar2を参照)から、作業空間155内のあるエリア159の画像を画像センサ120および125によってキャプチャすることができるように、角度が付けられている。さらに、第1および第2の画像センサ120および125は、作業空間155内のエリア159の時間的に連続する画像を連続的または定期的にキャプチャするように構成される。
いくつかの実装形態では、第1および第2の画像センサ120および125はカメラ、例えば、モーションブラー制御を可能にするために、少なくとも約1/60秒のシャッタ速度を有し、例えば、約3~5フレーム/秒のサンプリングレートで、例えば、約1920×1080ピクセルの解像度を有する画像ストリームを記録する能力、または、2つの画像ストリーム、例えば、約3~5フレーム/秒のサンプリングレートで、例えば、約1920×1080ピクセルの解像度を有する第1の画像ストリーム、および、例えば、12~24フレーム/秒のサンプリングレートで、例えば、約1,280×720ピクセルの解像度を有する第2の画像ストリームを記録する能力を有するカメラを含む、例えば、画像処理能力を伴うかまたは伴わない、インターネットプロトコル(IP)カメラであり得る。2つの画像ストリームを提供するカメラは、以下でさらに説明するように、第1の画像ストリームの画像処理分析、および第2の画像ストリームの記録を実行するために使用することができる。画像センサ120および125は、作業空間155内で起こり得る温度範囲、例えば、-30℃~+50℃内で動作可能であるようにさらに選択され得る。
様々な実装形態では、使用され得る画像センサは、例えば、デジタルカメラ(静止画または動画)、光検出および測距(LIDAR)ベースのセンサ、または飛行時間(ToF)ベースのセンサのうちの少なくとも1つをさらに含むことができる。ToFベースのセンサは、カメラと、画像内の各点について、3次元で撮像されるオブジェクトとの間の距離の空間分解能を可能にし、したがって、人型オブジェクトとそれらの影とを区別する能力を高めることができるので、第1または第2のセンサ画像センサ120および125の実装において有用であり得る。使用することができる画像センサは、例えば、限定はしないが、パッシブIR(PIR)センサ、ディープIRベースセンサ、またはToF IRベースのセンサを含む赤外線(IR)ベースセンサのうちの少なくとも1つをさらに含むことができる。この点において、ディープIRベースのセンサは、熱画像内の温度パターンの検出および評価に基づいて、熱画像内の人型オブジェクトの識別を可能にすることができるので、第1および第2のセンサ120および125の実装において有用であり得る。特に、ディープIRベースのセンサを使用して、周囲の環境または異なる温度を有するその中のオブジェクトから、約37℃の温度を表示する人型オブジェクトの画像を区別することができる。
引き続き図1を参照すると、コンピュータサーバによって実装される中央コントローラ145は、システム100全体の動作を制御し、例えば、ワイヤレスネットワークまたはローカルエリアネットワーク(LAN)などのネットワーク130に動作可能に結合される。中央コントローラ145はまた、ネットワーク130を介して、第1および第2の画像センサ120および125にそれぞれ動作可能に結合される。中央コントローラ145は、1つ以上のプロセッサまたは論理ハードウェアを有する中央処理ユニット(CPU)146と、メモリ構成要素と、入力デバイス140(すなわち、キーボードおよび/またはタッチセンシティブスクリーン)またはスキャナ(図示せず)などの周辺入力および出力デバイスへの通信結合を可能にする入力および出力ポートまたは通信バスとを含む。中央コントローラ145は、プリンタ150などの出力デバイスに出力データを提供するように、またはデータストア(図示せず)内のデータベースまたはファイルにアクセスして更新するようにさらに構成される。データストアは、中央コントローラ145の一部であってもよいし、別個のハードウェア要素であってもよい。
中央コントローラ145は、入力デバイス140を介してオペレータによって制御することができる。このようにして、中央コントローラ145は、限定はしないが、ユーザ関連情報、個人用防護具関連情報、作業現場関連情報、またはバーコード関連情報など、システム100に関連する情報を提供または追跡するように構成され得る。
いくつかの実装形態では、携帯電話135によって示されるシグナリング構成要素が、入力デバイスとして使用され得る。
本明細書の一態様によれば、入力データは、個人用防護具107a、107b、110a、および110bの所与のユーザについてのユーザ情報を含む。したがって、中央処理ユニット146は、例えば、作業者105aおよび105bの名前、電話番号、生年月日、および/またはユーザIDなどのユーザ情報を受信し、そのような情報をデータベースに記憶することができる。ユーザ情報をバーコードに含めることができる。したがって、例えば、バーコード109aおよび115aは、作業者105aのユーザIDを含むことができ、バーコード109bおよび115bは、作業者105bのユーザIDを含むことができる。データベースは、所与のユーザについて、ユーザの個人情報と、ユーザによって着用されたすべてのPPEに関連付けられたすべてのバーコードとが、データベース内ですべて互いにリンクされるように設計され、これらのバーコードのうちの1つを使用してデータベースが検索される場合、バーコードに関連付けられたPPEアイテムと同じ個人情報にリンクされたすべての他のバーコードとを使用する作業者の個人情報が、データベース内で識別され得るようになっている。データベースは、リレーショナルデータベースであってもよい。
さらに、本明細書の一態様によれば、入力データは、作業空間155に適用可能な安全規則を含むことができる。本明細書で使用される安全規則は、作業空間および/または個人用防護具に適用可能な安全関連パラメータを含む。例えば、安全規則は、安全規則時間および/または安全規則距離、ならびに安全規則行動を含むことができ、ユーザが、個人用防護具から、例えば、2メートルを超える(すなわち、安全規則距離)だけ、例えば、30秒を超える時間(すなわち、安全規則時間)の間離れた場合、システムは、例えば、信号を生成し、発するために、その安全規則に関連付けられた安全規則行動を実行するように定義することができる。実行可能な安全規則行動は、限定はしないが、警告行動(例えば、可聴信号、視覚的または触覚的警告の生成)、および操作行動(例えば、中央処理ユニット146との通信、電子メールの送信、またはデータのロギング)を含む。安全規則は、中央処理ユニット146によって両方ともアクセス可能なコントローラ145のメモリ、またはデータストアに安全規則データとして記憶することができる。したがって、中央処理ユニット146は、入力デバイス140を介して作業空間155に適用可能な安全規則を受信するように、またはメモリから安全規則データにアクセスするように構成される。例えば、中央処理ユニット146は、作業空間155において、作業空間155に存在する作業者が安全ヘルメットおよび安全ベストを着用する必要があるという安全規則を受信するように構成される。したがって、中央処理ユニット146は、作業者105aまたは105bが作業空間155に存在するときに、作業者105aが安全ベスト107a(バーコード109aを含む)および安全ヘルメット110a(バーコード115aを含む)を着用することを要求され、作業者105bが安全ベスト107b(バーコード109bを含む)および安全ヘルメット110b(バーコード115bを含む)を着用することを要求されるように、監視を実行するように構成される。
ここで再度、第1および第2の画像センサ120および125をそれぞれ参照すると、第1および第2の画像センサ120および125は、作業空間155内のエリア159の画像をキャプチャするために、間隔を空けて配置され、角度が付けられている。その結果、第1および第2の画像センサ120および125によってキャプチャされた画像は、少なくとも部分的に、作業空間155内のエリア159に対応する。しかしながら、角度が異なるために、第1および第2の画像センサ120および125によってキャプチャされた画像は、作業空間155のエリア159に存在する異なる要素を見せてもよく、または隠してもよいことに留意されたい。したがって、例えば、画像センサ125によってキャプチャされた画像は、作業者105aの他の部分が作業者105bの画像によって不明瞭にされる可能性があるので、作業者105aの一部しか示していない可能性がある。しかしながら、画像センサ120は、画像センサ125と比較してエリア159の視野が異なるので、作業者105aの異なる画像をキャプチャする。
次に図9A~図9Dを参照すると、作業空間155a(図9A)、155a1(図9B)、155a2(図9C)、および155a3(図9D)の概略上面図が示されており、各作業空間は、北(N)、南(S)、西(W)、および東(E)の壁を有するように画定されている。図9A~図9Dに示されている例示的な実装形態では、作業空間は壁によって画定されていることに留意されたい。他の実装形態では、そのような壁のうちの1つ以上が存在しないこともあり、壁の位置は、それを越えて作業空間の別の部分が位置し得る非物理的周辺または境界として考えることができる。画像センサ125a1は、西(W)壁に直進する画角158aで作業空間155a、155a1、155a2、および155a3の画像をキャプチャするために、東(E)壁に設置される。画像センサ120aは、北(N)壁に設置されるが、他の実装形態では、東(E)壁、西(W)壁、または南(S)壁(図示せず)に設置され得る。さらに、画像センサ120aは、矢印(ar1)、(ar2)によって示されるように、異なる実装形態において、角度(a)が変わるように選択され得るように設置される。角度(a)は、画像センサ125a1および120a3の画角を通って中心に延び、交差する軸によって形成されるので、画像センサ120a1および125a1の配置に基づく選択角度と呼ばれ得る。したがって、一例として、図9Bに示すように、画像センサ125a1および画像センサ120a2は、角度(a)が90度になるように選択されるように設置することができる。角度(a)は、ここではa1として示され、それぞれ画像センサ125a1および120a2の視野158aおよび157a2を通って中心に延び、関心事である軸b1およびc1によって形成される。したがって、別の例として、図9Cに示すように、画像センサ125a1および画像センサ120a3は、角度(a)が45度になるように選択されるように設置することができる。角度(a)は、ここではa2として示され、それぞれ画像センサ125a1および120a3の視野158aおよび157a3を通って中心に延び、交差する軸b2およびc2によって形成される。また、さらに別の例として、図9Dに示すように、画像センサ125a1および画像センサ120a4は、角度(a)が110度になるように選択されるように設置することができる。角度(a)は、ここではa3として示され、それぞれ画像センサ125a1および120a4の視野158aおよび157a4を通って中心に延び、交差する軸b3およびc3によって形成される。
再度図1を参照し、図9A~図9Dに示される一般原理をそれに適用すると、異なる実装形態では、画像センサ120および125は、それぞれ、画像センサ120および125の角度ar-aおよびar-bの範囲内で独立して選択される様々な角度で角度付けされるように設置され得ることが明らかであるが、それぞれの視野157および158の間の重複が、図9A~図9Dに示されるように作成されることが条件である。選択された角度は、第1の軸と第2の軸(図の混雑を避けるために図1には図示せず)との交差によって形成することができ、第1の軸は画像センサ120の視野157を通って中心に延び、第2の軸は画像センサ125の視野158を通って中心に延びる。好ましい実装形態では、角度は、15度~175度、および205~345度の範囲になるように選択され、角度が205~305度になるように選択されるとき、画像センサ120は、東(E)または南(S)壁(図示せず)に設置される。さらに好ましい実装形態では、角度は、30度~150度、および220~330度の範囲になるように選択され、角度が220~330度になるように選択されるとき、画像センサ120は、東(E)または南(S)壁(図示せず)に設置される。本発明者らは、これらの範囲内で選択された角度が、システム100の動作において特に有効であることを見出した。
一態様では、第1および第2の画像センサ120および125は、キャプチャされた画像を取得し、キャプチャされた画像に人型オブジェクト画像解析アルゴリズムを適用して、キャプチャされた画像の各々において任意の人型オブジェクトが存在するかどうかを検出することによって、およびキャプチャされた画像にバーコードオブジェクト画像解析アルゴリズムを適用して、キャプチャされた画像の各々において任意のバーコードオブジェクトが存在するかどうかを検出することによって、画像センサ120および125によってキャプチャされた画像を分析するように、中央処理ユニット146とともに構成される。本明細書で使用される「第1および第2の画像センサは、中央処理ユニットとともに構成される」という語句は、人型オブジェクト画像解析アルゴリズムおよびバーコードオブジェクト画像解析アルゴリズムを含むいくつかのアルゴリズムを集合的に実行することができる動作可能に結合されたハードウェアおよびソフトウェア構成要素を指すことが意図され、すなわち、アルゴリズムの一部分は、第1のセンサによって実行することができ、アルゴリズムの一部分は、第2のセンサによって実行することができ、アルゴリズムの一部分は、中央処理ユニットによって実行することができ、またはアルゴリズムの一部分は、画像センサ120および125のうちの1つのみと、中央処理ユニット146とによって実行することができ、またはアルゴリズムは、中央処理ユニット146のみによって実行することができることに留意されたい。したがって、画像センサ120および125ならびに中央処理ユニット146によって実装されるアルゴリズムの一部分は変わり得、ハードウェアおよびソフトウェア構成要素は、それらが一緒に、それら自体で、またはセンサおよび中央処理ユニットのうちの1つまたは2つのみを含むハードウェアの任意の組合せでアルゴリズムを実行することができるように、動作可能に結合される。いくつかの実装形態では、人型オブジェクトとバーコードオブジェクトの両方を検出することができるアルゴリズムが使用され得る。異なる実装形態では、システム100は、ハードウェアおよびソフトウェア構成要素の異なる部分が、中央処理ユニット146内、または第1および/または第2の画像センサ120および125内に物理的に配置されるように構成され得る。中央処理ユニット146と、第1および/または第2の画像センサ120および125との間のハードウェアおよびソフトウェア構成要素の相対的な分布は、必要に応じて、異なる実装を提供するために調整され得る。したがって、例えば、一実装形態では、所与の画像解析アルゴリズムの適用は、画像センサ120および125によるキャプチャされた画像の送信および中央処理ユニット146によるその受信に続いて、中央処理ユニット146によって実行され得る。別の実装形態では、所与の画像解析アルゴリズムの適用は、画像センサ120および/または125によって実行され得、その後の動作(以下で説明する)は、中央処理ユニット146によって実行され得る。
画像解析アルゴリズムの適用は、一般に、画像センサ120および125によってキャプチャされた作業空間155の画像内の、オブジェクト、特に、以下に説明するような人型オブジェクトまたはバーコードオブジェクトの1つ以上の画像の識別を伴う。一般に、これは、画像内の1つ以上の人型オブジェクトを識別するために、人型特徴、例えば、人体形状、またはその一部、例えば、顔もしくは手の特徴を有するテンプレートを使用して、またはバーコードオブジェクトの場合には、バーコード特徴の特徴を有するテンプレートを使用して、設計および訓練される、教師あり学習アルゴリズムなどのオブジェクト画像解析アルゴリズムによって達成され得る。本明細書で使用され得るオブジェクト画像解析アルゴリズムは、例えば、形状特徴(例えば、HOG(Histogram of Oriented Gradients)に基づくもの(Dalal N. and B. Triggs. International Conference on Computer Vision & Pattern Recognition (CVPR ’05), June 2005, San Diego, United States. pp. 886-893)))やスケール不変特徴変換 (SIFT) (D. G. Lowe., 1999, In: Computer vision, The proceedings of the seventh IEEE international conference on, volume 2, pp. 1150-1157))、外観特徴(例えば、Haar特徴(Papageorgiou, C.P. et al. In Computer vision, 1998, sixth international conference on, pp. 555-562. IEEE, 1998))、または動き特徴(例えば、Histogram of Flow(HOF)に基づくもの(Dalal, N. et al., 2006, Human Detection Using Oriented Histograms of Flow and Appearance. In: Leonardis A., Bischof H., Pinz A. (eds) Computer Vision - ECCV 2006. ECCV 2006. Lecture Notes in Computer Science, vol 3952. Springer, Berlin, Heidelberg))、またはこれらの特徴の組合せなど、入力画像からの特徴のセットの初期抽出に基づき得る。次いで、分類器(例えば、Viola, P. and M. Jones, 2001, Second International Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing and Sampling; Lienhart, R. and J. Maydt, Image Processing, 2002, Proceedings, International Conference on v. 1, pp. I-900 - I-903)またはロ-カイザ-(例えば、Blaschko, M. B. and C. H. Lampert, 2008, In: Computer Vision-ECCV, 2-15, Springer)は、典型的には、画像または画像の領域に対してこれらの分類器またはロ-カライザを実行することによって、オブジェクトを識別するために使用される。人型オブジェクトを識別するための人型オブジェクト画像解析アルゴリズムに関する例およびさらなるガイダンスは、例えば、Gavrila, D. M., 1999, Computer Vision and Image Understanding, 82-98; Wang, L. et al., 2003, Pattern Recognition, 36 285-601、米国特許第9,256,781号、第8,938,124号、および第7,324,693号に見いだすことができる。
次に図3を参照すると、いくつかの実装形態では、システム300は、計算ニュ-ラルネットワ-ク320、すなわち、1つ以上の関数またはその近似を1つ以上の入力に適用することによって計算を実行する計算モデルを含むように実装され得る。計算ニュ-ラルネットワ-ク320は、(以下に説明するように)作業空間155のキャプチャされた画像内の人型オブジェクトおよびバ-コ-ドオブジェクトを正確に識別するシステム300の能力を改良するために、第1または第2の画像センサ(120、125)によって、または記録された画像デ-タ(以下に説明する)を含むデ-タベ-スによって提供されるキャプチャされた画像から取得される入力デ-タを分類するように設計され得る。この意味で、計算ニュ-ラルネットワ-ク320は、人型オブジェクトとバ-コ-ドオブジェクトの両方を検出することができる画像解析アルゴリズムとして機能する。したがって、第1または第2の画像センサ(120、125)からの画像を使用して、計算ニュ-ラルネットワ-ク320は、例えば、取得された画像内の人型オブジェクト(105a、105b)の適切な識別/検出における改良を開発し、例えば、身体姿勢の変動、体格の変動、他の身体部分による、または非人型オブジェクトによる、または他の人型オブジェクトの身体部分による身体部分の閉塞などの複雑さに対処するように構成され得る。さらに、第1または第2の画像センサ(120、125)からの画像を使用して、計算ニュ-ラルネットワ-ク320は、例えば、バ-コ-ド(115a、115b)の識別における改良を開発し、例えば、バ-コ-ドが様々な角度のついた視点から記録されることに起因する画像歪み、例えば、物体もしくは身体部分によるバ-コ-ドの部分的閉塞、またはバ-コ-ドの湾曲もしくは反りなどの複雑さに対処するように構成することができる。これらの改良の一方または両方は、ニュ-ラルネットワ-ク320を定期的または連続的に訓練して、その性能を改善し、キャプチャされた画像中の人型オブジェクトの誤った検出および対応するバ-コ-ドの検出におけるエラ-の発生を低減することによって実施され得る。
一般に、計算ニュ-ラルネットワ-ク320は、入力に割り当てられた重みに基づいて出力を計算するように構成された複数のニュ-ロンまたはノ-ドを含むように構成することができ、例えば、入力層、出力層、および少なくとも1つの隠れ層などの層に配置することができる。計算ネットワ-ク320への入力デ-タは、第1もしくは第2のセンサ(120、125)によって、または記録デバイス170によって記録され、記録された画像としてデ-タストアに記憶された画像デ-タを含むデ-タベ-スによって提供され得る。計算ネットワ-ク320の出力は、中央コントロ-ラ145に提供することができる。計算ネットワ-ク320の少なくとも1つの隠れ層は、例えば、一連の画像内の人型オブジェクトを正確に分類するために、画像内の新規の識別された推定人型姿勢を一連の人型オブジェクトの画像と比較する、分類機能を実行するように動作することができる。したがって、出力は、画像デ-タ内の任意の検出された人型オブジェクトおよび/またはバ-コ-ドオブジェクトを含み得る。これらのオブジェクトは、計算ネットワ-ク320によって処理される画像内の座標で表され、画像内のこれらのオブジェクトの境界を表すことができる。使用され得る好適なニュ-ラルネットワ-クの例には、You Only Look Once (YOLO) (Redmon, J. et al., 2016, Proceeding of the IEEE Conference on Computer Vision and Pattern recognition, pp. 779-788), and neural networks based on Region-based Convolutional Neural Networks (R-CNN) (Girshick R. et al., 2014, IEEE Conference on Computer Vision and Pattern recognition, pp. 580-587), faster R-CNN (Ren, S. et al., 2017, IEEE Transactions on Pattern Analysis and Machine Intelligence 39 (6), pp. 1137-1349 (code at: https://github.com/ShaoqingRen/faster_rcnn; and https://github.com/rbgirshick/py-faster-rcnn), or Mask R-CNN (He K. et al. 2017 IEEE Conference on Computer Vision and Pattern recognition, pp. 2980-2988 (code at: https://github.com/facebookresearch/detectron2)がある。
次に図6Aおよび図6Bを参照すると、作業空間655の例示的な画像601が示されている。画像601は、例えば、イメ-ジセンサ120によってキャプチャされた画像である。画像601内で見えるのは、人型オブジェクト105b-i(実際の作業者に対応する、例えば、図1の作業者105aを参照)、安全ヘルメットオブジェクト110b-i(実際の安全ヘルメットに対応する、例えば、図1の安全ヘルメット110を参照)、およびバ-コ-ドオブジェクト115b-i(実際のバ-コ-ドに対応する、例えば、図1のバ-コ-ド115を参照)である。図6Aでは、様々な非人型オブジェクト610-i、615-i、633-i、および620-i(様々な実際の非人型オブジェクトに対応する、例えば、図1の手押し車133を参照)がさらに見られる。この例では、第1の画像センサ120は、中央処理ユニット146とともに、上述したように、作業空間655の画像601内の人型オブジェクト105b-iを識別し、同時に、非人形態オブジェクト610-i、615-i、620-i、および633-iを人型オブジェクトとして識別しないことを可能にする画像601の人型オブジェクト画像解析アルゴリズムを実行するように構成される。
一態様では、第1および第2の画像センサ120および125は、中央処理ユニット146とともに、第1の複数の画像から第2の複数の画像を選択するように構成され、第2の複数の画像を構成する画像の各々は、少なくとも1つの検出された人型オブジェクトを含む。したがって、第1および第2の画像センサ120および125は、中央処理ユニット146とともに、単一のセンサ、例えば画像センサ120によってキャプチャされた例示的な画像601などの両方の画像センサ(120、125)によってキャプチャされた第1の複数のキャプチャ画像を使用して、人型オブジェクト画像解析アルゴリズムを実行するように構成される。これらの画像には、1つ以上の人型オブジェクトを含むものと、含まないものとあり得る。例えば、特定の時点で画像がキャプチャされ、視野157内に作業者が存在しない場合、人型オブジェクトは検出されない。第1および第2の画像センサ120および125は、中央処理ユニット146とともに、第1の複数の画像から第2の複数の画像を選択するように構成され、第2の複数の画像は、少なくとも1つの検出された人型オブジェクトを有する。
別の態様では、第1および第2の画像センサ120および125は、中央処理ユニット146とともに、第2の複数の画像内の画像に、複数のバ-コ-ドオブジェクトを検出するためのバ-コ-ド画像解析アルゴリズムまたは計算ニュ-ラルネットワ-ク320であり得るオブジェクト画像解析アルゴリズム、すなわちバ-コ-ドオブジェクト画像解析アルゴリズムを適用することによって、第2の複数の画像を分析するように構成される。一般に、これは、バ-コ-ドの特性を有するテンプレ-ト、またはその一部を使用して設計および訓練された教師あり学習アルゴリズムなどのオブジェクト検出画像アルゴリズムによって達成することができる。したがって、例えば、第1の画像センサ120は、中央処理ユニット146とともに、作業空間655の画像601内のバ-コ-ドオブジェクト115b-iの識別を可能にする画像分析を画像601に対して実行するように構成される。この点について使用され得るアルゴリズムおよびソフトウェアには、例えば、Zbar(http://zbar.sourceforge.net/)、ZXing(https://github.com/zxing/zxing)、Quirc(https://github.com/dlbeer/quirc)、およびBoofCV(https://boofcv.org/index.php?title=Performance:QrCode)がある。
一般に、画像601に示されるような、バ-コ-ドを識別すること、さらには、画像全体内で、バ-コ-ドが画像全体の比較的小さい部分を表す、特定の一意のバ-コ-ドを識別することは、画像分析のための既知のアルゴリズムを使用して困難であり得、その結果、他のオブジェクトがバ-コ-ドとして誤識別される、画像内に存在するにもかかわらずバ-コ-ドが識別されない、または識別されたバ-コ-ドを既知の発行済みバ-コ-ドにリンクすることができないなど、様々な画像分析エラ-をもたらし得ることに留意されたい。しかしながら、画像625に示されるように、画像625を生成するために、例えば、初期画像601を切り取るか、または画像601の一部を拡大することによって、画像内のバ-コ-ドの相対的なサイズを増加させることによって、この誤り率は、著しく低減され得る。
したがって、いくつかの実装形態では、第1および第2の画像センサ120および125は、中央処理ユニット146とともに、バ-コ-ドオブジェクトを検出するために、画像の選択された領域、特に、検出された人型オブジェクトの近傍で選択された領域に対してバ-コ-ドオブジェクト画像解析アルゴリズムを実行するように構成され得る。したがって、図6Bを参照すると、画像601の一部分を表す例示的な画像領域625が示されている。画像領域625は、2Dバ-コ-ドオブジェクト画像解析アルゴリズムの適用のために選択される。これは、例えば、米国特許第9,256,781号、第8,938,124号、および第7,324,693号に記載されているようなフレ-ミングまたはバウンディングアルゴリズムを、検出された人型オブジェクトに適用することによって達成され得る。フレ-ミングまたはバウンディングアルゴリズムは、境界領域が人型オブジェクトを含むように、画像の領域内に画像境界を作成することが可能である。したがって、例えば、人型オブジェクトと画像境界との間に接触がないように、画像領域内に、単一の人型オブジェクト全体を包含するように画像境界を作成することができる。画像境界は、例えば、人型オブジェクトに対応する実際の作業者から約0.5メ-トル~約3メ-トル離れた距離に対応し得る。一実装形態では、画像境界は、画像領域内の人型オブジェクトから約1メ-トル~約2メ-トル離れた距離に対応し得る。対照的に、画像領域635、645、および655は検出された人型オブジェクトを含むものとして分類されないので、非人型オブジェクト610i、615i、および620iの画像をそれぞれ含む画像領域635、645、および655は、フレ-ミングアルゴリズムへの適用およびバ-コ-ド画像解析アルゴリズムのその後の適用のために選択されない。画像領域625内で、人型オブジェクト105b-iが検出される(実際の作業者に対応する、例えば、図1の作業者105aを参照)。人型オブジェクト105b-iの検出後、第1および第2の画像センサ120および125は、中央処理ユニット146とともに、次いで、画像領域625内のバ-コ-ドオブジェクト115b-iの識別を可能にする画像領域625のバ-コ-ドオブジェクト画像解析アルゴリズムを実行するように構成される。
さらに、バ-コ-ドオブジェクト画像の識別時に、バ-コ-ド読み取りアルゴリズムがバ-コ-ドオブジェクト画像に適用されてもよく、バ-コ-ドは、以下に説明するように読み取られる。
したがって、少なくとも1つの実装形態では、フレ-ミングアルゴリズムの適用は、図6B、図7A~図7F、および図8A~図8Fに示されるように、フレ-ミングされる画像領域をもたらし、フレ-ミングされた画像領域は、単一の人型オブジェクト全体をその中に包含するのに十分に大きく、フレ-ミングされた画像領域の画像境界は、人型オブジェクトと画像境界との間に接触がないように形成される。
少なくとも1つの実装形態では、画像境界は、実際の作業者105aまたは105bに対応する人型オブジェクト105a-i、105b-iから約0.5メ-トル~約3メ-トル、または約1メ-トル~約2メ-トル離れた距離に対応することができる。
次に、図7A~図7Fおよび図8A~図8Fを参照すると、図7A~図7には、人型オブジェクト105b-iの時間的に連続する一連の画像領域の例示的な図であり、図8A~図8Fには、人型オブジェクト105a-iの時間的に連続する一連の画像領域の例示的な図である。連続する画像領域は、人型オブジェクト105a-iおよび105b-iが、それぞれ、線840-iおよび740-iに沿って順方向に移動する過程にある間に決定される。例えば、図7Aは、図7Cに示される人型オブジェクト105b-iの後に決定された画像領域よりも時間的に早く決定された人型オブジェクト105b-iを含む画像領域を表す。人型オブジェクト105b-iは、第1の画像センサ120によってキャプチャされた人型オブジェクトを含む複数の画像(図示せず)の画像領域720a、720b、および720c内、ならびに第2の画像センサ125によってキャプチャされた人型オブジェクトを含む複数の画像(図示せず)の画像領域725a、725b、および725c内に含まれる。同様に、図8A~図8Fを参照すると、人型オブジェクト105a-iは、第1のセンサ120によってキャプチャされた人型オブジェクトを含む複数の画像(図示せず)の画像領域820a、820b、および820c内、ならびに第2のセンサ125によってキャプチャされた人型オブジェクトを含む複数の画像(図示せず)の画像領域825a、825b、および825c内に含まれる。
画像センサ120および125は、バ-コ-ドおよび/またはPPEが画像センサ120および125のうちの少なくとも1つから画像にキャプチャされるように、各画像センサ120および125が互いに異なる角度から画像をキャプチャすることができるように設置される。この点で、画像領域725a、725b、および725cは各々、センサ125によってキャプチャされるように、安全ヘルメット110b-i上にバ-コ-ド115b-iを含むことに留意されたい。しかしながら、同じバ-コ-ド115b-iは、画角が異なるため、センサ120によってキャプチャされない。しかしながら、バ-コ-ド115a-iは、安全ヘルメット110a-iが戸棚860-i内に配置されているので、画像領域825a、825b、および825cにはキャプチャされない。安全ヘルメット110a-iは、戸棚860-i内に配置されているので、同じ理由で、同じバ-コ-ド115a-iもセンサ120によってキャプチャされない。
画像領域720a、720b、および720c、ならびに820a、820b、および820cは各々、画像センサ120によってキャプチャされた安全ベスト107a-iおよび107b-i上に、それぞれバ-コ-ド109a-iおよび109b-iを含むことにさらに留意されたい。しかしながら、同じバ-コ-ド835a-iおよび735b-iは、センサ角度が異なるために、画像センサ125によってキャプチャされない。
システム100は、さらに、最初に図7A~図7Fを参照し、その後図8A~図8Fを参照してさらに説明するように、確率的アルゴリズムを使用することによって、作業者105bが安全ヘルメット110bおよび安全ベスト107bを着用しているかどうか、ならびに作業者105aが安全ヘルメット110aおよび安全ベスト107aを着用しているかどうかを確率的に決定するように構成されている。
したがって、再び図7A~図7Fを参照すると、画像領域720a、720b、および720cは、画像センサ120によってキャプチャされた画像からの画像領域である。画像領域725a、725b、および725cは、画像センサ125によってキャプチャされた画像からの画像領域である。画像領域720a、720b、720c、725a、725b、および725cの各々において、人型オブジェクト105b-iは、人型オブジェクトを検出するように適合された画像解析アルゴリズム(すなわち、人型オブジェクト画像解析アルゴリズムまたは人型オブジェクトを分類することが可能な計算ニュ-ラルネットワ-ク)を使用して検出される。さらに、画像領域725a、725b、および725cの各々において、バ-コ-ドオブジェクト115b-iは、バ-コ-ドオブジェクトを検出するように適合された画像解析アルゴリズム(すなわち、バ-コ-ドオブジェクト画像解析アルゴリズムまたはバ-コ-ドオブジェクトを分類することが可能な計算ニュ-ラルネットワ-ク)を使用して検出される。中央処理ユニット146は、第1および第2の画像センサ120および125とともに、画像領域のうちの1つ(例えば、画像領域725a内)において、バ-コ-ドオブジェクト、例えば、バ-コ-ドオブジェクト115b-iを検出すると、バ-コ-ドオブジェクトに対応するバ-コ-ドがバ-コ-ド読み取りアルゴリズムを使用して読み取られ、対応するバ-コ-ド115bが割り当てられた作業者、すなわち作業者105bが識別されるように構成される。この点で使用され得るバ-コ-ド読み取りアルゴリズムおよびソフトウェアは、例えば、以下を含む。Zbar(http://zbar.sourceforge.net/)、ZXing(https://github.com/zxing/zxing)、Quirc(https://github.com/dlbeer/quirc)、およびBoofCV(https://boofcv.org/index.php?title=Performance:QrCode)。
この識別は、システム100が、各作業者の個人情報が、各作業者によって使用されるPPEに関連するすべてのバ-コ-ドと相互参照される(すなわち、リンクされる)デ-タベ-スを含むので、バ-コ-ドを使用してデ-タベ-スが検索される場合、本明細書で前に説明されたように、バ-コ-ドに対応する個人情報が識別され得るように、自動的に行われ得る。
さらに、中央処理ユニット146は、第1および第2の画像センサ120および125とともに、安全ベスト107bに関連付けられたバ-コ-ド109bを含む、作業者105bに割り当てられた他のバ-コ-ドを配置することができるように構成される。この識別は、システム100が、各作業者の個人情報および各作業者の個人情報に関連するすべてのバ-コ-ドを記憶するデ-タベ-スを含むので、バ-コ-ド(検索されたバ-コ-ドとしても知られている)を使用してデ-タベ-スが検索された場合、検索されたバ-コ-ドに対応する個人情報および同じ個人情報に関連付けられた他のすべてのバ-コ-ドをデ-タベ-ス内で識別することができるように、自動的に行うことができる。中央処理ユニット146は、第1および第2の画像センサ120および125とともに、識別されたバ-コ-ドオブジェクト115bおよび109bに対応する追加のバ-コ-ドオブジェクト115b-iおよび109b-iの存在について画像領域720a、720b、720c、725a、725b、および725cの各々を評価し、画像領域720a、720b、720c、725a、725b、および725c内の追加のバ-コ-ドオブジェクト115b-iおよび109b-iに対応するバ-コ-ド115bおよび109bの各々の普及率に基づいて確率アルゴリズムを適用するようにさらに構成される。確率アルゴリズムは、さらに、異なる実装形態において変わり得る所定の確率閾値を使用して、バ-コ-ドオブジェクト115b-iおよび109b-iに対応するバ-コ-ド115bおよび109bの各々が、画像領域720a~720cおよび725a~725cにおいて実際に正確に検出されたかどうかを決定する。したがって、例えば、普及率(全画像領域におけるバ-コ-ドごとのバ-コ-ドオブジェクトの数の割合)が少なくとも33%以上となるように、所定の確率閾値を設定してもよい。したがって、作業者105bに割り当てられたバ-コ-ドの各々は、検出されたバ-コ-ドが誤検出ではないことを保証し、異なる角度からキャプチャされた画像がすべての画像領域にこれらのバ-コ-ドを含んでいない可能性を考慮し、画像領域720a、720b、720c、725a、725b、および725cの少なくとも33%において識別されなければならない。例えば、検索されたバ-コ-ド115bに対応するバ-コ-ドオブジェクト115b-iは、6つの画像領域のうちの3つ、すなわち、画像領域725a、725b、および725cに存在する。別の例として、検索されたバ-コ-ド109bに対応するバ-コ-ドオブジェクト109b-iは、6つの画像領域のうちの3つ、すなわち、画像領域720a、720b、および720cに存在する。したがって、確率値は50%であり、これは、33%の所定の確率閾値よりも高い。したがって、中央処理ユニット146は、第1および第2の画像センサ120および125とともに、バ-コ-ドオブジェクト109bおよび115bの各々が、あらかじめ定義された確率閾値よりも大きい、作業者105bに対応する人型オブジェクトを有する画像の割合であると決定されたので、作業者105bが安全ベスト107bおよび安全ヘルメット110bを着用している可能性が高いと決定するように構成される。
したがって、例えば、再び図8A~図8Fを参照すると、画像領域820a、820b、および820cは、画像センサ120によって検出された画像からの画像領域であり、画像領域825a、825、および825cは、画像センサ125によって検出された画像からの画像領域である。画像領域820a、820b、820c、825a、825b、および825cの各々において、人型オブジェクト105a-iが検出される。さらに、画像領域820a、820b、820c、825a、825b、および825cのいずれにおいても、安全ヘルメット110a-iが(非人型)画像オブジェクト860-iに対応する戸棚内に配置されているので、バ-コ-ドオブジェクト115a-iは検出されない。中央処理ユニット146は、第1および第2の画像センサ120および125とともに、画像領域のうちの1つ(例えば、画像領域820a内)のみにおいて、バ-コ-ドオブジェクト、例えば、バ-コ-ドオブジェクト109-iを検出すると、バ-コ-ドオブジェクト109-iに対応するバ-コ-ドが読み取られ、対応するバ-コ-ド109bが割り当てられた作業者、すなわち、作業者105aが、デ-タベ-スにおいて作業者の個人情報をバ-コ-ド109bと相互参照することによって識別されるように構成される。さらに、中央処理ユニット146は、第1および第2の画像センサ120および125とともに、作業者105aに割り当てられた追加のバ-コ-ドがデ-タベ-ス内で検索されるように構成され、この例では、安全ヘルメット110aに関連付けられたバ-コ-ド115aを含む。この識別は、システム100が、所与の作業者の個人情報と、その作業者によって着用されたPPEに関連付けられたすべてのバ-コ-ドとがデ-タベ-ス内で相互参照されるデ-タベ-スを含むので、デ-タベ-スが単一のバ-コ-ドを使用して検索される場合、そのバ-コ-ドに対応する個人情報と同じ個人情報を有する追加のバ-コ-ドとをデ-タベ-ス内で識別することができるように、自動的に行うことができる。中央処理ユニット146は、第1および第2の画像センサ120および125とともに、識別された追加のバ-コ-ド115aおよび109aに対応するバ-コ-ドオブジェクト115a-iおよび109a-iの存在について画像領域820a、820b、820c、825a、825b、および825cの各々を評価し、画像領域820a、820b、820c、825a、825b、および825cにおいて検出されるバ-コ-ドオブジェクト115a-iおよび109a-iに対応するバ-コ-ドオブジェクト115aおよび109aの普及率に基づいて確率アルゴリズムを適用するようにさらに構成される。確率アルゴリズムは、さらに、所定の確率閾値を含み、これは、異なる実装形態で変わり得る。したがって、例えば、普及率(全画像領域におけるバ-コ-ドごとのバ-コ-ドオブジェクトの数の割合)が少なくとも33%以上として、所定の確率閾値を設定してもよい。したがって、作業者105aに割り当てられたバ-コ-ドの各々は、画像領域820a、820b、820c、825a、825b、および825cの少なくとも33%において識別されなければならない。検索されたバ-コ-ド109bに対応するバ-コ-ドオブジェクト109a-iは、6つの画像領域のうちの3つの画像領域、すなわち、画像領域820a、820b、および820cに存在する。しかしながら、検索されたバ-コ-ド115aに対応するバ-コ-ドオブジェクト115a-iは、6つの画像領域820a、820b、820c、825a、825b、および825cのいずれにも存在しない。したがって、決定された確率値は、安全ベスト107aに関連付けられたバ-コ-ドオブジェクト109a-iに対して50%であり、決定された確率値は、所定の確率閾値よりも高い。したがって、確率値は、安全ヘルメット110aに関連付けられたバ-コ-ドオブジェクト115a-iに対して0%であり、決定された確率値は、所定の確率閾値よりも低い。したがって、中央処理ユニット146は、第1および第2の画像センサ120および125とともに、作業者105aが安全ベスト107aを着用している可能性が高く、作業者105aが安全ヘルメット110aを着用していない可能性が高いと決定するように構成される。
前述は、2つの異なるバ-コ-ドを検出するための6つの画像領域の画像分析に基づく例を表す。画像領域の数は、作業空間内で作業者が着用すべきPPEアイテムの数に依存するので、バ-コ-ドの数と同様に変わり得ることは明らかであろう。一般に、分析される画像領域の数が多いほど、特に、画像内の1つ以上のオブジェクトの位置に変化があるとき、結果はより正確になる。同時に、より多数の画像領域の分析は、中央コントロ-ラ145および/または画像センサ120および125内により多くの計算能力を必要とする。分析することができる画像領域の数は変わり得る。いくつかの実装形態では、画像領域の数は、各画像センサ120および125によってキャプチャされた少なくとも10個の画像からであるようにあらかじめ定義され得る。さらに、画像がキャプチャされる時間期間は、システム100に含まれ得るタイマ(図示せず)によって制御されるように、例えば、約5秒~約60秒の範囲であり得る。したがって、ユ-ザと個人用防護具アイテムとの間のある時間量(例えば、10秒)の間の分離、および/または比較的短い距離(例えば、1m)にわたるユ-ザと個人用防護具との間の物理的分離が検出され得る。例えば、図8A~図8Fに示される画像が8秒間の時間期間に対応する場合、図8A~図8Bに示される画像のキャプチャの1秒前に作業者105aによって安全ヘルメット110aが戸棚内に置かれ(860-iに対応)、次いで、図8F~図8Gに示される画像がキャプチャされた1秒後に被り直されたとしても、システム100によって分離が検出される。同様に、図8A~図8Fの画像領域が、画像領域内の検出された人型オブジェクトから約0.5メ-トル離れた距離に対応し、安全ヘルメット110aが画像領域外(戸棚内ではなく)に作業者105aから1メ-トル離れて配置された場合、分離がシステム100によって検出される。
中央処理ユニット146は、所与の個人用防護具アイテムについての検出されたバ-コ-ドオブジェクトの計算された確率値が、作業者が所与の個人用防護具アイテムを有していないことを意味する、所定の確率閾値よりも低いときに関連付けられた安全行動を実行するようにさらに構成される。したがって、例えば、中央制御ユニット146は、警告信号を発することによって、携帯電話135によって示されるシグナリング構成要素を起動することができる。他の実装形態では、シグナリング構成要素は、例えば、タブレットコンピュ-タなどの警告信号を発することが可能な別の電子デバイスであり得る。警告信号の物理的形態は、様々であり得、例えば、限定はしないが、光信号、音信号、もしくは振動信号、またはそれらの組合せ、あるいは任意の他の検出可能な警告信号であり得る。いくつかの実装形態では、作業者が所与の個人用防護アイテムを身につけていない時間量が長いほど、異なる強度の警告信号(すなわち、より大きい音信号またはより強い振動信号)が発せられ得る。この時間量は、作業者が所与の個人用防護具なしであることを確率的に決定するために、画像がキャプチャされ分析される時間間隔に基づいて決定することができる。一般に、システムは、計算された確率値に基づいて、作業空間に適用可能な安全規則に従って、作業者が所与の個人用防護具アイテムを着用していない可能性が高いとき、中央コントロ-ラ145が安全行動をとることができるように構成され得る。
さらに、いくつかの実装形態では、出力デ-タは、安全行動の実行の一部として出力デバイスに提供される。したがって、出力デ-タは、安全報告、インシデント報告、アクシデント報告などの形態で提供され得る。出力デ-タおよびデ-タベ-ス(図示せず)は、個人用防護具に関する情報、例えば、最初および最後の使用時間および/または日付、個人用防護具の個々のユ-ザに関する情報、例えば、ユ-ザの身元および/またはユ-ザの所在地、作業現場に関する情報、個人用防護具とともに使用されるバ-コ-ドに関する情報、遵守観察、遵守履歴、安全違反および講じられた安全措置を含むことができ、出力デ-タは、例えば、印刷された報告、写真形式(例えば、JPEG、PNG、GIF)、またはビデオ形式(例えば、MPEG、AVI、MP4)を含む様々な形式で提供することができる。出力デ-タは、例えば、個人用防護具を使用する作業者の安全挙動を改善するための戦略を開発するため、危険な作業環境における作業者に対するインシデントもしくはアクシデントもしくは負傷を防止もしくは制限するため、またはインシデントもしくはアクシデントの調査を支援するためなど、広範な目的のために使用することができる。
再び図3を参照すると、いくつかの実装形態では、本開示によるシステムは、補助デ-タ処理ユニットを含むことができる。したがって、システム300は、第1および第2の画像センサ120および125から、補助デ-タがメタデ-タを含むアルゴリズム画像分析を支援することができる補助デ-タを取得するように構成された補助処理ユニット180を含む。メタデ-タは、例えば、センサ関連情報、例えば、センサ識別子(例えば、センサ125またはセンサ120に関連付けられた一意の識別子)、センサ測位情報、例えば、画像センサ120および125の位置および/または相対角度、ならびに画像がキャプチャされた時間などのタイムコ-ド情報、ならびに他のメタデ-タを含むことができる。そのようなメタデ-タは、処理のために、または人間による画像のレビュ-のために有用であり得る。中央コントロ-ラ145は、ネットワ-ク130を介して、補助処理ユニット180から補助デ-タを取得するように構成される。
いくつかの実装形態では、追加のセンサが含まれ得ることに留意されたい。したがって、例えば、所与の作業空間において、人型オブジェクトおよびバ-コ-ドオブジェクトを連続的または定期的に検出するように構成された2、3、4、5、6、7、8、9、10個またはそれ以上のセンサ。特に、より大きい作業空間またはより混雑した作業空間では、さらに多くのセンサを設置することができる。最も好ましくは、作業空間全体を実質的に監視するのに十分な数のセンサが設置される。
いくつかの実装形態では、システム100は、画像デ-タを記録するための、例えば、ネットワ-クビデオレコ-ダ(NVR)またはデジタルビデオレコ-ダ(DVR)などの記録デバイス170をさらに含むことができ、記録デバイス170は、デ-タ記憶デバイスに結合される。デ-タ記憶デバイスは、中央コントロ-ラ145に含まれてもよく、または、例えば記録デバイス170に含まれる別個のデ-タ記憶デバイスであってもよい。いくつかの実装形態では、画像デ-タは、記憶空間の使用を制限するために、例えばJoint Photographics Expert Group(JPEG)形式で、画像センサ120および125によって最初にキャプチャされた画像と比較して、より低い解像度の画像に記憶され得ることに留意されたい。この点で、中央処理ユニット146は、センサ120および125によってキャプチャされた画像を、画像が記録デバイス170によって記録される前に、JPEG形式などの低解像度形式に変換するように構成され得る。記憶された画像デ-タは、以下でさらに説明されるように、例えば、システム100の性能を評価、補正、調整、確認、または改善するための人間の評価のため、または計算ニュ-ラルネットワ-クによる分析のためを含む、中央コントロ-ラ145を介した分析のために利用可能にされ得る。
次に、図4、図5A、および図5Bを参照すると、いくつかの実装形態では、システム400は、電子アクセス制御システム、すなわち、例えば、作業者(105a、105b)による作業空間155へのアクセスを制御することができるシステムを含むように構成され得る。したがって、電子アクセス制御システム410は、作業空間155を画定し、作業空間155を外部520から分離する囲み周辺部456に位置することができる。囲み周辺部456は、例えば、一般的に作業空間155への作業者による侵入を防止するフェンス、壁、または他の障壁であり得る。この例では、電子アクセス制御システム410は、入口530を介して作業空間155へのある条件下で作業者へのアクセスを提供する開閉式ゲ-ト515と、カメラ550を含むゲ-ト制御システム525とを含む。
例えば、図5A~図5Bに示す実装形態では、作業空間155への作業者のアクセスは、2つのキ-、すなわち、第1のバ-コ-ドキ-、および第2の生体キ-によって制御される。
図5A~図5Bをさらに参照すると、ゲ-ト制御システム525は、ネットワ-ク130を介して中央制御ユニット145に結合される。ゲ-ト制御システム525は、ゲ-トロック565にさらに結合され、その動作を制御し、中央コントロ-ラ145と通信するためのプロセッサ(図示せず)を含む。作業者がゲ-ト515を開き、入口530を通って入るために、第1の認証ステップにおいて、作業者は、最初に、カメラ550のレンズにバ-コ-ド、例えば2Dバ-コ-ドを提示する。このバ-コ-ドは、セキュリティまたは識別バ-コ-ドと呼ばれることもある。バ-コ-ドは、任意の形態で、例えば、カ-ド、IDタグ、またはスクリ-ン、例えば、電話スクリ-ン上に印刷されたバ-コ-ドの形態で提示され得る。ゲ-ト制御システム525は、バ-コ-ドが提示されると、中央制御ユニット145と通信して、提示されたバ-コ-ドと一致する、例えば、顔認識生体デ-タなどの以前に記憶された生体デ-タを取り出すように構成される。第2の認証ステップでは、次いで、ゲ-ト制御システム525は、カメラ550を介してキャプチャされた作業者の生体デ-タを記録し、作業者が(マ-クされ得る)エリア520b内のゲ-ト515の前に位置すると、中央制御ユニット145と通信し、中央制御ユニット145は、次に、記録された生体デ-タを記憶された生体デ-タと照合しようと試みる。記憶された生体デ-タと記録された生体デ-タとが一致すると、ゲ-トロック565が解除され、作業者はゲ-ト515を通過し、入口530を介して作業空間155にアクセスすることができる。逆に、記憶された生体デ-タと記録された生体デ-タとが一致しない場合、ゲ-トロック565はロックされたままであり、作業空間155へのアクセスは拒否される。したがって、ゲ-ト515の開放は、作業者が開放可能なゲ-ト515を通過するために、バ-コ-ドの提示および生体デ-タの照合を必要とすることが明らかであろう。
ゲ-ト制御システム525は、カメラ550を介した生体デ-タの記録を容易にするための光545をさらに含む。例えば、カメラ550がバ-コ-ドの画像を取得し、作業者から生体デ-タを取得することをより容易にするために、所望のレベルの照明を提供するように、光545を制御することができる。
ゲ-ト制御システム525は、オ-ディオスピ-カ555およびマイクロフォン565をさらに含む。これらは、作業者からの生体デ-タを適切にキャプチャすることを可能にするため、作業者がサポ-トまたはセキュリティスタッフと通信することを可能にするため、作業者に音声指示を提供するため、および/または音声デ-タを記録するために、カメラ550のレンズに対する作業者の位置に関する指示を作業者に提供するために使用され得る。
次に図5Cを参照すると、代替的な実装形態では、ゲ-ト制御システム525-bは、その動作を制御し、中央コントロ-ラ145と通信するためのプロセッサ(図示せず)を含み、中央コントロ-ラ145に結合された温度検出デバイス580を含むように構成され得る。温度検出デバイス580は、提示空間520b内に位置する作業者(図示せず)の体温を検出するように設置され構成されている。温度検出デバイス580は、例えば、作業者の指と温度センサ581との間の物理的接触によって、提示空間520b内の作業者との物理的接触を必要とする温度センサ581を有し得る。そのような接触を確立するための作業者への指示は、オ-ディオスピ-カ555によって提供されてもよい。しかしながら、より好ましくは、温度検出デバイス580は、遠隔温度検出を可能にする温度センサ581、すなわち、作業者の額からまたは作業者の他の感知ゾ-ンから数インチの距離で動作し得る、例えば赤外線温度走査デバイスなどの、作業者と温度センサ581との間の物理的接触を必要としない温度センサを含む温度検出デバイスであり得る。
さらに、いくつかの実装形態では、温度検出デバイス580は、図5Cに示される提示空間520b内に位置する作業者の温度検出を可能にするように、定位置に配置され、固定されるように設置され得る。他の実装形態では、温度検出デバイス580は、作業者が提示空間520b内に位置するときに別の人によって操作され得る、ハンドヘルドデバイスを含むポ-タブルデバイスであり得る。
温度検出デバイス580は、任意の温度スキャナ、体温計、または任意の時間的温度スキャナ、すなわち、時間の関数として多かれ少なかれ連続的に体温を検出するための温度スキャナを含む、人間の体温を読み取るための他のデバイスを含み得る。本発明に従って使用することができる温度検出デバイスは、例えば、米国特許第8,282,274号に記載されている温度検出デバイスを含む。
一般に、温度検出デバイス580は、提示空間520b内の作業者の体温を検出し、その後、検出された体温を中央コントロ-ラ145に送信するように構成することができる。中央コントロ-ラ145は、電子ロック565をロック解除するための信号を送信するように構成することができ、したがって、作業者の検出された体温が健常者の体温から逸脱しないとき、例えば、作業者の体温が、温度37℃、37.5℃、38℃、または38.5℃を含む温度範囲などの許容可能なあらかじめ定義された体温範囲を超えないとき、ゲ-ト515が開かれ、作業者が作業空間155にアクセスすることを可能にする。逆に、作業者の検出された体温が健常者の体温から逸脱し、例えば、37℃、37.5℃、38℃または38.5℃を超えているとき、中央コントロ-ラ145は、作業者が他のセキュリティチェックに合格しても施錠されたままとなるように、電子ロック565に信号を送信しないように構成されている。代替の実施形態では、中央コントロ-ラ145との通信は必要なく、ゲ-ト制御システム525-bおよびゲ-ト制御システム525-bのプロセッサは、温度チェックを実行し、電子ロック565を制御するように構成され得る。したがって、作業空間155へのアクセスを、例えば、体温上昇を提示していない作業者に制限し、例えば、約36.5℃~約38.5℃のあらかじめ定義された体温範囲を提示している作業者のみの作業空間155への入場を許可することが可能である。さらに、中央コントロ-ラ145は、オ-ディオスピ-カ555を介して、検出された体温を提示空間520b内の作業者に通知するように構成することができる。体温の異常が検出された結果、作業者が作業空間155へのアクセスを拒否された場合、作業者は、必要に応じて、さらに別の健康診断を受けることができる。したがって、この例示的な実装形態は、作業者の体温があらかじめ定義された体温範囲内にないように、作業者の体温の上昇を引き起こす伝染性疾患の広がりを制御するように実装され得る。
いくつかの実装形態では、温度検出デバイス580は、例えば、変化するまたは厳しい気象条件に起因して、周囲温度の相当な変動が生じ得る条件において動作可能であるように構成され得ることに留意されたい。この点で、温度検出デバイスは、周囲温度の変動を補正するように構成され得る。例えば、作業者が寒い冬の温度で作業空間に入場するためにやってきた場合、温度検出デバイス580は、中央コントロ-ラ145とともに、検出された体温を上方に補正するように構成されてもよい。同様に、作業者が暖かい夏の温度にいる場合、温度検出デバイス580は、中央コントロ-ラ145とともに、検出された体温を下方に補正するように構成されてもよい。前述の補正は、温度検出デバイスが皮膚表面温度を測定/検出するときに特に望ましい。
中央コントロ-ラ145は、温度検出デバイス580が、認証ステップの実行前、第1および/または第2の認証ステップの実行中、または第2の認証ステップの実行後に、作業者の体温を検出できるように構成されていてもよいことに留意されたい。
いくつかの実装形態では、温度検出デバイス580は、提示空間520b内の作業者の熱輪郭に基づいて熱プロファイルを検出するように構成された赤外線センサであってもよい。そのような実装形態では、検出された熱プロファイルは、中央コントロ-ラ145に送信され、これは、電子ロック565をロック解除するための信号を送信するように構成することができ、したがって、ゲ-ト515が開かれることを可能にし、検出された熱プロファイルが、異常温度を有さない提示空間520b内の実際の作業者のいくつかの特性または属性と一致するときにのみ、作業者が作業空間155にアクセスすることができる。したがって、例えば、中央コントロ-ラ145は、作業者の顔認識生体デ-タの提示を必要とする認証ステップ中に、例えば作業空間にアクセスする許可を有する作業者の顔の写真であり得る無生物を提示することによって認証を回避しようとする場合、温度検出デバイス580による無生物の熱プロファイルの検出は、実際の作業者の存在と矛盾する検出された熱プロファイルをもたらし、その結果、中央コントロ-ラ145は電子ロック565をロック解除しない。
いくつかの実装形態では、ゲ-ト515のロック解除は、自動ではなく、代わりに、別の人、例えば警備員によって実行されることに留意されたい。したがって、作業者がカメラ550にバ-コ-ドを提示すると、遠隔に位置し得る警備員に、バ-コ-ドに対応する以前に記録された顔画像が提示され得る。次いで、警備員は、ゲ-ト515のロック解除前に、カメラ550を介して見られる作業者が以前に記録された顔画像に対応することを確認するように要求され得る。この認証プロセスは、単一の警備員が、単一の作業現場への複数のゲ-トを介して、または複数の作業現場での別個のゲ-トを介して、作業者によるアクセスを制御することを可能にすることに留意されたい。
オ-ディオスピ-カ555およびマイクロフォン565はまた、ゲ-ト515を介したアクセスを提供するための追加のステップの実行を実施するために使用され得る。したがって、例えば、記憶され記録された生体デ-タを比較すると、ゲ-ト制御システム525は、スピ-カ555を介して、提示する作業者に眼を閉じるように促すことができる。次いで、生体システムは、生体デ-タを再び記録し、以前に記録された生体デ-タ(開眼)を、新たに記録された生体デ-タ(閉眼)と比較し、眼を閉じていることを除いて、生体デ-タが同一であることを保証することができる。この追加のステップは、作業者が顔画像または写真をシステムに不正に提示し、システムが画像を使用して記録された生体デ-タを取得しようと試みることを防ぐことができる。
再び図4を参照すると、電子アクセス制御システム410は、作業空間155への作業者による入場または入場の試みごとに音声および/または映像を記録するために、例えばNVRまたはDVRなどの記録デバイス170をさらに含む。ビデオ記録は、例えば、最初の作業者がゲ-ト515を開いたときに、作業者による入場を確認するために、または複数の作業者による可能な入場の試行を評価するために、必要に応じて使用することができる。
同様に、少なくとも1つの実装形態では、ゲ-トセンサ570は、作業者がゲ-ト515を通って入場したこと、および他の個人が最初の作業者に続いていないことを確認するために使用される。いくつかの実装形態では、ゲ-トセンサ570は、ゲ-ト515を通過する個人の数を検出するためのカメラとすることができる。
いくつかの実装形態では、カメラレンズ550は、作業者がゲ-ト515の前のエリア520bに配置されたときに生体デ-タの記録を可能にし、また、ゲ-ト515を通る入場による作業者のビデオ記録を可能にするためにゲ-ト515に隣接して配置されることに留意されたい。
次に図10を参照すると、いくつかの実装形態では、システム1000は、画像センサ120および/または125によってキャプチャされた第1および/または第2の複数の画像を使用して、作業空間155内に存在する個人用防護具および非個人用防護具オブジェクトの作業空間155内での識別を可能にするように構成され得る。この点で、安全ベスト107aおよび107bならびに安全ヘルメット110aおよび110bによって例示される個人用防護具は、バ-コ-ド109a、109b、115aおよび115bで別々にタグ付けされる。加えて、手押し車133および1033によって例示される非個人用防護具は、それぞれバ-コ-ド1010および1020で別々にタグ付けされる。バ-コ-ドは、オブジェクトを識別するオブジェクト情報を含み、すなわち、バ-コ-ド1010および1020は、オブジェクト133および1033が手押し車として識別されることを可能にするオブジェクト情報を含む。システム1000は、中央処理デバイス1046が、入力デ-タを提供するユ-ザ入力を介して、クエリ用語として、ユ-ザがバ-コ-ド(例えば、バ-コ-ド109a、109b、115a、115b、1010、および1020)を入力することを可能にするように入出力デバイス1030に結合されるように構成される。したがって、ユ-ザは、例えば、バ-コ-ドスキャナ(図示せず)を使用して、バ-コ-ド109a、109b、115a、115b、1010または1020のコピ-をスキャンすることによって、または同じバ-コ-ドが入力されたデ-タベ-ス内のバ-コ-ド109a、109b、115a、115b、1010または1020を選択することによって、入力デ-タを提供することができる。デ-タベ-スは、中央コントロ-ラ145によって収容されてもよく、または中央コントロ-ラ145によってアクセス可能な別個のデ-タストアによって提供されてもよい。画像センサ120および/または125は、中央処理ユニット146とともに、第1および/または第2の複数の画像内のバ-コ-ドオブジェクトを検出し、前の実施形態で説明したように対応するバ-コ-ドを読み取るようにさらに構成される。したがって、画像センサ120および/または125によってキャプチャされた各画像において、複数のバ-コ-ドオブジェクトが検出され得、バ-コ-ドオブジェクトに対応するバ-コ-ドが読み取られ得る。例えば、作業空間155の画像センサ120によってキャプチャされた第1または第2の複数の画像からのある画像において、バ-コ-ド109a、109b、115a、115b、1010および1020が読み取られ得る。読み取られたバ-コ-ドは、リレ-ショナルデ-タベ-スに記憶されてもよく、デ-タベ-スは、例えば、アクセスする補助処理ユニット180によって取得された画像の一意のメタデ-タを使用して、読み取られた各バ-コ-ドが、読み取られた特定の画像にリンクされるように実施される。したがって、画像センサ120によってキャプチャされた作業空間155の特定の画像(本明細書では例として「画像1」と呼ばれる)は、例えば2021年5月7日午前11時01分など画像1が撮られた時間(メタデ-タに存在する)と、バ-コ-ド109a、109b、115a、115b、1010および1020とともに、リレ-ショナルデ-タベ-ス、例えば中央コントロ-ラ145によって含まれるリレ-ショナルデ-タベ-スに記憶されてもよい。
いくつかの実装形態では、読み取られたバ-コ-ドは、バ-コ-ドが読み取られた画像とともにメタデ-タの一部として組み込まれ得る。したがって、読み取られたバ-コ-ドが記憶された画像とともに含まれているメタデ-タは、読み取られたバ-コ-ドが、読み取られた特定の画像にリンクされるリレ-ショナルデ-タベ-ス、および、例えば、画像がキャプチャされた時間などの他のメタデ-タを形成するように記憶され得ることを理解されたい。前述のように、いくつかの実装形態では、画像は、低解像度形式の記録デバイス170を使用して記憶され得る。この点で、より低解像度の画像に対してバ-コ-ドの読み取りを実行することがより困難であり得るので、解像度レベルおよび画像記憶の低減を進める前にバ-コ-ドを検出し、読み取るように中央処理ユニット146を構成することが好ましいことに留意されたい。
中央処理ユニット146は、入力クエリバ-コ-ドを受信すると、リレ-ショナルデ-タベ-ス内の読み取りバ-コ-ドを入力クエリバ-コ-ドと比較し、読み取りバ-コ-ドの1つとクエリバ-コ-ドとの間で一致が識別されたとき、入出力デバイス1030に出力を提供するようにさらに構成される。入出力デバイス1030は、入力デバイスおよび出力デバイス140および150から説明したように実装され得る。したがって、例えば、ユ-ザがバ-コ-ド1010をクエリバ-コ-ドとして入出力デバイス1030に入力したとき、入出力デバイス1030は、リレ-ショナルデ-タベ-ス内の記憶された読み取られたバ-コ-ドのうちの1つとクエリバ-コ-ドとの間で一致が識別されたときに出力を提供し、出力は、画像センサ120または125によってキャプチャされたリレ-ショナルデ-タベ-ス内の一致するバ-コ-ドにリンクされた作業空間155の画像であり得、画像は、クエリバ-コ-ドに対応するバ-コ-ドオブジェクトを含む。
いくつかの実装形態では、中央処理ユニット146は、記憶されたバ-コ-ドとクエリバ-コ-ドとの間の一致に関連する(すなわち、バ-コ-ドオブジェクトを有する)ものに対応する1つの画像を識別するように構成される。例えば、一致は、クエリバ-コ-ドの入力時間に対して、画像センサ120または125によって最も最近キャプチャされた所与の画像に対応し得、所与の画像は、クエリバ-コ-ドに対応するバ-コ-ドオブジェクトを含む。他の実装形態では、中央処理ユニット146は、最大5つの画像一致、最大10個の画像一致、もしくはさらに時間を遡って最大50個の画像一致を識別するか、または、例えば、入力クエリバ-コ-ドの時間に対して最も最近キャプチャされた画像から、先行する時間、日、または週にキャプチャされたすべての画像までなど、ある時間期間内のすべての画像一致を識別するように構成される。
入出力デバイス1030によって提供される出力は、好ましくは、各一致した画像が画像センサ120および/または125によってキャプチャされた時間に対応する時間インジケ-タを含み、対応するバ-コ-ドオブジェクトを含む一致した画像をさらに含むことができる。
したがって、例として、システム1000は、入出力デバイス1030によって提供される出力が、(a)所与の画像が画像センサ120によってキャプチャされ、クエリバ-コ-ドに一致するバ-コ-ドオブジェクトを含む時間に対応する時間インジケ-タと、(b)一致が識別されたときに対応するバ-コ-ドオブジェクトを含む所与の画像とを含むように構成され得る。システム1000は、1つの一致が識別されるように、すなわち、クエリバ-コ-ドの入力時間に対して、画像センサ120によって最も最近キャプチャされた画像(クエリバ-コ-ドに対応する読み取られたバ-コ-ドオブジェクトを含む)に対応する一致が識別されるようにさらに構成され得る。例えば、2021年5月7日午前11時49分にユ-ザがバ-コ-ド1010をクエリバ-コ-ドとして入出力デバイス1030に入力すると、出力はタイムスタンプ「2021年5月7日午前11時40分」および画像1のコピ-(画像がバ-コ-ドクエリと一致するバ-コ-ドオブジェクトを有する場合、クエリバ-コ-ドが入力された時間より前の最後の画像)であってもよく、出力は入出力デバイス1030の画面上に示されてもよい。したがって、ユ-ザは、システム1000によって、少なくとも2021年5月7日午前11時40分の時点で、手押し車1033が作業空間155に位置していることを通知され、ユ-ザは、手押し車1030の存在を確認するために画像1を検査することができる。同様に、2021年5月7日午前11時49分にユ-ザがバ-コ-ド109aをクエリバ-コ-ドとして入出力デバイス1030に入力すると、出力はタイムスタンプ「2021年5月7日午前11時40分」および画像1のコピ-(画像がバ-コ-ドクエリと一致するバ-コ-ドオブジェクトを有する場合、クエリバ-コ-ドが入力された時間より前の最後の画像)であってもよく、出力は入出力デバイス1030の画面上に示されてもよい。したがって、ユ-ザは、システム1000によって、少なくとも2021年5月7日午前11時40分の時点で、安全ベスト109a、および最も可能性の高い拡張作業105aが作業空間155に位置していたことを通知され、ユ-ザは、安全ベスト109aおよび作業者105aの存在を確認するために画像1を検査することができる。
したがって、別の例として、システム1000は、Nが整数の場合、N個の画像が画像センサ120によってキャプチャされた時間に対応する時間インジケ-タを、入出力デバイス1030によって提供される出力が含むように構成され得、N個の画像は各々、クエリバ-コ-ドと一致するバ-コ-ドオブジェクトを含み、システムは、Nを、例えば5などの所定の数に設定するようにさらに構成され得、したがって、一致する5つの最新の時間的に取得された画像が識別され、したがって、この例では、出力は、クエリバ-コ-ドと4つの連続的に前の画像一致と一致するバ-コ-ドオブジェクトを含む、クエリバ-コ-ドの入力時間に対する、画像センサ120によって最も最近キャプチャされた画像の画像一致を含む。例えば、2021年5月7日午前11時49分にユ-ザがバ-コ-ド1010をクエリ用語として入出力デバイス1030に入力すると、出力は、以下の時間インジケ-タ「2021年5月7日午前11時40分」、「2021年5月7日午前11時30分」、「2021年5月7日午前11時20分」、「2021年5月7日午前11時10分」、および「2021年5月7日午前11時00分」であってもよい。したがって、ユ-ザは、システム1000によって、少なくとも2021年5月7日午前11時00分、および2021年5月7日午前11時40分、ならびにその間の言及された時間に、手押し車133が作業空間155内に位置したことを通知される。
したがって、このようにして、システム1000は、一般に、例えば安全ベスト107a、107b、安全ヘルメット110aおよび110bなどの個人用防護具アイテム、ならびに/または非個人用防護具、手押し車133および1033が、作業空間155などの作業空間に存在したかどうか、およびいつ存在したかをユ-ザが決定することを可能にすることが、今や明らかであろう。
さらなる実装形態では、入出力デバイス1030は、クエリバ-コ-ドに加えて、例えば、クエリバ-コ-ドに一致するバ-コ-ドオブジェクトなどの画像オブジェクトを有する画像を識別することをユ-ザが望む1つ以上のクエリ時間期間を受信するように構成され得る。したがって、クエリ時間期間は、第1および第2の時間によって定義されてもよく、例えば、ユ-ザは、「2021年5月7日午前11時から2021年5月7日午後1時15分まで」の入力を入出力デバイス1030に提供してもよく、またはユ-ザは、「今日午後1時以降」などの入力を入出力デバイス1030に提供してもよい。中央処理ユニット146は、クエリ時間期間の第1および第2の時間を決定するためにユ-ザエントリを解析するように構成される。中央処理ユニット146は、クエリバ-コ-ドを受信すると、クエリ時間期間を使用して、クエリ時間期間中に取得された画像のセットを識別し、次いで、画像のセットを分析して、入力クエリバ-コ-ドと、例えば、好ましくは、読み取られたバ-コ-ドに関連付けられた画像の識別を含むメタデ-タを分析することによって、リレ-ショナルデ-タベ-スに記憶された読み取られたバ-コ-ドとを照合するバ-コ-ドオブジェクトを有するものを決定し、クエリ入力時間期間内にセンサ120および/または125によってキャプチャされた画像に対応する一致した画像および/または一致した画像の時間についての時間インジケ-タの形態の出力を提供するようにさらに構成される。
したがって、別の例として、システム1000は、入出力デバイス1030が、クエリ時間期間中に取得され、ユ-ザによって提供されるクエリバ-コ-ドによって受信され得るバ-コ-ドオブジェクトを含む任意の画像をユ-ザが識別することを望むクエリ時間期間を受信し、入出力デバイス1030によって提供される出力が、クエリ時間期間中に画像センサ120によってキャプチャされた1つ以上の一致した画像の1つ以上の時間を示す時間インジケ-タであり得るように構成され得る。例えば、ユ-ザがバ-コ-ド1010をクエリ用語として入力し、「2021年5月7日午前11時20分~2021年5月7日午前11時55分」をクエリ時間期間として入出力デバイス1030に入力すると、中央処理ユニット146は、前述のように、一致した画像を識別しようと試み、一致した画像を見つけると、以下の時間インジケ-タ「2021年5月7日午前11時20分」、「2021年5月7日午前11時30分」、「2021年5月7日午前11時40分」、および「2021年5月7日午前11時50分」のうちの1つを含み得る出力を生成するように構成される。したがって、ユ-ザは、システム1000によって、手押し車133が2021年5月7日午前11時20分」、「2021年5月7日午前11時30分」、「2021年5月7日午前11時40分」、および「2021年5月7日午前11時50分」に作業空間155内に位置していたことを通知され、ユ-ザは、手押し車133が、全クエリ時間期間中に作業空間155内に位置していた可能性が高いと合理的に結論付けることができる。
別の態様では、本明細書の教示による少なくとも1つの実装形態では、本開示は、図2に示されるプロセスも提供する。したがって、ここで図2を参照すると、本開示は、作業空間における個人用防護具の使用を監視するためのプロセス200を含む。プロセス200は、対応する個人用防護具を識別するバ-コ-ドと、作業者のユ-ザ情報とを含む個人用防護具を作業者が装備する第1のステップ205を含む。ユ-ザ情報は、作業者の名前、誕生日、電話番号、および/または作業者に一意の何らかの他の識別情報であってもよい。プロセス200の残りは、PPEを装備した作業者の画像キャプチャおよび画像解析を伴い、必要とされる場合、安全行動の自動実行を伴う。
プロセス200の第2のステップ210は、例えば、中央コントロ-ラに通信可能に結合されたハンドヘルドデバイスを使用することによって、認証プロセスを開始するなど、個人用防護具を使用する作業者によって、様々な方法で開始され得る。別の実装形態では、第2のステップ210は、作業者が、例えばバ-コ-ドスキャナなどのスキャナと対話することによって、または単に作業者が第1および第2の画像センサが設置された作業空間に入ることによって開始され得る。
プロセス200は、作業空間に設置された第1および第2の画像センサを使用して第1の複数の画像をキャプチャすることを含む、第3のステップ215をさらに含む。
プロセス200は、人型オブジェクト画像解析アルゴリズムまたは計算ニュ-ラルネットワ-クなどの第1の画像解析アルゴリズムをキャプチャされた画像の各々に適用することによって人型オブジェクトを検出することを含む、第4のステップ220をさらに含む。人型オブジェクト画像解析アルゴリズムは、上述のように、第1の複数の画像内の人型オブジェクトを分類し検出するように処理ユニットを構成するソフトウェア命令を含む。
プロセス200は、第1の複数の画像のうちの1つにおいて少なくとも1つの人型オブジェクトが検出されたかどうかを決定すること(ステップ225)と、第2の複数の画像が1つ以上の検出された人型オブジェクトを含む第2の複数の画像を第1の複数の画像から選択すること(ステップ230)とを含む、第5および第6のステップ225および230をさらに含む。いくつかの例では、ステップ225において、第1の複数の画像において人型オブジェクトが検出されない場合がある。例えば、これは、それぞれ画像センサ120または125の視野157または158に作業者がいない場合であり得る(ステップ227)。そのような状況では、プロセス200は、次いで、ステップ215に戻り、新しい画像をキャプチャすることができる。
しかしながら、1つ以上の検出された人型オブジェクトを含む第2の複数の画像が取得されると、プロセス200は、第2の複数の画像の各々における検出された人型オブジェクトのうちの1つを各々が含む画像領域を画定することを含む、第7のステップ235に進む。画像領域を画定するための技法について、前に説明した。
次いで、プロセス200は、前述のように、第2の複数の画像に、バ-コ-ドオブジェクトを分類するように構成されたバ-コ-ドオブジェクト画像解析アルゴリズムまたは計算ニュ-ラルネットワ-クなどの第2の画像解析アルゴリズムを画像領域に適用することによって、画定された画像領域内のバ-コ-ドオブジェクトを検出することを含む、第8のステップ240に進む。あるいは、画定された画像領域の使用は、第2の複数の画像の画像全体のより大きい領域が少なくとも1つのバ-コ-ドオブジェクトを検出するために分析される他の実施形態において任意であってもよい。
プロセス200は、第2の複数の画像の検出されたバ-コ-ドオブジェクトから第1の検出されたバ-コ-ドオブジェクトを選択することを含む、第9のステップ245をさらに含む。
プロセス200は、第1のバ-コ-ド、すなわち、ステップ245で選択された第1の検出されたバ-コ-ドオブジェクトに対応するバ-コ-ドを使用して検索を実行することを含む、第10のステップ250をさらに含む。この検索は、第2の複数の画像の画定された画像領域内の検出された人型オブジェクトに対応する作業者を識別する第1のバ-コ-ドにリンクされたユ-ザ情報を見つけるために、デ-タベ-スまたはデ-タストア内で行うことができる。
プロセス200は、識別された作業者の見つけられたユ-ザ情報にリンクされ得る追加のバ-コ-ドおよび対応する追加のバ-コ-ドオブジェクトを検索することを含む、第11のステップ255をさらに含む。これらの追加のバ-コ-ドオブジェクトは、作業空間にいるときに識別された作業者が着用すべき個人用防護具アイテムに関連付けられ得る。
プロセス200は、第2の複数の画像の画定された画像領域における検出されたバ-コ-ドオブジェクトの普及率を決定するために確率アルゴリズムを適用することであって、検出されたバ-コ-ドオブジェクトは、第1の検出されたバ-コ-ドと、第1の検出されたバ-コ-ドのために見つけられたユ-ザ情報にリンクされた追加のバ-コ-ドとを含む、適用することと、普及率に基づいて、検出された人型オブジェクトに対応するユ-ザが、前述のように、作業空間に適用可能な安全規則に従うべきである各個人用防護具を着用している確率を計算することとを含む、第12のステップ260をさらに含む。したがって、各バ-コ-ドオブジェクトについて計算される確率値が存在する。
プロセス200は、計算された確率が所定の確率閾値を下回るかどうかを決定することを含む、第13のステップ265をさらに含む。所与のバ-コ-ドオブジェクトが、所定の確率閾値よりも低い計算された確率を有する場合、これは、作業者が、所与のバ-コ-ドオブジェクトに関連付けられたPPEアイテムを着用していない可能性が高いことを意味する。
プロセス200は、所定の確率閾値よりも低い計算された確率の各バ-コ-ドオブジェクトに対して安全行動を実行することを含む、第14のステップ270をさらに含む。安全行動は、デ-タベ-スまたはデ-タストアに保存されている安全規則デ-タに基づく。安全行動の例については、前に記載した。
ステップ230~270は、一意の作業者に対応する第1の複数の画像内の検出された人型オブジェクトごとに繰り返されることに留意されたい。したがって、第1の複数の画像内にいる各作業者について、各作業者に関連付けられたバ-コ-ドオブジェクトごとに確率計算が実行される。
プロセス200が完了すると、少なくとも1つの安全行動の実行(ステップ270)によって、またはそのような行動の非実行によって、プロセス200は、後続の時点で取得される異なる第1の複数の画像についてプロセス200が繰り返されるように、ステップ215から開始して繰り返され得る。
本明細書で前述したように、一実装形態における本開示の自動システムは、第1および第2の複数の画像を使用して、作業空間内に存在する個人用防護具および非個人用防護具の識別を可能にするように構成することもできる。したがって、別の態様では、本開示は、図11Aおよび図11Bに示すプロセスをさらに提供する。
したがって、ここで図11Aを参照すると、本開示は、作業空間内に存在する個人用防護具および非個人用防護具の作業空間内での識別のためのプロセス1100を含む。プロセス1100は、ユ-ザが入力クエリバ-コ-ドを提供する第1のステップ1105を含む。プロセス1100の残りは、例えば、プロセス200によってキャプチャされた第1および/または第2の複数の画像における一致するバ-コ-ドの識別と、画像が一致するバ-コ-ドオブジェクトを含み、および/または出力が一致する画像であり得る場合、画像がキャプチャされた時間の時間インジケ-タの形態で出力を提供することとを伴う。
プロセス1100は、クエリバ-コ-ドを、読み取られた記憶されたバ-コ-ドのうちの1つと照合することを含む、第2のステップ1110をさらに含む。前述のように、画像センサによってキャプチャされた画像内のバ-コ-ドオブジェクトが識別され得、次いで、識別されたバ-コ-ドオブジェクトについてバ-コ-ドが読み取られ得る。読み取られたバ-コ-ドは、次いで、読み取られたバ-コ-ドを、画像センサによってキャプチャされ、バ-コ-ドが読み取られたバ-コ-ドオブジェクトを含む特定の画像にリンクするリレ-ショナルデ-タベ-スに記憶され得る。ユ-ザ入力からステップ1105で受信されたクエリバ-コ-ドは、次いで、記憶された読み取られたバ-コ-ドと照合され得る。一致が見つかった場合、プロセス1100はステップ1120に進む。一致が見つからない場合、プロセス1100はステップ1105に戻る。
プロセス1100は、クエリバ-コ-ドに一致する記憶されたバ-コ-ドに対応する(すなわち、リンクされた)画像および/または実際の画像自体の時間を受信することを含む、第3のステップ1115をさらに含む。一致する記憶されたバ-コ-ドの時間および/または画像は、例えば、ステップ1105において入力クエリバ-コ-ドが受信された時間に対して最も最近にキャプチャされた画像であってもよい。
プロセス1100は、クエリバ-コ-ドと一致するバ-コ-ドを含む画像がキャプチャされた時間および/または画像自体に対応する時間インジケ-タの形態で出力を提供することを含む、第4のステップ1120をさらに含む。次いで、プロセス1100は、ステップ1105に戻り、ユ-ザが、クエリバ-コ-ドの形態でさらなる入力を提供することを可能にし得る。
次に図11Bを参照すると、本開示は、作業空間内に存在する個人用防護具および非個人用防護具の識別のためのさらなるプロセス1101を含む。プロセス1101は、入力クエリバ-コ-ドと、第1の時間および第2の時間によって定義されるクエリ時間期間とが、ユ-ザ入力を介して受信される第1のステップ1125を含む。プロセス1101の残りは、クエリ時間期間内に、例えば、プロセス200によってキャプチャされた第1および/または第2の複数の画像における一致するバ-コ-ドの識別と、クエリバ-コ-ドを含む1つ以上の時間および/または1つ以上の画像を含む時間インジケ-タの形態で出力を提供することとを伴う。
プロセス1101は、クエリバ-コ-ドをクエリ時間期間内に読み取られ記憶されたバ-コ-ドと照合することを含む、第2のステップ1130をさらに含む。前述のように、画像センサによってキャプチャされた画像内のバ-コ-ドオブジェクトが識別され得、次いで、識別されたバ-コ-ドオブジェクトからバ-コ-ドが読み取られ得る。読み取られたバ-コ-ドは、読み取られたバ-コ-ドを、読み取られたバ-コ-ドに対応するバ-コ-ドオブジェクトを含む特定の画像にリンクするリレ-ショナルデ-タベ-スに記憶されてもよい。ステップ1125で受信されたクエリバ-コ-ドは、記憶されたバ-コ-ドと照合され得る。一致が見つかった場合、プロセス1101はステップ1135に進む。一致が見つからない場合、プロセス1101は、ステップ1125に戻り、この時点で、ユ-ザは、別のクエリバ-コ-ドの形態でさらなる入力を提供することができる。
プロセス1101は、クエリバ-コ-ドに一致する記憶されたバ-コ-ドに対応する(すなわち、リンクされた)画像および/または実際の画像自体の時間を受信することを含む、第3のステップ1140をさらに含む。一致する記憶されたバ-コ-ドの時間および/または画像は、例えば、ステップ1125において入力クエリバ-コ-ドが受信された時間に対して最も最近にキャプチャされた画像であってもよい。
プロセス1101は、クエリバ-コ-ドと一致するバ-コ-ドを含む画像がキャプチャされた時間および/または画像自体とクエリ時間期間とに対応する時間インジケ-タの形態で出力を提供することを含む、第4のステップ1140をさらに含む。次いで、プロセス1101は、ステップ1125に戻り、ユ-ザが、クエリバ-コ-ドの形態でさらなる入力を提供することを可能にし得る。
したがって、前述の自動プロセスは、作業空間における個人用防護具および非個人用防護具の使用を監視することができる。
本明細書に記載された本出願人の教示は、例示の目的で様々な実装形態と関連しているが、本出願人の教示は、そのような実装形態に限定されることは意図されない。むしろ、本明細書に記載され図示された出願人の教示は、本明細書に記載された実装形態から逸脱することなく、様々な代替、修正、および均等物を包含し、その一般的な範囲は、添付の特許請求の範囲に定義される。
Claims (36)
- 作業空間における作業者による個人用防護具の使用を自動的に監視するためのシステムであって、
複数のバ-コ-ドであって、各バ-コ-ドが、一意の個人用防護具アイテムに関連付けられ、前記関連する個人用防護具アイテムを識別するオブジェクト情報と、前記個人用防護具アイテムを使用する所与の作業者のユ-ザ情報とを含む、複数のバ-コ-ドと、
前記作業空間内に設置可能な第1および第2の画像センサであって、前記第1および第2の画像センサが、互いに間隔をあけて配置され、それぞれ異なる第1および第2の視野をカバ-するように位置し、前記第1および第2の視野が、前記作業空間内の所与のエリア内で重複し、前記第1および第2の画像センサが、前記所与のエリアの第1の複数の画像を集合的にキャプチャするように適合される、第1および第2の画像センサと、
前記第1および第2の画像センサに結合される中央コントロ-ラであって、少なくとも1つのプロセッサと、1つ以上のバ-コ-ドが前記所与の作業者の前記ユ-ザ情報とリンクされるように、前記複数のバ-コ-ドおよび前記ユ-ザ情報を記憶するように構成されたデ-タベ-スを含むメモリ要素とを含む中央コントロ-ラとを含み、
前記少なくとも1つのプロセッサと、前記第1および第2の画像センサとが一緒に、
(i)前記第1の複数の画像において人型オブジェクトを検出することと、
(ii)前記第1の複数の画像から第2の複数の画像を識別することであって、前記第2の複数の画像が前記検出された人型オブジェクトを含む、識別することと、
(iii)前記第2の複数の画像のうちの少なくとも1つにおいて第1のバ-コ-ドオブジェクトを検出することであって、前記第1のバ-コ-ドオブジェクトが前記検出された人型オブジェクトに関連付けられている、検出することと、
(iv)前記検出された第1のバ-コ-ドオブジェクトに対応する第1のバ-コ-ドを識別することと、
(v)前記第1のバ-コ-ドにリンクされた前記ユ-ザ情報と、前記識別されたユ-ザ情報にリンクされた追加のバ-コ-ドとを識別するために、前記第1のバ-コ-ドを使用して前記デ-タベ-ス内の検索を実行することと、
(vi)前記第2の複数の画像において、前記識別された追加のバ-コ-ドに対応する追加のバ-コ-ドオブジェクトを検出することと、
(vii)前記検出された人型オブジェクトに対応する前記作業者が、前記作業空間に適用可能な安全規則に従って、前記第1の検出されたバ-コ-ドおよび前記追加の識別されたバ-コ-ドに関連付けられた各個人用防護具アイテムを着用している確率を計算するために確率アルゴリズムを適用することであって、前記第2の複数の画像における前記第1の検出されたバ-コ-ドおよび前記追加のバ-コ-ドに対応する各バ-コ-ドオブジェクトの普及率を決定するために前記確率アルゴリズムが適用される、適用することと、
(viii)所定の確率閾値よりも低い計算された確率を有する、前記第1の検出されたバ-コ-ドおよび追加のバ-コ-ドオブジェクトの各々について、安全行動を実行することと
を行うように構成されている、
システム。 - 前記バ-コ-ドオブジェクトのいずれかが、前記第2の複数の画像内の画定された画像領域において検出され、各画定された画像領域が、前記検出された人型オブジェクトを含むように構築されている、請求項1に記載のシステム。
- 前記第1の複数の画像が、所与の時間期間中に前記第1の画像センサによってキャプチャされた時間的に連続した画像の第1のセットと、前記所与の時間期間中に前記第2の画像センサによってキャプチャされた時間的に連続した画像の第2のセットとを含む、請求項1または2に記載のシステム
- 前記所与の時間期間が、約5~約60秒である、請求項3に記載のシステム。
- 画像の前記第1および第2のセットが各々、少なくとも10個の画像を含む、請求項3または4に記載のシステム。
- 前記第1および第2の画像センサが、それぞれ前記第1の画像センサおよび前記第2の画像センサの視野を通って中心に延びる第1の軸と第2の軸との間の交点が、約15度~約175度、または約205度~約345度の範囲の角度を形成するように、間隔をあけて配置され、角度が付けられている、請求項1~5のいずれか一項に記載のシステム。
- 前記角度が、約30度~約150度、または約210度~約330度の範囲である、請求項6に記載のシステム。
- 人型オブジェクト画像解析アルゴリズムを前記第1の複数の画像に適用することによって、前記人型オブジェクトが検出される、請求項1~7のいずれか一項に記載のシステム。
- バ-コ-ドオブジェクト画像解析アルゴリズムを前記第2の複数の画像に適用することによって、前記バ-コ-ドオブジェクトが検出される、請求項1~8のいずれか一項に記載のシステム。
- 前記画定された画像領域が、フレ-ム内に前記検出された人型オブジェクトの全体を包含する画像境界を有する前記フレ-ムを使用して構築され、前記画像境界が、前記検出された人型オブジェクトと前記画像境界との間に接触がないように形成される、請求項2~9のいずれか一項に記載のシステム。
- 前記画像境界が、前記画像領域内で前記検出された人型オブジェクトから約0.5メ-トル~約3メ-トル離れた距離に対応する、請求項10に記載のシステム。
- 前記中央コントロ-ラが入力デバイスに結合され、前記入力デバイスが、クエリバ-コ-ドの形態でユ-ザエントリを受信するように構成され、前記中央コントロ-ラならびに前記第1および第2の画像センサが、複数のバ-コ-ドオブジェクトを検出し、前記第1および第2の複数の画像の各々において前記検出されたバ-コ-ドオブジェクトに対応するバ-コ-ドを読み取り、1つ以上の読み取られたバ-コ-ドが、前記画像のうちの1つと、前記第1および/または第2の画像センサによって前記画像がキャプチャされた時間とにリンクされるように、リンク関係を使用することによって、前記第1および/または第2の画像センサによって前記画像がキャプチャされた前記時間と一緒に複数の読み取られたバ-コ-ドおよび画像を記憶するように構成された第2のデ-タベ-スに前記読み取られたバ-コ-ドを記憶するようにさらに構成され、前記中央コントロ-ラが、前記クエリバ-コ-ドと前記読み取られた記憶されたバ-コ-ドのうちの1つとの間に一致があるときを決定するようにさらに構成されている、請求項1~11のいずれか一項に記載のシステム。
- 前記中央コントロ-ラが出力デバイスに結合され、前記中央コントロ-ラが、前記クエリバ-コ-ドが読み取られた記憶されたバ-コ-ドと同一であるとき、出力を前記出力デバイスに提供するように構成されている、請求項12に記載のシステム。
- 前記出力が、前記クエリバ-コ-ドに一致する前記記憶されたバ-コ-ドにリンクされた前記画像が前記第1および/または第2の画像センサによってキャプチャされた前記時間に対応する時間インジケ-タを含む、請求項13に記載のシステム。
- 前記出力が、前記クエリバ-コ-ドに一致する前記記憶されたバ-コ-ドにリンクされた前記画像を含む、請求項13に記載のシステム。
- 前記出力が、前記クエリバ-コ-ドと同一である前記記憶されたバ-コ-ドにリンクされた前記画像が前記第1および/または第2の画像センサによってキャプチャされた前記時間を示す時間インジケ-タを含む、および/または、前記出力が、前記クエリバ-コ-ドと同一である前記記憶されたバ-コ-ドにリンクされた前記画像を含むことができ、前記時間インジケ-タまたは前記リンクされた画像が、前記クエリバ-コ-ドが入力された前記時間に対して、前記クエリバ-コ-ドと前記読み取られた記憶されたバ-コ-ドとの間の一致が識別された最新の時間に対応する、請求項13に記載のシステム。
- 前記入力デバイスが、第1の時間および第2の時間によって定義されるクエリ時間期間のユ-ザによる入力を受信するようにさらに構成され、前記中央コントロ-ラが、前記クエリ時間期間中に前記第1および/または第2の画像センサによってキャプチャされた画像のセットにおいて、前記複数のバ-コ-ドオブジェクトおよびそれに対応するバ-コ-ドを検出するように構成されている、請求項12~16のいずれか一項に記載のシステム。
- 前記システムが、個人用防護アイテム以外のオブジェクトに関連付けられた複数のバ-コ-ドを含み、前記バ-コ-ドが、前記オブジェクトを識別するオブジェクト情報を含む、請求項12~17のいずれか一項に記載のシステム。
- 作業空間における作業者による個人用防護具の使用を監視するための自動プロセスであって、
前記作業空間内に設置可能な第1および第2の画像センサを使用して第1の複数の画像を取得することであって、前記第1および第2の画像センサが、互いに間隔をあけて配置され、それぞれ異なる第1および第2の視野をカバ-するように位置し、前記第1および第2の視野が、前記作業空間内の所与のエリア内で重複する、取得することと、
前記第1の複数の画像において所与の作業者の人型オブジェクトを検出することと、
前記第1の複数の画像から第2の複数の画像を識別することであって、前記第2の複数の画像が前記検出された人型オブジェクトを含む、識別することと、
前記第2の複数の画像のうちの少なくとも1つにおいて第1のバ-コ-ドオブジェクトを検出することであって、前記第1のバ-コ-ドオブジェクトが前記検出された人型オブジェクトに関連付けられている、検出することと、
前記検出された第1のバ-コ-ドオブジェクトに対応する第1のバ-コ-ドを識別することと、
前記第1のバ-コ-ドにリンクされた前記ユ-ザ情報と、前記識別されたユ-ザ情報にリンクされた追加のバ-コ-ドとを識別するために、前記第1のバ-コ-ドを使用してデ-タベ-ス内の検索を実行することであって、前記デ-タベ-スが、1つ以上のバ-コ-ドが前記作業者の前記ユ-ザ情報にリンクされるように、リンク関係を使用して、複数のバ-コ-ドおよびユ-ザ情報を記憶する、実行することと、
前記第2の複数の画像において、前記識別された追加のバ-コ-ドに対応する追加のバ-コ-ドオブジェクトを検出することと、
前記検出された人型オブジェクトに対応する前記所与の作業者が、前記作業空間に適用可能な安全規則に従って、前記第1の検出されたバ-コ-ドおよび前記追加の識別されたバ-コ-ドに関連付けられた各個人用防護具アイテムを着用している確率を計算するために確率アルゴリズムを適用することであって、前記第2の複数の画像における前記第1の検出されたバ-コ-ドおよび前記追加のバ-コ-ドに対応する各バ-コ-ドオブジェクトの普及率を決定するために前記確率アルゴリズムが適用される、適用することと、
所定の確率閾値よりも低い計算された確率を有する、前記第1の検出されたバ-コ-ドおよび追加のバ-コ-ドオブジェクトの各々について、安全行動を実行することと
を含む自動プロセス。 - 前記バ-コ-ドオブジェクトのいずれかが、前記第2の複数の画像内の画定された画像領域において検出され、各画定された画像領域が、前記検出された人型オブジェクトを含むように構築されている、請求項19に記載の自動プロセス。
- 前記第1の複数の画像が、所与の時間期間中に前記第1の画像センサによってキャプチャされた時間的に連続した画像の第1のセットと、前記所与の時間期間中に前記第2の画像センサによってキャプチャされた時間的に連続した画像の第2のセットとを含む、請求項19または20に記載の自動プロセス。
- 前記所与の時間期間が、約5~約60秒である、請求項21に記載の自動プロセス。
- 画像の前記第1および第2のセットが各々、少なくとも10個の画像を含む、請求項21または22に記載の自動プロセス。
- 前記第1および第2の画像センサが、それぞれ前記第1の画像センサおよび前記第2の画像センサの視野を通って中心に延びる第1の軸と第2の軸との間の交点が、約15度~約175度、または約205度~約345度の範囲の角度を形成するように、間隔をあけて配置され、角度が付けられている、請求項19~23のいずれか一項に記載の自動プロセス。
- 前記角度が、約30度~約150度、または約210度~約330度の範囲である、請求項24に記載の自動プロセス。
- 人型オブジェクト画像解析アルゴリズムを前記第1の複数の画像に適用することによって、前記人型オブジェクトが検出される、請求項19~25のいずれか一項に記載の自動プロセス。
- バ-コ-ドオブジェクト画像解析アルゴリズムを前記第2の複数の画像に適用することによって、前記バ-コ-ドオブジェクトが検出される、請求項19~26のいずれか一項に記載の自動プロセス。
- 前記画定された画像領域が、フレ-ム内に前記検出された人型オブジェクトの全体を包含する画像境界を有する前記フレ-ムを使用して構築され、前記画像境界が、前記検出された人型オブジェクトと前記画像境界との間に接触がないように形成される、請求項20~27のいずれか一項に記載の自動プロセス。
- 前記画像境界が、前記画像領域内で前記検出された人型オブジェクトから約0.5メ-トル~約3メ-トル離れた距離に対応する、請求項28に記載の自動プロセス。
- 前記中央コントロ-ラが入力デバイスに結合され、前記入力デバイスが、クエリバ-コ-ドの形態でユ-ザエントリを受信するように構成され、前記中央コントロ-ラならびに前記第1および第2の画像センサが、複数のバ-コ-ドオブジェクトを検出し、前記第1および第2の複数の画像の各々においてそれに対応するバ-コ-ドを読み取り、1つ以上の読み取られたバ-コ-ドが、前記1つ以上の読み取られたバ-コ-ドが取得された画像と、前記第1および/または第2の画像センサによって前記画像がキャプチャされた時間とにリンクされるように、リンク関係を使用することによって、前記第1および/または第2の画像センサによって前記画像がキャプチャされた前記時間と一緒に複数の読み取られたバ-コ-ドおよび画像を記憶するように構成された第2のデ-タベ-スに前記読み取られたバ-コ-ドを記憶するようにさらに構成され、前記中央コントロ-ラが、前記クエリバ-コ-ドと前記読み取られた記憶されたバ-コ-ドのうちの1つとの間に一致があるかどうかを決定するようにさらに構成されている、請求項19~29のいずれか一項に記載の自動プロセス。
- 前記中央コントロ-ラが出力デバイスに結合され、前記中央コントロ-ラが、前記クエリバ-コ-ドが記憶された読み取られたバ-コ-ドのうちの1つに一致するとき、出力を前記出力デバイスに提供するように構成されている、請求項30に記載の自動プロセス。
- 前記出力が、前記クエリバ-コ-ドに一致する前記バ-コ-ドにリンクされた前記画像が前記第1および/または第2の画像センサによってキャプチャされた前記時間に対応する時間インジケ-タを含む、請求項31に記載の自動プロセス。
- 前記出力が、前記クエリバ-コ-ドに一致した前記バ-コ-ドを含む前記画像を含む、請求項31に記載の自動プロセス。
- 前記出力が、前記クエリバ-コ-ドと一致する前記バ-コ-ドにリンクされた前記画像が前記第1および/または第2の画像センサによってキャプチャされた時間を示す時間インジケ-タ、および/または、前記出力が、前記クエリバ-コ-ドと一致する前記バ-コ-ドにリンクされた前記画像を含み、前記時間インジケ-タまたは前記画像が、前記クエリバ-コ-ドが前記ユ-ザから受信された時間に対して、前記クエリバ-コ-ドと前記読み取られた記憶されたバ-コ-ドのうちの1つとの間で一致した最新の時間に対応する、請求項31に記載の自動プロセス。
- 前記入力デバイスが、第1の時間および第2の時間によって定義されるクエリ時間期間の前記ユ-ザからの入力を受信するようにさらに構成され、前記中央コントロ-ラが、前記クエリ時間期間中に前記第1および/または第2の画像センサによってキャプチャされた画像のセットにおいて、前記複数のバ-コ-ドオブジェクトおよびそれに対応するバ-コ-ドを検出するように構成されている、請求項30~34のいずれか一項に記載の自動プロセス。
- 前記システムが、個人用防護アイテム以外のオブジェクトに関連付けられた複数のバ-コ-ドを含み、前記バ-コ-ドが、前記オブジェクトを識別するオブジェクト情報を含む、請求項30~35のいずれか一項に記載の自動プロセス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063035298P | 2020-06-05 | 2020-06-05 | |
US63/035,298 | 2020-06-05 | ||
PCT/CA2021/050766 WO2021243465A1 (en) | 2020-06-05 | 2021-06-04 | Automatic barcode based personal safety compliance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023529648A true JP2023529648A (ja) | 2023-07-11 |
JPWO2021243465A5 JPWO2021243465A5 (ja) | 2024-06-07 |
Family
ID=78831625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022574678A Pending JP2023529648A (ja) | 2020-06-05 | 2021-06-04 | 自動バーコードベースの個人安全コンプライアンスシステム |
Country Status (9)
Country | Link |
---|---|
US (1) | US20230214758A1 (ja) |
EP (1) | EP4162419A1 (ja) |
JP (1) | JP2023529648A (ja) |
KR (1) | KR20230020518A (ja) |
BR (1) | BR112022024808A2 (ja) |
CA (1) | CA3181112A1 (ja) |
IL (1) | IL298700A (ja) |
MX (1) | MX2022015453A (ja) |
WO (1) | WO2021243465A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230394549A1 (en) * | 2022-06-02 | 2023-12-07 | Ebay Inc. | Complementary item recommendation system |
KR102601759B1 (ko) * | 2023-07-12 | 2023-11-14 | 주식회사 성원 | 안전 관리 시스템 운용을 위한 이기종 기기 간 통합 방법 및 이를 위한 서버 |
CN117068976B (zh) * | 2023-08-04 | 2024-05-03 | 山东高速建设管理集团有限公司 | 一种吊车施工规范安全检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140307076A1 (en) * | 2013-10-03 | 2014-10-16 | Richard Deutsch | Systems and methods for monitoring personal protection equipment and promoting worker safety |
-
2021
- 2021-06-04 BR BR112022024808A patent/BR112022024808A2/pt unknown
- 2021-06-04 WO PCT/CA2021/050766 patent/WO2021243465A1/en active Application Filing
- 2021-06-04 CA CA3181112A patent/CA3181112A1/en active Pending
- 2021-06-04 US US18/008,441 patent/US20230214758A1/en active Pending
- 2021-06-04 MX MX2022015453A patent/MX2022015453A/es unknown
- 2021-06-04 EP EP21817493.6A patent/EP4162419A1/en active Pending
- 2021-06-04 JP JP2022574678A patent/JP2023529648A/ja active Pending
- 2021-06-04 KR KR1020237000401A patent/KR20230020518A/ko active Search and Examination
- 2021-06-04 IL IL298700A patent/IL298700A/en unknown
Also Published As
Publication number | Publication date |
---|---|
KR20230020518A (ko) | 2023-02-10 |
CA3181112A1 (en) | 2021-12-09 |
BR112022024808A2 (pt) | 2023-02-14 |
MX2022015453A (es) | 2023-02-27 |
WO2021243465A1 (en) | 2021-12-09 |
EP4162419A1 (en) | 2023-04-12 |
IL298700A (en) | 2023-02-01 |
US20230214758A1 (en) | 2023-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023529648A (ja) | 自動バーコードベースの個人安全コンプライアンスシステム | |
US20140307076A1 (en) | Systems and methods for monitoring personal protection equipment and promoting worker safety | |
US11335172B1 (en) | Sharing video footage from audio/video recording and communication devices for parcel theft deterrence | |
US10984641B2 (en) | Parcel theft deterrence for A/V recording and communication devices | |
Cardinaux et al. | Video based technology for ambient assisted living: A review of the literature | |
US20170258335A1 (en) | Systems for real time febrility detection and notification | |
EP2653772B1 (en) | Image recognition for personal protective equipment compliance enforcement in work areas | |
US20200320837A1 (en) | Parcel theft deterrence for audio/video recording and communication devices | |
US20100157062A1 (en) | System for monitoring persons by using cameras | |
US20200125838A1 (en) | Monitoring inmate movement with facial recognition | |
CN109792510B (zh) | 无线音频/视频记录和通信装置的包裹防盗 | |
JP6624340B2 (ja) | 入場管理システムおよび入場管理方法 | |
US20180114420A1 (en) | Parcel Delivery Assistance and Parcel Theft Deterrence for Audio/Video Recording and Communication Devices | |
JP5541959B2 (ja) | 映像記録システム | |
US9530263B1 (en) | System and method of verification of access using a wearable security device | |
US20160378268A1 (en) | System and method of smart incident analysis in control system using floor maps | |
WO2022190701A1 (ja) | 不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラム | |
JP2019080341A (ja) | 管理システム、管理方法 | |
Lie et al. | Fall-down event detection for elderly based on motion history images and deep learning | |
RU2737138C1 (ru) | Система и способ контроля температуры тела людей по видеоданным | |
US20230027643A1 (en) | Officer safety using computer vision | |
TWI777484B (zh) | 門禁管理裝置 | |
US20240212804A1 (en) | Automated, Non-Invasive Artificial Intelligence Machine Learning Method and System for Identifying and Redacting Personally Identifiable Information in a Monitored Environment using Real-Time Sensor Data | |
Santucci et al. | Smart System for Worker Safety: Scenarios and Risk | |
WO2019006120A1 (en) | VIDEO SEQUENCE SHARING FROM AUDIO / VIDEO RECORDING AND COMMUNICATION DEVICES FOR PACKAGE DISCHARGE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20230201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240530 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240530 |