KR20230020518A - 자동 바코드 기반 개인 안전 준수 시스템 - Google Patents
자동 바코드 기반 개인 안전 준수 시스템 Download PDFInfo
- Publication number
- KR20230020518A KR20230020518A KR1020237000401A KR20237000401A KR20230020518A KR 20230020518 A KR20230020518 A KR 20230020518A KR 1020237000401 A KR1020237000401 A KR 1020237000401A KR 20237000401 A KR20237000401 A KR 20237000401A KR 20230020518 A KR20230020518 A KR 20230020518A
- Authority
- KR
- South Korea
- Prior art keywords
- barcode
- image
- images
- barcodes
- detected
- Prior art date
Links
- 230000001681 protective effect Effects 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 94
- 230000008569 process Effects 0.000 claims abstract description 79
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 65
- 238000010191 image analysis Methods 0.000 claims description 43
- 230000009471 action Effects 0.000 claims description 17
- 230000006378 damage Effects 0.000 abstract description 9
- 231100001261 hazardous Toxicity 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 59
- 238000001514 detection method Methods 0.000 description 22
- 238000013528 artificial neural network Methods 0.000 description 18
- 230000036760 body temperature Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 208000027418 Wounds and injury Diseases 0.000 description 7
- 208000014674 injury Diseases 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000020564 Eye injury Diseases 0.000 description 3
- 208000011092 Hand injury Diseases 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- BWSQKOKULIALEW-UHFFFAOYSA-N 2-[2-[4-fluoro-3-(trifluoromethyl)phenyl]-3-[2-(piperidin-3-ylamino)pyrimidin-4-yl]imidazol-4-yl]acetonitrile Chemical compound FC1=C(C=C(C=C1)C=1N(C(=CN=1)CC#N)C1=NC(=NC=C1)NC1CNCCC1)C(F)(F)F BWSQKOKULIALEW-UHFFFAOYSA-N 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 208000017899 Foot injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004980 dosimetry Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000005336 safety glass Substances 0.000 description 1
- 230000009476 short term action Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 208000037975 work-related injury Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
- G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1413—1D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
- Lock And Its Accessories (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
작업 공간에서 개인 보호 장비의 사용을 모니터링하기 위한 자동 시스템 및 프로세스들에 대한 다양한 구현예들이 제공된다. 시스템은 개인 보호 장비에 부착된 바코드를 포함한다. 시스템의 동작은 작업 공간의 이미지들을 캡처하고 이미지들에서 인간 형태 객체들 및 바코드 객체들을 검출하는 것을 수반한다. 시스템 및 프로세스들은 작업 공간에 적용가능한 안전 규칙들에 따라 사용자가 모든 개인 보호 장비를 착용하고 있을 확률을 계산하는 것을 더 수반한다. 일부 구현예들에서, 시스템 및 프로세스들은 작업 공간에서 개인 보호 장비 및 다른 객체들을 추적하기 위해 사용될 수 있다. 따라서, 시스템 및 프로세스들은 위험한 작업 환경들에서 사고들, 사건들 및/또는 부상들의 발생을 방지하거나 제한하기 위해 사용될 수 있다.
Description
이 출원은 2020년 6월 5일 출원된 미국 임시출원 제63/035,298호의 이익을 주장하며, 이 사건 특허출원 제63/035,298호의 전체 내용은 본원에 참조로 포함된다.
본 개시는 위험 환경에서 동작하는 사람에게 안전을 제공하기 위한 시스템 및 프로세스에 관한 것으로, 보다 상세하게는 보호 의류 및 물품의 사용을 필요로 하는 환경에 적용 가능한 시스템 및 프로세스에 관한 것이다.
다음의 단락들은 본 개시 내용의 배경의 방식으로 제공된다. 그러나, 이들은 여기에서 논의된 것이 선행 기술이거나 당업자의 지식의 일부라는 것을 인정하는 것이 아니다.
미국에서는 매년 대략 900,000개의 눈 부상 및 대략 750,000개의 손 부상이 보고되어 의학적 주의가 필요하다. 보고된 사례의 80%에서 부상은 안전모, 장갑, 안면 보호대, 장화 등과 같은 적절한 보호 의류 또는 물품을 착용하지 않은 사람에 의해 지속되는 것으로 추정된다(예를 들어, http://www.preventblindness.org/ten-ways-prevent-eye-injuries-work, http://www.ishn.com/articles/94029-drive-home-the-value-of-gloves--hand-injuries-send-a-million-workers-to-ers-each-year를 참조). 그러한 손상으로 인한 명백한 개인적 영향을 넘어, 손상 치료와 관련된 상당한 의료비가 있다. 따라서 유해 작업 환경에서 작업함에 따라 작업장 인력에 의한 사전 예방 안전 조치를 개선하여 작업장 재해 발생 횟수를 줄이는 것이 매우 바람직하다.
따라서, 당업계에는 위험한 환경에서 작업하는 사람의 부상을 감소시키기 위한 시스템 및 프로세스에 대한 요구가 존재한다. 개인 보호 장비의 사용을 정확하고 지속적으로 모니터링할 수 있고, 매우 다양한 작업 공간에서 용이하게 구현될 수 있는 자동화 시스템이 특히 바람직하다.
다음의 단락들은 본 개시 내용의 청구물을 정의하거나 제한하지 않고 다음에 오는 더 상세한 설명에 독자를 소개하도록 의도된다.
하나의 넓은 양태에서, 본 개시는 개인 보호 장비의 사용을 모니터링하기 위한 시스템 및 프로세스에 관한 것이다. 따라서, 본 개시는, 적어도 하나의 양태에서, 적어도 하나의 구현예에서, 작업 공간에서 작업자에 의한 개인 보호 장비의 사용을 자동으로 모니터링하기 위한 시스템을 제공하며, 시스템은:
각각의 바코드가 고유한 개인 보호 장비 아이템과 연관되고, 연관된 개인 보호 장비 아이템을 식별하는 객체 정보 및 개인 보호 장비 아이템을 사용하는 주어진 작업자에 대한 사용자 정보를 포함하는 복수의 바코드;
작업 공간에 설치 가능한 제1 및 제2 이미지 센서들 - 제1 및 제2 이미지 센서들은 서로 이격되고, 상이한 제1 및 제2 시야를 각각 커버하도록 위치되고, 제1 및 제2 시야는 작업 공간 내의 주어진 영역에서 중첩되고, 제1 및 제2 이미지 센서들은 주어진 영역의 제1 복수의 이미지들을 집합적으로 캡처하도록 구성됨 -; 및
제1 및 제2 이미지 센서들에 결합되는 중앙 제어기로서, 중앙 제어기는 적어도 하나의 프로세서 및 하나 이상의 바코드가 주어진 작업자의 사용자 정보와 연결되도록 복수의 바코드 및 사용자 정보를 저장하도록 구성된 데이터베이스를 포함하는 메모리 요소를 포함하는, 중앙 제어기;를 포함하고,
적어도 하나의 프로세서 및 제1 및 제2 이미지 센서들은 함께:
(i) 제1 복수의 이미지들에서 인간 형태 객체를 검출하고;
(ii) 제1 복수의 이미지들로부터 제2 복수의 이미지들을 식별하고 - 제2 복수의 이미지들은 검출된 인간 형태 객체를 포함함 -;
(iii) 제2 복수의 이미지들 중 적어도 하나에서 제1 바코드 객체를 검출하고; - 제1 바코드 객체는 검출된 인간 형태 객체와 연관됨 -;
(iv) 검출된 제1 바코드 객체에 대응하는 제1 바코드를 식별하고;
(v) 제1 바코드를 사용하여 데이터베이스에서 검색을 수행하여 그와 연결된 사용자 정보 및 식별된 사용자 정보와 연결된 추가 바코드를 식별하고;
(vi) 제2 복수의 이미지들에서, 식별된 추가 바코드들에 대응하는 추가 바코드 객체들을 검출하고;
(vii) 검출된 인간 형태 객체와 대응하는 작업자가 작업 공간에 적용가능한 안전 규칙들에 따라 제1 검출된 바코드 및 추가적인 식별된 바코드들과 연관된 각각의 개인 보호 장비 아이템을 착용하고 있을 확률들을 계산하기 위해 확률적 알고리즘을 적용하고 - 확률적 알고리즘은 제2 복수의 이미지들에서 제1 검출된 바코드 및 추가적인 바코드들에 대응하는 각각의 바코드 객체의 유병률을 결정하기 위해 적용됨 -; 및
(viii) 계산된 확률이 미리 결정된 확률 임계 값보다 낮은 제1 검출된 바코드 및 추가 바코드 객체 각각에 대한 안전 조치를 실행하도록 구성된다.
적어도 하나의 구현예에서, 바코드 객체들 중 임의의 것이 제2 복수의 이미지들 내의 정의된 이미지 영역들에서 검출될 수 있으며, 여기서 각각의 정의된 이미지 영역은 검출된 인간 형태 객체를 포함하도록 구성된다.
적어도 하나의 구현예에서, 제1 복수의 이미지들은 주어진 기간 동안 제1 이미지 센서에 의해 캡처된 시간적으로 순차적인 이미지들의 제1 세트 및 주어진 기간 동안 제2 이미지 센서에 의해 캡처된 시간적으로 순차적인 이미지들의 제2 세트를 포함할 수 있다.
적어도 하나의 구현예에서, 주어진 기간은 약 5 내지 약 60초일 수 있다.
적어도 하나의 구현예에서, 제1 및 제2 이미지 세트는 각각 적어도 10개의 이미지를 포함한다.
적어도 하나의 구현예에서, 제1 이미지 센서 및 제2 이미지 센서는 각각 제1 이미지 센서 및 제2 이미지 센서의 시야를 통해 중앙으로 연장되는 제1 축과 제2 축 사이의 교차점이 약 15도 내지 약 175도, 또는 약 205도 내지 약 345도 범위의 각도를 형성하도록 이격되고 각도를 이룬다.
적어도 하나의 구현예에서, 각도는 약 30도 내지 약 150도, 또는 약 210도 내지 약 330도의 범위일 수 있다.
적어도 하나의 구현예에서, 인간 형태 객체는 인간 형태 객체 이미지 분석 알고리즘을 제1 복수의 이미지들에 적용함으로써 검출될 수 있다.
적어도 하나의 구현예에서, 바코드 객체는 바코드 객체 이미지 분석 알고리즘을 제2 복수의 이미지들에 적용함으로써 검출될 수 있다.
적어도 하나의 구현예에서, 정의된 이미지 영역은 프레임에서 검출된 인간 형태 객체의 전체를 포함하도록 이미지 경계들을 갖는 프레임을 사용하여 구성될 수 있고, 이미지 경계들은 검출된 인간 형태 객체와 이미지 경계들 사이에 접촉이 없도록 형성된다.
적어도 하나의 구현예에서, 이미지 경계들은 이미지 영역에서 검출된 인간 형태 객체로부터 약 0.5 미터 내지 약 3 미터 떨어진 거리에 대응할 수 있다.
적어도 하나의 구현예에서, 중앙 제어기는 입력 디바이스에 결합되고, 입력 디바이스는 쿼리 바코드의 형태로 사용자 입력을 수신하도록 구성되고, 중앙 제어기 및 제1 및 제2 이미지 센서들은 복수의 바코드 객체들을 검출하고 제1 및 제2 복수의 이미지들 각각에서 검출된 바코드 객체들에 대응하는 바코드들을 판독하고, 판독된 바코드들을, 하나 이상의 판독된 바코드들이 이미지들 중 하나와 연결되고 이미지들이 제1 및/또는 제2 이미지 센서에 의해 캡처된 시간과 함께 연결된 관계를 사용하여 복수의 판독된 바코드들 및 이미지들을 저장하도록 구성된 제2 데이터베이스에 저장하도록 더 구성되고, 중앙 제어기는 쿼리 바코드와 판독된 저장된 바코드들 중 하나 사이에 매칭이 있을 때를 결정하도록 더 구성된다.
적어도 하나의 구현예에서, 중앙 제어기는 출력 디바이스에 결합될 수 있고, 중앙 제어기는 쿼리 바코드가 검출된 판독 바코드와 동일할 때 출력 디바이스에 출력을 제공하도록 더 구성된다.
적어도 하나의 구현예에서, 출력은 쿼리 바코드에 매칭되는 저장된 바코드에 연결된 이미지가 제1 및/또는 제2 이미지 센서에 의해 캡처된 시간에 대응하는 시간 표시자를 포함할 수 있다.
적어도 하나의 구현예에서, 출력은 쿼리 바코드에 매칭되는 저장된 바코드에 연결된 이미지를 포함할 수 있다.
적어도 하나의 구현예에서, 출력은 쿼리 바코드와 동일한 저장된 바코드에 연결된 이미지가 제1 및/또는 제2 이미지 센서에 의해 캡처된 시간을 나타내는 시간 표시자를 포함할 수 있고/있거나 출력은 쿼리 바코드와 동일한 저장된 바코드에 연결된 이미지를 포함할 수 있으며, 여기서 시간 표시자 또는 연결된 이미지는 쿼리 바코드가 입력된 시간에 대해, 쿼리 바코드와 판독된 저장된 바코드 사이의 매칭이 식별된 가장 최근의 시간에 대응한다.
적어도 하나의 구현예에서, 입력 디바이스는 제1 시간 및 제2 시간에 의해 정의된 쿼리 시간 기간의 사용자에 의한 입력을 수신하도록 더 구성될 수 있고, 중앙 제어기는 쿼리 시간 기간 동안 제1 및/또는 제2 이미지 센서에 의해 캡처된 제1 및 제2 복수의 이미지들에서 복수의 바코드 객체 및 그와 대응하는 바코드를 검출하도록 구성된다.
적어도 하나의 구현예에서, 시스템은 추가적으로 개인 보호 아이템들 이외의 객체들과 연관된 복수의 바코드들을 포함할 수 있으며, 바코드들은 객체들을 식별하는 객체 정보를 포함한다.
추가적인 양태에서, 본 개시는, 적어도 하나의 구현예에서, 작업 공간에서 작업자에 의한 개인 보호 장비의 사용을 모니터링하기 위한 자동화된 프로세스를 제공하며, 프로세스는:
작업 공간에 설치 가능한 제1 및 제2 이미지 센서들을 사용하여 제1 복수의 이미지들을 획득하는 단계 - 제1 및 제2 이미지 센서들은 서로 이격되고 각각 상이한 제1 및 제2 시야들을 커버하도록 위치되고, 제1 및 제2 시야들은 작업 공간 내의 주어진 영역에서 중첩됨 -;
제1 복수의 이미지들에서 주어진 작업자의 인간 형태 객체를 검출하는 단계;
제1 복수의 이미지들로부터 제2 복수의 이미지들을 식별하는 단계 - 제2 복수의 이미지들은 검출된 인간 형태 객체를 포함함 -;
제2 복수의 이미지들 중 적어도 하나에서 제1 바코드 객체를 검출하는 단계 - 제1 바코드 객체는 검출된 인간 형태 객체와 연관됨 -;
검출된 제1 바코드 객체에 대응하는 제1 바코드를 식별하는 단계;
제1 바코드를 사용하여 데이터베이스에서 검색을 수행하여 연결된 사용자 정보 및 식별된 사용자 정보와 연결된 추가 바코드를 식별하는 단계 - 상기 데이터베이스는 복수의 바코드 및 사용자 정보를 연관 관계를 사용하여 저장하여 하나 이상의 바코드가 작업자의 사용자 정보와 연계되도록 함 -;
식별된 추가 바코드들에 대응하는 제2 복수의 이미지들에서 추가 바코드 객체들을 검출하는 단계;
검출된 인간 형태 객체와 대응하는 주어진 작업자가 작업 공간에 적용가능한 안전 규칙들에 따라 제1 검출된 바코드 및 추가적인 식별된 바코드들과 연관된 각각의 개인 보호 장비 아이템을 착용하고 있을 확률들을 계산하기 위해 확률적 알고리즘을 적용하는 단계 - 확률적 알고리즘은 제2 복수의 이미지들에서 제1 검출된 바코드 및 추가적인 바코드들에 대응하는 각각의 바코드 객체의 유병률을 결정하기 위해 적용됨 -; 및
계산된 확률이 미리 결정된 확률 임계 값보다 낮은 제1 검출된 바코드 및 추가 바코드 객체 각각에 대한 안전 액션을 실행하는 단계를 포함한다.
적어도 하나의 구현예에서, 바코드 객체들 중 임의의 것이 제2 복수의 이미지들 내의 정의된 이미지 영역들에서 검출될 수 있으며, 여기서 각각의 정의된 이미지 영역은 검출된 인간 형태 객체를 포함하도록 구성된다.
적어도 하나의 구현예에서, 제1 복수의 이미지들은 주어진 기간 동안 제1 이미지 센서에 의해 캡처된 시간적으로 순차적인 이미지들의 제1 세트 및 주어진 기간 동안 제2 이미지 센서에 의해 캡처된 시간적으로 순차적인 이미지들의 제2 세트를 포함할 수 있다.
적어도 하나의 구현예에서, 주어진 기간은 약 5 내지 약 60초일 수 있다.
적어도 하나의 구현예에서, 제1 및 제2 이미지 세트는 각각 적어도 10개의 이미지를 포함할 수 있다.
적어도 하나의 구현예에서, 제1 이미지 센서 및 제2 이미지 센서는 각각 제1 이미지 센서 및 제2 이미지 센서의 시야를 통해 중앙으로 연장되는 제1 축과 제2 축 사이의 교차점이 약 15도 내지 약 175도, 또는 약 205도 내지 약 345도 범위의 각도를 형성하도록 이격되고 각도를 이룬다.
적어도 하나의 구현예에서, 각도는 약 30도 내지 약 150도, 또는 약 210도 내지 약 330도의 범위일 수 있다.
적어도 하나의 구현예에서, 인간 형태 객체는 인간 형태 객체 이미지 분석 알고리즘을 제1 복수의 이미지들에 적용함으로써 검출될 수 있다.
적어도 하나의 구현예에서, 바코드 객체는 바코드 객체 이미지 분석 알고리즘을 제2 복수의 이미지들에 적용함으로써 검출될 수 있다.
적어도 하나의 구현예에서, 정의된 이미지 영역은 프레임에서 검출된 인간 형태 객체의 전체를 포함하도록 이미지 경계들을 갖는 프레임을 사용하여 구성될 수 있고, 이미지 경계들은 검출된 인간 형태 객체와 이미지 경계들 사이에 접촉이 없도록 형성된다.
적어도 하나의 구현예에서, 이미지 경계들은 이미지 영역에서 검출된 인간 형태 객체로부터 약 0.5 미터 내지 약 3 미터 떨어진 거리에 대응할 수 있다.
적어도 하나의 구현예에서, 중앙 제어기는 입력 디바이스에 결합될 수 있고, 입력 디바이스는 쿼리 바코드를 포함하는 사용자 진입을 수신하도록 구성되고, 중앙 제어기 및 제1 및 제2 이미지 센서들은 제1 및 제2 복수의 이미지들 각각에서 복수의 바코드 객체 및 그에 대응하는 바코드를 판독하고, 판독된 바코드를, 하나 이상의 판독된 바코드가 획득된 이미지 및 주어진 이미지가 제1 및/또는 제2 이미지 센서에 의해 캡처된 시간과 함께, 하나 이상의 판독된 바코드가 연결된 관계를 사용함으로써 제1 및/또는 제2 이미지 센서에 의해 캡처된 복수의 판독된 바코드 및 이미지를 저장하도록 구성된 제2 데이터베이스에 저장하도록 더 구성되고, 중앙 제어기는 쿼리 바코드와 판독된 저장된 바코드 중 하나 사이에 매칭이 있는지를 결정하도록 더 구성된다.
적어도 하나의 구현예에서, 중앙 제어기는 출력 디바이스에 결합될 수 있고, 중앙 제어기는 쿼리 바코드가 판독된 저장된 바코드와 동일할 때 출력 디바이스에 출력을 제공하도록 구성된다.
적어도 하나의 구현예에서, 출력은 쿼리 바코드와 동일한 바코드에 연결된 이미지가 제1 및/또는 제2 이미지 센서에 의해 캡처된 시간에 대응하는 시간 표시자를 포함할 수 있다.
적어도 하나의 구현예에서, 출력은 쿼리 바코드와 동일하고 제1 및/또는 제2 이미지 센서에 의해 캡처된 바코드를 포함하는 이미지를 포함할 수 있다.
적어도 하나의 구현예에서, 출력은 쿼리 바코드에 매칭된 바코드에 연결된 이미지가 제1 및/또는 제2 이미지 센서에 의해 캡처된 시간 및/또는 쿼리 바코드에 매칭된 바코드에 연결된 이미지를 나타내는 시간 표시자를 포함할 수 있으며, 여기서 시간 표시자 또는 이미지는 쿼리 바코드가 사용자로부터 수신된 시간에 대해, 쿼리 바코드와 판독된 저장된 바코드 중 하나 사이의 매칭이 이루어진 가장 최근의 시간에 대응한다.
적어도 하나의 구현예에서, 입력 디바이스는 제1 시간 및 제2 시간에 의해 정의된 쿼리 시간 기간의 입력을 사용자로부터 수신하도록 더 구성될 수 있고, 중앙 제어기는 쿼리 시간 기간 동안 제1 및/또는 제2 이미지 센서에 의해 캡처된 이미지들의 세트에서 복수의 바코드 객체들 및 그와 대응하는 바코드들을 검출하도록 구성된다.
적어도 하나의 구현예에서, 시스템은 개인 보호 아이템들 이외의 객체들과 연관된 복수의 바코드들을 더 포함할 수 있으며, 바코드들은 객체들을 식별하는 객체 정보를 포함한다.
본 개시의 다른 특징 및 이점은 다음의 상세한 설명으로부터 명백해질 것이다. 그러나, 본 개시의 일부 예시적인 구현예들을 나타내면서, 상세한 설명은 단지 예시로서 주어지는데, 이는 본 개시의 사상 및 범위 내의 다양한 변경들 및 수정들이 상세한 설명으로부터 당업자에게 명백해질 것이기 때문이다.
본 개시는 첨부된 도면들과 관련하여 예로서 설명된 이하 제공된 단락들에 있다. 본 명세서에 제공된 도면들은 예시적인 구현예들의 더 나은 이해를 위해 그리고 다양한 구현예들이 어떻게 실시될 수 있는지를 더 명확하게 보여주기 위해 제공된다. 도면들은 본 개시를 제한하도록 의도되지 않는다.
도 1은 본 개시의 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 시스템의 개략도이다.
도 2는 본 개시의 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 프로세스의 흐름도이다.
도 3은 본 개시의 대안적인 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 다른 시스템의 개략도이다.
도 4는 본 개시의 대안적인 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 다른 시스템의 개략도이다.
도 5a는 본 개시의 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 전자 액세스 제어 시스템에 포함된 전자 디바이스의 개략도이다.
도 5b는 본 개시의 예시적인 구현예에 따른, 개인 보호 장비의 사용을 모니터링하기 위한 전자 액세스 제어 시스템에 포함된 게이트 제어 시스템의 개략도이다.
도 5c는 본 개시의 예시적인 구현예에 따른, 개인 보호 장비의 사용을 모니터링하기 위한 전자 액세스 제어 시스템에 포함된 다른 게이트 제어 시스템의 개략도이다.
도 6a는 작업 공간의 이미지의 예시적인 예시이다.
도 6b는 도 6a의 이미지의 일부를 나타내는, 작업 공간의 다른 이미지의 예시적인 예시이다.
도 7a, 7b, 7c, 7d, 7e 및 7f는 본 개시의 예시적인 구현예에 따라, 도 7a, 7c 및 7e에 도시된 이미지들이 제1 센서에 의해 캡처되고 도 7b, 7d 및 7f에 도시된 대응하는 이미지들이 제2 센서에 의해 거의 동시에 캡처되는 작업 공간 내의 영역의 복수의 시간적으로 연속적인 이미지들의 예시적인 예시들이다.
도 8a, 도 8b, 도 8c, 도 8d, 도 8e 및 도 8f는 본 개시의 예시적인 구현예에 따라, 도 8a, 도 8c 및 도 8e에 도시된 이미지들이 제1 센서에 의해 캡처되고 도 8b, 도 8d 및 도 8f에 도시된 대응하는 이미지들이 제2 센서에 의해 거의 동시에 캡처되는 작업 공간 내의 영역의 다른 복수의 시간적으로 연속되는 이미지들의 예시적인 예시들이다.
도 9a, 도 9b, 도 9c, 및 도 9d는 본 개시의 다양한 예시적인 구현예들에 따른, 작업 공간들뿐만 아니라 내부에 위치된 제1 및 제2 센서들의 개략적인 평면도이다.
도 10은 본 개시의 대안적인 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 다른 시스템의 개략도이다.
도 11a 및 11b는 본 개시의 대안적인 예시적인 구현예들에 따른 개인 보호 장비 및 비-개인 보호 장비의 사용을 추적하기 위한 프로세스들의 흐름도이다.
도 1은 본 개시의 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 시스템의 개략도이다.
도 2는 본 개시의 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 프로세스의 흐름도이다.
도 3은 본 개시의 대안적인 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 다른 시스템의 개략도이다.
도 4는 본 개시의 대안적인 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 다른 시스템의 개략도이다.
도 5a는 본 개시의 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 전자 액세스 제어 시스템에 포함된 전자 디바이스의 개략도이다.
도 5b는 본 개시의 예시적인 구현예에 따른, 개인 보호 장비의 사용을 모니터링하기 위한 전자 액세스 제어 시스템에 포함된 게이트 제어 시스템의 개략도이다.
도 5c는 본 개시의 예시적인 구현예에 따른, 개인 보호 장비의 사용을 모니터링하기 위한 전자 액세스 제어 시스템에 포함된 다른 게이트 제어 시스템의 개략도이다.
도 6a는 작업 공간의 이미지의 예시적인 예시이다.
도 6b는 도 6a의 이미지의 일부를 나타내는, 작업 공간의 다른 이미지의 예시적인 예시이다.
도 7a, 7b, 7c, 7d, 7e 및 7f는 본 개시의 예시적인 구현예에 따라, 도 7a, 7c 및 7e에 도시된 이미지들이 제1 센서에 의해 캡처되고 도 7b, 7d 및 7f에 도시된 대응하는 이미지들이 제2 센서에 의해 거의 동시에 캡처되는 작업 공간 내의 영역의 복수의 시간적으로 연속적인 이미지들의 예시적인 예시들이다.
도 8a, 도 8b, 도 8c, 도 8d, 도 8e 및 도 8f는 본 개시의 예시적인 구현예에 따라, 도 8a, 도 8c 및 도 8e에 도시된 이미지들이 제1 센서에 의해 캡처되고 도 8b, 도 8d 및 도 8f에 도시된 대응하는 이미지들이 제2 센서에 의해 거의 동시에 캡처되는 작업 공간 내의 영역의 다른 복수의 시간적으로 연속되는 이미지들의 예시적인 예시들이다.
도 9a, 도 9b, 도 9c, 및 도 9d는 본 개시의 다양한 예시적인 구현예들에 따른, 작업 공간들뿐만 아니라 내부에 위치된 제1 및 제2 센서들의 개략적인 평면도이다.
도 10은 본 개시의 대안적인 예시적인 구현예에 따른 개인 보호 장비의 사용을 모니터링하기 위한 다른 시스템의 개략도이다.
도 11a 및 11b는 본 개시의 대안적인 예시적인 구현예들에 따른 개인 보호 장비 및 비-개인 보호 장비의 사용을 추적하기 위한 프로세스들의 흐름도이다.
각각의 청구물의 구현예 또는 구현예의 예를 제공하기 위해 다양한 시스템들 및 프로세스들이 아래에서 설명될 것이다. 아래에서 설명되는 구현예는 임의의 청구물을 제한하지 않으며, 임의의 청구물은 아래에서 설명되는 것들과 상이한 방법들, 시스템들, 디바이스들, 어셈블리들, 프로세스들 또는 장치들을 포함할 수 있다. 청구물은 본 명세서에 설명된 임의의 하나의 시스템, 방법, 디바이스, 장치, 어셈블리 또는 프로세스의 모든 특징들을 갖는 시스템들 또는 프로세스들에 또는 본 명세서에 설명된 시스템들, 방법들, 디바이스들, 장치들, 어셈블리들 또는 프로세스들의 다수 또는 전부에 공통인 특징들에 제한되지 않는다. 본 명세서에 설명된 시스템 또는 프로세스는 임의의 청구물의 구현 또는 구현들이 아닐 수 있다. 본 명세서에서 청구되지 않는 본 명세서에 설명된 시스템 또는 프로세스에 개시된 임의의 청구물은 다른 보호 수단, 예를 들어, 계속되는 특허 출원의 청구물일 수 있고, 출원인, 발명가 또는 소유자는 본 문서에서의 그의 개시에 의해 임의의 이러한 청구물을 포기하거나, 부인하거나, 대중에게 전용하려고 의도하지 않는다.
본 명세서 및 청구범위에서 사용되는 바와 같이, 하나("a", "an" 및 "the")와 같은 단수 형태는 문맥상 명백하게 달리 지시되지 않는 한 복수 참조를 포함하고 그 반대도 가능하다. 본 명세서 전체에 걸쳐, 달리 지시되지 않는 한, 용어 "포함한다(comprise)", "포함한다(comprises)" 및 "포함하는(comprising)"은 배타적이기보다는 포괄적으로 사용되어, 언급된 정수 또는 정수들의 그룹은 하나 이상의 다른 언급되지 않은 정수들 또는 정수들의 그룹들을 포함할 수 있다.
용어 "또는"은 예를 들어, "어느 하나"에 의해 수정되지 않는 한 포괄적이다.
범위들이 기하학적 파라미터들 또는 예시적인 거리들에 대한 것과 같이 본 명세서에서 사용될 때, 범위들의 모든 조합들 및 하위 조합들 및 그 안의 특정 구현예들이 포함되는 것으로 의도된다. 작동 실시예 이외의 것, 또는 달리 지시되는 경우, 본 명세서에 사용되는 성분의 양 또는 반응 조건을 표현하는 모든 수는 용어 "약"에 의해 모든 경우에 변형된 것으로 이해되어야 한다. 숫자 또는 수치 범위를 지칭할 때 용어 "약"은 지칭되는 숫자 또는 수치 범위가 허용 가능한 실험 변동성 내의(또는 통계적 실험 오차 내의) 근사치임을 의미하고, 따라서 숫자 또는 수치 범위는 문맥에 의해 쉽게 인식되는 바와 같이 언급된 숫자 또는 수치 범위의 1% 내지 15%로 변할 수 있다. 또한, 본 명세서에 설명된 값들의 임의의 범위는 범위의 제한 값들, 및 주어진 범위 내의 임의의 중간 값 또는 하위-범위를 구체적으로 포함하도록 의도되고, 이러한 모든 중간 값들 및 하위-범위들은 개별적으로 그리고 구체적으로 개시된다(예를 들어, 1 내지 5의 범위는 1, 1.5, 2, 2.75, 3, 3.90, 4, 및 5를 포함함). 유사하게, 본 명세서에서 사용되는 "실질적으로" 및 "대략"과 같은 다른 정도의 용어는 최종 결과가 크게 변경되지 않도록 수정된 용어의 합리적인 편차를 의미한다. 이러한 정도의 용어들은, 이러한 편차가 그것이 수정하는 용어의 의미를 부정하지 않을 경우, 수정된 용어의 편차를 포함하는 것으로 해석되어야 한다.
달리 정의되지 않는 한, 본 명세서에 기재된 임의의 공식들과 관련하여 사용되는 과학 및 기술 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미를 갖는다.
모든 간행물, 특허 및 특허 출원은 각각의 개별 간행물, 특허 또는 특허 출원이 그 전체가 참고로 포함되는 것으로 구체적으로 그리고 개별적으로 표시된 것과 동일한 정도로 그 전체가 본원에 참조로 포함된다.
정의
본 명세서에서 상호교환적으로 사용되는 용어 "자동화된 시스템" 또는 "시스템"은 하나 이상의 프로세서들, 주문형 집적 회로들(ASICs), 그래픽 프로세싱 유닛들(GPUs), 및 컴파일되지 않거나 컴파일되지 않은(즉, 머신 실행가능) 명령어들을 수행할 수 있는 필드 프로그래밍가능 게이트 어레이들(FGPAs)을 포함하는 하드웨어 로직과 같은 하나 이상의 전자 프로세싱 요소들을 갖는 디바이스 또는 복수의 디바이스들의 구성을 지칭하고, 이러한 디바이스들은 임의의 개인용 컴퓨터, 데스크톱 컴퓨터, 핸드-헬드 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 셀 폰 컴퓨터, 스마트폰 컴퓨터 또는 다른 적합한 전자 디바이스, 또는 복수의 디바이스들을 포함하지만, 이에 제한되지 않는다.
본 명세서의 교시들에 따라 설명된 시스템들, 디바이스들, 또는 방법들의 예시적인 구현예들의 일부는 하드웨어 또는 소프트웨어의 조합으로서 구현될 수 있다. 예를 들어, 본 명세서에 설명된 구현예들 중 일부는 적어도 하나의 처리 요소, 및 적어도 하나의 데이터 저장 요소(휘발성 및 비휘발성 메모리를 포함함)를 각각 포함하는 하나 이상의 프로그램가능 디바이스(즉, 컴퓨팅 디바이스) 상에서 실행되는 하나 이상의 컴퓨터 프로그램을 사용함으로써 적어도 부분적으로 구현될 수 있다. 이들 디바이스들은 또한 본 명세서에 정의된 바와 같은 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스를 가질 수 있다.
객체 지향 프로그래밍(object-oriented programming)과 같은 고레벨 절차 언어로 작성된 소프트웨어를 통해 구현될 수 있는 본 명세서에 설명된 구현예들의 적어도 일부를 구현하는 데 사용되는 일부 요소들이 있을 수 있다는 것에 또한 유의해야 한다. 프로그램 코드는 MATLABTM, Visual Basic, Fortran, C, C++, 또는 임의의 다른 적합한 프로그래밍 언어로 작성될 수 있고, 객체 지향 프로그래밍의 숙련자에게 알려진 바와 같이 모듈 또는 클래스를 포함할 수 있다. 대안적으로, 또는 그에 부가하여, 소프트웨어를 통해 구현되는 이들 요소들 중 일부는 필요에 따라 어셈블리 언어, 기계 언어, 또는 펌웨어로 기록될 수 있다.
본 명세서에 설명된 구현예들 중 적어도 하나를 구현하는 데 사용되는 소프트웨어 프로그램들 중 적어도 일부는 저장 매체(예를 들어, 판독 전용 메모리(ROM), 자기 디스크, 광학 디스크와 같은, 그러나 이에 제한되지 않는 컴퓨터 판독가능 매체) 또는 범용 또는 특수 목적 프로그램가능 디바이스에 의해 판독가능한 디바이스 상에 저장될 수 있다. 소프트웨어 프로그램 코드는, 프로그램가능 디바이스의 적어도 하나의 프로세서에 의해 판독될 때, 본 명세서에 설명된 방법들 중 적어도 하나를 수행하기 위해 새롭고 특정적이며 미리 정의된 방식으로 동작하도록 적어도 하나의 프로세서를 구성한다.
또한, 본 명세서에 설명된 구현예들의 시스템들 및 방법들과 연관된 프로그램들 중 적어도 일부는 하나 이상의 프로세서들에 대한 프로그램 코드 또는 프로그램 명령들과 같은 컴퓨터 사용 가능 명령들을 포함하는 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품에 분산될 수 있다. 프로그램 코드는 제조 동안 사전 설치 및 내장될 수 있고/있거나 이미 배치된 컴퓨팅 시스템에 대한 업데이트로서 나중에 설치될 수 있다. 매체는, 예를 들어, 하나 이상의 디스켓, 컴팩트 디스크, 테이프, 칩, 범용 직렬 버스(USB) 키, 외부 하드 드라이브, 자기 및 전자 미디어 스토리지, 태블릿(예를 들어, iPad) 또는 스마트폰(예를 들어, iPhone) 앱 등과 같은, 그러나 이에 제한되지 않는 비-일시적 형태를 포함하는 다양한 형태로 제공될 수 있다. 대안적인 구현예들에서, 매체는, 예를 들어, 유선 송신들, 위성 송신들, 인터넷 송신들(예를 들어, 다운로드들), 매체뿐만 아니라 디지털 및 아날로그 신호들과 같은(그러나 이에 제한되지 않음) 사실상 일시적일 수 있다. 컴퓨터 사용 가능 명령어는 또한 컴파일된 코드 및 컴파일되지 않은 코드를 포함하는 다양한 포맷일 수 있다.
일 양태에서, 본 개시는 본 명세서에 설명된 프로세스들의 구현예들 중 임의의 것에 따라 개인 보호 장비의 사용을 모니터링하기 위한 프로세스를 구현하도록 디바이스를 적응시키기 위해 디바이스의 프로세싱 유닛 상에서 실행가능한 복수의 명령어들을 포함하는 컴퓨터 판독가능 매체를 포함한다.
본 명세서에서 사용되는 용어 "바코드"는 광학적으로 디코딩가능하거나 식별가능한 표시를 포함하는 임의의 아이템 또는 이미지를 지칭한다. 일반적인 유형의 바코드는, 예를 들어, 1차원(1D) 바코드로도 지칭되는 선형 바코드를 포함하며, 여기서 이러한 바코드는 바코드 내의 복수의 평행 라인들의 폭, 높이 및/또는 간격을 변화시킴으로써 정보를 나타낸다. 다른 일반적인 유형의 바코드는 2차원 바코드(2D)로도 지칭되는 매트릭스 바코드를 포함하며, 이러한 바코드는 직사각형, 도트, 육각형 또는 2차원으로 이격된 다른 기하학적 패턴과 같은 기하학적 패턴을 사용하여 정보를 나타낸다.
본 명세서에서 사용되는 용어 "바코드 객체"는 실제 바코드에 대응하는 바코드의 이미지를 지칭한다.
본 명세서에서 사용되는 용어 "결합된"은 용어가 사용되는 문맥에 따라 여러 상이한 의미를 가질 수 있다. 예를 들어, 결합된(coupled) 용어는 사용되는 문맥(context)에 따라, 즉, 경우에 따라 데이터의 물리적 레이아웃 또는 전송을 설명하는지 여부에 따라 기계적 또는 전기적 의미를 가질 수 있다. 예를 들어, 문맥에 따라, 결합되는 용어는 2개의 요소 또는 디바이스가 예를 들어 와이어, 비활성 회로 요소(예를 들어, 저항기) 등과 같은(그러나 이에 제한되지 않음) 물리적 또는 전기적 요소를 통해 하나 이상의 중간 요소 또는 디바이스를 통해 서로 직접 물리적 또는 전기적으로 연결될 수 있거나 또는 서로 연결될 수 있는 것을 나타낼 수 있다.
본 명세서에서 사용되는 "안전 액션을 실행하는"이라는 문구는 자동화된 시스템 또는 자동화된 시스템의 컴포넌트가 시스템의 사용자의 안전을 향상시키기 위한 액션을 실행하는 것을 지칭한다. 이는 경고 신호를 방출하는 것과 같은 즉각적인 단기 액션, 또는 예를 들어, 안전 보고, 또는 안전 훈련 관련 정보를 제공하는 것을 포함하는 장기 액션을 포함한다.
본 명세서에서 사용되는 용어 "인간 형태”는, 예를 들어, 얼굴 또는 손과 같은 사람 또는 그의 일부의 형상에 고유하게 대응하는 형상을 지칭한다.
본 명세서에서 사용되는 용어 "인간 형태 객체"는 실제 사람과 대응하는 사람의 이미지, 또는 실제 사람의 일부에 대응하는 얼굴 또는 손과 같은 사람의 일부의 이미지를 지칭한다. 일반적으로, 본 개시의 맥락에서, 인간 형태 객체들은 작업장 이미지들과 같은 이미지들에 존재할 수 있다. 일반적으로, 작업 공간 이미지들은 하나 이상의 인간 형태 객체들, 및/또는 하나 이상의 비-인간 형태 객체들을 포함할 수 있다. 이미지는, 예를 들어, 직장 이미지가 실제 직장에 대응하는 것과 같이, 현실에 대응한다.
본 명세서에서 사용되는 바와 같이, 용어 "입력 디바이스"는 정보를 입력하는데 사용되는 임의의 사용자 작동 가능한 디바이스를 지칭하고, 단말기, 터치 스크린, 키보드, 마우스, 마우스 패드, 트랙커 볼, 조이스틱, 마이크로폰, 음성 인식 시스템, 라이트 펜, 카메라, 바코드 판독기 또는 자기 잉크 문자 인식 디바이스와 같은 데이터 입력 디바이스, 센서, 또는 입력 데이터를 수신할 수 있는 임의의 다른 컴퓨팅 유닛 중 하나 이상을 포함하지만 이에 제한되지 않는다. 입력 디바이스들은 TV와 같은 2차원 디스플레이, 또는 액정 디스플레이(LCD), 또는 발광 다이오드(LED) 백라이트 디스플레이, 모바일 전화 디스플레이, 또는 예를 들어 터치 스크린에 의해 사용자로부터 입력을 수신할 수 있는 디스플레이를 포함할 수 있다.
본 발명에 따른 사용자는, 예를 들어 임의의 안전 관리자, 또는 작업 현장 운영자 또는 관리자를 포함하는 임의의 사용자 또는 운영자일 수 있다.
용어 "비-인간 형태(non-human form)"는 사람 또는 사람의 일부에 고유하게 대응하는 형상들 이외의 임의의 또는 모든 형상들에 대응하는 형상을 의미한다.
비인간 형태 객체(non-human form object)는 실제 사람 또는 그 일부를 제외한 실제 객체에 대응하는 형상의 이미지를 의미한다.
본 명세서에서 사용되는 바와 같이, 용어 "출력 디바이스"는 정보를 출력하는데 사용되는 임의의 디바이스를 지칭하며, 디스플레이 단말기, 스크린, 프린터(예를 들어, 레이저, 잉크젯, 도트 매트릭스), 플로터 또는 다른 하드 카피 출력 디바이스, 스피커, 헤드폰, 전자 저장 디바이스, 버저 또는 진동기, 다른 디바이스, 또는 다른 컴퓨팅 유닛과 통신할 수 있는 라디오 또는 다른 통신 디바이스 중 하나 이상을 포함하지만, 이에 제한되지 않는다. 출력 디바이스들은 또한 사용자가 볼 수 있는 포맷으로 출력 데이터를 제공할 수 있는, 텔레비전, 또는 LCD, 또는 LED 백라이트 디스플레이, 및/또는 모바일 전화 디스플레이와 같은 2차원 디스플레이를 포함할 수 있다.
본 명세서에서 사용되는 용어 "입력/출력 디바이스"는 입력 및 출력 기능들 둘 모두의 디바이스에 포함됨으로써 입력 디바이스 및 출력 디바이스 둘 모두로서 사용될 수 있는 임의의 디바이스를 지칭한다.
용어 "개인 보호 장비" 또는 "PPE"는 본 명세서에서 상호교환적으로 사용되며, 예를 들어, 직장 내의 사건들, 사고들 및/또는 상해들의 결과로서 눈의 상해, 손의 상해, 발의 상해 및 다른 형태의 신체 상해와 같은 사람에 대한 상해 또는 신체 상해의 위험을 감소시킬 수 있는 임의의 장비, 기구 또는 물품을 지칭한다. PPE는 제한 없이, 안전 헬멧, 안전 장갑, 안전 안경 또는 안전 고글, 안전 신발, 얼굴 가리개 또는 얼굴 마스크, 청각 보호 장치, 보호 조끼 또는 보호 재킷, 안전 슈트 또는 안전 가운, 가스 탱크 및/또는 호흡 장치, 및 안전 신발을 포함한다. PPE는 또한 방사선 선량측정 장치, 잡음 측정 장치, 및/또는 가시 범위 또는 다른 파장 범위의 광을 측정하기 위한 광 강도 측정 장치와 같은, 그러나 이에 제한되지 않는, 보호를 위해 사용되는 장치를 포함한다. 이들 용어는 또한, 예를 들어, 전자 제조, 또는 제약 또는 생물학 제조에 사용되는 보호 물품 및 기기와 같은 작업 대상물과의 직접적인 인간 접촉에 의해 작업 대상물의 오염의 위험이 있는 작업장에서 착용되는 보호 장비를 포함하도록 의도된다.
시스템의 일반적인 구현예
전술한 바와 같이, 본 개시는 개인 보호 장비의 사용을 모니터링하기 위한 시스템 및 프로세스에 관한 것이다. 자동화된 시스템 및 프로세스들은 위험한 작업 환경과 같은 작업 공간에서 적용가능한 안전 규정들 및 가이드라인들의 강력한 준수를 촉진시키는 방식으로 구현될 수 있다. 시스템은 사람이 위험한 작업 환경에 존재하는 동안 하나 이상의 개인 보호 장비 아이템들을 착용하고 있는지를 정확하게 그리고 연속적으로 또는 주기적으로 모니터링 및 확인하도록 구성될 수 있다. 본 발명의 시스템은 작업 공간에서 다수의 사람, 예를 들어 10명 또는 20명을 동시에 모니터링할 수 있고, 각각의 사람은 다수의 개인 보호 장비 아이템, 예를 들어 5 또는 10개의 그러한 물품을 착용한다.
시스템이 사람에 의해 착용되지 않는 개인 보호 장비 아이템을 검출할 때, 시스템은 안전 경보를 방출하는 것과 같은 안전 액션을 실행할 수 있다. 본 개시의 시스템은 비교적 짧은 시간 기간 내에, 사용자와 개인 보호 장비 아이템 사이의 분리(예를 들어, 10초) 및/또는 사용자와 개인 보호 장비 사이의 물리적 분리를 비교적 짧은 거리(예를 들어, 1m)에 걸쳐 쉽게 검출하기 위해 충분히 민감하다. 따라서, 본 명세서에 개시된 시스템은 건설 현장과 같은 신속하게 변경되거나 일시적인 작업 공간을 포함하는 많은 환경에서 유연한 사용에 적합하다. 프로세스들 및 시스템은 사용자에 의해 착용되는 센서들이 없고, 즉, 시스템은 사용자에 의해 보호 장비가 착용되는지를 모니터링하기 위해 광전 센서들 또는 압력 센서들과 같은 웨어러블 센서들의 사용을 수반하지 않는다. 따라서, 시스템은 센서 오작동에 취약하지 않거나, 개인 보호 장비를 착용한 사용자가 때때로 할 수 있는 약간의 조정, 또는 날씨와 같은 외부 요인에 민감하지 않으며, 이들 모두는 허위 경보의 발생을 초래할 수 있는 웨어러블 센서의 기능을 방해할 수 있다. 시스템은 또한 웨어러블 센서-기반 시스템들에 대해 요구될 수 있는 바와 같은 맞춤형 피팅을 요구하지 않는다. 이들 및 다른 유익한 양태들은 본 명세서에 개시된 시스템이 업무 관련 부상들의 발생을 방지하는 데 유용하도록 한다.
넓은 의미에서, 하나 이상의 개인용 보호 장비의 사용을 자동으로 모니터링하기 위한 시스템은 복수의 바코드를 포함하고, 각각의 바코드는 개인용 보호 장비의 아이템과 연관될 뿐만 아니라 개인용 보호 장비의 아이템의 사용자에 대한 사용자 정보를 포함한다. 이미지 센서는 작업 공간에 설치되어, 개인 보호구를 착용한 사용자가 존재하는 작업 공간의 영상을 촬영한다. 시스템은 이미지에서 인간 형태 객체(개인 보호 장비의 사용자에 대응함) 및 바코드 객체(바코드에 대응함)를 검출하도록 구성된다. 검출된 인간 형태 객체들 및 바코드 객체들에 기초하여, 확률적 알고리즘이, 이미지들이 캡처되었을 때, 이미지들 내의 임의의 사용자들이 작업 공간에 적용가능한 안전 규칙들에 따라 모든 개인 보호 장비를 착용하고 있었을 확률을 계산하기 위해 사용된다. 시스템은 또한 계산된 확률이 미리 결정된 확률 임계 값보다 낮을 때 안전 액션을 실행하도록 구성된다.
이하에서, 선택된 실시예들이 도면들을 참조하여 설명된다.
일반적인 개요에서, 도 1, 도 3, 도 4, 도 5a, 도 5b 및 도 5c는 본 개시의 시스템들의 예시적인 구현예들에 따른 시스템들의 다양한 하드웨어 컴포넌트들 및 구성들의 개략도이다. 도 2는 본 개시의 자동화된 프로세스의 예시적인 실시예의 흐름도이다. 도 6a, 6b, 7a, 7b, 7c, 7d, 7e, 7f, 8a, 8b, 8c, 8d, 8e, 및 8f는 본 개시의 시스템들의 예시적인 구현예들에 따라 이미지 센서들에 의해 캡처된 이미지들의 예시적인 예시들이다. 도 9a, 9b, 9c, 및 9d는 본 개시의 시스템들의 예시적인 구현예들에 따른 예시적인 이미지 센서 설치들의 개략적인 개요들이다. 도 10은 대안적인 예시적인 구현예에 따른 다양한 하드웨어 컴포넌트들 및 시스템들의 구성들의 개략도이고, 도 11a 및 도 11b는 본 개시의 자동화된 프로세스의 대안적인 예시적인 실시예들의 흐름도이다.
먼저 도 1을 참조하면, 예시적인 구현예에서, 본 개시는 개인 보호 장비와 함께 사용하기 위한 시스템(100)을 제공한다. 시스템(100)은 작업 공간에서 복수의 작업자에 의한 복수의 개인 보호 장비의 사용의 자동 모니터링을 허용한다. 복수의 개인 보호 장비는 안전 헬멧(110a, 110b) 및 안전 조끼(107a, 107b)에 의해 예시된다. 안전 헬멧들(110a, 110b) 및 안전 조끼들(107a, 107b)은 개인 보호 장비의 예들을 나타낸다는 것이 이해되어야 한다. 개인 보호 장비의 다른 예들은, 제한 없이, 예를 들어, 모두 도시되지 않았지만, 추가적으로 또는 대안적으로, 여기에 개시된 시스템(100)에 의해 검출되고 모니터링될 수 있는, 안전 장갑, 안전 신발, 안전 수트들, 안전 고글, 안전 마스크들, 및 청력 보호 디바이스들 중 적어도 하나를 포함한다. 개인 보호 장비(107a, 107b, 110a, 110b) 각각은, 바코드(109a, 109b, 115a, 115b)를 개인 보호 장비(107a, 107b, 110a, 110b)에 각각 부착 또는 부착함으로써, 바코드(109a, 109b, 115a, 115b)로 개별적으로, 영구적으로 또는 분리가능하게 태그된다. 바코드들(109a, 109b, 115a, 115b) 다양한 구현예들은 1D-바코드들 또는 2D-바코드들, 예를 들어, QR 코드, 데이터 매트릭스, 맥시코드 또는 PDF417, 또는 1D-바코드들과 2-D 바코드들의 조합들일 수 있다. 개별 바코드는 일반적으로 각각의 개인 보호 장비 아이템에 고유하도록 선택되어, 상이한 부류의 개인 보호 장비(예를 들어, 안전 장갑, 안전 마스크의 부류)뿐만 아니라, 주어진 부류의 개인 보호 장비(예를 들어, 다중 안전 장갑) 내의 개별 개인 보호 장비 아이템들이 고유 바코드를 운반한다는 것을 주목한다. 따라서, 바코드의 이미지는 특정 개인 장비 아이템, 예를 들어, 특정 안전 헬멧의 식별을 가능하게 하는 개인 보호 장비 아이템에 대한 객체 정보를 나타낸다고 말할 수 있거나, 또는 특정 안전 조끼, 예를 들어, 안전 조끼(107a) 및 안전 조끼(107b)는 개별적으로 식별될 수 있다. 도 1에는 단지 예로서, 2D-바코드들이 도시되어 있다. 그러나, 1D-바코드는 1D-바코드가 2D-바코드보다 이미지 왜곡에 덜 민감할 수 있기 때문에, 보호 기기의 만곡된 또는 만곡된 표면에 대한 바코드의 물리적 부착을 수반하는 구현예에서, 또는 덜 민감하거나 더 적은 센서를 수반하는 구현예에서 바람직할 수 있다. 대안적으로, 바코드에 더 많은 정보를 포함하는 것이 바람직한 구현예에서 2-D 바코드가 바람직할 수 있다. 또한, 이미지 데이터가 기록되는 구현예들에서, 아래에서 추가로 설명되는 바와 같이, 2-D 바코드들이 획득된 이미지 데이터에서 임의의 잘못된 정보를 재구성하는데 사용될 수 있는 더 많은 정보를 포함한다는 사실을 고려하여, 2D 바코드들의 일부 잘못된 정보를 갖는 획득된 이미지 데이터를 정정하는 것이 더 용이할 수 있다.
계속해서 도 1을 참조하면, 시스템(100)은 작업 공간 주연부(156)에 의해 한정된 작업 공간(155)에 설치되고, 작업 공간(155)에서 작업하는 작업자들(105a 및 105b)은 작업 공간(155)에 대한 적용 가능한 안전 규칙에 따라, 바코드(115a 및 115b)를 각각 포함하는 각자의 안전 헬멧(110a 및 110b) 및 바코드(109a 및 109b)를 각각 포함하는 각자의 안전 조끼(107a 및 107b)를 착용할 것이 요구된다. 바코드들(109a, 109b, 115a, 115b)의 고유성으로 인해, 작업자(105a)를 작업자(105b)로부터 구별할 수 있다는 것이 주목된다. 일부 구현예들에서, 작업 공간(155)은 영구 작업 공간, 예를 들어, 창고, 제조 시설, 또는 실험실일 수 있다. 다른 구현예들에서, 작업 공간(155)은 건설 현장과 같은 임시 작업 공간일 수 있다. 또 다른 구현예에서, 작업 공간(155)은 위험한 장비의 개별 부분 주위의 비교적 작은 공간, 예를 들어 지게차, 원형 톱 등 주위의 공간일 수 있다.
시스템(100)은 작업 공간(155)에 이격된 방식으로 각각 설치된 제1 및 제2 이미지 센서(120 및 125)를 더 포함한다. 또한, 제1 및 제2 이미지 센서들(120 및 125)은 (이하 도 9a 내지 도 9d를 참조하여 설명된 바와 같이) 경사져서, 제1 및 제2 시야각들(이미지 센서(120 및 125)에 대해 각각의 양방향 화살표들(ar-a 및 ar-b) 및 이미지 센서(120a1)를 장착하기 위해 이미지 센서(120a1)에 대한 각도가 선택될 수 있는 가능한 각도들의 범위를 도시하는 도 9a의 ar1 및 ar2) 각각에서, 작업 공간(155) 내의 특정 영역(159)의 이미지들이 이미지 센서들(120 및 125)에 의해 캡처될 수 있다. 또한, 제1 및 제2 이미지 센서(120 및 125)는 작업 공간(155) 내의 영역(159)의 시간적으로 연속적인 이미지를 연속적으로 또는 주기적으로 캡처하도록 구성된다.
일부 구현예들에서, 제1 및 제2 이미지 센서들(120 및 125)은, 예를 들어, 모션 블러 제어를 허용하기 위해 적어도 약 1/60초의 셔터 속도를 갖는 카메라, 및 예를 들어, 약 3 내지 5 프레임/초의 샘플링 레이트로 약 1,920x1,080 픽셀의 해상도를 갖는 이미지 스트림을 레코딩하는 능력, 또는 2개의 이미지 스트림들, 예를 들어, 약 3 내지 5 프레임/초의 샘플링 레이트로 약 1,920x1,080 픽셀의 해상도를 갖는 제1 이미지 스트림, 및 예를 들어, 약 12 내지 24 프레임/초의 샘플링 레이트로 약 1,280x720 픽셀의 해상도를 갖는 제2 이미지 스트림을 레코딩하는 능력을 포함하는 이미지 프로세싱 능력들을 갖거나 갖지 않는 카메라, 예를 들어, 인터넷 프로토콜(IP) 카메라일 수 있다. 2개의 이미지 스트림을 제공하는 카메라는 이하에서 더 설명되는 바와 같이, 제1 이미지 스트림의 이미지 처리 분석, 및 제2 이미지 스트림의 기록을 수행하는 데 사용될 수 있다. 이미지 센서들(120 및 125)은 작업 공간(155)에서 발생할 수 있는 온도 범위, 예를 들어 -30°C 내지 +50°C 내에서 동작가능하도록 추가로 선택될 수 있다.
다양한 구현예들에서, 사용될 수 있는 이미지 센서들은, 예를 들어, 디지털 카메라들(스틸 또는 모션), LIDAR(Light Detection and Ranging) 기반 센서들, 또는 ToF(Time-of-Flight) 기반 센서들 중 적어도 하나를 더 포함할 수 있다. ToF-기반 센서들은 제1 또는 제2 센서 이미지 센서(120 및 125)의 구현예에 유용할 수 있는데, 그 이유는 이들이 3차원으로 이미지의 각각의 지점에 대해 이미징되는 객체와 카메라 사이의 거리의 공간 분해능을 허용하고, 따라서 인간 형태 객체들과 그들의 그림자들 사이를 구별하는 능력을 향상시킬 수 있기 때문이다. 사용될 수 있는 이미지 센서들은, 예를 들어, PIR(passive IR) 센서들, deep-IR 기반 센서들, 또는 ToF IR 기반 센서들을 포함하지만 이에 제한되지 않는 적외선(IR) 기반 센서들 중 적어도 하나를 더 포함할 수 있다. 이러한 점에서, deep-IR 기반 센서들은, 열 이미지 내의 온도 패턴들의 검출 및 평가에 기초하여 열 이미지 내의 사람 형상 객체의 식별을 허용할 수 있기 때문에, 제1 및 제2 센서들(120 및 125)의 구현예에 유용할 수 있다. 특히, deep-IR 기반의 센서를 이용하여 약 37°C의 온도를 표시하는 사람 형상 객체의 이미지들은 주변 환경 또는 다른 온도를 가지는 객체들과 구별될 수 있다.
다시 도 1을 참조하면, 컴퓨터 서버에 의해 구현되는 중앙 제어기(145)는 전체 시스템(100)의 동작을 제어하고, 예를 들어, 무선 네트워크 또는 근거리 통신망(LAN)과 같은 네트워크(130)에 동작 가능하게 결합된다. 중앙 제어기(145)는 또한 네트워크(130)를 통해 제1 및 제2 이미지 센서(120, 125)에 각각 동작 가능하게 결합된다. 중앙 제어기(145)는 하나 이상의 프로세서 또는 로직 하드웨어, 메모리 컴포넌트, 및 예를 들어 입력 디바이스(140)(즉, 키보드 및/또는 터치 감지 스크린) 또는 스캐너(도시되지 않음)와 같은 주변 입력 및 출력 디바이스에 대한 통신 결합을 허용하는 입력 및 출력 포트 또는 통신 버스를 갖는 중앙 처리 유닛(CPU)(146)을 포함한다. 중앙 제어기(145)는 프린터(150)와 같은 출력 디바이스에 출력 데이터를 제공하거나, 또는 데이터 저장소(도시되지 않음) 내의 데이터베이스 또는 파일들에 액세스하고 업데이트하도록 추가로 구성된다. 데이터 저장소는 중앙 제어기(145)의 일부일 수 있거나, 또는 그것은 별개의 하드웨어 요소일 수 있다.
중앙 제어기(145)는 입력 디바이스(140)를 통해 조작자에 의해 제어될 수 있다. 이러한 방식으로, 중앙 제어기(145)는 사용자 관련 정보, 개인 보호 장비 관련 정보, 작업 현장 관련 정보, 또는 바코드 관련 정보와 같은(그러나 이에 제한되지 않음), 시스템(100)과 관련된 정보를 제공하거나 추적하도록 구성될 수 있다.
일부 구현예들에서, 셀 폰(135)에 의해 예시된 시그널링 컴포넌트는 입력 디바이스로서 사용될 수 있다.
본 발명의 일 양태에 따르면, 입력 데이터는 개인 보호 장비(107a, 107b, 110a, 및 110b)의 주어진 사용자에 대한 사용자 정보를 포함한다. 따라서, 중앙 처리 유닛(146)은 예를 들어, 작업자(105a 및 105b)의 이름, 전화번호, 생년월일 및/또는 사용자 ID와 같은 사용자 정보를 수신할 수 있고, 이러한 정보를 데이터베이스에 저장할 수 있다. 사용자 정보는 바코드에 포함될 수 있다. 따라서, 예를 들어 바코드(109a 및 115a)는 작업자(105a)의 사용자 ID를 포함할 수 있고, 바코드(109b 및 115b)는 작업자(105b)의 사용자 ID를 포함할 수 있다. 데이터베이스가 이러한 바코드들 중 하나를 이용하여 검색되면, 바코드와 연관된 PPE 아이템을 사용하는 작업자의 개인 정보 및 동일한 개인 정보와 연결된 다른 모든 바코드가 데이터베이스에서 확인되도록 함으로써, 주어진 사용자에 대하여 사용자의 개인 정보 및 사용자에 의해 착용된 모든 PPE와 연관된 모든 바코드가 데이터베이스에서 서로 연결되도록 데이터베이스가 디자인된다. 데이터베이스는 관계형 데이터베이스일 수 있다.
또한, 본 발명의 일 양태에 따르면, 입력 데이터는 작업 공간(155)에 적용 가능한 안전 규칙을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 안전 규칙은 작업 공간 및/또는 개인 보호 장비에 적용 가능한 안전 관련 파라미터를 포함한다. 예를 들어, 안전 규칙들은 안전 규칙 액션뿐만 아니라 안전 규칙 시간 및/또는 안전 규칙 거리를 포함할 수 있고, 사용자가 예를 들어, 개인 보호 장비로부터, 예를 들어, 30초(즉, 안전 규칙 시간)보다 더 긴 시간 동안 2미터(즉, 안전 규칙 거리) 초과만큼 분리되면, 시스템이 예를 들어, 신호를 생성 및 방출하기 위해, 그 안전 규칙과 연관된 안전 규칙 액션을 실행하도록 정의될 수 있다. 실행가능한 안전 규칙 액션들은, 경고 액션들(예를 들어, 청각적 신호, 시각적 또는 촉각적 경보들을 생성), 및 동작 액션들(예를 들어, 중앙 처리 유닛(146)과의 통신, 이메일의 전송, 또는 데이터의 로깅)을 포함하지만, 이에 제한되지 않는다. 안전 규칙은 제어기(145)의 메모리 또는 중앙 처리 유닛(146)에 의해 모두 액세스 가능한 데이터 저장소에 안전 규칙 데이터로서 저장될 수 있다. 따라서, 중앙 처리 유닛(146)은 입력 디바이스(140)를 통해 작업 공간(155)에 적용 가능한 안전 규칙들을 수신하거나 메모리로부터 안전 규칙 데이터에 액세스하도록 구성된다. 예를 들어, 중앙 처리 유닛(146)은 작업 공간(155)에서, 작업 공간(155)에 존재하는 작업자들이 안전 헬멧 및 안전 조끼를 착용하도록 요구된다는 안전 규칙을 수신하도록 구성된다. 따라서, 중앙 처리 유닛(146)은 작업자들(105a 및 105b)이 작업 공간(155)에 있을 때, 작업자(105a)가 (바코드(109a)를 포함함) 안전 조끼(107a) 및 (바코드(115a)를 포함함) 안전 헬멧(110a)을 착용하도록 요구되고, 작업자(105b)가 (바코드(109b)를 포함함) 안전 조끼(107b) 및 (바코드(115b)를 포함함) 안전 헬멧(110b)을 착용하도록 모니터링을 수행하도록 구성된다.
이제 다시 제1 및 제2 이미지 센서(120 및 125)를 각각 참조하면, 제1 및 제2 이미지 센서(120 및 125)는 작업 공간(155) 내의 영역(159)의 이미지를 캡처하기 위해 이격되고 각진다. 결과적으로, 제1 및 제2 이미지 센서(120 및 125)에 의해 캡처된 이미지는, 작업 공간(155) 내의 영역(159)과 적어도 부분적으로 대응한다. 그러나, 상이한 각도들로 인해, 제1 및 제2 이미지 센서들(120 및 125)에 의해 캡처된 이미지들은 작업 공간(155)의 영역(159)에 존재하는 상이한 요소들을 드러내거나 숨길 수 있다는 점에 유의한다. 따라서, 예를 들어, 작업자(105a)의 다른 부분들이 작업자(105b)의 이미지에 의해 가려질 수 있기 때문에 이미지 센서(125)에 의해 캡처된 이미지는 작업자(105a)의 일부만을 보여줄 수 있다. 그러나, 이미지 센서(120)는 작업자(105a)의 상이한 이미지를 캡처할 것인데, 이는 이미지 센서(125)와 비교하여 영역(159)의 상이한 시야를 갖기 때문이다.
다음으로 도 9a-9d를 참조하면, 작업 공간들(155a(도 9a), 155a1(도 9b), 155a2(도 9c) 및 155a3(도 9d))의 개략적인 평면도들이 도시되어 있으며, 여기서 각각의 작업 공간은 북쪽(N), 남쪽(S), 서쪽(W), 및 동쪽(E) 벽을 갖도록 정의된다. 도 9a 내지 도 9d에 도시된 예시적인 구현예에서, 작업 공간은 벽들에 의해 정의된다는 점에 유의한다. 다른 구현예들에서, 그러한 벽들 중 하나 이상은 존재하지 않을 수 있고, 벽의 위치는 작업 공간의 다른 부분이 위치될 수 있는 비물리적 둘레 또는 경계로서 간주될 수 있다. 이미지 센서(125a1)는 서쪽(W) 벽으로 직진 지향된 시야각(158a)에서 작업 공간(155a, 155a1, 155a2 및 155a3)의 이미지를 캡처하기 위해 동쪽(E) 벽에 설치된다. 이미지 센서(120a)는 북쪽(N) 벽에 설치되지만, 다른 구현예들에서, 동쪽(E) 벽, 서쪽(W) 벽 또는 남쪽(S) 벽(미도시)에 설치될 수 있다. 또한, 이미지 센서(120a)는 각도(a)가 상이한 구현예들에서 화살표들(ar1), (ar2)에 의해 표시된 바와 같이 변화하도록 선택될 수 있도록 설치된다. 각도(a)는 이미지 센서들(120a1 및 120a3)의 화각을 통해 중심으로 연장되고 교차하는 축들에 의해 형성되기 때문에 이미지 센서들(120a1 및 125a1)의 위치설정에 기초하는 선택된 각도로 지칭될 수 있다. 따라서, 예로서, 도 9b에 예시된 바와 같이, 이미지 센서(125a1) 및 이미지 센서(120a2)는 각도(a)가 90도가 되도록 설치될 수 있다. 각도(a)는 이제 a1로서 도시되고, 이미지 센서들(125a1 및 120a2)의 시야들(158a 및 157a2)을 통해 중심으로 연장되는 축 b1 및 c1에 의해 각각 형성된다. 따라서, 다른 예로서, 도 9c에 도시된 바와 같이, 이미지 센서(125a1) 및 이미지 센서(120a3)는 각도(a)가 45도로 선택되도록 설치될 수 있다. 각도(a)는 이제 a2로서 도시되고, 이미지 센서들(125a1 및 120a3)의 시야들(158a 및 157a3)을 통해 중심으로 연장되고 교차하는 축들(b2 및 c2)에 의해 형성된다. 그리고, 또 다른 예로, 도 9d에 도시된 바와 같이, 이미지 센서(125a1) 및 이미지 센서(120a4)는 각도(a)가 110도로 선택되도록 설치될 수 있다. 각도(a)는 이제 a3으로서 도시되고, 이미지 센서들(125a1 및 120a4)의 시야들(158a 및 157a4)을 통해 중심으로 연장되고 교차하는 축들(b3 및 c3)에 의해 형성된다.
도 1을 다시 참조하고, 도 9a 내지 도 9d에 의해 예시된 일반적인 원리들을 그에 적용하면, 상이한 구현예들에서, 이미지 센서들(120 및 125)이 각각 이미지 센서들(120 및 125)에 대해 각도들(ar-a 및 ar-b)의 범위 내에서 독립적으로 선택된 다양한 각도들로 경사지도록 설치될 수 있지만, 각각의 시야들(157 및 158) 사이의 오버랩은 도 9a-9d에 예시된 바와 같이 생성된다는 것이 명백할 것이다. 선택된 각도는 제1 축과 제2 축(도형 군집을 피하기 위해 도 1에 도시되지 않음)의 교차에 의해 형성될 수 있으며, 제1 축은 이미지 센서(120)의 시야(157)를 통해 중심으로 연장되고 제2 축은 이미지 센서(125)의 시야(158)를 통해 중심으로 연장된다. 바람직한 구현예들에서, 각도는 15도 내지 175도, 및 205도 내지 345도의 범위로 선택되며, 여기서 각도가 205도 내지 305도로 선택되면, 이미지 센서(120)는 동쪽(E) 또는 남쪽(S) 벽(도시되지 않음) 상에 설치된다. 추가의 바람직한 구현예들에서, 각도는 30도 내지 150도 및 220도 내지 330도 사이의 범위이도록 선택되고, 여기서, 220도 내지 330도 사이에 있도록 선택되는 경우, 이미지 센서(120)는 동쪽(E) 또는 남쪽(S) 벽(도시되지 않음) 상에 설치된다. 본 발명자들은, 이들 범위 내에서 선택된 각도가 시스템(100)의 동작에 특히 효과적이라는 것을 발견했다.
일 양태에서, 제1 및 제2 이미지 센서들(120 및 125)은 캡처된 이미지들을 획득하고 캡처된 이미지들 각각에서 임의의 인간 형태 객체들이 존재하는지를 검출하기 위해 인간 형태 객체 이미지 분석 알고리즘을 캡처된 이미지들에 적용하고 캡처된 이미지들 각각에서 임의의 바코드 객체들이 존재하는지를 검출하기 위해 바코드 객체 이미지 분석 알고리즘을 캡처된 이미지들에 적용함으로써 이미지 센서들(120 및 125)에 의해 캡처된 이미지들을 분석하도록 중앙 처리 유닛(146)과 함께 구성된다. 본 명세서에 사용되는 바와 같이, "제1 및 제2 이미지 센서들이 중앙 처리 유닛과 함께 구성된다"라는 문구는 인간 형태 객체 이미지 분석 알고리즘 및 바코드 객체 이미지 분석 알고리즘을 포함하는 특정 알고리즘들을 집합적으로 실행할 수 있는 동작가능하게 결합된 하드웨어 및 소프트웨어 컴포넌트들을 지칭하도록 의도되는데, 즉 알고리즘의 일부는 제1 센서에 의해 수행될 수 있거나, 알고리즘의 일부는 제2 센서에 의해 수행될 수 있고 알고리즘의 일부는 중앙 처리 유닛에 의해 수행될 수 있거나, 또는 알고리즘의 일부는 이미지 센서들(120 및 125) 및 중앙 처리 유닛(146) 중 하나에만 의해 수행될 수 있거나, 알고리즘들은 중앙 처리 유닛(146)에만 의해 수행될 수 있다는 것에 유의한다. 따라서, 이미지 센서들(120 및 125) 및 중앙 처리 유닛(146)에 의해 구현되는 알고리즘들의 부분들은 변할 수 있고, 하드웨어 및 소프트웨어 컴포넌트들은 동작가능하게 결합되어, 그들이 센서들 중 단지 하나 또는 두 개를 포함하는 하드웨어 및 중앙 처리 유닛의 임의의 조합으로 또는 단독으로 알고리즘을 실행할 수 있다. 일부 구현예들에서, 인간 형태 객체들 및 바코드 객체들 둘 모두를 검출할 수 있는 알고리즘이 사용될 수 있다. 상이한 구현예들에서, 시스템(100)은 하드웨어 및 소프트웨어 컴포넌트들의 상이한 부분들이 중앙 처리 유닛(146) 내에 또는 제1 및/또는 제2 이미지 센서들(120 및 125) 내에 물리적으로 위치되도록 구성될 수 있다. 중앙 처리 유닛(146)과 제1 및/또는 제2 이미지 센서들(120 및 125) 사이의 하드웨어 및 소프트웨어 컴포넌트들의 상대적 분포는 원하는 바에 따라 상이한 구현예들을 제공하기 위해 조정될 수 있다. 따라서, 예를 들어, 일 구현예에서, 주어진 이미지 분석 알고리즘의 적용은 중앙 처리 유닛(146)에 의해 수행될 수 있고, 이어서 캡처된 이미지들의 이미지 센서들(120 및 125)에 의한 송신 및 중앙 처리 유닛(146)에 의한 그 수신이 수행될 수 있다. 다른 구현예에서, 주어진 이미지 분석의 적용은 이미지 센서들(120 및/또는 125)에 의해 수행될 수 있고, 후속 동작들(이하 설명됨)은 중앙 처리 유닛(146)에 의해 수행될 수 있다.
이미지 분석의 적용은 일반적으로, 이하에서 설명되는 바와 같이, 이미지 센서들(120 및 125)에 의해 캡처된 작업 공간(15 5)의 이미지들 내에서 객체들, 특히 인간 형태 객체들 또는 바코드 객체들의 하나 이상의 이미지의 식별을 수반한다. 일반적으로, 이는, 이미지 내의 하나 이상의 인간 형태 객체를 식별하기 위해, 예를 들어, 인간 신체 형상, 또는 그의 일부, 예를 들어, 얼굴 또는 손과 같은 인간 형태 특징들의 특성을 갖는 템플릿들을 사용하여 설계 및 훈련된, 지도 학습 알고리즘(supervised learning algorithm)과 같은 객체 이미지 분석 알고리즘에 의해 달성될 수 있다. 본 명세서에서 사용될 수 있는 객체 이미지 분석 알고리즘들은 입력 이미지들로부터의 특징들의 세트, 예를 들어, 형상 특징들의 초기 추출, 예를 들어, HOG(histogram of oriented gradients)(Dalal N. and B. Triggs, International Conference on Computer Vision & Pattern Recognition(CVPR'05), June 2005, San Diego, United. pp. 886-893) 또는 스케일-불변 특징 변환(SIFT)(D. G. Lowe., 1999, In: Computer vision, Proceedings of the recies of the 7번째 IEEE international conference on, volume 2, pp. 1150-1157), 외관 특징들(예를 들어, Haar features(Papageorgiou, C.P. et al., 컴퓨터 비전, 1998년, 제6회 국제 컨퍼런스, pp. 555-562. IEEE, 1998) 또는 모션 특징들(예를 들어, HOF에 기초(Dalal, N. et al., 2006, Human Detection Using Oriented Histograms of Flow and Appearance: Leonardis A., Bischof H., Pinz A. (eds) Computer Vision - ECCV 2006. ECCV 2006. Computer Science, vol 3952의 강의 노트. Springer, Berlin, Heidelberg), 또는 이러한 특징들의 조합에 기초할 수 있다. 그런 다음 분류기(예를 들어, Viola, P. and M. Jones, 2001, Second International Workshop on Statistical and Computational Theories on Vision - Modeling, Learning, Computing and Sampling; Lienhart, R. and J. Maydt, Image Processing, 2002, Proceedings, International Conference on v. 1, pp. I-900 - I-903) 또는 로컬라이저(예를 들어, Blaschko, M. B. and C. H. Lampert, 2008, In: Computer Vision-ECCV, 2-15, Springer)는 전형적으로 이미지 또는 이미지의 영역에 걸쳐 이들 분류기 또는 로컬라이저를 실행함으로써 물체를 식별하는데 사용된다. 인간 형태 물체를 식별하기 위한 인간 형태 물체 이미지 분석 알고리즘에 관한 예 및 추가 안내는 예를 들어 문헌 [Gavrila, D. M., 1999, Computer Vision and Image Understanding, 82-98]; [Wang, L. et al., 2003, Pattern Recognition, 36 285-601, U.S. Patents 9,256,781; 8,938,124; and 7,324,693]에서 찾을 수 있다.
다음으로 도 3을 참조하면, 일부 구현예들에서, 시스템(300)은 계산 신경망(320), 즉 하나 이상의 입력들에 하나 이상의 함수들 또는 이들의 근사치들을 적용함으로써 계산들을 수행하는 계산 모델을 포함하도록 구현될 수 있다. 계산 신경망(320)은 제1 또는 제2 이미지 센서(120, 125)에 의해, 또는 기록된 이미지 데이터(이하 설명되는 바와 같이)를 포함하는 데이터베이스에 의해 제공되는 캡처된 이미지들로부터 획득된 입력 데이터를 분류하여, 작업 공간(155)(이하 설명되는 바와 같이)의 캡처된 이미지들 내의 인간 형태 객체들 및 바코드 객체들을 정확하게 식별하는 시스템(300)의 능력을 개선하도록 설계될 수 있다. 이러한 의미에서, 계산 신경망(320)은 인간 형태 객체들 및 바코드 객체들 둘 모두를 검출할 수 있는 이미지 분석 알고리즘으로서 작용한다. 따라서, 제1 또는 제2 이미지 센서(120, 125)로부터의 이미지들을 사용하여, 계산 신경망(320)은, 예를 들어, 획득된 이미지들 내에서 인간 형태 객체들(105a, 105b)의 적절한 식별/검출에서 개선들을 개발하고, 예를 들어, 신체 자세들의 가변성, 체격들의 가변성, 신체 부분들의 폐색, 다른 신체 부분들에 의한 또는 비-인간 형태 객체들에 의한, 또는 다른 인간 형태 객체들의 신체 부분들에 의한 것과 같은 복잡성들을 다루도록 구성될 수 있다. 또한, 제1 또는 제2 이미지 센서들(120, 125)로부터의 이미지들을 사용하여, 계산 신경망(320)은, 예를 들어, 바코드들(115a, 115b)의 식별에 있어서의 개선들을 개발하고, 예를 들어, 다양한 각진 관점들로부터 기록되는 바코드로 인한 이미지 왜곡들, 예를 들어, 물체 또는 신체 부분에 의한 바코드의 부분적 폐색, 또는 바코드의 곡선 또는 뒤틀림과 같은 복잡성들을 다루도록 구성될 수 있다. 이러한 개선들 중 하나 또는 둘 모두는 그 성능을 개선하고 캡처된 이미지들에서 인간 형태 객체들의 부정확한 검출들 및 대응하는 바코드들의 검출들에서의 에러들의 발생을 감소시키기 위해 신경망(320)을 주기적으로 또는 연속적으로 트레이닝함으로써 구현될 수 있다.
일반적으로, 계산 신경망(320)은 입력에 할당된 가중치에 기초하여 출력을 계산하도록 구성된 복수의 뉴런들 또는 노드들을 포함하도록 구성될 수 있고, 계층들, 예를 들어 입력 계층, 출력 계층 및 적어도 하나의 은닉 계층으로 배열될 수 있다. 계산 신경망(320)에 대한 입력 데이터는 제1 또는 제2 센서(120, 125)에 의해 또는 기록 디바이스(170)에 의해 기록되고 기록된 이미지로서 데이터 저장소에 저장되는 이미지 데이터를 포함하는 데이터베이스에 의해 제공될 수 있다. 계산 신경망(320)의 출력은 중앙 제어기(145)에 제공될 수 있다. 계산 신경망(320)의 적어도 하나의 은닉 계층은 분류 기능을 수행하도록 동작할 수 있는데, 예를 들어, 일련의 이미지들에서 인간 형태 객체들을 정확하게 분류하기 위해 이미지 내의 새로운 식별된 추정 인간 형상 포즈를 인간 형태 객체들의 일련의 이미지들과 비교한다. 따라서, 출력은 이미지 데이터 내의 임의의 검출된 인간 형태 객체들 및/또는 바코드 객체들을 포함할 수 있다. 이들 객체들은 계산 신경망(320)에 의해 처리되는 이미지 내의 좌표들로 표현될 수 있고 이미지 내의 이들 객체들의 경계들을 표현할 수 있다. 사용될 수 있는 적합한 신경망의 예들은 You Only Look Once(YOLO)(Redmon, J. et al., 2016, Proceeding of the IEEE Conference on Computer Vision and Pattern recognition, pp. 779-788), 및 R-CNN(Region-based Convolutional Neural Networks)에 기초한 신경망(Girshick R. et al., 2014, IEEE Conference on Computer Vision and Pattern recognition, pp. 580-587), Faster R-CNN(Ren, S. et al., 2017, IEEE Transactions on Pattern Analysis and Machine Intelligence 39(6), pp. 1137-1349(코드: https://github.com/ShaoqingRen/faster_rcnn; 및 https://github.com/rbgirshick/py-faster-rcnn) 또는 Mask R-CNN(He K. et al. 2017 IEEE Conference on Computer Vision and Pattern recognition, pp. 2980-2988(코드: https://github.com/facebookresearch/detectron2)를 포함한다.
다음으로 도 6A 및 도 6B를 참조하면, 작업 공간(655)의 예시적인 이미지(601)가 도시된다. 이미지(601)는 예를 들어, 이미지 센서(120)에 의해 캡처된 이미지이다. 이미지(601) 내에서 볼 수 있는 것은 안전 헬멧 객체(110b-i)(실제 안전 헬멧과 대응함, 예를 들어, 도 1의 안전 헬멧(110) 참조)을 착용한 인간 형태 객체(105b-i)(실제 작업자와 대응함, 예를 들어, 도 1의 작업자(105a) 참조), 및 바코드 객체(115b-i)(실제 바코드와 대응함, 예를 들어, 도 1의 바코드(115) 참조)이다. 도 6a에서 추가로 볼 수 있는 것은 다양한 비-인간 형태 객체들(610-i, 615-i, 633-i 및 620-i)(다양한 실제 비-인간 형태 객체들과 대응함, 참조: 예를 들어, 도 1의 손수레(133))이다. 이 예에서, 중앙 처리 유닛(146)과 함께 제1 이미지 센서(120)는, 앞서 설명된 바와 같이, 작업 공간(655)의 이미지(601) 내의 인간 형태 객체(105b-i)의 식별을 허용하는 한편, 동시에, 인간 형태 객체들로서 비-인간 형태 객체들(610-i, 615-i 620-i 및 633-i)을 식별하지 않도록, 이미지(601)의 인간 형태 객체 이미지 분석 알고리즘을 수행하도록 구성된다.
일 양태에서, 제1 및 제2 이미지 센서(120 및 125)는 중앙 처리 유닛(146)과 함께 구성되어 제1 복수의 이미지들로부터 제2 복수의 이미지들을 선택하고, 여기서 제2 복수의 이미지들을 구성하는 각각의 이미지는 적어도 하나의 검출된 인간 형태 객체를 포함한다. 따라서, 제1 및 제2 이미지 센서들(120 및 125)은 중앙 처리 유닛(146)과 함께, 단일 센서, 예를 들어 이미지 센서(120)에 의해 캡처된 예시적인 이미지(601)와 같은 양 이미지 센서들(120, 125)에 의해 캡처된 제1 복수의 캡처된 이미지들을 사용하여 인간 형태 객체 이미지 분석 알고리즘을 수행하도록 구성된다. 이들 이미지들 중 일부는 하나 이상의 인간 형태 객체들을 포함할 수 있고, 다른 것들은 그렇지 않을 수 있다. 예를 들어, 특정 시점에서 이미지가 캡처되고 시야(157) 내에 작업자들이 존재하지 않으면, 인간 형태 객체들이 검출되지 않는다. 제1 및 제2 이미지 센서(120 및 125)는 중앙 처리 유닛(146)과 함께 제1 복수의 이미지로부터 제2 복수의 이미지를 선택하도록 구성되며, 제2 복수의 이미지는 적어도 하나의 검출된 인간 형태 객체를 갖는다.
다른 양태에서, 제1 및 제2 이미지 센서들(120 및 125)은 중앙 처리 유닛(146)과 함께, 제2 복수의 이미지들 내의 이미지들에 객체 이미지 분석 알고리즘을 적용함으로써 제2 복수의 이미지들을 분석하도록 구성되며, 객체 이미지 분석 알고리즘은 바코드 이미지 분석 알고리즘 또는 복수의 바코드 객체들을 검출하는 계산 신경망(320), 즉 바코드 객체 이미지 분석 알고리즘일 수 . 일반적으로, 이는 바코드 또는 그 일부의 특성을 갖는 템플릿을 사용하여 설계 및 훈련된 지도 학습 알고리즘(supervised learning algorithm)과 같은 객체 검출 이미지 알고리즘에 의해 달성될 수 있다. 따라서, 예를 들어, 중앙 처리 유닛(146)과 함께 제1 이미지 센서(120)는 작업 공간(655)의 이미지(601) 내에서 바코드 객체(115b-i)의 식별을 가능하게 하는 이미지 분석 이미지(601)를 수행하도록 구성된다. 이와 관련하여 사용될 수 있는 알고리즘 및 소프트웨어는, 예를 들어, Zbar(http://zbar.sourceforge.net/); ZXing(https://github.com/zxing/zxing); Quirc(https://github.com/dlbeer/quirc); 및 BoofCV(https://boofcv.org/index.php?title=Performance:QrCode)를 포함한다.
일반적으로, 전체 이미지 내에서 바코드, 및 훨씬 더 그러한 특정 고유 바코드를 식별하는 것은, 이미지(601)에 도시된 바와 같이, 전체 이미지의 비교적 작은 부분을 나타내는 바코드는 이미지 분석을 위한 알려진 알고리즘들을 사용하여 어려울 수 있으며, 이는 다른 객체들이 바코드들로서 오식별되거나, 이미지 내의 그들의 존재에도 불구하고 식별되지 않는 바코드들, 또는 알려진 발행된 바코드에 연결될 수 없는 식별된 바코드들을 포함하는 다양한 이미지 분석 에러들을 초래할 수 있다는 것에 유의한다. 그러나, 이미지(625)에 도시된 바와 같이, 이미지 내의 바코드의 상대 크기를 증가시킴으로써, 예를 들어, 초기 이미지(601)를 크로핑하거나 이미지(625)를 생성하기 위해 이미지(601)의 일부를 확대함으로써, 이 에러율은 상당히 감소될 수 있다.
따라서, 일부 구현예들에서, 중앙 처리 유닛(146)과 함께 제1 및 제2 이미지 센서들(120 및 125)은 바코드 객체들을 검출하기 위해 이미지의 선택된 영역, 특히 검출된 인간 형태 객체의 근처에서 선택된 영역에 대해 바코드 객체 이미지 분석 알고리즘을 수행하도록 구성될 수 있다. 따라서, 도 6b를 참조하면, 이미지(601)의 일부를 나타내는 예시적인 이미지 영역(625)이 도시된다. 이미지 영역(625)은 2D 바코드 객체 이미지 분석 알고리즘의 적용을 위해 선택된다. 이는, 예를 들어, 미국 특허 9,256,781; 8,938,124; 및 7,324,693에 설명된 바와 같은 프레이밍 또는 바운딩 알고리즘을 검출된 인간 형태 객체에 적용함으로써 달성될 수 있다. 프레이밍 또는 바운딩 알고리즘은 바운딩된 영역이 인간 형태 객체를 포함하는 방식으로 이미지의 영역에서 이미지 경계들을 생성할 수 있다. 따라서, 예를 들어, 이미지 경계들은 인간 형태 객체와 이미지 경계들 사이에 접촉이 없도록 단일 전체 인간 형태 객체를 포괄하도록 이미지의 영역에 생성될 수 있다. 이미지 경계들은, 예를 들어, 인간 형태 객체에 대응하는 실제 작업자로부터 약 0.5 미터 내지 약 3 미터 떨어진 거리에 대응할 수 있다. 일 구현예에서, 이미지 경계들은 이미지 영역 내의 인간 형태 객체로부터 약 1 미터 내지 약 2 미터 떨어진 거리에 대응할 수 있다. 대조적으로, 비-인간 형태 객체들(610i, 615i 및 620i)의 이미지들을 각각 포함하는 이미지 영역들(635, 645 및 655)은, 이미지 영역들(635, 645 및 655)이 검출된 인간 형태 객체를 포함하는 것으로서 분류되지 않기 때문에, 프레이밍 알고리즘에 대한 적용 및 바코드 이미지 분석의 후속 적용을 위해 선택되지 않는다. 이미지 영역(625) 내에서, 인간 형태 객체(105b-i)가 검출된다(실제 작업자와 대응함, 참조: 예를 들어, 도 1의 작업자(105a). 인간 형태 객체(105b-i)의 검출 후, 제1 및 제2 이미지 센서들(120 및 125)은 중앙 처리 유닛(146)과 함께 이미지 영역(625) 내의 바코드 객체(115b-i)의 식별을 허용하는 이미지 영역(625)의 바코드 객체 이미지 분석 알고리즘을 수행하도록 구성된다.
또한, 바코드 객체 이미지의 식별시 바코드 판독 알고리즘을 적용하고 바코드는 이하에서 설명하는 것과 같이, 판독된다.
따라서, 적어도 하나의 구현예에서, 프레이밍 알고리즘의 적용은 프레이밍되는 이미지 영역을 초래하고, 여기서 프레이밍된 이미지 영역은 단일 전체 인간 형태 객체를 그 안에 포괄하기에 충분히 크고, 프레이밍된 이미지 영역의 이미지 경계들은 도 6b, 도 7a-7f, 및 도 8a-8f에 도시된 바와 같이 인간 형태 객체와 이미지 경계들 사이에 접촉이 없도록 형성된다.
적어도 하나의 구현예에서, 이미지 경계들은 실제 작업자들(105a 또는 105b)에 대응하는 인간 형태 객체들(105a-i, 105b-i)로부터 약 0.5 미터 내지 약 3 미터 떨어진 거리 또는 약 1 미터 내지 약 2미터 떨어진 거리에 대응할 수 있다.
다음으로, 도 7a 내지 도 7f 및 도 8a 내지 도 8f를 참조하면, 도 7a 내지 도 7f에 도시된 것은 인간 폼 객체(105b-i)의 일련의 시간적으로 연속하는 이미지 영역들의 예시적인 예시들이고, 도 8a 내지 도 8f에 도시된 것은 인간 폼 객체(105a-i)의 일련의 시간적으로 연속하는 이미지 영역들의 예시적인 예시들이다. 연속적인 이미지 영역들은, 인간 형태 객체들(105a-i 및 105b-i)이 각각 라인(840-i 및 740-i)을 따라 순방향 방향으로 이동하는 과정에 있는 동안 각각 결정된다. 예를 들어, 도 7a는 도 7c에 도시된 인간 형태 객체(105b-i)의 후-결정된 이미지 영역보다 인간 형태 객체(105b-i)를 포함하는 시간적으로 앞서 결정된 이미지 영역을 나타낸다. 인간 형태 객체(105b-i)는 제1 이미지 센서(120)에 의해 캡처된 인간 형태 객체들을 포함하는 복수의 이미지들(도시되지 않음)의 이미지 영역들(720a, 720b, 및 720c) 내에, 그리고 제2 이미지 센서(125)에 의해 캡처된 인간 형태 객체들을 포함하는 복수의 이미지들(도시되지 않음)의 이미지 영역들(725a, 725b, 및 725c) 내에 포함된다. 유사하게, 도 8a 내지 도 8f를 참조하면, 인간 형태 객체(105a-i)는 제1 센서(120)에 의해 캡처된 인간 형태 객체들을 포함하는 복수의 이미지들(도시되지 않음)의 이미지 영역들(820a, 820b, 및 820c) 내에 그리고 제2 센서(125)에 의해 캡처된 인간 형태 객체들을 포함하는 복수의 이미지들(도시되지 않음)의 이미지 영역들(825a, 825b, 및 825c) 내에 포함된다.
이미지 센서들(120 및 125)은 각각의 이미지 센서(120 및 125)가 서로에 대해 상이한 각도로부터 이미지들을 캡처할 수 있도록 설치되어 바코드들 및/또는 PPE가 이미지 센서들(120 및 125) 중 적어도 하나로부터의 이미지들에서 캡처된다. 이와 관련하여, 이미지 영역(725a, 725b, 725c)은 각각 센서(125)에 의해 캡처되는 바와 같이, 안전 헬멧(110b-i) 상에 바코드(115b-i)를 포함한다. 그러나, 동일한 바코드(115b-i)는 그의 상이한 화각으로 인해 센서(120)에 의해 캡처되지 않는다. 그러나, 바코드(115a-i)는 안전 헬멧(110a-i)이 컵보드(860-i) 내부에 배치되었기 때문에 이미지 영역(825a, 825b, 및 825c)에서 캡처되지 않는다. 동일한 바코드(115a-i)는 또한 안전 헬멧(110a-i)이 컵보드(860-i) 내부에 배치되었기 때문에 동일한 이유로, 센서(120)에 의해 포착되지 않는다.
이미지 영역(720a, 720b, 720c; 및 820a, 820b, 820c) 각각은 이미지 센서(120)에 의해 캡처된 바와 같이, 안전 조끼(107a-i, 107b-i) 상에 각각 바코드(109a-i, 109b-i)를 포함한다. 그러나, 동일한 바코드들(835a-i 및 735b-i)은 상이한 센서 각도로 인해 이미지 센서(125)에 의해 캡처되지 않는다.
시스템(100)은, 도 7a 내지 도 7f를 참조하여 먼저, 그 후에 도 8a-8f를 참조하여 더 설명되는 바와 같이, 확률적 알고리즘을 사용함으로써, 안전 규칙들에 따라, 작업자(105b)가 안전 헬멧(110b) 및 안전 조끼(107b)를 착용하고 있는지 및 작업자(105a)가 안전 헬멧(110a) 및 안전 조끼(107a)를 착용하고 있는지를 확률적으로 기초하여 결정하도록 더 구성된다.
따라서, 도 7a 내지 도 7f를 다시 참조하면, 이미지 영역들(720a, 720b 및 720c)은 이미지 센서(120)에 의해 캡처된 이미지들로부터의 이미지 영역들이다. 이미지 영역들(725a, 725b 및 725c)은 이미지 센서(125)에 의해 캡처된 이미지들로부터의 이미지 영역들이다. 이미지 영역들(720a, 720b, 720c, 725a, 725b, 및 725c) 각각에서, 인간 형태 객체들을 검출하도록 적응된 이미지 분석 알고리즘(즉, 인간 형태 객체 이미지 분석 알고리즘 또는 인간 형태 객체들을 분류할 수 있는 계산 신경망)을 사용하여 인간 형태 객체(105b-i)가 검출된다. 또한, 이미지 영역들(725a, 725b 및 725c) 각각에서, 바코드 객체들(115b-i)은 바코드 객체들(즉, 바코드 객체 이미지 분석 또는 바코드 객체들을 분류할 수 있는 계산 신경망)을 검출하도록 적응된 이미지 분석 알고리즘을 사용하여 검출된다. 제1 및 제2 이미지 센서들(120 및 125)과 함께 중앙 처리 유닛(146)은, 바코드 객체, 예를 들어, 바코드 객체(115b-i)를 이미지 영역들 중 하나(예를 들어, 이미지 영역(725a) 내)에서 검출했을 때, 바코드 판독 알고리즘을 사용하여 바코드 객체에 대응하는 바코드가 판독되고, 대응하는 바코드(115b)가 할당된 작업자, 즉 작업자(105b)가 식별되도록 구성된다. 이와 관련하여 사용될 수 있는 바코드 판독 알고리즘 및 소프트웨어는 예를 들어: Zbar(http://zbar.sourceforge.net/); ZXing(https://github.com/zxing/zxing); Quirc(https://github.com/dlbeer/quirc); 및 BoofCV(https://boofcv.org/index.php?title=Performance:QrCode)를 포함한다.
이러한 식별은 시스템(100)이 각각의 작업자에 대한 개인 정보가 각각의 작업자에 의해 사용되는 PPE에 관련된 모든 바코드들과 상호 참조(즉, 연결)되는 데이터베이스를 포함하기 때문에 자동으로 이루어질 수 있으며, 데이터베이스가 바코드를 사용하여 검색되면, 바코드에 대응하는 개인 정보가 전술한 바와 같이 식별될 수 있는 방식으로 이루어진다.
또한, 중앙 처리 유닛(146)은 제1 및 제2 이미지 센서(120 및 125)와 함께 작업자(105b)에게 할당된 다른 바코드들이 안전 조끼(107b)와 연관된 바코드(109b)를 포함하여 위치될 수 있도록 구성된다. 이러한 식별은 시스템(100)이 각각의 작업자에 대한 개인 정보 및 각각의 작업자의 개인 정보와 관련된 모든 바코드들을 저장하는 데이터베이스를 포함하기 때문에 자동으로 이루어질 수 있는데, 이러한 방식으로 데이터베이스가 바코드(검색된 바코드라고도 함)를 사용하여 검색되면, 동일한 개인 정보와 연관된 모든 다른 바코드들 및 검색된 바코드에 대응하는 개인 정보가 데이터베이스에서 식별될 수 있다. 중앙 처리 유닛(146)은 제1 및 제2 이미지 센서(120 및 125)와 함께 식별된 바코드 객체들(115b 및 109b)에 대응하는 추가 바코드 객체(115b-i 및 109b-i)의 존재에 대한 각각의 이미지 영역들(720a, 720b, 720c, 725a, 725b, 및 725c)을 평가하고, 이미지 영역들(720a, 720b, 720c, 725a, 725b, 및 725c)에서 추가 바코드 객체들(115b-i 및 109b-i)에 대응하는 바코드들(115b 및 109b) 각각의 보급률(prevalence)에 기초하여 확률 알고리즘을 적용하도록 더 구성된다. 확률 알고리즘은 상이한 구현예들에서 다양할 수 있는, 미리 결정된 확률 임계 값을 더 사용하여 바코드 객체들(115b-i 및 109b-i)에 대응하는 바코드들(115b 및 109b) 각각이 실제로 이미지 영역들(720a-720c, 725a-725c)에서 정확하게 검출되었는지를 결정한다. 따라서, 예를 들어, 미리 결정된 확률 임계 값은 보급률(모든 이미지 영역에서 각각의 바코드에 대한 바코드 객체들의 수의 비율)이 적어도 33%가 되도록 설정될 수 있다. 따라서, 작업자(105b)에게 할당된 바코드들 각각은 이미지 영역들(720a, 720b, 720c, 725a, 725b, 및 725c)의 적어도 33%에서 식별되어야 검출된 바코드들이 거짓 양성(false positive)이 아님을 보장하고 또한 상이한 각도들로부터 캡처된 이미지들이 모든 이미지 영역들에서 이들 바코드들을 포함하지 않을 수 있다는 사실을 고려한다. 예를 들어, 검색된 바코드(115b)에 대응하는 바코드 객체들(115b-i)은 6개의 이미지 영역들 중 3개, 즉 이미지 영역들(725a, 725b 및 725c)에 존재한다. 다른 예로서, 검색된 바코드(109b)에 대응하는 바코드 객체들(109b-i)은 6개의 이미지 영역들 중 3개, 즉 이미지 영역들(720a, 720b, 및 720c)에 존재한다. 따라서, 확률 값은 33%의 미리 결정된 확률 임계 값보다 더 높은 50%이다. 따라서, 제1 및 제2 이미지 센서(120, 125)와 함께 중앙 처리 유닛(146)은, 바코드 객체들(109b 및 115b) 각각이 미리 정의된 확률 임계 값보다 큰 작업자(105b)에 대응하는 인간 형태 객체를 갖는 이미지의 비율 내에 있는 것으로 결정되었기 때문에, 작업자(105b)가 안전 조끼(107b) 및 안전 헬멧(110b)을 착용하고 있을 가능성이 있는 것으로 결정하도록 구성된다.
따라서, 예를 들어, 도 8a 내지 도 8f를 다시 참조하면, 이미지 영역들(820a, 820b 및 820c)은 이미지 센서(120)에 의해 검출된 이미지들로부터의 이미지 영역들인 반면, 이미지 영역들(825a, 825 및 825c)은 이미지 센서(125)에 의해 검출된 이미지들로부터의 이미지 영역들이다. 이미지 영역들(820a, 820b, 820c, 825a, 825b, 및 825c) 각각에서, 인간 형태 객체(105a-i)가 검출된다. 또한, 이미지 영역들(820a, 820b, 820c, 825a, 825b, 및 825c) 중 어느 것도 바코드 객체(115a-i)가 검출되지 않는데, 그 이유는 안전 헬멧(110a-i)이 (비-인간 형태) 이미지 객체(860-i)와 대응하는 찬장 내에 배치되었기 때문이다. 제1 및 제2 이미지 센서들(120 및 125)과 함께 중앙 처리 유닛(146)은, 바코드 객체, 예를 들어, 이미지 영역들 중 단지 하나 내의(예를 들어, 이미지 영역(820a)에서) 바코드 객체(109-i)를 검출할 때, 바코드 객체(109-i)와 대응하는 바코드가 판독되고, 대응하는 바코드(109b)가 할당된 작업자, 즉 작업자(105a)가 데이터베이스 내의 바코드(109b)와 작업자의 개인 정보를 상호 참조함으로써 식별되도록 구성된다. 또한, 중앙 처리 유닛(146)은 제1 및 제2 이미지 센서(120 및 125)와 함께 작업자(105a)에게 할당된 추가 바코드들이 이 예에서 안전 헬멧(110a)과 연관된 바코드(115a)를 포함하는 데이터베이스에서 검색되도록 구성된다. 이러한 식별은 시스템(100)이 주어진 작업자에 대한 개인 정보 및 그 작업자가 착용한 PPE와 연관된 모든 바코드들이 데이터베이스에서 서로 교차-참조되는 데이터베이스를 포함하기 때문에 자동으로 발생할 수 있으며, 따라서 데이터베이스가 단일 바코드를 사용하여 검색되면, 동일한 개인 정보를 갖는 추가 바코드들 및 그 바코드에 대응하는 개인 정보가 데이터베이스에서 식별될 수 있다. 중앙 처리 유닛(146)은 제1 및 제2 이미지 센서(120 및 125)와 함께, 식별된 추가 바코드(115a 및 109a)에 대응하는 바코드 객체들(115a-i 및 109a-i)의 존재에 대한 각각의 이미지 영역들(820a, 820b, 820c, 825a, 825b, 및 825c)을 평가하고, 이미지 영역들(820a, 820b, 820c, 825a, 825b, 및 825c)에서 검출되는 바코드 객체들(115a-i 및 109a-i)에 대응하는 바코드 객체(115a 및 109a)의 보급률에 기초하여 확률 알고리즘을 적용하도록 더 구성된다. 확률적 알고리즘은 상이한 구현예들에서 다양할 수 있는 미리 결정된 확률 임계 값을 더 포함한다. 따라서, 예를 들어, 미리 결정된 확률 임계 값은 보급률(모든 이미지 영역에서 각각의 바코드에 대한 바코드 객체들의 수의 비율)가 적어도 33%가 되도록 설정될 수 있다. 따라서, 작업자(105a)에게 할당된 바코드들 각각은 이미지 영역들(820a, 820b, 820c, 825a, 825b, 및 825c)의 적어도 33%에서 식별되어야 한다. 검색된 바코드(109b)와 대응하는 바코드 객체(109a-i)는 6개의 이미지 영역 중 3개의 이미지 영역, 즉 이미지 영역(820a, 820b, 및 820c)에 존재한다. 그러나, 검색된 바코드(115a)와 대응하는 바코드 객체들(115a-i)은 6개의 이미지 영역들(820a, 820b, 820c, 825a, 825b, 및 825c) 중 어느 것에도 존재하지 않는다. 따라서, 결정된 확률 값은 안전 조끼(107a)와 연관된 바코드 객체(109a-i)에 대해 50%이고, 결정된 확률 값은 미리 결정된 확률 임계 값보다 높다. 따라서, 확률 값은 안전 헬멧(110a)과 연관된 바코드 객체(115a-i)에 대해 0%이고, 결정된 확률 값은 미리 결정된 확률 임계 값보다 낮다. 따라서, 중앙 처리 유닛(146)은 제1 및 제2 이미지 센서(120 및 125)와 함께 작업자(105a)가 안전 조끼(107a)를 착용하고 있을 가능성이 있고 작업자(105a)가 안전 헬멧(110a)을 착용하고 있지 않을 가능성이 있다고 결정하도록 구성된다.
전술한 것은 2개의 상이한 바코드들을 검출하기 위한 6개의 이미지 영역들의 이미지 분석에 기초한 예를 나타낸다. 이는 작업자가 작업 공간에서 착용해야 하는 PPE 아이템들의 수에 의존하는 것과 같이 바코드들의 수일 수 있는 바와 같이, 이미지 영역들의 수는 변할 수 있다는 것이 명백할 것이다. 일반적으로, 분석되는 이미지 영역들의 수가 많을수록, 특히 이미지들에서 하나 이상의 객체들의 위치들에서 변화들이 존재할 때, 결과들이 더 정확할 것이다. 동시에, 더 많은 수의 이미지 영역들의 분석은 중앙 제어기(145) 및/또는 이미지 센서들(120 및 125) 내에서 더 많은 컴퓨팅 능력을 요구한다. 분석될 수 있는 이미지 영역의 수는 변할 수 있다. 일부 구현예들에서, 이미지 영역들의 수는 각각의 이미지 센서(120 및 125)에 의해 캡처된 적어도 10개의 이미지들로부터 되도록 미리 정의될 수 있다. 또한, 이미지들이 캡처되는 기간은, 시스템(100)(도시되지 않음)에 포함될 수 있는 타이머에 의해 제어되는 바와 같이, 예를 들어, 약 5초 내지 약 60초의 범위일 수 있다. 따라서, 사용자와 개인 보호 장비 아이템 사이의 특정 시간량(예를 들어, 10초) 동안의 분리 및/또는 사용자와 개인 보호 장비 사이의 비교적 짧은 거리(예를 들어, 1m)에 걸친 물리적 분리가 검출될 수 있다. 예를 들어, 도 8a-8f에 도시된 이미지들이 8초 기간에 대응하면, 안전 헬멧(110a)이 도 8a-8b에 도시된 이미지들의 캡처 전에 2번째 작업자(105a)에 의해 (860-i에 대응하는) 컵보드 내부에 배치되었고, 그 후 도 8f-8g에 도시된 이미지들이 캡처된 후 2번째에 그 또는 그녀의 머리에 다시 착용되었더라도, 분리는 시스템(100)에 의해 검출된다. 유사하게, 도8a-8f 의 이미지 영역이 이미지 영역 내의 검출된 인간 형태 객체로부터 약 0.5 미터 떨어진 거리에 대응하는 경우, 그리고 안전 헬멧(110a)이 작업자(105a)로부터 1 미터 떨어져서 이미지 영역 외부에(찬장 대신에) 배치되었다면, 분리는 시스템(100)에 의해 검출된다.
중앙 처리 유닛(146)은 또한 주어진 개인 보호 장비 아이템에 대한 검출된 바코드 객체의 계산된 확률 값이 작업자가 주어진 개인 보호 장비 아이템을 갖지 않음을 의미하는 미리 결정된 확률 임계 값보다 낮을 때 연관된 안전 조치를 실행하도록 구성된다. 따라서, 예를 들어, 중앙 제어 유닛(146)은 경보 신호를 방출함으로써 셀 폰(135)에 의해 예시된 시그널링 컴포넌트를 활성화할 수 있다. 다른 구현예들에서, 시그널링 컴포넌트는, 예를 들어, 태블릿 컴퓨터와 같은 경보 신호를 방출할 수 있는 다른 전자 디바이스일 수 있다. 경보 신호의 물리적 형태는 다양할 수 있고, 예를 들어, 광 신호, 사운드 신호, 또는 진동 신호, 또는 이들의 조합, 또는 임의의 다른 검출가능한 경보 신호일 수 있지만, 이에 제한되지 않는다. 일부 구현예들에서, 상이한 강도들의 경보 신호들(즉, 더 큰 사운드 신호들 또는 더 강한 진동 신호들)은 작업자가 주어진 개인 보호 아이템이 없는 시간의 양이 더 길수록 방출될 수 있다. 이 시간량은 작업자가 주어진 개인 보호 물품이 없다고 확률적으로 결정하기 위해 이미지가 캡처되는 시간 간격에 기초하여 결정될 수 있다. 일반적으로, 시스템은, 계산된 확률 값에 기초하여, 작업자가 작업 공간에 적용가능한 안전 규칙들에 따라 주어진 개인 보호 장비 아이템을 착용하고 있지 않을 가능성이 있을 때, 중앙 제어기(145)가 안전 조치를 취할 수 있도록 구성될 수 있다.
또한, 일부 구현예들에서, 출력 데이터는 안전 동작의 실행의 일부로서 출력 디바이스에 제공된다. 따라서, 출력 데이터는 안전 보고, 사건 보고, 사고 보고 등의 형태로 제공될 수 있다. 출력 데이터 및 데이터베이스(도시되지 않음)는 개인 보호 장비와 관련된 정보, 예를 들어, 첫 번째 및 마지막 사용 시간 및/또는 날짜, 개인 보호 장비의 개별 사용자들과 관련된 정보, 예를 들어, 사용자들의 신원 및/또는 사용자들의 위치를 포함하는 정보, 작업 사이트와 관련된 정보, 개인 보호 장비와 함께 사용되는 바코드들과 관련된 정보, 준수 관찰들, 준수 이력, 안전 위반들 및 취해진 안전 조치들을 포함할 수 있고, 출력 데이터는 예를 들어, 인쇄된 보고들, 사진 포맷(예를 들어, JPEG, PNG, GIF), 또는 비디오 포맷(예를 들어, MPEG, AVI, MP4)을 포함하는 다양한 포맷들로 제공될 수 있다. 출력 데이터는, 예를 들어, 개인 보호 장비를 사용하는 작업자들의 안전한 행동을 개선하기 위한 전략들을 개발하기 위해, 위험한 작업 환경에서 작업자들에게 사건 또는 사고 또는 부상을 예방 또는 제한하기 위해, 또는 사건 또는 사고의 조사를 돕기 위해 광범위한 목적들을 위해 사용될 수 있다.
다시 도 3을 참조하면, 일부 구현예들에서, 본 개시에 따른 시스템은 보조 데이터 프로세싱 유닛을 포함할 수 있다. 따라서, 시스템(300)은 제1 및 제2 이미지 센서들(120 및 125)로부터, 알고리즘 이미지 분석을 보조할 수 있는 보조 데이터를 획득하도록 구성된 보조 처리 유닛(180)을 포함한다. 메타데이터는, 예를 들어, 센서 관련 정보, 예를 들어, 센서 식별자들(예를 들어, 센서(125) 또는 센서(120)와 연관된 고유 식별자), 센서 포지셔닝 정보, 예를 들어, 이미지 센서(120 및 125)의 위치 및/또는 상대 각도들, 및 이미지가 캡처되는 시간과 같은 시간 코드 정보, 및 다른 메타데이터를 포함할 수 있다. 이러한 메타데이터는 처리 또는 사람에 의한 이미지의 검토에 유용할 수 있다. 중앙 제어기(145)는 네트워크(130)를 통해, 보조 처리 유닛(180)으로부터 보조 데이터를 취득하도록 구성된다.
일부 구현예들에서, 추가적인 센서들이 포함될 수 있다는 것에 유의한다. 따라서, 예를 들어, 주어진 작업 공간에서, 인간 형태 객체들 및 바코드 객체들을 연속적으로 또는 주기적으로 검출하도록 구성된 2, 3, 4, 5, 6, 7, 8, 9, 10개 이상의 센서들이 있다. 특히 더 큰 작업 공간 또는 더 많은 붐비는 작업 공간에서는 훨씬 더 큰 복수의 센서가 설치될 수 있다. 가장 바람직하게는, 충분한 수의 센서들이 실질적으로 전체 작업 공간을 모니터링하기 위해 설치된다.
일부 구현예들에서, 시스템(100)은 이미지 데이터를 기록하기 위한 기록 디바이스(170), 예를 들어 네트워크 비디오 레코더(NVR) 또는 디지털 비디오 레코더(DVR)를 더 포함할 수 있고, 기록 디바이스(170)는 데이터 저장 디바이스에 결합된다. 데이터 저장 디바이스는 중앙 제어기(145)에 포함될 수 있거나, 또는 별개의 데이터 저장 디바이스, 예를 들어 기록 디바이스(170)에 포함될 수 있다. 일부 구현예들에서, 이미지 데이터는 저장 공간의 사용을 제한하기 위해 이미지 센서들(120 및 125)에 의해 초기에 캡처되는 이미지들에 비해 더 낮은 해상도 이미지들에, 예를 들어, JPEG(Joint Photographics Expert Group) 포맷으로 저장될 수 있다. 이러한 점에서, 중앙 처리 유닛(146)은 이미지가 기록 장치(170)에 의해 기록되기 전에 센서(120 및 125)에 의해 캡처된 이미지를 JPEG 포맷 등의 더 낮은 해상도 포맷으로 변환하도록 구성될 수 있다. 저장된 이미지 데이터는, 예를 들어, 시스템(100)의 성능을 평가, 정정, 조정, 확인 또는 개선하기 위한 인간 평가를 포함하는 중앙 제어기(145)를 통한 분석에, 또는 이하 더 설명되는 바와 같이, 계산 신경망에 의한 분석을 위해 이용 가능하게 될 수 있다.
이제 도 4, 5a 및 5b를 참조하면, 일부 구현예들에서, 시스템(400)은 전자 액세스 제어 시스템, 즉, 예를 들어 작업자들(105a, 105b)에 의한 작업 공간(155)에 대한 액세스를 제어할 수 있는 시스템을 포함하도록 구성될 수 있다. 따라서, 전자 액세스 제어 시스템(410)은 작업 공간(155)을 형성하고, 외부(520)로부터 작업 공간(155)을 분리하는 인클로징 주변부(456)에 위치될 수 있다. 인클로징 주변부(456)는, 예를 들어, 작업자들에 의한 작업 공간(155)으로의 진입을 일반적으로 방지하는 펜스, 또는 벽 또는 다른 장벽일 수 있다. 이 예에서, 전자 액세스 제어 시스템(410)은 진입로(530)를 통해 작업 공간(155)으로 특정 조건 하에서 작업자에 대한 액세스를 제공하는 개방가능한 게이트(515), 및 카메라(550)를 포함하는 게이트 제어 시스템(525)을 포함한다.
예를 들어, 도 5a-5b에 도시된 구현예에서, 작업 공간(155)에 대한 작업자의 액세스는 2개의 키, 제1 바코드 키 및 제2 생체 인식 키에 의해 제어된다.
도 5a-5b를 더 참조하면, 게이트 제어 시스템(525)은 네트워크(130)를 통해 중앙 제어 유닛(145)에 결합된다. 게이트 제어 시스템(525)은 게이트 로크(565)에 더 결합되고, 그 동작을 제어하고 중앙 제어기(145)와 통신하기 위한 프로세서(도시되지 않음)를 포함한다. 작업자가 게이트(515)를 개방하고 진입로(530)를 통해 진입하기 위해, 제1 인증 단계에서, 작업자는 초기에 바코드, 예를 들어 2D 바코드를 카메라(550)의 렌즈에 제시한다. 이러한 바코드는 보안 또는 식별 바코드로도 지칭될 수 있다. 바코드는 임의의 형태로, 예를 들어 카드, ID 태그 상에 또는 스크린, 예를 들어 전화 스크린 상에 인쇄된 바코드의 형태로 제시될 수 있다. 게이트 제어 시스템(525)은, 바코드가 제시될 때, 이전에 저장된 생체인식 데이터, 예를 들어, 얼굴 인식 생체인식 데이터를 검색하기 위해 중앙 제어 유닛(145)과 통신하고, 제시된 바코드와 매칭이 검색되도록 구성된다. 제2 인증 단계에서, 게이트 제어 시스템(525)은 그 후 작업자가 영역(520b)(표시될 수 있음) 내의 게이트(515) 앞에 위치될 때 카메라(550)를 통해 캡처된 작업자의 생체 측정 데이터를 기록하고, 중앙 제어 유닛(145)과 통신하며, 이 중앙 제어 유닛은 기록된 생체 측정 데이터를 저장된 생체 측정 데이터와 매칭하려고 시도한다. 저장 및 기록된 생체 측정 데이터가 일치할 때, 게이트 로크(565)는 해제되고, 작업자는 게이트(515)를 통과하고 진입로(530)를 통해 작업 공간(155)에 액세스할 수 있다. 반대로, 저장된 생체 측정 데이터와 기록된 생체 측정 데이터가 일치하지 않으면, 게이트 로크(565)는 로킹된 상태로 유지되고, 작업 공간(155)에 대한 액세스는 거부된다. 따라서, 게이트(515)의 개방은 작업자가 개방가능한 게이트(515)를 통과하기 위해 바코드의 제시 및 생체측정 데이터의 매칭을 필요로 한다는 것이 명백할 것이다.
게이트 제어 시스템(525)은 카메라(550)를 통한 생체 측정 데이터의 기록을 용이하게 하기 위한 광(545)을 더 포함한다. 예를 들어, 광(545)은 카메라(550)가 바코드의 이미지를 획득하고 작업자로부터 생체 데이터를 획득하는 것을 용이하게 하기 위해 원하는 수준의 조명을 제공하도록 제어될 수 있다.
게이트 제어 시스템(525)은 오디오 스피커(555) 및 마이크로폰(565)을 더 포함한다. 이들은 작업자로부터의 생체 측정 데이터의 적절한 캡처를 허용하기 위해, 작업자가 지원 또는 보안 직원과 통신할 수 있게 하기 위해, 작업자에게 오디오 명령들을 제공하기 위해 및/또는 오디오 데이터를 기록하기 위해 작업자에게 카메라(550)의 렌즈에 대한 그의 위치에 관한 명령들을 제공하는데 사용될 수 있다.
이제 도 5c를 참조하면, 대안적인 구현예에서, 그 동작을 제어하고 중앙 제어기(145)와 통신하기 위한 프로세서(도시되지 않음)를 포함하는 게이트 제어 시스템(525-b)은 중앙 제어기(145)에 커플링된 온도 검출 디바이스(580)를 포함하도록 구성될 수 있다. 온도-검출 디바이스(580)는 프리젠테이션 공간(520b) 내에 위치된 작업자(도시되지 않음)의 체온을 검출하도록 설치 및 구성된다. 온도-검출 디바이스(580)는, 예를 들어, 작업자의 손가락과 온도 센서(581) 사이의 물리적 접촉에 의해 제시 공간(520b) 내에서 작업자와의 물리적 접촉을 요구하는 온도 센서(581)를 가질 수 있다. 그러한 접촉을 확립하기 위한 작업자에 대한 지시들은 오디오 스피커(555)에 의해 제공될 수 있다. 그러나, 더 바람직하게는, 온도-검출 디바이스(580)는 원격 온도 검출을 허용하는 온도 센서(581), 즉 작업자와 온도 센서(581) 사이의 물리적 접촉을 요구하지 않는 온도 센서, 예를 들어, 작업자의 이마 또는 작업자의 다른 감지 구역들로부터 수 인치의 거리에서 동작할 수 있는 적외선 온도 스캐닝 디바이스를 포함하는 온도 검출 디바이스일 수 있다.
또한, 일부 구현예들에서, 온도-검출 디바이스(580)는 도 5c에 도시된 프레젠테이션 공간(520b) 내에 위치된 작업자의 온도 검출을 허용하기 위해 제자리에 고정되도록 위치되고 설치될 수 있다. 다른 구현예들에서, 온도-검출 디바이스(580)는 작업자가 프레젠테이션 공간(520b) 내에 위치할 때 다른 사람에 의해 동작될 수 있는 핸드-헬드 디바이스를 포함하는 휴대용 디바이스일 수 있다.
온도-검출 디바이스(580)는 임의의 온도 스캐너, 체온계, 또는 임의의 시간 온도 스캐너를 포함하여, 사람의 체온을 판독하기 위한 다른 디바이스, 즉, 시간의 함수로서 더 많이 또는 더 적게 연속적으로 체온을 검출하기 위한 온도 스캐너를 포함할 수 있다. 본 발명에 따라 사용될 수 있는 온도 검출 장치는 예를 들어 미국 특허 제8,282,274호에 기재된 온도 검출 장치를 포함한다.
일반적으로, 온도-검출 디바이스(580)는 프리젠테이션 공간(520b) 내의 작업자의 체온을 검출하고, 후속하여 검출된 체온을 중앙 제어기(145)에 전송하도록 구성될 수 있다. 중앙 제어기(145)는 작업자의 검출된 체온이 건강한 사람의 체온으로부터 벗어나지 않을 때, 예를 들어, 작업자의 체온이, 37°C, 37.5 °C, 38°C, 또는 38.5°C를 포함하는 온도 범위를 초과하지 않을 때, 전자 로크(565)를 언로킹하기 위한 신호를 송신하도록 구성될 수 있고, 따라서 게이트(515)가 개방되게 하고, 작업자가 작업 공간(155)에 액세스하게 할 수 있다. 반대로, 작업자의 검출 체온이 건강한 사람의 체온을 벗어나고, 예컨대, 37°C, 37.5°C, 38°C 또는 38.5°C를 초과할 경우, 중앙 제어기(145)는 전자 로크(565)에 신호를 송신하지 않도록 구성되어 작업자가 다른 보안 검사를 통과하더라도 로크된 채로 남아있을 수 있다. 대안적인 실시예에서, 중앙 제어기(145)와의 통신이 요구되지 않고 게이트 제어 시스템(525-b) 및 게이트 제어 시스템(525-b)의 프로세서는 온도 검사를 수행하고, 전자 로크(565)를 제어하도록 구성될 수 있다. 따라서, 예를 들어 상승된 체온을 갖지 않는 작업자들에게는 작업 공간(155)에 대한 접근을 제한할 수 있고, 예를 들어 약 36.5°C 내지 약 38.5°C의 소정의 체온 범위를 갖는 작업자들에게만 작업 공간(155)에 대한 접근을 허용할 수 있다. 또한, 중앙 제어기(145)는 프리젠테이션 공간(520b)의 작업자가 오디오 스피커(555)를 통해 검출된 체온을 통지받도록 구성될 수 있다. 검출된 체온 이상의 결과로서 작업자가 작업 공간(155)에 대한 접근이 거부되는 경우, 작업자는 필요에 따라 추가 별개의 의료 검사를 받을 수 있다. 따라서, 이 예시적인 구현예는 작업자의 체온을 증가시키는 전염성 질병들의 확산을 제어하여 그들의 체온이 미리 정의된 체온 범위에 있지 않도록 구현될 수 있다.
일부 구현예들에서, 온도-검출 디바이스(580)는, 예를 들어, 변화하거나 거친 날씨 조건들로 인해 주변 온도들의 실질적인 변화들이 발생할 수 있는 조건들에서 동작가능하도록 구성될 수 있다는 것이 주목된다. 이와 관련하여, 온도-검출 디바이스는 주변 온도들의 변동들을 보정하도록 구성될 수 있다. 예를 들어, 작업자가 추운 겨울 온도들에서 작업 공간으로의 진입을 위해 자신을 제시하는 경우에, 온도 검출 디바이스(580)는 중앙 제어기(145)와 함께, 검출된 체온을 상향으로 정정하도록 구성될 수 있다. 유사하게, 작업자가 따뜻한 여름 온도들에서 나타나는 경우, 온도 검출 디바이스(580)는 중앙 제어기(145)와 함께, 검출된 체온을 하향으로 보정하도록 구성될 수 있다. 전술한 보정들은 온도-검출 디바이스가 피부 표면 온도들을 측정/검출할 때 특히 바람직하다.
중앙 제어기(145)는, 온도 검출 디바이스(580)가 인증 단계의 수행 전에, 또는 제1 및/또는 제2 인증 단계의 수행 동안, 또는 제2 인증 단계의 수행 후에 작업자의 체온을 검출할 수 있도록 구성될 수 있다는 것이 주목된다.
일부 구현예들에서, 온도 검출 디바이스(580)는 또한 프리젠테이션 공간(520b) 내의 작업자의 열 윤곽들에 기초하여 열 프로파일을 검출하도록 구성된 적외선 센서일 수 있다. 이러한 구현예들에서, 검출된 열 프로파일은 전자 로크(565)를 잠금해제하기 위한 신호를 송신하도록 구성될 수 있는 중앙 제어기(145)로 전송되며, 따라서, 검출된 열 프로파일이 프리젠테이션 공간(520b) 내의 비정상 온도를 갖지 않는 실제 작업자의 특정 특성들 또는 속성들과 일치할 때에만, 게이트(515)가 개방되는 것을 허용하고 작업자가 작업 공간(155)에 액세스하는 것을 허용한다. 따라서, 예를 들어, 중앙 제어기(145)는, 작업자가, 예를 들어, 작업자의 얼굴 인식 생체 측정 데이터의 제시를 요구하는 인증 단계 동안, 작업 공간에 액세스할 권한을 갖는 작업자의 얼굴의 사진일 수 있는 무생물 객체를 제시함으로써 인증을 회피하려고 시도하면, 온도 검출 디바이스(580)에 의한 무생물 객체의 열 프로파일의 검출은 실제 작업자의 존재와 일치하지 않는 검출된 열 프로파일을 초래하고, 이는 중앙 제어기(145)가 전자 로크(565)를 잠금해제하지 않게 하도록 구성될 수 있다.
일부 구현예에서, 게이트(515)의 잠금 해제는 자동이 아니라, 대신에 다른 사람, 예를 들어 보안 요원에 의해 수행된다는 것에 유의한다. 따라서, 작업자에 의해 카메라(550)에 바코드를 제시하면, 원격으로 위치될 수 있는 보안 경비원에게 바코드에 대응하는 이전에 기록된 얼굴 이미지가 제시될 수 있다. 그 후, 보안 감시원은 게이트(515)를 잠금해제하기 전에, 카메라(550)를 통해 보이는 작업자가 이전에 기록된 얼굴 이미지에 대응하는지를 확인하도록 요구될 수 있다. 이 인증 프로세스는 단일 보안 가드가 단일 작업 사이트에 대한 다수의 게이트를 통해, 또는 다수의 작업 사이트에서 별개의 게이트를 통해 작업자에 의한 액세스를 제어할 수 있게 한다는 것에 유의한다.
오디오 스피커(555) 및 마이크로폰(565)은 또한 게이트(515)를 통한 액세스를 제공하기 위해 추가적인 단계의 수행을 구현하는 데 사용될 수 있다. 따라서, 예를 들어, 저장되고 기록된 생체 측정 데이터의 비교 시, 게이트 제어 시스템(525)은 스피커(555)를 통해 현재 작업자에게 그 또는 그녀의 눈을 닫도록 재촉할 수 있다. 그 다음, 생체 측정 시스템은 생체 측정 데이터를 다시 기록하고 이전에 기록된 생체 측정 데이터(눈 열림)를 새롭게 기록된 생체 측정 데이터(눈 닫힘)와 비교할 수 있고, 생체 측정 데이터가 동일하지만 눈 닫힘에 대해 동일함을 보장할 수 있다. 이 추가 단계는 작업자가 시스템에 얼굴 이미지 또는 사진을 불법적으로 제시하는 것으로부터 보호할 수 있고, 시스템이 이미지를 사용하여 기록된 생체 측정 데이터를 획득하려고 시도할 수 있다.
다시 도 4를 참조하면, 전자 액세스 제어 시스템(410)은 작업 공간(155)에 대한 작업자에 의한 각각의 진입 또는 시도된 진입에 대한 사운드 및/또는 비디오를 기록하기 위해 기록 디바이스(170), 예를 들어 NVR 또는 DVR을 더 포함한다. 비디오 레코딩들은 원하는 대로, 예를 들어, 제1 작업자가 게이트(515)를 개방했을 때, 작업자들에 의한 진입들을 확인하거나, 또는 하나 초과의 작업자에 의한 가능한 유인 진입 시도들을 평가하기 위해 사용될 수 있다.
유사하게, 적어도 하나의 구현예에서, 게이트 센서(570)는 작업자가 게이트(515)를 통해 진입했고, 다른 개인이 제1 작업자를 따르지 않았음을 확인하는데 사용된다. 일부 구현예들에서, 게이트 센서(570)는 게이트(515)를 통과하는 개인들의 수를 검출하기 위한 카메라일 수 있다.
일부 구현예들에서, 카메라 렌즈(550)는, 작업자가 게이트(515) 앞의 영역(520b)에 위치될 때 생체측정 데이터의 기록을 허용하고, 또한 게이트(515)를 통한 진입을 통한 작업자들의 비디오 기록을 허용하기 위해 게이트(515)에 인접하게 배치된다는 것에 유의한다.
다음으로 도 10을 참조하면, 일부 구현예들에서, 시스템(1000)은 이미지 센서들(120 및/또는 125)에 의해 캡처된 제1 및/또는 제2 복수의 이미지들을 사용하여 작업 공간(155)에 존재하는 개인 보호 장비 및 비-개인 보호 장비 객체들의 작업 공간(155)에서의 식별을 허용하도록 구성될 수 있다. 이와 관련하여, 안전 조끼들(107a, 107b) 및 안전 헬멧들(110a, 110b)로 예시되는 개인 보호 장비는 바코드들(109a, 109b, 115a, 115b)로 별도로 태그된다. 또한, 손수레들(133 및 1033)에 의해 예시된 비-개인 보호 장비는 각각 바코드들(1010 및 1020)로 개별적으로 태깅된다. 바코드들은 객체들을 식별하는 객체 정보를 포함하며, 즉 바코드들(1010 및 1020)은 객체들(133 및 1033)이 손수레들로서 식별될 수 있게 하는 객체 정보를 포함한다. 시스템(1000)은 중앙 처리 유닛(1046)이 사용자가 입력 데이터를 제공하는 사용자 진입을 통해 쿼리 용어로서 바코드들(예를 들어, 바코드(109a, 109b, 115a, 115b, 1010 및 1020))을 입력하도록 허용하는 방식으로 입력/출력 디바이스(1030)에 결합되도록 구성된다. 따라서, 사용자는 예를 들어, 바코드 스캐너(도시되지 않음)를 사용하여 바코드(109a, 109b, 115a, 115b, 1010 또는 1020)의 사본을 스캐닝함으로써, 또는 동일한 바코드들이 입력된 데이터베이스에서 바코드(109a, 109b, 115a, 115b, 1010 또는 1020)를 선택함으로써, 입력 데이터를 제공할 수 있다. 데이터베이스는 중앙 제어기(145)에 의해 하우징될 수 있거나 또는 중앙 제어기(145)에 의해 액세스 가능한 별개의 데이터 저장소에 의해 제공될 수 있다. 이미지 센서들(120 및/또는 125)은 중앙 처리 유닛(146)과 함께 제1 및/또는 제2 복수의 이미지들에서 바코드 객체들을 검출하고 이전 실시예들에서 설명된 바와 같이 대응하는 바코드들을 판독하도록 더 구성된다. 따라서, 이미지 센서들(120 및/또는 125)에 의해 캡처된 각각의 이미지에서, 다수의 바코드 객체들이 검출될 수 있고 바코드 객체들에 대응하는 바코드들이 판독될 수 있다. 예를 들어, 작업 공간(155)의 이미지 센서(120)에 의해 캡처된 제1 또는 제2 복수의 이미지로부터의 이미지에서, 바코드들(109a, 109b, 115a, 115b, 1010 및 1020)이 판독될 수 있다. 판독된 바코드들은 관계형 데이터베이스에 저장될 수 있으며, 여기서 데이터베이스는 예를 들어 액세스하는 보조 처리 유닛(180)에 의해 획득된 이미지의 고유 메타-데이터를 사용하여 각각의 판독된 바코드가 판독된 특정 이미지에 연결되도록 구현된다. 따라서, 이미지 센서(120)에 의해 캡처된 작업 공간(155)(본 명세서에서는 예로서, "이미지 1"로 지칭됨)의 특정 이미지는 또한 관계 데이터베이스, 예를 들어, 이미지 1이 취해진 시간(메타데이터에 존재하는 바와 같음)과 함께, 중앙 제어기(145)에 의해 포함된 관계 데이터베이스, 예를 들어, 2021년 5월 7일 오전 11시, 및 바코드들(109a, 109b, 115a, 115b, 1010 및 1020)에 저장될 수 있다.
일부 구현예들에서, 판독된 바코드는 바코드가 판독된 이미지와 함께 메타데이터의 일부로서 통합될 수 있다. 이와 같이, 판독된 바코드가 저장된 이미지와 함께 포함된 메타데이터는 판독된 바코드가 판독된 특정 이미지에 연결되는 관계형 데이터베이스, 및 예를 들어 이미지가 캡처된 시간과 같은 다른 메타데이터를 형성하도록 저장될 수 있다는 것이 이해되어야 한다. 전술한 바와 같이, 일부 구현예들에서, 이미지들은 기록 디바이스(170)를 사용하여 더 낮은 해상도 포맷으로 저장될 수 있다. 이 점에서, 더 낮은 해상도 이미지들에 대해 바코드 판독을 수행하는 것이 더 어려울 수 있기 때문에, 해상도 레벨의 감소 및 이미지 저장을 진행하기 전에 바코드들을 검출하고 판독하도록 중앙 처리 유닛(146)을 구성하는 것이 바람직하다.
중앙 처리 유닛(146)은 입력 쿼리 바코드의 수신 시에, 관계형 데이터베이스 내의 판독된 바코드를 입력 쿼리 바코드와 비교하고, 매칭이 판독된 바코드들 중 하나와 쿼리 바코드 사이에서 식별될 때 입력/출력 디바이스(1030)에 출력을 제공하도록 더 구성된다. 입력/출력 디바이스(1030)는 입력 및 출력 디바이스들(140 및 150)로부터 설명된 바와 같이 구현될 수 있다. 따라서, 예를 들어, 사용자가 쿼리 바코드로서 바코드(1010)를 입력/출력 디바이스(1030)에 입력했을 때, 입력/출력 디바이스(1030)는 매칭이 관계형 데이터베이스에 저장된 판독된 바코드들 중 하나와 쿼리 바코드 사이에서 식별될 때 출력을 제공하고, 출력은 이미지 센서(120 또는 125)에 의해 캡처된 관계형 데이터베이스 내의 매칭 바코드에 연결된 작업 공간(155)의 이미지일 수 있으며, 여기서 이미지는 쿼리 바코드에 대응하는 바코드 객체를 포함한다.
일부 구현예들에서, 중앙 처리 유닛(146)은 저장된 바코드와 쿼리 바코드 사이의 매칭과 관련된 (즉, 바코드 객체를 갖는) 하나의 이미지를 식별하도록 구성된다. 예를 들어, 매칭은 쿼리 바코드의 입력 시간에 비해, 이미지 센서(120 또는 125)에 의해 가장 최근에 캡처된 주어진 이미지와 대응할 수 있으며, 여기서 주어진 이미지는 쿼리 바코드에 대응하는 바코드 객체를 포함한다. 다른 구현예들에서, 중앙 처리 유닛(146)은 예를 들어, 입력 쿼리 바코드의 시간에 대해 가장 최근에 캡처된 이미지로부터 이전 시간, 일 또는 주에 캡처된 모든 이미지들까지, 특정 시간 기간 내에 최대 5개의 이미지 매칭들, 최대 10개의 이미지 매칭들, 또는 최대 50개의 이미지 매칭들, 또는 모든 이미지 매칭들을 식별하도록 구성된다.
입력/출력 디바이스(1030)에 의해 제공되는 출력은 바람직하게는 각각의 매칭된 이미지가 이미지 센서(120 및/또는 125)에 의해 캡처된 시간과 대응하는 시간 표시자를 포함하고, 대응하는 바코드 객체를 포함하는 매칭된 이미지(들)를 더 포함할 수 있다.
따라서, 예로서, 시스템(1000)은 입력/출력 디바이스(1030)에 의해 제공되는 출력이 (a) 주어진 이미지가 이미지 센서(120)에 의해 캡처된 시간에 대응하고 쿼리 바코드와 매칭되는 바코드 객체를 포함하는 시간 표시자 및 (b) 매칭이 식별될 때 대응하는 바코드 객체를 포함하는 주어진 이미지를 포함하도록 구성될 수 있다. 시스템(1000)은 하나의 매칭이 식별되도록, 즉 쿼리 바코드의 입력 시간에 대해 이미지 센서(120)에 의해 가장 최근에 캡처된 이미지(쿼리 바코드에 대응하는 판독 바코드 객체를 포함함)와 매칭되도록 더 구성될 수 있다. 예를 들어, 2021년 5월 7일 오전 11시 49분에 사용자가 입력/출력 디바이스(1030)에 쿼리 바코드로서 바코드(1010)를 입력할 때, 출력은 타임 스탬프 "2021년 5월 7일 오전 11시 40분" 및 이미지 1의 사본(이미지가 바코드 쿼리와 매치하는 바코드 객체를 갖는 쿼리 바코드가 입력된 시간 이전의 마지막 이미지)일 수 있고, 출력은 입력/출력 디바이스(1030)의 스크린 상에 도시될 수 있다. 따라서, 사용자는 시스템(1000)에 의해 적어도 2021년 5월 7일 오전 11시 40분에서와 같이 최근에 작업 공간(155)에 손수레(1033)가 위치되었음을 통지받고, 사용자는 이미지 1을 검사하여 손수레(1030)의 존재를 확인할 수 있다. 유사하게, 2021년 5월 7일 오전 11시 49분에 사용자가 입력/출력 디바이스(1030)에 쿼리 바코드로서 바코드(109a)를 입력할 때, 출력은 타임 스탬프 "2021년 5월 7일 오전 11시 40분" 및 이미지 1의 사본(이미지가 바코드 쿼리와 매치하는 바코드 객체를 갖는 쿼리 바코드가 입력된 시간 이전의 마지막 이미지)일 수 있고, 출력은 입력/출력 디바이스(1030)의 스크린 상에 도시될 수 있다. 따라서, 사용자는 시스템(1000)에 의해 안전 조끼(109a), 및 가장 가능성있는 연장 작업자(105a)가 적어도 2021년 5월 7일 오전 11시 40분에서와 같이 최근에 작업 공간(155)에 위치되었음을 통지받고, 사용자는 이미지 1을 검사하여 안전 조끼(109a) 및 작업자(105a)의 존재를 확인할 수 있다.
따라서, 다른 예로서, 시스템(1000)은 입력/출력 디바이스(1030)에 의해 제공된 출력이 이미지 센서(120)에 의해 N개의 이미지가 캡처된 시간에 대응하는 시간 표시자를 포함하도록 구성될 수 있으며, 여기서 N은 정수이고, N개의 이미지 각각은 쿼리 바코드와 매칭되는 바코드 객체를 포함하고, 시스템은 예를 들어, 5와 같은 미리 결정된 수로 N을 설정하도록 더 구성될 수 있어서, 예를 들어, 매칭되는 5개의 가장 최근에 시간적으로 획득된 이미지들이 식별되고, 이 예에서 출력은 쿼리 바코드의 입력 시간에 대해 이미지 센서(120)에 의해 가장 최근에 캡처된 이미지에 대한 이미지 매칭을 포함하고, 이는 쿼리 바코드와 매칭되는 바코드 객체 및 4개의 연속하여 앞선 이미지 매칭들을 포함한다. 예를 들어, 사용자가 2021년 5월 7일 오전 11시 49분에 바코드(1010)를 쿼리 용어로서 입/출력 디바이스(1030)에 입력할 때, 출력은 다음과 같은 시간 표시자 "2021년 5월 7일 오전 11시 40분"; "2021년 5월 7일 오전 11시 30분"; "2021년 5월 7일 오전 11시 20분"; "2021년 5월 7일 오전 11시 10분"; 및 "2021년 5월 7일 오전 11시 00분"일 수 있다. 따라서, 사용자는 시스템(1000)에 의해 손수레(133)가 적어도 2021년 5월 7일 오전 11시 및 2021년 5월 7일 오전 11시 40분 및 그 사이의 표시된 시간에 작업 공간(155)에 위치되었다는 것을 통지받는다.
따라서, 이러한 방식으로, 시스템(1000)은 일반적으로, 사용자가, 예를 들어, 안전 조끼(107a, 107b), 및 안전 헬멧(110a, 110b) 및/또는 비개인 보호 장비와 같은 개인 보호 장비 아이템, 손수레들(133, 1033)이 작업 공간(155)과 같은 작업 공간에 존재했는지의 여부 및 그 시기를 결정할 수 있게 한다는 것이 명백할 것이다.
추가 구현예들에서, 입력/출력 디바이스(1030)는, 쿼리 바코드들에 더하여, 예를 들어, 사용자가 쿼리 바코드들과 매칭하는 바코드 객체들과 같은 이미지 객체들을 갖는 이미지들을 식별하기를 원하는 하나 이상의 쿼리 시간 기간들을 수신하도록 구성될 수 있다. 따라서, 쿼리 시간 기간은 제1 및 제2 시간들에 의해 정의될 수 있다; 예를 들어, 사용자는 입력/출력 디바이스(1030)에 "2021년 5월 7일 오전 11시부터 2021년 5월 7일 오후 1시 15분까지"의 입력을 제공할 수 있거나, 또는 사용자는 "오늘 오후 1시부터 이후의 시간"과 같은 입력을 입력/출력 디바이스(1030)에 제공할 수 있다. 중앙 처리 유닛(146)은 쿼리 시간 기간에 대한 제1 및 제2 시간들을 결정하기 위해 사용자 진입을 파싱하도록 구성된다. 중앙 처리 유닛(146)은 또한, 쿼리 바코드의 수신 시에, 쿼리 시간 기간을 사용하여 쿼리 시간 기간 동안 획득된 이미지들의 세트를 식별한 다음, 이미지들의 세트를 분석하여, 예를 들어, 바람직하게는 판독된 바코드와 연관된 이미지들의 식별을 포함하는 메타-데이터를 분석함으로써, 입력 쿼리 바코드와 관계형 데이터베이스에 저장된 판독된 바코드들을 매칭시키는 바코드 객체들을 갖고 있는지를 결정하고, 쿼리 입력 시간 기간 내에 센서들(120 및/또는 125)에 의해 캡처된 이미지들과 대응하는 매칭된 이미지들 및/또는 매칭된 이미지들의 시간들에 대한 시간 표시자들의 형태로 출력을 제공하도록 구성된다.
따라서, 다른 예로서, 시스템(1000)은 입력/출력 디바이스(1030)가 사용자가 쿼리 시간 기간 동안 획득되었던 임의의 이미지들을 식별하기를 원하고 사용자에 의해 제공된 쿼리 바코드를 통해 수신될 수 있는 바코드 객체를 포함하는 쿼리 시간 기간을 수신할 수 있도록 구성될 수 있고, 입력/출력 디바이스(1030)에 의해 제공된 출력은 쿼리 시간 기간 동안 이미지 센서(120)에 의해 캡처된 하나 이상의 매칭된 이미지들에 대한 하나 이상의 시간을 표시하는 시간 표시자일 수 있다. 예를 들어, 사용자가 바코드(1010)를 쿼리 용어로서 그리고 "2021년 5월 7일 오전 11시 20분부터 2021년 5월 7일 오전 11시 55분까지, 2021년 5월 7일"을 쿼리 기간으로서 입력/출력 디바이스(1030)에 입력할 때, 중앙 처리 유닛(146)은 이전에 설명된 바와 같이 매칭된 이미지를 식별하려고 시도하고 매칭된 이미지를 발견하면, 다음의 시간 표시자들 "2021년 5월 7일 오전 11시 20분"; "2021년 5월 7일 오전 11시 30분"; "2021년 5월 7일 오전 11시 40분 7”, 및 "2021년 5월 7일 오전 11시 50분” 중 하나를 포함할 수 있는 출력을 생성하려 시도한다. 따라서, 사용자는 시스템(1000)에 의해 손수레(133)가 “2021년 5월 7일 오전 11시 20분”; "2021년 5월 7일 오전 11시 30분"; "2021년 5월 7일 오전 11시 40분" 및 "2021년 5월 7일 오전 11시 50분"에 작업 공간(155)에 위치되었음을 통지받고, 사용자는 손수레(133)가 전체 쿼리 시간 기간 동안 작업 공간(155)에 위치되었을 가능성이 있다고 합리적으로 결론내릴 수 있다.
다른 양태에서, 본 명세서의 교시들에 따른 적어도 하나의 구현예에서, 본 개시는 또한 도 2에 도시된 바와 같은 프로세스를 제공한다. 따라서, 이제 도 2를 참조하면, 본 개시는 작업 공간에서 개인 보호 장비의 사용을 모니터링하기 위한 프로세스(200)를 포함한다. 프로세스(200)는 작업자가 대응하는 개인 보호 장비를 식별하는 바코드 및 작업자에 대한 사용자 정보를 포함하는 개인 보호 장비를 구비하는 제1 단계(205)를 포함한다. 사용자 정보는 작업자의 이름, 생년월일, 전화번호, 및/또는 작업자에 고유한 일부 다른 식별일 수 있다. 프로세스(200)의 나머지는 PPE가 장착된 작업자의 이미지 캡처 및 이미지 분석을 포함하고, 안전 동작의 자동 실행을 보증한다.
프로세스(200)의 제2 단계(210)는, 예를 들어, 개인 보호 장비를 사용하는 작업자에 의해, 예를 들어, 중앙 제어기에 통신가능하게 결합된 핸드헬드 디바이스를 사용하여 인증 프로세스를 개시하는 것과 같은 다양한 방식으로 개시될 수 있다. 다른 구현예에서, 제2 단계(210)는 작업자가 스캐너, 예를 들어 바코드 스캐너와 상호작용함으로써, 또는 단순히 작업자가 제1 및 제2 이미지 센서들이 설치된 작업 공간에 진입함으로써 개시될 수 있다.
프로세스(200)는 작업 공간에 설치된 제1 및 제2 이미지 센서들을 사용하여 제1 복수의 이미지들을 캡처하는 단계를 포함하는 제3 단계(215)를 더 포함한다.
프로세스(200)는 인간 형태 객체 이미지 분석 또는 계산 신경망과 같은 제1 이미지 분석을 캡처된 이미지들 각각에 적용함으로써 인간 형태 객체들을 검출하는 것을 포함하는 제4 단계(220)를 더 포함한다. 인간 형태 객체 이미지 분석 알고리즘은, 전술한 바와 같이, 제1 복수의 이미지들에서 인간 형태 객체들을 분류하고 검출하기 위해 프로세싱 유닛을 구성하는 소프트웨어 명령어들을 포함한다.
프로세스(200)는 제1 복수의 이미지들 중 하나에서 적어도 하나의 인간 형태 객체가 검출되었는지를 결정하는 단계(단계 225) 및 제1 복수의 이미지들로부터 제2 복수의 이미지들을 선택하는 단계(단계 230)를 포함하는 제5 및 제6 단계(225 및 230)를 더 포함한다. 특정 경우들에서, 단계(225)에서 제1 복수의 이미지들에서 인간 형태 객체들이 검출되지 않을 수 있다. 예를 들어, 이는 이미지 센서(120 또는 125)의 시야(157 또는 158)에 작업자들이 각각 존재하지 않을 때(단계 227)일 수 있다. 그러한 상황들에서, 프로세스(200)는 이어서 단계(215)로 복귀하고, 새로운 이미지들을 캡처할 수 있다.
그러나, 하나 이상의 검출된 인간 형태 객체들을 포함하는 제2 복수의 이미지들이 획득될 때, 프로세스(200)는 제2 복수의 이미지들 각각에서 검출된 인간 형태 객체들 중 하나를 각각 포함하는 이미지 영역들을 정의하는 단계를 포함하는 제7 단계(235)로 진행한다. 이미지 영역들을 정의하기 위한 기법들이 이전에 설명되었다.
그 후, 프로세스(200)는, 앞서 설명된 바와 같이, 바코드 객체들을 분류하도록 구성된 바코드 객체 이미지 분석 또는 계산 신경망과 같은 제2 이미지 분석을 이미지 영역들에 적용함으로써 정의된 이미지 영역 내의 바코드 객체를 검출하는 단계를 포함하는 제8 단계(240)로 진행한다. 대안적으로, 정의된 이미지 영역들의 사용은 제2 복수의 이미지들 중 전체 이미지의 더 큰 영역들이 적어도 하나의 바코드 객체를 검출하기 위해 분석되는 다른 실시예들에서 선택적일 수 있다.
프로세스(200)는 제2 복수의 이미지의 검출된 바코드 객체들로부터 제1 검출된 바코드 객체를 선택하는 단계를 포함하는 제9 단계(245)를 더 포함한다.
프로세스(200)는 단계(245)에서 선택된 제1 검출된 바코드 객체에 대응하는 바코드인 제1 바코드를 사용하여 검색을 수행하는 단계를 포함하는 제10 단계(250)를 더 포함한다. 이 검색은 제2 복수의 이미지들의 정의된 이미지 영역들에서 검출된 인간 형태 객체에 대응하는 작업자를 식별하는 제1 바코드에 연결된 사용자 정보를 찾기 위해 데이터베이스 또는 데이터 저장소에서 수행될 수 있다.
프로세스(200)는 식별된 작업자에 대한 위치된 사용자 정보에 연결될 수 있는 추가적인 바코드들 및 대응하는 추가적인 바코드 객체들을 검색하는 단계를 포함하는 제11 단계(255)를 더 포함한다. 이러한 추가적인 바코드 객체들은 식별된 작업자가 작업 공간에 있을 때 착용해야 하는 개인 보호 장비 항목들과 연관될 수 있다.
프로세스(200)는, 앞서 설명된 바와 같이, 확률 알고리즘을 적용하여 제2 복수의 이미지들의 정의된 이미지 영역들 내의 검출된 바코드들 객체들의 보급률을 결정하는 단계를 포함하는 제12 단계(260)를 더 포함하며, 여기서 검출된 바코드 객체들은 제1 검출된 바코드 및 제1 검출된 바코드에 대해 위치된 사용자 정보에 연결된 추가 바코드들을 포함하고, 보급률에 기초하여, 전에 설명한 것과 같이, 검출된 인간 형태 객체에 대응하는 사용자가 작업 공간에 적용가능한 안전 규칙들에 따라야 하는 각각의 개인 보호 장비를 착용하고 있을 확률을 계산하는 단계를 포함한다. 따라서, 각각의 바코드 객체에 대해 계산되는 확률 값이 존재한다.
프로세스(200)는 계산된 확률들이 미리 결정된 확률 임계 값 미만인지 여부를 결정하는 것을 포함하는 제13 단계(265)를 더 포함한다. 주어진 바코드 객체가 미리 결정된 확률 임계 값보다 낮은 계산된 확률을 갖는 경우, 이는 작업자가 주어진 바코드 객체들과 연관된 PPE 아이템을 착용하고 있지 않을 가능성이 있다는 것을 의미한다.
프로세스(200)는 미리 결정된 확률 임계 값보다 낮은 계산된 확률로 각각의 바코드 객체에 대한 안전 조치를 실행하는 단계를 포함하는 제14 단계(270)를 더 포함한다. 안전 조치는 데이터베이스나 데이터 저장소에 저장된 안전 규칙 데이터에 기초한다. 안전 조치들의 예들은 앞서 제공되었다.
단계들(230 내지 270)은 고유한 작업자에 대응하는 제1 복수의 이미지들에서 각각의 검출된 인간 형태 객체에 대해 반복된다는 점에 유의해야 한다. 따라서, 제1 복수의 이미지에 있는 각각의 작업자에 대해, 확률 계산은 각각의 작업자와 연관된 각각의 바코드 객체에 대해 수행된다.
적어도 하나의 안전 조치(단계(270))의 실행에 의해 또는 이러한 조치의 실행 없이 프로세스(200)가 완료되면, 프로세스(200)는 단계(215)에서 시작하여 반복되어, 프로세스(200)가 후속하는 시점에서 획득되는 상이한 제1 복수의 이미지들에 대해 반복될 수 있다.
본 명세서에서 앞서 논의된 바와 같이, 일 구현예에서 본 개시의 자동화된 시스템은 또한 제1 및 제2 복수의 이미지들을 사용하여, 작업 공간에 존재하는 개인 보호 장비 및 비-개인 보호 장비의 식별을 허용하도록 구성될 수 있다. 따라서, 다른 양태에서, 본 개시는 도 11a 및 도 11b에 도시된 바와 같은 프로세스들을 더 제공한다.
따라서, 이제 도 11a를 참조하면, 본 개시는 작업 공간에 존재하는 개인 보호 장비 및 비-개인 보호 장비의 작업 공간에서의 식별을 위한 프로세스(1100)를 포함한다. 프로세스(1100)는 사용자가 입력 쿼리 바코드를 제공하는 제1 단계(1105)를 포함한다. 프로세스(1100)의 나머지는, 예를 들어, 프로세스(200)에 의해 캡처된 제1 및/또는 제2 복수의 이미지들 내의 매칭하는 바코드의 식별, 및 이미지가 매칭하는 바코드 객체를 포함하고/하거나 출력이 매칭하는 이미지일 수 있는 이미지가 캡처된 시간에 대한 시간 표시자의 형태로 출력을 제공하는 단계를 수반한다.
프로세스(1100)는 쿼리 바코드를 판독된 저장된 바코드 중 하나와 매칭시키는 단계를 포함하는 제2 단계(1110)를 더 포함한다. 전술한 바와 같이, 이미지 센서에 의해 캡처된 이미지들 내의 바코드 객체들이 식별될 수 있고, 이어서 식별된 바코드 객체들에 대해 바코드들이 판독될 수 있다. 판독 바코드는 판독된 바코드를 이미지 센서에 의해 캡처된 특정 이미지에 연결하고 바코드가 판독된 바코드 객체들을 포함하는 관계형 데이터베이스에 저장될 수 있다. 단계(1105)에서 사용자 입력으로부터 수신된 쿼리 바코드는 저장된 판독 바코드들과 매칭될 수 있다. 매칭이 발견되는 경우, 프로세스(1100)는 단계(1120)로 진행한다. 매칭이 발견되지 않는 경우, 프로세스(1100)는 단계(1105)로 되돌아간다.
프로세스(1100)는 쿼리 바코드와 매칭되는 저장된 바코드와 대응하는(즉, 연결된) 이미지 및/또는 실제 이미지 자체의 시간을 수신하는 단계를 포함하는 제3 단계(1115)를 더 포함한다. 매칭하는 저장된 바코드에 대한 시간 및/또는 이미지는, 예를 들어, 입력 쿼리 바코드가 단계(1105)에서 수신된 시간에 대해 가장 최근에 캡처된 이미지일 수 있다.
프로세스(1100)는 이미지가 캡처된 시간 및/또는 쿼리 바코드와 매칭되는 바코드를 포함하는 이미지에 대응하는 시간 표시자의 형태로 출력을 제공하는 단계를 포함하는 제4 단계(1120)를 더 포함한다. 프로세스(1100)는 그 후 사용자가 쿼리 바코드의 형태로 추가 입력을 제공할 수 있게 하는 단계(1105)로 복귀할 수 있다.
다음으로 도 11b를 참조하면, 본 개시는 작업 공간에 존재하는 개인 보호 장비 및 비-개인 보호 장비의 식별을 위한 추가 프로세스(1101)를 포함한다. 프로세스(1101)는 제1 및 제2 시간들에 의해 정의된 입력 쿼리 바코드 및 쿼리 시간 기간이 사용자 입력을 통해 수신되는 제1 단계(1125)를 포함한다. 프로세스(1101)의 나머지는, 예를 들어, 프로세스(200)에 의해 캡처된 제1 및/또는 제2 복수의 이미지에서, 쿼리 시간 기간 내에 매칭되는 바코드의 식별을 수반하고, 쿼리 바코드를 포함하는 하나 이상의 이미지 및/또는 하나 이상의 시간을 포함하는 시간 표시자의 형태로 출력을 제공하는 단계를 포함한다.
프로세스(1101)는 쿼리 시간 기간 내에 쿼리 바코드를 판독된 저장된 바코드들과 매칭시키는 단계를 포함하는 제2 단계(1130)를 더 포함한다. 전술한 바와 같이, 이미지 센서에 의해 캡처된 이미지들 내의 바코드 객체들이 식별될 수 있고, 이어서 바코드들을 판독하는 것은 식별된 바코드 객체들로부터 판독될 수 있다. 판독된 바코드들은 판독된 바코드들을 판독된 바코드들에 대응하는 바코드 객체들을 포함하는 특정 이미지들에 연결시키는 관계형 데이터베이스에 저장될 수 있다. 단계(1125)에서 수신된 쿼리 바코드는 저장된 바코드들과 매칭될 수 있다. 매칭이 발견되는 경우, 프로세스(1101)는 단계(1135)로 진행한다. 매칭이 발견되지 않는 경우, 프로세스(1101)는 단계(1125)로 복귀하며, 이 시점에서 사용자는 다른 쿼리 바코드의 형태로 추가 입력을 제공하도록 허용될 수 있다.
프로세스(1101)는 쿼리 바코드와 매칭되는 저장된 바코드와 대응하는(즉, 연결된) 이미지 및/또는 실제 이미지 자체의 시간을 수신하는 단계를 포함하는 제3 단계(1140)를 더 포함한다. 매칭하는 저장된 바코드에 대한 시간 및/또는 이미지는, 예를 들어, 입력 쿼리 바코드가 단계(1125)에서 수신된 시간에 대해 가장 최근에 캡처된 이미지일 수 있다.
프로세스(1101)는 이미지가 캡처된 시간, 쿼리 바코드와 매칭되는 바코드를 포함하는 시간 및/또는 이미지 자체, 및 쿼리 시간 기간에 대응하는 시간 표시자의 형태로 출력을 제공하는 단계를 포함하는 제4 단계(1140)를 더 포함한다. 프로세스(1101)는 그 후 사용자가 쿼리 바코드의 형태로 추가 입력을 제공할 수 있게 하는 단계(1125)로 복귀할 수 있다.
따라서, 전술한 자동화된 프로세스들은 작업 공간에서 개인 보호 장비 및 비-개인 보호 장비의 사용을 모니터링하는 것을 허용한다.
본 명세서에 설명된 출원인의 교시들은 예시적인 목적들을 위해 다양한 구현예들과 함께 있지만, 출원인의 교시들이 이러한 구현예들로 제한되는 것으로 의도되지 않는다. 반대로, 본 명세서에 설명되고 예시된 출원인의 교시들은 본 명세서에 설명된 구현예들을 벗어나지 않고 다양한 대안들, 수정들, 및 등가물들을 포함하며, 그 일반적인 범위는 첨부된 청구항들에서 정의된다.
Claims (36)
- 작업 공간에서 작업자들의 개인 보호 장비의 사용을 자동 모니터링하는 시스템으로서, 상기 시스템은,
복수의 바코드들, - 각각의 바코드는 고유한 개인 보호 장비 아이템과 연관되고, 상기 연관된 개인 보호 장비 아이템을 식별하는 객체 정보 및 상기 개인 보호 장비 아이템을 사용하는 주어진 작업자에 대한 사용자 정보를 포함함 -;
상기 작업 공간에 설치 가능한 제1 및 제2 이미지 센서들 - 상기 제1 및 제2 이미지 센서들은 서로 이격되고, 상이한 제1 및 제2 시야들을 각각 커버하도록 위치되고, 상기 제1 및 제2 시야들은 상기 작업 공간 내의 주어진 영역에서 중첩되고, 상기 제1 및 제2 이미지 센서들은 상기 주어진 영역의 제1 복수의 이미지들을 집합적으로 캡처하도록 구성됨 -; 및
상기 제1 및 제2 이미지 센서들에 결합되는 중앙 제어기, - 상기 중앙 제어기는 적어도 하나의 프로세서 및 하나 이상의 바코드들이 상기 주어진 작업자의 상기 사용자 정보와 연결되도록 상기 복수의 바코드들 및 상기 사용자 정보를 저장하도록 구성된 데이터베이스를 포함하는 메모리 요소를 포함함 -; 를 포함하고,
상기 적어도 하나의 프로세서 및 상기 제1 및 제2 이미지 센서들은 함께:
(i) 상기 제1 복수의 이미지들에서 인간 형태 객체를 검출하고;
(ii) 상기 제1 복수의 이미지들로부터 제2 복수의 이미지들을 식별하고, - 상기 제2 복수의 이미지들은 상기 검출된 인간 형태 객체를 포함함 -;
(iii) 상기 제2 복수의 이미지들 중 적어도 하나에서 제1 바코드 객체를 검출하고, - 상기 제1 바코드 객체는 상기 검출된 인간 형태 객체와 연관됨 -;
(iv) 상기 검출된 제1 바코드 객체에 대응하는 제1 바코드를 식별하고;
(v) 상기 제1 바코드를 사용하여 상기 데이터베이스에서 검색을 수행하여 그와 연결된 상기 사용자 정보 및 상기 식별된 사용자 정보와 연결된 추가 바코드들을 식별하고;
(vi) 상기 식별된 추가 바코드들에 대응하는, 상기 제2 복수의 이미지들에서 추가 바코드 객체들을 검출하고;
(vii) 확률적 알고리즘을 적용하여 상기 검출된 인간 형태 객체와 대응하는 상기 작업자가 상기 작업 공간에 적용가능한 상기 안전 규칙들에 따라 상기 제1 검출된 바코드 및 상기 추가적인 식별된 바코드들과 연관된 각각의 개인 보호 장비 아이템을 착용하고 있을 확률들을 계산하고 - 상기 확률적 알고리즘은 상기 제2 복수의 이미지들에서 상기 제1 검출된 바코드 및 상기 추가적인 바코드들에 대응하는 각각의 바코드 객체의 출현율을 결정하기 위해 적용됨 -; 및
(viii) 미리 결정된 확률 임계 값보다 낮은 계산된 확률들을 갖는 상기 제1 검출된 바코드 및 상기 추가 바코드 객체 각각에 대한 안전 조치를 실행하도록 구성된,
시스템. - 제1항에 있어서,
상기 바코드 객체들 중 임의의 바코드 객체는 상기 제2 복수의 이미지들 내의 정의된 이미지 영역들에서 검출되고, 각각의 정의된 이미지 영역은 상기 검출된 인간 형태 객체를 포함하도록 구성되는, 시스템. - 제1항 또는 제2항에 있어서,
상기 제1 복수의 이미지들은 주어진 기간 동안 상기 제1 이미지 센서에 의해 캡처된 시간적으로 순차적인 이미지들의 제1 세트 및 상기 주어진 기간 동안 상기 제2 이미지 센서에 의해 캡처된 시간적으로 순차적인 이미지들의 제2 세트를 포함하는, 시스템. - 제3항에 있어서,
상기 주어진 기간은 약 5 내지 약 60초인, 시스템. - 제3항 또는 제4항에 있어서,
상기 제1 및 제2 이미지들의 세트는 각각 적어도 10개의 이미지들을 포함하는, 시스템. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 제1 및 제2 이미지 센서들은 이격되어 각각 상기 제1 이미지 센서와 상기 제2 이미지 센서의 상기 시야를 통해 중앙으로 연장되는 제1 축과 제2 축 사이의 교차점이 약 15도 내지 약 175도, 또는 약 205도 내지 약 345도 범위의 각도를 형성하도록 각진, 시스템. - 제6항에 있어서,
상기 각도는 약 30도 내지 약 150도, 또는 약 210도 내지 약 330도의 범위인, 시스템. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 인간 형태 객체는 상기 제1 복수의 이미지들에 인간 형태 객체 이미지 분석 알고리즘을 적용하여 검출되는, 시스템. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 바코드 객체는 상기 제2 복수의 이미지들에 바코드 객체 이미지 분석 알고리즘을 적용하여 검출되는, 시스템. - 제2항 내지 제9항 중 어느 한 항에 있어서,
상기 정의된 이미지 영역은 이미지 경계들을 갖는 프레임을 사용하여 구성되어 상기 프레임에서 상기 검출된 인간 형태 객체의 전체를 포함하고, 상기 이미지 경계들은 상기 검출된 인간 형태 객체와 상기 이미지 경계들 사이에 접촉이 없도록 형성되는, 시스템. - 제10항에 있어서,
상기 이미지 경계들은 상기 이미지 영역에서 상기 검출된 인간 형태 객체로부터 약 0.5 미터 내지 약 3 미터 떨어진 거리에 대응하는, 시스템. - 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 중앙 제어기는 입력 장치에 결합되고, 상기 입력 장치는 쿼리 바코드의 형태로 사용자 진입을 수신하도록 구성되고, 상기 중앙 제어기 및 상기 제1 및 제2 이미지 센서들은 복수의 바코드 객체들 및 상기 제1 및 제2 복수의 이미지들 각각에서 상기 검출된 바코드 객체들에 대응하는 판독 바코드들을 검출하고, 상기 판독된 바코드를, 복수의 판독된 바코드들 및 이미지들을 상기 제1 및/또는 제2 이미지 센서에 의해 캡처된 상기 시간과 함께 연결된 관계를 사용하여 저장하여 하나 이상의 판독된 바코드들이 상기 이미지들 중 하나 및 상기 제1 및/또는 제2 이미지 센서에 의해 캡처된 상기 시간과 연결되도록 구성된 제2 데이터베이스에 저장하도록 더 구성되고, 상기 중앙 제어기는 상기 쿼리 바코드와 상기 판독된 저장된 바코드들 중 하나 사이에 매칭이 있을 때를 결정하도록 더 구성되는, 시스템. - 제12항에 있어서,
상기 중앙 제어기는 출력 장치에 결합되고, 상기 중앙 제어기는 상기 쿼리 바코드가 판독된 저장된 바코드와 동일할 때 상기 출력 장치에 출력을 제공하도록 구성되는, 시스템. - 제13항에 있어서,
상기 출력은 상기 쿼리 바코드에 매칭되는 상기 저장된 바코드에 연결된 상기 이미지가 상기 제1 및/또는 제2 이미지 센서에 의해 캡처된 상기 시간과 대응하는 시간 표시자를 포함하는, 시스템. - 제13항에 있어서,
상기 출력은 상기 쿼리 바코드에 매칭되는 상기 저장된 바코드에 연결된 상기 이미지를 포함하는, 시스템. - 제13항에 있어서,
상기 출력은 상기 쿼리 바코드와 동일한 상기 저장된 바코드에 연결된 상기 이미지가 상기 제1 및/또는 제2 이미지 센서에 의해 캡처된 상기 시간을 나타내는 시간 표시자를 포함하고 및/또는 상기 출력은 상기 쿼리 바코드와 동일한 상기 저장된 바코드에 연결된 상기 이미지를 포함할 수 있으며, 상기 시간 표시자 또는 상기 연결된 이미지는 상기 쿼리 바코드가 입력되었던 상기 시간에 대해, 상기 쿼리 바코드와 상기 판독된 저장된 바코드 사이의 매칭이 식별되었던 가장 최근의 시간에 대응하는, 시스템. - 제12항 내지 제16항 중 어느 한 항에 있어서,
상기 입력 디바이스는 제1 시간 및 제2 시간에 의해 정의된 쿼리 시간 기간의 사용자에 의한 진입을 수신하도록 더 구성되고, 상기 중앙 제어기는 상기 쿼리 시간 기간 동안 상기 제1 및/또는 제2 이미지 센서에 의해 캡처된 이미지들의 세트에서 상기 복수의 바코드 객체들 및 그와 대응하는 바코드들을 검출하도록 구성되는, 시스템. - 제12항 내지 제17항 중 어느 한 항에 있어서,
상기 시스템은 개인 보호 아이템들 이외의 객체들과 연관된 복수의 바코드들을 포함하고, 상기 바코드들은 상기 객체들을 식별하는 객체 정보를 포함하는, 시스템. - 작업 공간에서 작업자들에 의한 개인 보호 장비의 사용을 모니터링하는 자동화 프로세스로서,
상기 작업 공간에 설치 가능한 제1 및 제2 이미지 센서들을 사용하여 제1 복수의 이미지들을 획득하는 단계 - 상기 제1 및 제2 이미지 센서들은 서로 이격되고 각각 상이한 제1 및 제2 시야들을 커버하도록 위치되고, 상기 제1 및 제2 시야들은 상기 작업 공간 내의 주어진 영역에서 중첩됨 -;
상기 제1 복수의 이미지들에서 주어진 작업자의 인간 형태 객체를 검출하는 단계;
제1 복수의 이미지들로부터 제2 복수의 이미지들을 식별하는 단계 - 상기 제2 복수의 이미지들은 상기 검출된 인간 형태 객체를 포함함 -;
상기 제2 복수의 이미지들 중 적어도 하나에서 제1 바코드 객체를 검출하는 단계 - 상기 제1 바코드 객체는 상기 검출된 인간 형태 객체와 연관됨 -;
상기 검출된 제1 바코드 객체에 대응하는 제1 바코드를 식별하는 단계;
상기 제1 바코드를 사용하여 데이터베이스에서 검색을 수행하여 그에 연결된 상기 사용자 정보 및 상기 식별된 사용자 정보와 연결된 추가 바코드들을 식별하는 단계 - 상기 데이터베이스는 연결된 관계를 사용하여 복수의 바코드들 및 사용자 정보를 저장하여 하나 이상의 바코드들이 상기 작업자들의 상기 사용자 정보와 연결되도록 함 -;
상기 식별된 추가 바코드들에 대응하는 상기 제2 복수의 이미지들에서 추가 바코드 객체들을 검출하는 단계;
확률적 알고리즘을 적용하여 상기 검출된 인간 형태 객체와 대응하는 상기 주어진 작업자가 상기 작업 공간에 적용가능한 안전 규칙들에 따라 상기 제1 검출된 바코드 및 상기 추가적인 식별된 바코드들과 연관된 각각의 개인 보호 장비 아이템을 착용하고 있을 확률들을 계산하는 단계 - 상기 확률적 알고리즘은 상기 제2 복수의 이미지들에서 상기 제1 검출된 바코드 및 상기 추가적인 바코드들에 대응하는 각각의 바코드 객체의 출현율을 결정하기 위해 적용됨 -; 및
미리 결정된 확률 임계 값보다 낮은 계산된 확률들을 갖는 상기 제1 검출된 바코드 및 상기 추가 바코드 객체 각각에 대한 안전 조치를 실행하는 단계를 포함하는,
자동화 프로세스 - 제19항에 있어서,
상기 바코드 객체들 중 임의의 바코드 객체는 상기 제2 복수의 이미지들 내의 정의된 이미지 영역들에서 검출되고, 각각의 정의된 이미지 영역은 상기 검출된 인간 형태 객체를 포함하도록 구성되는, 자동화 프로세스. - 제19항 또는 제20항에 있어서,
상기 제1 복수의 이미지들은 주어진 기간 동안 상기 제1 이미지 센서에 의해 캡처된 시간적으로 순차적인 이미지들의 제1 세트 및 상기 주어진 기간 동안 상기 제2 이미지 센서에 의해 캡처된 시간적으로 순차적인 이미지들의 제2 세트를 포함하는, 자동화 프로세스. - 제21항에 있어서,
상기 주어진 기간은 약 5 내지 약 60초인, 자동화 프로세스. - 제21항 또는 제22항에 있어서,
상기 제1 및 제2 이미지 세트는 각각 적어도 10개의 이미지들을 포함하는, 자동화 프로세스. - 제19항 내지 제23항 중 어느 한 항에 있어서,
상기 제1 이미지 센서 및 상기 제2 이미지 센서들은 이격되어 각각 상기 제1 이미지 센서 및 상기 제2 이미지 센서의 상기 시야를 통해 중앙으로 연장되는 제1 축과 제2 축 사이의 교차점이 약 15도 내지 약 175도, 또는 약 205도 내지 약 345도 범위의 각도를 형성하도록 각진, 자동화 프로세스. - 제24항에 있어서, 상기 각도는 약 30도 내지 약 150도, 또는 약 210도 내지 약 330도의 범위인 자동화 프로세스.
- 제19항 내지 제25항 중 어느 한 항에 있어서,
상기 인간 형태 객체는 상기 제1 복수의 이미지들에 인간 형태 객체 이미지 분석 알고리즘을 적용하여 검출되는, 자동화 프로세스. - 제19항 내지 제26항 중 어느 한 항에 있어서,
상기 바코드 객체는 상기 제2 복수의 이미지들에 바코드 객체 이미지 분석 알고리즘을 적용하여 검출되는, 자동화 프로세스. - 제20항 내지 제27항 중 어느 한 항에 있어서,
상기 정의된 이미지 영역은 이미지 경계들을 갖는 프레임을 사용하여 구성되어 상기 프레임에서 상기 검출된 인간 형태 객체의 전체를 포함하고, 상기 이미지 경계들은 상기 검출된 인간 형태 객체와 상기 이미지 경계들 사이에 접촉이 없도록 형성되는, 자동화 프로세스. - 제28항에 있어서,
상기 이미지 경계들은 상기 이미지 영역에서 상기 검출된 인간 형태 객체로부터 약 0.5 미터 내지 약 3 미터 떨어진 거리에 대응하는, 자동화 프로세스. - 제19항 내지 제29항 중 어느 한 항에 있어서,
상기 중앙 제어기는 입력 장치에 결합되고, 상기 입력 장치는 쿼리 바코드의 형태로 사용자 입력을 수신하도록 구성되고, 상기 중앙 제어기 및 상기 제1 및 제2 이미지 센서들은 복수의 바코드 객체들 및 상기 제1 및 제2 복수의 이미지들 각각에서 이에 대응하는 판독 바코드를 검출하고, 상기 판독된 바코드를, 복수의 판독된 바코드들 및 이미지들을 상기 제1 및/또는 제2 이미지 센서에 의해 캡처된 상기 시간과 함께 연결된 관계를 사용하여 저장하여 하나 이상의 판독된 바코드들이 상기 하나 이상의 판독 바코드들이 획득되는 이미지 및 상기 이미지가 상기 제1 및/또는 제2 센서에 의해 캡처된 상기 시간과 연결되도록 구성된 제2 데이터베이스에 저장하도록 더 구성되고, 상기 중앙 제어기는 상기 쿼리 바코드와 상기 판독된 저장된 바코드들 중 하나 사이에 매칭이 있는지를 결정하도록 더 구성되는, 자동화 프로세스. - 제30항에 있어서,
상기 중앙 제어기는 출력 장치에 결합되고, 상기 중앙 제어기는 상기 쿼리 바코드가 상기 저장된 판독 바코드들 중 하나에 매칭될 때 상기 출력 장치에 출력을 제공하도록 구성되는, 자동화 프로세스. - 제31항에 있어서,
상기 출력은 상기 쿼리 바코드에 매칭되는 바코드에 연결된 상기 이미지가 상기 제1 및/또는 제2 이미지 센서에 의해 캡처된 상기 시간과 대응하는 시간 표시자를 포함하는, 자동화 프로세스. - 제31항에 있어서,
상기 출력은 상기 쿼리 바코드에 매칭된 상기 바코드를 포함하는 상기 이미지를 포함하는, 자동화 프로세스. - 제31항에 있어서,
상기 출력은 상기 쿼리 바코드에 매칭된 상기 바코드에 연결된 상기 이미지가 상기 제1 및/또는 제2 이미지 센서에 의해 캡처된 시간 및/또는 상기 쿼리 바코드에 매칭된 상기 바코드에 연결된 상기 이미지를 나타내는 시간 표시자를 포함하고, 상기 시간 표시자 또는 상기 이미지는, 상기 쿼리 바코드가 사용자로부터 수신되었던 시간에 대해, 상기 쿼리 바코드와 상기 판독된 저장된 바코드들 중 하나 사이의 매칭이 이루어진 가장 최근의 시간에 대응하는, 자동화 프로세스. - 제30항 내지 제34항 중 어느 한 항에 있어서,
상기 입력 디바이스는 제1 시간 및 제2 시간에 의해 정의된 쿼리 시간 기간의 사용자로부터의 진입을 수신하도록 더 구성되고, 상기 중앙 제어기는 상기 쿼리 시간 기간 동안 상기 제1 및/또는 제2 이미지 센서에 의해 캡처된 이미지들의 세트에서 상기 복수의 바코드 객체들 및 그에 대응하는 바코드들을 검출하도록 구성되는, 자동화 프로세스. - 제30항 내지 제35항 중 어느 한 항에 있어서,
상기 시스템은 개인 보호 아이템들 이외의 객체들과 연관된 복수의 바코드들을 포함하고, 상기 바코드들은 상기 객체들을 식별하는 객체 정보를 포함하는 자동화 프로세스.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063035298P | 2020-06-05 | 2020-06-05 | |
| US63/035,298 | 2020-06-05 | ||
| PCT/CA2021/050766 WO2021243465A1 (en) | 2020-06-05 | 2021-06-04 | Automatic barcode based personal safety compliance system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230020518A true KR20230020518A (ko) | 2023-02-10 |
Family
ID=78831625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237000401A KR20230020518A (ko) | 2020-06-05 | 2021-06-04 | 자동 바코드 기반 개인 안전 준수 시스템 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20230214758A1 (ko) |
| EP (1) | EP4162419A1 (ko) |
| JP (1) | JP2023529648A (ko) |
| KR (1) | KR20230020518A (ko) |
| BR (1) | BR112022024808A2 (ko) |
| CA (1) | CA3181112A1 (ko) |
| IL (1) | IL298700A (ko) |
| MX (1) | MX2022015453A (ko) |
| WO (1) | WO2021243465A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102601759B1 (ko) * | 2023-07-12 | 2023-11-14 | 주식회사 성원 | 안전 관리 시스템 운용을 위한 이기종 기기 간 통합 방법 및 이를 위한 서버 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117068976B (zh) * | 2023-08-04 | 2024-05-03 | 山东高速建设管理集团有限公司 | 一种吊车施工规范安全检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140307076A1 (en) * | 2013-10-03 | 2014-10-16 | Richard Deutsch | Systems and methods for monitoring personal protection equipment and promoting worker safety |
-
2021
- 2021-06-04 IL IL298700A patent/IL298700A/en unknown
- 2021-06-04 EP EP21817493.6A patent/EP4162419A1/en active Pending
- 2021-06-04 US US18/008,441 patent/US20230214758A1/en active Pending
- 2021-06-04 WO PCT/CA2021/050766 patent/WO2021243465A1/en active Application Filing
- 2021-06-04 MX MX2022015453A patent/MX2022015453A/es unknown
- 2021-06-04 KR KR1020237000401A patent/KR20230020518A/ko active Search and Examination
- 2021-06-04 JP JP2022574678A patent/JP2023529648A/ja active Pending
- 2021-06-04 BR BR112022024808A patent/BR112022024808A2/pt unknown
- 2021-06-04 CA CA3181112A patent/CA3181112A1/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102601759B1 (ko) * | 2023-07-12 | 2023-11-14 | 주식회사 성원 | 안전 관리 시스템 운용을 위한 이기종 기기 간 통합 방법 및 이를 위한 서버 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA3181112A1 (en) | 2021-12-09 |
| WO2021243465A1 (en) | 2021-12-09 |
| US20230214758A1 (en) | 2023-07-06 |
| IL298700A (en) | 2023-02-01 |
| JP2023529648A (ja) | 2023-07-11 |
| MX2022015453A (es) | 2023-02-27 |
| BR112022024808A2 (pt) | 2023-02-14 |
| EP4162419A1 (en) | 2023-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20140307076A1 (en) | Systems and methods for monitoring personal protection equipment and promoting worker safety | |
| US10963681B2 (en) | Face concealment detection | |
| Cardinaux et al. | Video based technology for ambient assisted living: A review of the literature | |
| JP4924607B2 (ja) | 不審行動検知装置および方法、プログラムおよび記録媒体 | |
| US9695981B2 (en) | Image recognition for personal protective equipment compliance enforcement in work areas | |
| US8208681B2 (en) | Image analysis system for detecting personal protective equipment compliance | |
| US20180211345A1 (en) | Automated system and process for providing personal safety | |
| US20160217345A1 (en) | Role-based tracking and surveillance | |
| US20230214758A1 (en) | Automatic barcode based personal safety compliance system | |
| JP6268498B2 (ja) | 警備システム及び人物画像表示方法 | |
| CN112489272A (zh) | 一种专用于园区的智能安防控制系统 | |
| US20200125838A1 (en) | Monitoring inmate movement with facial recognition | |
| JP5541959B2 (ja) | 映像記録システム | |
| CN111599119A (zh) | 一种自助式警用物品借还系统 | |
| JP5143780B2 (ja) | 監視装置及び監視方法 | |
| Raheja et al. | Cross border intruder detection in hilly terrain in dark environment | |
| CN109863469B (zh) | 使用热标签进行实时活动监控 | |
| Gaushik et al. | Architecture design of ai and iot based system to identify covid-19 protocol violators in public places | |
| EP3109837A1 (en) | System and method of smart incident analysis in control system using floor maps | |
| Lie et al. | Fall-down event detection for elderly based on motion history images and deep learning | |
| Krishnaveni et al. | IoT and AI based Forest Fire Prediction and Animal Monitoring System | |
| Prasad et al. | Video surveillance-based security system using OpenCV and Arduino uno. | |
| RU2737138C1 (ru) | Система и способ контроля температуры тела людей по видеоданным | |
| US20230027643A1 (en) | Officer safety using computer vision | |
| CN209216179U (zh) | 一种爆炸物品生产危险工房门禁定员监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |