KR102601760B1 - 작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법 및 이를 위한 장치 - Google Patents
작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법 및 이를 위한 장치 Download PDFInfo
- Publication number
- KR102601760B1 KR102601760B1 KR1020230090307A KR20230090307A KR102601760B1 KR 102601760 B1 KR102601760 B1 KR 102601760B1 KR 1020230090307 A KR1020230090307 A KR 1020230090307A KR 20230090307 A KR20230090307 A KR 20230090307A KR 102601760 B1 KR102601760 B1 KR 102601760B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- processor
- equipment
- worker
- workplace
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 238000004891 communication Methods 0.000 claims abstract description 35
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 230000015654 memory Effects 0.000 claims abstract description 27
- 230000002159 abnormal effect Effects 0.000 claims description 17
- 238000009434 installation Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 230000005856 abnormality Effects 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000005520 cutting process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000002994 raw material Substances 0.000 description 6
- 238000003466 welding Methods 0.000 description 6
- 229910000831 Steel Inorganic materials 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 239000010959 steel Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000011985 exploratory data analysis Methods 0.000 description 4
- 231100001261 hazardous Toxicity 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004884 risky behavior Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 239000006104 solid solution Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100009348 Mus musculus Depp1 gene Proteins 0.000 description 1
- 101100009350 Rattus norvegicus Depp gene Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009740 moulding (composite fabrication) Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000005554 pickling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
- G05B23/0216—Human interface functionality, e.g. monitoring system providing help to the user in the selection of tests or in its configuration
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0267—Fault communication, e.g. human machine interface [HMI]
- G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Automation & Control Theory (AREA)
- General Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 안전 조업 관리 장치가 개시된다. 본 장치는 통신부, 디스플레이, 메모리, 프로세서 등을 포함한다. 프로세서는, 통신부를 통해 수집된 정보를 이용하여 종합 현황 UI, 분석 정보 UI, 모니터링 UI 및 연계 상황 UI 중 하나를 디스플레이를 통해 선택적으로 제공할 수 있다. 본 장치가 제공됨으로써, 작업장의 안전 사고가 미연에 방지될 수 있다.
Description
본 개시는 제조 작업장의 안전 조업을 위한 환경을 제공하는 기술에 관한 것이다. 보다 구체적으로, 본 개시는 제조 작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법 및 이를 위한 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
철강 제조 공정에서 설비의 고장, 파손, 오염 등의 이상 징후에 대한 작업자의 점검 작업 중 설비 협착, 끼임, 화상, 추락 등의 안전 사고가 종종 발생한다. 최근, 철강 제조 기업들에게 안전 사고 예방에 대한 책임과 의무가 법 제정을 통해 보다 가중되고 있는 실정이다.
철강 제조업에서 설비 가동 중 설비의 이상을 감지하거나 위험구역에 작업자의 물리적인 접근을 차단하여 안전 사고의 발생을 미연에 방지하는 것이 중요하다.
이를 위해, 제조 공정을 전반적으로 모니터링하여 작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법이 필요하다.
본 개시의 실시예는 작업장의 안전 조업을 위한 유저 인터페이스를 관리자 및 작업자에게 제공할 수 있다.
본 개시의 실시예는 작업장의 설비 가동 중 설비의 이상을 감지하거나 작업자 의 위험구역 접근을 인식하여 관리자 및 작업자에게 경고 알림을 제공할 수 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시에 따른 작업장의 안전 조업을 위한 UI(user interface)를 제공하는 안전 조업 관리 장치는, 통신 모듈을 구비한 장치와 통신하고, 상기 작업장에 배치된 센싱부 및 하나 이상의 카메라와 통신하는 통신부; 디스플레이; 상기 UI를 제공하기 위한 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 인스트럭션을 실행하는 하나 이상의 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 통신부를 통해 수집된 정보를 이용하여 종합 현황 UI, 분석 정보 UI, 모니터링 UI 및 연계 상황 UI 중 하나를 상기 디스플레이를 통해 선택적으로 제공할 수 있다.
상기 프로세서는, 상기 작업장의 설비 또는 환경에 관련된 정보에 대응하는 아이템을 상기 종합 현황 UI에 표시하며, 상기 작업장의 설비에 대한 조망 가능한 위치 정보를 상기 종합 현황 UI에 표시하고, 상기 아이템이 선택되는 경우 선택된 아이템에 대응하는 화면을 표시할 수 있다.
상기 프로세서는, 상기 작업장의 설비 또는 환경에 관련된 정보가 기 설정된 스레시홀드값을 초과하는 경우, 상기 아이템을 하이라이트하여 표시할 수 있다.
상기 프로세서는, 상기 작업장의 설비 또는 환경에 관련된 정보가 기 설정된 스레시홀드값을 초과하는 경우, 알림을 생성하여 상기 종합 현황 UI에 표시하고, 상기 생성된 알림을 상기 통신부를 통해 관련 작업자에 대응하는 단말에 제공할 수 있다.
상기 프로세서는, 상기 분석 정보 UI가 선택되는 경우, 상기 작업장의 설비 또는 환경에 관련된 정보의 시간에 따른 추세 정보 및 이상 상황에서의 시간에 따른 추세 정보를 함께 비교하여 상기 분석 정보 UI에 표시할 수 있다.
상기 프로세서는, 상기 연계 상황 UI가 선택되는 경우, 상기 작업장의 설비를 촬영하는 상기 카메라의 촬영 영상, 상기 카메라의 설치 위치 정보, 상기 설비의 동작 상황 정보 및 상기 설비와 연계된 설비의 동작 상황 정보 중 적어도 하나를 상기 연계 상황 UI에 표시할 수 있다.
상기 프로세서는, 상기 연계 상황 UI에서, 상기 작업장의 설비 또는 환경과 관련하여 설치된 센서 목록, 각 센서의 동작 상황 정보 및 센서값 정보를 표시할 수 있다.
상기 프로세서는, 상기 모니터링 UI가 선택되는 경우, 상기 작업장의 설비에 위치한 작업자의 위험 행동 여부를 예측하는 정보 및 상기 카메라를 통해 작업자를 촬영한 정보를 상기 모니터링 UI에 함께 표시할 수 있다.
상술한 기술적 과제를 달성하기 위한 본 개시에 따른 안전 조업 관리 장치의 안전 조업을 위한 UI를 제공하는 방법은, 작업장의 설비 또는 환경에 관련된 정보를 수집하는 단계; 상기 수집된 정보에 기초하여 종합 현황 UI, 분석 정보 UI, 모니터링 UI 및 연계 상황 UI 중 하나를 선택적으로 제공 가능하되, 상기 종합 현황 UI를 디폴트로 제공하는 단계; 상기 작업장의 설비에 대한 조망 가능한 위치 정보를 상기 종합 현황 UI에 표시하는 단계; 상기 작업장의 설비 또는 환경에 관련된 정보에 대응하는 아이템을 상기 종합 현황 UI에 표시하는 단계; 상기 아이템이 선택되는 경우 선택된 아이템에 대응하는 화면을 표시하는 단계; 및 상기 작업장의 설비 또는 환경에 관련된 정보가 기 설정된 스레시홀드값을 초과하는 경우, 상기 아이템을 하이라이트하여 표시하는 단계를 포함할 수 있다.
상기 안전 조업을 위한 UI를 제공하는 방법은, 상기 작업장의 설비 또는 환경에 관련된 정보가 기 설정된 스레시홀드값을 초과하는 경우, 알림을 생성하여 상기 종합 현황 UI에 표시하는 단계; 및 상기 생성된 알림을 관련 작업자에 대응하는 단말에 제공하는 단계를 더 포함할 수 있다.
상기 안전 조업을 위한 UI를 제공하는 방법은, 상기 분석 정보 UI가 선택되는 경우, 상기 작업장의 설비 또는 환경에 관련된 정보의 시간에 따른 추세 정보 및 이상 상황에서의 시간에 따른 추세 정보를 함께 비교하여 상기 분석 정보 UI에 표시하는 단계를 더 포함할 수 있다.
상기 안전 조업을 위한 UI를 제공하는 방법은, 상기 연계 상황 UI가 선택되는 경우, 설비의 촬영 영상, 설비를 촬영하는 카메라의 설치 위치 정보, 상기 설비의 동작 상황 정보 및 상기 설비와 연계된 설비의 동작 상황 정보 중 적어도 하나를 상기 연계 상황 UI에 표시하는 단계를 더 포함할 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 작업장의 안전 조업을 위한 유저 인터페이스가 관리자 및 작업자에게 제공됨으로써, 안전 사고가 미연에 방지될 수 있으며, 사용자 편의가 제고될 수 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시에 따른 작업장의 안전 조업을 위한 시스템을 개략적으로 설명하기 위한 도면이다.
도 2는 본 개시에 따른 작업장의 안전 조업을 위한 UI를 제공하는 안전 조업 관리 장치의 구성을 나타내는 블록도이다.
도 3은 본 개시에 따른 작업장의 안전 조업을 위한 UI를 제공하는 안전 조업 관리 방법을 나타내는 시퀀스도이다.
도 4(a) 내지 도 4(i)는 본 개시에 따른 로그인 시 권한에 따라 서로 다른 UI를 제공하는 안전 조업 관리 장치를 설명하기 위한 도면이다.
도 5는 본 개시에 따른 종합 현황 UI를 나타낸 도면이다.
도 6은 본 개시에 따른 카메라 정보 UI를 나타내는 도면이다.
도 7은 본 개시에 따른 카메라 설정 화면을 나타내는 도면이다.
도 8 및 도 9는 본 개시에 따른 분석 정보 UI를 나타낸 도면들이다.
도 10 내지 도 12는 본 개시에 따른 모니터링 UI를 나타낸 도면들이다.
도 13 및 도 14는 본 개시에 따른 연계 상황 UI를 나타낸 도면들이다.
도 15 내지 도 17은 본 개시에 따른 관리자 UI를 나타내는 도면들이다.
도 2는 본 개시에 따른 작업장의 안전 조업을 위한 UI를 제공하는 안전 조업 관리 장치의 구성을 나타내는 블록도이다.
도 3은 본 개시에 따른 작업장의 안전 조업을 위한 UI를 제공하는 안전 조업 관리 방법을 나타내는 시퀀스도이다.
도 4(a) 내지 도 4(i)는 본 개시에 따른 로그인 시 권한에 따라 서로 다른 UI를 제공하는 안전 조업 관리 장치를 설명하기 위한 도면이다.
도 5는 본 개시에 따른 종합 현황 UI를 나타낸 도면이다.
도 6은 본 개시에 따른 카메라 정보 UI를 나타내는 도면이다.
도 7은 본 개시에 따른 카메라 설정 화면을 나타내는 도면이다.
도 8 및 도 9는 본 개시에 따른 분석 정보 UI를 나타낸 도면들이다.
도 10 내지 도 12는 본 개시에 따른 모니터링 UI를 나타낸 도면들이다.
도 13 및 도 14는 본 개시에 따른 연계 상황 UI를 나타낸 도면들이다.
도 15 내지 도 17은 본 개시에 따른 관리자 UI를 나타내는 도면들이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '본 개시에 따른 안전 조업 관리 장치'는 클라우드 시스템뿐만 아니라 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들로 구현될 수 있다. 예를 들어, 본 개시에 따른 안전 조업 관리 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
본 개시에 따른 인공 지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공 지능 전용 프로세서인 경우, 인공 지능 전용 프로세서는, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공 지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들 (weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경 망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공 지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공 지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다.
뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.
본 개시의 예시적인 실시예에 따르면, 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공 지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다. 이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
도 1은 본 개시에 따른 작업장의 안전 조업을 위한 시스템(1000)을 개략적으로 설명하기 위한 도면이다.
시스템(1000)은 철강 제조 공정에서 안전 조업을 위한 환경을 조성할 수 있다. 가령, 시스템(1000)은 스테인리스 강관을 생산하는 다양한 공정에서 안전하게 작업이 수행될 수 있는 환경을 제공할 수 있다.
여기서, 다양한 공정은, 코일이나 시트 형태의 원자재 투입 공정, 투입된 원자재를 외경에 맞는 폭을 가지는 강대로 절단 가공하는 협폭 절단 공정, 롤을 이용하여 파이프 모양으로 성형하는 조관 공정, 맞닿는 부분을 용접하는 용접 공정, 롤을 이용하여 전원 모양으로 성형하는 성형 공정, 미리 정해진 길이의 파이프로 절단하는 절단 공정, 표면에 있는 기름기를 제거하는 공정, 고용화 처리 공정, 열처리한 제품을 교정하는 공정, 불순물을 제거하는 면취 공정, 완성된 파이프에 누수가 없는지 수압을 이용하여 시험하는 시험 공정, 산화피막을 세척하는 산세 공정, 비파괴 검사를 수행하는 탐상 시험 공정, 규격 표시 공정, 검사 공정, 및 포장 공정 등을 포함할 수 있으나, 실시예가 이에 한정되는 것은 아니다.
시스템(1000)은 안전 조업을 전반적으로 모니터링하고 작업장의 안전 조업을 위한 UI를 다양하게 제공하는 안전 조업 관리 장치(100), 작업자의 위험 행동을 인식하는 안전 관리 모니터링 시스템(200), 설비에 설치된 각종 센서 및 환경 센서 등을 이용하여 설비 이상을 감지하는 설비 이상 감지 시스템(300) 및 작업자나 관리자가 소지한 UE(400, user equipment) 등을 포함할 수 있다.
실시예에서, 안전 조업 관리 장치(100)는 안전 관리 모니터링 시스템(200)이나 설비 이상 감지 시스템(300)의 기능을 수행하도록 구현될 수도 있다.
실시예에서, 안전 조업 관리 장치(100)는 서버/클라이언트의 서버뿐만 아니라, 클라우드로도 구현될 수 있다. 이 경우, 안전 조업 관리 장치(100)는 스토리지, 서버, 가상화 모듈/시스템, 운영체제, 미들웨어, 런타임 모듈, 데이터 및 애플리케이션 등을 모두 구비할 수 있다. 이에, 클라이언트 단의 UE(400)에서는 서비스 애플리케이션만 구비하면, 클라우드 시스템이 제공하는 다양한 기능을 이용할 수 있으며, 사용량에 따라 과금될 수 있다. 가령, 안전 조업 관리 장치(100)는 SaaS(Server as a software) 기반으로 구현될 수 있으나, 실시예가 이에 한정되는 것은 아니다.
안전 조업 관리 장치(100)는 안전 작업 절차를 개발할 수 있는데, 데이터 수집, 처리 및 분석에 기초하여 안전 작업의 절차 표준을 마련할 수 있으며, 안전 관리에 대한 작업 절차를 마련할 수 있다.
또한, 안전 조업 관리 장치(100)는 설비 동력을 차단하고 관련 장치 및/또는 장비에 경고 알림을 제공하고, 대응 지원 체계를 위한 관제 기술이 적용될 수 있다.
도 2는 본 개시에 따른 작업장의 안전 조업을 위한 UI를 제공하는 안전 조업 관리 장치(100)의 구성을 나타내는 블록도이다.
먼저, 본 개시에 따른 안전 조업 관리 장치(100)는 통신부(110), 입력부(120), 디스플레이(140), 메모리(150) 및 적어도 하나의 프로세서(190)를 포함할 수 있다. 도 2에 도시된 안전 조업 관리 장치(100)의 구성요소들은 본 개시에 따른 안전 조업 관리 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 안전 조업 관리 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. 가령, 안전 조업 관리 장치(100)의 하나 이상의 카메라, 하나 이상의 센싱부 등을 별도로 포함할 수 있으나, 실시예가 이에 한정되는 것은 아니다.
상기 구성요소들 중 통신부(110)는 통신 모듈을 구비한 다양한 외부 장치(가령, 위험 상황 감지 시스템(200) 및 설비 이상 감지 시스템(300) 포함)와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
실시예에서, 통신부(110)는 IoT 플랫폼(미도시)에서 다양한 센싱 데이터를 수신할 수 있는데, 다양한 센싱 데이터는 IoT 플랫폼에서 전처리 및 표준화될 수 있다.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 적어도 하나의 카메라, 적어도 하나의 마이크로폰 및 사용자 입력 인터페이스(123) 중 적어도 하나를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다. 카메라는 안전 조업 관리 장치(100)의 외부에 배치된 하나 이상의 촬영 장치를 포함할 수 있으며, 카메라는 이미지 센서를 구비할 수 있다.
도시되지는 않았으나, 센싱부는 작업장의 설비 및 환경에 관련된 정보 또는 가공되지 않은 데이터를 감지할 수 있다. 실시예에서, 센싱부는 안전 조업 관리 장치(100)의 외부에 배치된 하나 이상의 센서를 포함할 수 있으며, 통신부(110)를 통해 작업장의 설비 및 환경에 관련된 정보를 수집할 수 있다.
실시예에서, 센싱부는 센싱된 정보를 설비 이상 감지 시스템(300)에 제공할 수 있으며, 설비 이상 감지 시스템(300)은 감지된 센싱 정보를 분석하여, 설비의 이상 또는 설비의 이상 징후를 인식하여, 안전 조업 관리 장치(100)에 제공할 수 있다.
센싱부는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰, 온도 센서, 전류 센서 등을 포함할 수 있다. 또한, 센싱부는 진동 센서를 포함할 수 있는데, 진동 센서는 각 설비의 진동을 감지하는 센서로 가속도 센서, 자기 센서, 중력 센서, 자이로스코프 센서 등을 포함할 수 있다. 또한, 센싱부는 각종 환경 센서(예를 들어, 기압 센서, 습도 센서, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서, 미세먼지 감지 센서 중 적어도 하나를 포함) 및 화학 센서(예를 들어, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나의 센싱 정보를 감지할 수 있다.
디스플레이(140)는 본 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이(140)는 본 장치에서 구동되는 응용 프로그램(일 예로, 어플리케이션)의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
메모리(150)는 안전 조업 관리 장치(100)의 다양한 기능을 지원하는 데이터와, 제어부의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 안전 조업 관리 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 서버의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(150)는 안전 조업 관리 장치(100)와는 분리되어 있으나 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있으며, 데이터 베이스 시스템으로 구현될 수도 있다.
메모리(150)는 작업장의 안전 조업을 위한 UI를 제공하기 위한 하나 이상의 인스트럭션을 저장할 수 있으며, 작업장의 안전 조업을 위해 필요한 수집 정보, 수집 정보에 기반한 분석 정보, 설비에 대한 정보 등을 저장할 수 있으며, 다양한 분석 모델을 저장할 수 있다. 분석 모델은 학습이 완료된 모델일 수 있으며, 학습 중간에도 수시로 저장될 수 있다.
프로세서(190)는 적어도 하나의 코어를 포함하며, 메모리(150)에 저장된 인스트럭션을 실행할 수 있다. 프로세서(190)는 안전 조업 관리 장치(100) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
프로세서(190)는 작업장의 안전 조업을 위한 다양한 UI를 제공할 수 있다.
실시예에서, 프로세서(190)는 로그인 UI을 제공할 수 있으며, 로그인되는 경우, 종합현황 UI, 모니터링 UI, 분석 데이터 제공 UI, 연계 상황 UI, 관리자 UI 등을 제공할 수 있다.
여기서, 종합현황 UI는 설비 동작 현황 UI, CCTV 동작 현황 UI, 주요 알람이나 알림 목록 UI 등을 포함할 수 있으며, 모니터링 UI는 영상 종합 모니터링 UI를 포함할 수 있고, 분석 데이터 제공 UI는 제1 내지 제N의 세부 분석 데이터 제공 UI를 포함할 수 있으며, 연계 상황 UI는 CCTV 정보 표시 및 설정 UI, 센서 정보 표시 및 설정 UI 등을 포함할 수 있고, 관리자 UI는 사용자 관리 UI, 알람 관리 UI 및 권한 관리 UI 등을 제공할 수 있으나, 구체적인 UI는 상술한 실시예에 한정되는 것은 아니다.
실시예에서, 안전 조업 관리 장치(100)는 다양한 UI를 플랫폼 기반으로 웹 서비스 형태로 제공할 수 있는데, 가령, 웹 사이트, 웹 어플리케이션 형태로 제공할 수 있으나, 이에 한정되는 것은 아니다. 또한, 해당 플랫폼은 PC 어플리케이션, 모바일 어플리케이션 등의 형태로 제공될 수 있으나, 실시예가 이에 한정되는 것은 아니다. 이 경우, 다양한 사용자 단말(가령, 작업자 또는 관리자의 UE(400))은 안전 조업 관리 장치(100)가 제공하는 다양한 UI를 플랫폼 기반으로 이용할 수 있다.
프로세서(190)는, 모니터링 모듈(MM)을 통해, 통신부(110)를 통해 수신되는 작업장의 설비 또는 환경에 관련된 정보를 모니터링하고, 이상 데이터의 수신을 모니터링할 수 있다. 프로세서(190)는 작업장에 설치된 카메라 및 각종 센싱부를 통해 데이터를 수집할 수 있다.
프로세서(190)는 분석 모듈(AM)을 통해, 수집된 정보에 기반하여 설비의 이상 상황을 분석할 수 있다. 가령, 프로세서(190)는 작업장의 설비 또는 환경에 관련된 정보의 시간에 따른 추세 정보 및 이상 상황에서의 시간에 따른 추세 정보를 함께 비교하여 디스플레이(140)를 통해 출력할 수 있다.
프로세서(190)는 알림 생성 모듈(NCM)을 통해, 설비 또는 작업장의 문제 상황에 대한 알림을 생성할 수 있으며, 생성된 알림을 통신부(110)를 통해 관리자나 작업자의 UE(400)로 제공할 수 있다.
프로세서(190)는 UI 생성 모듈(UCM)을 통해 다양한 UI를 생성하여 디스플레이(140)를 통해 출력할 수 있다.
도 2에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 2에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도 3은 본 개시에 따른 작업장의 안전 조업을 위한 UI를 제공하는 안전 조업 관리 방법(S310 단계 내지 S380 단계)을 나타내는 시퀀스도이다. 도 4(a) 내지 도 4(i)는 본 개시에 따른 로그인 시 권한에 따라 서로 다른 UI를 제공하는 안전 조업 관리 장치를 설명하기 위한 도면이고, 도 5는 본 개시에 따른 종합 현황 UI를 나타낸 도면이며, 도 6은 본 개시에 따른 카메라 정보 UI를 나타내는 도면이고, 도 7은 본 개시에 따른 카메라 설정 화면을 나타내는 도면이며, 도 8 및 도 9는 본 개시에 따른 분석 정보 UI를 나타낸 도면이고, 도 10 내지 도 12는 본 개시에 따른 모니터링 UI를 나타낸 도면들이며, 도 13 및 도 14는 본 개시에 따른 연계 상황 UI를 나타낸 도면들이다. 도 3을 설명하면서 필요한 부분에서 도 4(a) 내지 도 14를 함께 참조하여 설명하기로 한다.
일단, 프로세서(190)는 통신부(110)를 통해 작업장의 설비 또는 환경에 관련된 수집할 수 있다(S310).
작업장의 설비는 원자재 투입, 조관(forming), 용접(welding), 열처리(heat treatment), 교정(sizing), 절단(cutting), 이동(transfer) 등의 파트를 포함할 수 있으나, 실시예가 이에 한정되는 것은 아니다. 원자재 투입 파트에서 코일이나 시트 형태의 원자재가 투입될 수 있고, 조관 파트에서 롤을 이용하여 파이프 모양으로 성형될 수 있으며, 용접 파트에서는 맞닿는 부분이 용접을 통해 연결될 수 있고, 열처리 파트에서 고용화 처리가 수행될 수 있으며, 교정 파트에서 열처리된 제품이 교정될 수 있고, 컷팅 파트에서 파이프가 컷팅될 수 있으며, 이동 파트에서 파이프가 이동할 수 있다(가령, 컨베이 벨트 이용).
프로세서(190)는 통신부(110)를 통해 각 작업장 전체의 환경 정보(가령, 온도, 습도, 미세먼지량 등)를 수집하고, 작업장의 각 파트에서 설비와 관련된 정보(설비 자체적인 정보 및 설비에 관련된 센싱 정보 등), 작업자의 위험 행동을 파악하기 위한 촬영 정보 등을 수집할 수 있다. 다만, 프로세서(190)가 수집하는 정보는 상기 환경 정보에만 한정되는 것은 아니다.
S310 단계 이전 또는 이후에, 프로세서(190)는 안전 조업을 위한 UI를 제공받기 원하는 사용자에게 로그인 UI를 제공할 수 있다. 도 4(a) 내지 도 4(i)를 참고하여 설명하기로 한다.
프로세서(190)는 디스플레이(140A)(140)를 통해 로그인 UI를 제공할 수 있다. 실시예에서, 플랫폼 기반으로 로그인 UI를 제공하는 경우에는 플랫폼에 접속한 단말 및/또는 장치의 화면(가령, UE(400)의 화면)에 로그인 UI를 제공될 수 있다. 또한, 프로세서(190)는 권한에 따라 서로 다른 UI를 디스플레이(140)를 통해 제공할 수 있다.
프로세서(190)는 로그인 UI를 디스플레이(140A)(140)를 통해 제공하며, 로그인 계정이 관리자인 경우, 작업장의 전체 영역을 확인(조망) 가능한 UI를 제공할 수 있는다. 실시예에서, 프로세서(190)는 실제 촬영화면을 제공하거나 작업장의 전체 영역을 확인하기 위한 직관적인 UI를 제공할 수 있다.
프로세서(190)는 로그인 계정이 각 설비 담당자인 경우, 설비 담당자에 해당하는 원자재 투입 설비(도 4(c)), 조관 설비(도 4(d)), 용접 설비(도 4(e)), 열처리 설비(도 4(f)), 교정 설비(도 4(g)), 절단 설비(도 4(h)), 이동 설비(도 4(i))을 각 디스플레이(140C~140I)(140)에 표시할 수 있다.
실시예에서, 프로세서(190)는 각 설비 담당자가 로그인한 경우, 담당 설비 및 담당 설비와 연계된 설비를 디스플레이할 수 있다. 실시예에서, 프로세서(190)는 특정 설비 담당자가 로그인하지 않은 경우, 특정 설비 담당자에 대응하는 단말로 로그인을 독려하는 메시지를 제공할 수 있다.
실시예에서, 프로세서(190)는 각 설비에 대해서도 설비 책임자(가령, 팀장)과 설비 작업자(가령, 팀원)도 구분하여 서로 다른 UI를 제공할 수 있다.
실시예에서, 프로세서(190)는 사용자에 매핑하여 사용자의 성명, ID, 전화번호, 권한 정보, 최근 접속일 등을 메모리(150)에 저장할 수 있다. 여기서, 권한 정보는 등급이 동일하면 사용자가 다르더라도 동일한 등급으로 취급될 수 있다.
S310 단계 이후, 프로세서(190)는 통신부(110)를 통해 수집한 정보에 기초하여 종합 현황 UI, 분석 정보 UI, 모니터링 UI 및 연계 상황 UI 중 하나를 디스플레이를 통해 선택적으로 제공하되, 디폴트 UI 로 종합 현황 UI를 제공할 수 있다(S320).
프로세서(190)는 종합 현황 UI, 분석 정보 UI, 모니터링 UI 및 연계 상황 UI 각각에 대응하는 아이템(가령, 메뉴 아이템, M1~M4)을 디스플레이할 수 있으며, 해당 아이템이 선택되는 경우, 선택된 아이템에 대응하는 UI를 디스플레이할 수 있다.
실시예에서, 프로세서(190)는 관리자에게 제공하는 종합 현황 UI, 분석 정보 UI, 모니터링 UI 및 연계 상황 UI 와 작업자에게 제공하는 종합 현황 UI, 분석 정보 UI, 모니터링 UI 및 연계 상황 UI 을 서로 다르게 구현하거나 동일하게 구현할 수 있으며, 로그인 시 권한에 따라 서로 다른 UI가 제공될 수 있다.
S320 단계 이후, 프로세서(190)는 작업장의 설비에 대한 조망 가능한 위치 정보를 종합 현황 UI에 표시할 수 있다(S330).
실시예에서, 프로세서(190)는 작업장을 상부에서 전체적으로 모니터링할 수 있는 맵을 디스플레이(140)에 표시할 수 있다. 프로세서(190)는 맵 돋보기 모드를 제공하여, 사용자 조작에 따라 선택되는 해당 영역이 확대될 수 있다. 또한, 프로세서(190)는 이상 상황 또는 이상 상황이 우려되는 설비가 있는 경우, 해당 설비를 확대하여 디스플레이(140)에 표시할 수 있다.
S330 단계 이후, 프로세서(190)는 작업장의 설비 또는 환경에 관련된 정보에 대응하는 아이템을 종합 현황 UI에 표시할 수 있다(S340).
도 5를 참고하면, 프로세서(190)는 종합 현황 UI를 디스플레이(140)에 출력할 수 있다. 프로세서(190)는 종합 현황 UI을 대시 보드 형태로 제공할 수 있으며, 설비 동작 현황, CCTV 동작 현황, 주요 알림, 알림 목록 등을 화면에 표시할 수 있다.
프로세서(190)는 설비 동작 현황(510)을 사용자 조작에 따라 다양하게 출력할 수 있으며, CCTV 동작 현황(520)을 통해 CCTV의 동작 상태를 표시할 수 있다. 프로세서(190)는 주요 알림 현황(530)을 출력할 수 있으며, 각 알림이 선택되면, 선택된 알림에 대응하는 알림 발생 정보 및 알림에 대한 처리 여부 등을 나타내는 알림 목록(540)을 출력할 수 있다.
프로세서(190)는 각 현황 정보(510~530)나 알림 목록(540)에 표시된 정보 중에서 출력되지는 않았으나 대응하는 정보가 있는 경우, 해당 정보를 하이라이트하여 표시할 수 있다. 프로세서(190)는 해당 정보가 선택(가령, 사용자 조작에 의해)되는 경우, 선택된 정보에 대응하는 정보를 출력할 수 있다.
프로세서(190)는 CCTV 동작 현황(520)의 특정 CCTV 가 불량인 경우, 불량이 사용자 조작에 의해 선택되는 경우, 불량인 이유를 분석하여 제공할 수 있다. 가령, 프로세서(190)는 특정 CCTV(CCTV 03)이 화면이 출력되지 않아서, 화면이 불량이라고 출력할 수 있다.
프로세서(190)는 CCTV 의 설치 위치 별 동작 상태를 표시할 수 있으며, 설치 위치(돋보기 아이템)가 선택되면, 해당 CCTV의 설치 위치를 세부적으로 표시할 수 있다. 이때, 프로세서(190)는 현재 설치 위치를 선택한 사용자의 위치에서 상기 CCTV 의 설치 위치까지 이동할 수 있는 경로를 전체 작업장 내에서 표시할 수 있다.
프로세서(190)는 주요 알림 현황(530) 및/또는 알림 목록(540)에 관리자 또는 설비 담당자에게 공지가 필요한 알림 목록과 설비 또는 CCTV 를 통한 작업자 이상 상태 알림을 표시할 수 있다.
프로세서(190)는 다양한 아이템을 출력할 수 있는데, 먼저 메뉴 아이템(M1~M4)을 출력할 수 있다. 프로세서(190)는 종합 현황 메뉴 아이템(M1)이 선택되면, 종합 현황 UI를 출력할 수 있으며, 분석 정보 메뉴 아이템(M2)이 선택되면, 분석 정보 UI 를 출력할 수 있고, 모니터링 메뉴 아이템(M3)이 선택되면, 모니터링 UI를 출력할 수 있으며, 연계 상황 메뉴 아이템(M4)이 선택되면, 연계 상황 UI를 출력할수 있다.
프로세서(190)는 설비 현황 정보(510)에 각 설비에 대응하는 센싱 정보를 아이템(511, 513, 515)으로 출력할 수 있다. 해당 아이템은 원형 그래프로 구현될 수 잇으나, 실시예가 이에 한정되는 것은 아니다. 실시예에서, 프로세서(190)는 해당 아이템(511, 513, 515) 중에서 정상 범위를 벗어나지 않는 경우, 해당 아이템을 디스플레이(140)에 출력하지 않을 수도 있다.
프로세서(190)는 아이템을 실제 설비에 장착된 위치에 표시하거나 사용자가 직관적으로 신속하게 확인할 수 있는 위치에 배치될 수 있다.
가령, 프로세서(190)는 설비의 작업 순서에 대응하여 정해진 개수만큼만 아이템을 화면에 표시될 수 있다. 가령, 프로세서(190)는 각 작업에서 가장 중요한 파라미터(가령, 진동수, 전류, 온도 등)에 대응하는 센싱 정보만 하나씩 화면에 표시할 수 있다. 이때, 작업 순서를 안내하는 가상의 선을 디스플레이(140)에 출력하고, 수행되지 않은 작업에 대해서는 점선으로, 수행된 작업에 대해서는 실선으로 출력할 수 있다.
프로세서(190)는 현재 설비에서 이상치 데이터가 출력되는 아이템의 사이즈를 크게 출력하거나 하이라이트하여 표시할 수 있다. 프로세서(190)는 크게 출력되거나 하이라이트된 아이템이 사용자 조작에 의해 선택되는 경우, 대응하는 정보를 분석하여 출력할 수 있다.
S340 단계 이후, 프로세서(190)는 아이템이 선택되는 경우(S350), 아이템에 대응하는 화면을 표시할 수 있다(S360). 이, 프로세서(190)는 대응하는 화면이 있는 경우, 아이템 주변에 강조 아이템을 추가적으로 더 포함하여 디스플레이(140)에 출력할 수 있다.
실시예에서, 프로세서(190)는 종합 현황 UI 내에 다른 UI(가령, 분석 정보 UI, 모니터링 UI, 연계 상황 UI 등)로 전환 가능한 전환 아이템을 디스플레이할 수 있다. 전환 아이템에 다른 UI 로 매핑 가능한 정보가 있는 경우, 해당 전환 아이템이 선택 가능한 모드로 변경될 수 있으며, 마우스 화살표가 해당 전환 아이템 상에 위치하는 경우, 해당 UI 에 대한 정보를 출력할 수 있다.
프로세서(190)는, S350 단계에서, 아이템이 선택되지 않는 경우, 작업자의 설비 또는 환경에 관련된 정보가 기 설정된 스레쉬홀드값을 초과하는 경우(S370), 아이템을 하이라이트하여 표시할 수 있다(S380).
가령, 프로세서(190)는 종합 현황 UI 내에서 특정 설비의 진동수를 나타내는 아이템에서 표시하는 수치가 기준이 되는 스레쉬홀드값을 초과하는 경우, 해당 아이템이 선택 가능하도록 해당 아이템을 활성화할 수 있으며, 해당 아이템이 선택되면 해당 아이템에 대응하는 분석 정보 UI, 모니터링 UI 및/또는 연계 상황 UI 등을 디스플레이할 수 있다. 이때, 해당 아이템이 선택가능하도록 활성화될 때, 관련 UI 가 있는 경우에 해당 UI 선택을 유도하기 위한 화면 연출이 수행될 수 있다.
가령, 프로세서(190)는 진동 주파수 패턴에 이상 징후가 있는 경우(특정 설비의 진동 주파수 패턴이 기준 주파수(가령, 1KHz, 10dB)인 경우, 진동 주파수가 N배수(고조파)일 때 정상일 수 있는데, 정상 범위를 벗어난 경우) 사전 고장의 증상으로 인식할 수 있다. 또한, 프로세서(190)는 축의 변경, 시비율의 변경, 특정 부품(베어링)의 문제 상황 등을 미리 파악할 수 있으며, 작업자, 관리자 또는 유지 보수자 등에게 해당 정보를 통신부(110)를 통해 제공할 수 있다.
실시예에서, 프로세서(190)는 작업장의 설비 또는 환경에 관련된 정보가 기 설정된 스레시홀드값을 초과하는 경우, 알림을 생성하여 종합 현황 UI에 표시하고, 상기 생성된 알림을 상기 통신부를 통해 관련 작업자에 대응하는 단말에 제공할 수 있다.
프로세서(190)는 권한에 따라 알림을 전송할 대상자를 결정할 수 있다. 알림은 알림명과 전파 권한에 대한 사용자 번호, 알림 메시지 등을 포함할 수 있다. 프로세서(190)는 통신부(110)를 통해 알림을 사용자에게 제공할 수 있다.
도 6을 참고하면, 프로세서(190)는 카메라 정보를 디스플레이(140)에 출력할 수 있다.
프로세서(190)는 각 카메라의 이름(순번 정보), 카메라의 IP 주소, 포트 번호 등을 디스플레이(140)에 출력할 수 있다.
프로세서(190)는 좌측의 체크박스가 체크되고, 삭제 버튼이 선택되는 경우, 해당 카메라 정보를 삭제할 수 잇다.
프로세서(190)는 새로운 카메라를 등록할 수 있다. 프로세서(190)는 소정 카메라를 선택(가령, 사용자 조작에 의해)하거나 등록 버튼이 선택되는 경우, 도 7과 같은 카메라 설정 화면으로 진입할 수 있다.
도 7을 참고하면, 프로세서(190)는 카메라 이름, 카메라 IP, 포트번호, 아이디, 패스워드 정보의 입력을 대기할 수 있으며, 카메라 위치를 표출하는 이미지 기반의 도면 상에 좌표 정보(또는 전체 공장 내에서 해당 카메라 위치를 직관적으로 특정하기 위한 위치 정보)를 오버레이 방식으로 기입할 수 있다.
프로세서(190)는 위험 반경 설정 옵션에 기초하여, 위험 반경이 설정되는 경우, 해당 카메라에서 작업자가 해당 위험 반경으로 진입할 경우, 이를 저장할 수 있으며, 적절한 조치(가령, 경고 알림 방송)를 수행할 수 있다.
실시예에서, 프로세서(190)는 카메라의 개수가 늘어날수록 디스플레이(140)의 화면 하나에 모든 카메라 정보를 표시할 수 있다. 다만, 프로세서(190)는 소정 개수 이상의 카메라 정보가 배치되어 가독성이 떨어질 것으로 판단되는 경우, 각 설비에 대응하여 해당 설비를 대표적으로 촬영하는 카메라들만 디스플레이(140)의 하나의 화면에 표시할 수 있다.
도 8을 참고하면, 프로세서(190)는 분석 정보 UI를 출력할 수 있다. 분석 정보 UI 는 분석 정보 메뉴 아이템(M2) 또는 하이라이트된 아이템(도 5의 513)이 선택되는 경우 출력될 수 있으며, 분석 정보를 포함하는 다양한 아이템이 선택되면 출력될 수 있으나, 실시예가 이에 한정되는 것은 아니다.
프로세서(190)는 분석 정보 UI가 선택되는 경우, 작업장의 설비 또는 환경에 관련된 정보의 시간에 따른 추세 정보 및 이상 상황에서의 시간에 따른 추세 정보를 함께 비교하여 분석 정보 UI에 표시할 수 있다.
가령, 프로세서(190)는 현재 시점(X1 시점) 이후 이상 상황이 발생된 전류 패턴과 현재 전류 패턴을 비교하여, 이상 상황 발생 유무를 결정할 수 있다. 프로세서(190)는 현재 시점(X1 시점)을 기준으로 시간의 흐름에 따라 현재 전류값을 측정하고, 전류 패턴을 이상 상황에 대응하는 전류 패턴과 비교할 수 있다.
프로세서(190)는 현재 전류 패턴이 이상 전류 패턴과 소정 범위 내에서 유사한 경우, 경고 알림을 전송할 수 있으며, 심각한 수준으로 판단하는 경우, 설비의 동작을 중지할 수 있다. 이때, 필수적으로 구동되어야 하는 설비의 경우 미리 정의되어, 계속 구동될 수 있다.
프로세서(190)는 데이터의 EDA(exploratory data analysis) 그래프를 디스플레이(140)에 출력할 수 있으며, 최근 EDA 데이터의 경우 평균값, 최소값, 최대값 등을 디스플레이(140)에 출력할 수 있다.
도 9를 참고하면, 프로세서(190)는 현장에서 측정되는 센서 데이터를 직관적으로 알기 쉽게 디스플레이(140)에 표시할 수 있다.
프로세서(190)는 제1 영역(91)을 통해, 분석된 데이터와 실제 측정 데이터를 화면에 출력할 수 있으며, 진행되는 분석에서 좋은 성과를 보이는 복수 개(가령, 5개)의 성과 모델을 출력할 수 있다.
프로세서(190)는 데이터의 EDA 가 진행된 트렌드를 표시하는 그래프를 출력할 수 있으며, 데이터에 대한 평균값, 최소값, 최대값 등을 출력할 수 있다.
또한, 프로세서(190)는 소정 기간(일주, 한달, 일년 등)의 데이터 분포를 표시할 수 있다. 특히, 프로세서(190)는 특정 데이터의 값이 소정 기간의 데이터와 편차가 큰 경우, 이를 화면에 출력할 수 있다.
프로세서(190)는 제2 영역(93)에 각종 센서(온도, 진도, 전류 등)의 평균값, 최소값, 최대값 등을 표시할 수 있으며, 정상, 이상, 주의 등의 상태를 표시할 수 있다.
프로세서(190)는 제3 영역(95)에 분석 그래프를 다양한 그래픽 표현으로 출력할 수 있으며, 데이터에서 나타나는 이슈를 출력할 수 있다.
도 10을 참고하면, 프로세서(190)는 카메라 선택 메뉴를 통해 카메라가 선택되는 경우, 해당 카메라가 촬영하는 화면을 출력할 수 있다. 프로세서(190)는 카메라 선택 전에는 표시 우선 순위가 있는 카메라의 촬영 화면을 디스플레이(140)에 출력할 수 있다. 가령, 프로세서(190)는 사고 발생 가능성이 높은 설비에 대응하는 카메라, 빈번하게 위험 영역으로 진입하는 사용자가 배치된 카메라, 최근 감지되는 센싱 데이터의 패턴이 이상 상태인 영역에 대응하는 카메라 등을 디폴트 화면으로 출력할 수 있으나, 실시에가 이에 한정되는 것은 아니다.
프로세서(190)는 일단 카메라가 선택되면, 화면 상에서 사용자 조작을 대기할 수 있다. 사용자 조작은 재생, 중지, 일시 정지, 영상 확대 등이 수행되는 사용자 조작일 수 있다.
프로세서(190)는 모니터링 화면 선택 시 프레임 단위로 생성된 화면을 제공할 수 있다. 프로세서(190)는 사용자 조작에 의해 특정 프레임만 확대하여 출력할 수 있다.
프로세서(190)는 표출 항목 메뉴에서 각 항목이 선택될 경우, 해당 항목에 대응하는 사용자 동작, 사용자 위험 영역 접근, 안전 용품 착용 여부 등에 대한 정보를, 해당 카메라가 촬영하는 화면 상에 표시할 수 있다.
예를 들면, 프로세서(190)는 표출 항목에 안전모 착용 여부, 안전띠 착용 여부, 안전화 착용 여부, 위험 반경 표시 항목이 체크된 경우, 화면 상에서 작업자가 해당 항목에 대응되는지 영상 내에 표시할 수 있다. 가령, 프로세서(190)는 작업자를 인식하고, 안전모, 안전화, 안전띠를 착용했는지 영상 인식/분석할 수 있으며, 이를 화면에 표시할 수 있다. 이때, 프로세서(190)는 작업자의 골격을 스캔하고, 현재 수행하고 있는 작업이 무엇인지, 위험한 행동을 하는지, 위험한 영역에 위치하는지 등을 영상 분석에 기반하여, 화면에 표시할 수 있다. 아울러, 프로세서(190)는 작업자가 위험한 행동을 할 경우, 관련 단말에 경고 알림을 전송할 수도 있다.
프로세서(190)는 작업자의 자세, 형태, 모양 등을 분석하여, 자세 정보 및 부가 정보 등을 자동으로 도출하여, 자세정보 및 부가정보 등에 이를 표시할 수 있다.
프로세서(190)는 공장 도면 레이아웃 화면에서, 현재 선택된 카메라의 위치 정보를 맵 상에 표시하여 출력할 수 있다.
도 11을 참고하면, 프로세서(190)는 위험 장치의 이름을 사용자 조작에 의해 입력받을 수 있으며, 전체 공장 도면 상에서 좌표 정보를 입력받을 수 있다. 프로세서(190)는 해당 장치의 좌표 위치를 화면상에 표시할 수 있으며(가령, 오렌지색), 사용자 조작에 의해 해당 칸이 선택되면, 해당 칸이 흰색으로 변경될 수 있다(가령, 백색). 이때, 입력된 좌표 정보도 함께 삭제되거나, 삭제가 맞는지 확인 팝업을 표시할 수 있다.
프로세서(190)는 위험 구역을 직관적으로 추가(플러스 메뉴)하거나 제외할 수 있다(마이너스 메뉴).
도 12를 참고하면, 프로세서(190)는 모니터링 UI를 출력할 수 있다. 모니터링 UI 는 모니터링 메뉴 아이템(M3) 또는 하이라이트된 다양한 아이템이 선택되는 경우 출력될 수 있으나, 실시예가 이에 한정되는 것은 아니다.
프로세서(190)는 모니터링 UI가 선택되는 경우, 작업장의 설비에 위치한 작업자의 위험 행동 여부를 예측하는 정보 및 카메라를 통해 작업자를 촬영한 정보를 상기 모니터링 UI에 함께 표시할 수 있다.
프로세서(190)는 촬영 영상에서 작업자를 바운딩 박스 기반으로 특정하고, 특정된 작업자의 촬영 영상을 입력으로 받아 작업자의 스켈레톤 포인트 세트를 추출하는 미리 학습된 스켈레톤 추출 모델을 이용하여 작업자의 스켈레톤 포인트 세트를 획득하고, 획득된 스켈레톤 포인트 세트에 기초하여 작업자의 자세를 추출할 수 있다. 여기서, 스켈레톤 추출 모델은 영상 기반으로 학습될 수 잇으며, EfficientNet, CoAtNet 등이 사용될 수 있으나, 실시예가 이에 한정되는 것은 아니다
프로세서(190)는 작업자가 앉는 자세, 한 다리로 선 자세, 무릎을 끓는 자세, 상체를 굽힌 자세 등을 파악할 수 있으며, 촬영 영상에서 보이지 않는 신체 부위도 추정된 자세에 기초하여 신체 부위의 위치를 특정할 수 있다.
프로세서(190)는 작업자가 설비의 위험 부위에 소정 범위 접근하는 경우, 경고 알림을 작업자에게 제공할 수 있으며, 작업자가 계속 해당 위험 영역에 소정 시간 머무르는 경우, 설비 책임자 또는 관리자에게 알림으로 제공할 수 있다.
실시예에서, 프로세서(190)는 각 카메라를 제어할 수 있으며, 카메라의 영상에 대해 줌 기능을 구동하거나 화면 밝기를 조정할 수 있다.
프로세서(190)는 작업자가 특정 설비의 위험 영역에 진입하는 경우, 경고 알림을 작업자에게 제공할 수 있으며, 작업자가 계속 해당 위험 영역에 소정 시간 머무르는 경우, 설비 책임자 또는 관리자에게 알림으로 제공할 수 있다.
도 13 및 도 14를 참고하면, 프로세서(190)는 연계 상황 UI가 선택(메뉴 또는 아이템 등을 통해)되는 경우, 작업장의 설비를 촬영하는 상기 카메라의 촬영 영상, 카메라의 설치 위치 정보, 설비의 동작 상황 정보 및 상기 설비와 연계된 설비의 동작 상황 정보 중 적어도 하나를 상기 연계 상황 UI에 표시할 수 있다.
프로세서(190)는 CCTV 가 촬영하는 대상인 압연기 프레스가 불량인 경우, 해당 촬영 영상을 확대하여 표시할 수 있다. 또한, 프로세서(190)는 압연기 프레스와 연계된 설비의 동작 상황 정보를 함께 출력하여, 연계 설비의 운영 방법을 결정할 수 있다.
또한, 프로세서(190)는 연계 상황 UI에서, 작업장의 설비 또는 환경과 관련하여 설치된 센서 목록, 각 센서의 동작 상황 정보 및 센서값 정보를 표시할 수 있다.
프로세서(190)는 해당 센싱 정보를 직접 통신부(110)를 통해 수집할 수 있으며, 설비 이상 감지 시스템(300)을 통해서도 수집할 수 있다.
도 15 내지 도 17은 본 개시에 따른 관리자 UI를 나타내는 도면들이다.
도 15를 참고하면, 프로세서(190)는 관리자 UI 중에서 사용자 관리 UI를 제공할 수 있다. 프로세서(190)는 사용자 등록 또는 삭제를 위한 체크박스를 제공할 수 있다. 프로세서(190)는 사용자를 입력할 때, 일련번호, 성명, 아이디, 전화번호, 이메일 주소, 권한 및 최근 접속일 등을 입력받을 수 있다.
도 16을 참고하면, 프로세서(190)는 관리자 UI 중에서 알림 관리 UI를 제공할 수 있다.
알림은 알림 이름과 전파 권한에 대한 사용자 번호, 알림 메시지 등을 포함할 수 있으나, 실시예가 이에 한정되는 것은 아니다. 알림은 사용자의 권한 번호에 따라 설정된 사용자에게 문자 메시지, 시스템 알림 메시지 또는 이메일 등이 전송되는 형태로 제공될 수 있다.
프로세서(190)는 알림 추가를 위한 추가 버튼, 알림 삭제나 수정 등을 위한 버튼 등을 제공할 수 있다. 알림 수정 시 알림명 우측의 에디터 박스를 통해 편집될 수 있다.
도 17을 참고하면, 프로세서(190)는 관리자 UI 중에서 권한 관리 UI를 제공할 수 있다.
프로세서(190)는 사용자 권한을 등록할 수 있는데, 권한은 목록 이름과 권한 번호로 구분될 수 있으며, ADMIN 이나 관리자는 고정 권한일 수 있으며, 권한 변경 삭제가 불가할 수도 있으나, 실시예가 이에 한정되는 것은 아니다.
프로세서(190)는 권한 추가를 위한 추가 버튼, 권한 삭제 시의 선택 등급 삭제 버튼, 선택 권한을 수정 시의 권한명 수정 버튼 등을 제공할 수 있다. 수정시 상단의 권한명 우측의 에디터 박스를 통해 편집 기능이 제공될 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100 : 안전 조업 관리 장치, 190 : 프로세서.
Claims (10)
- 작업장의 안전 조업을 위한 UI(user interface)를 제공하는 안전 조업 관리 장치로서,
통신 모듈을 구비한 장치와 통신하고, 상기 작업장에 배치된 센싱부 및 하나 이상의 카메라와 통신하는 통신부;
디스플레이;
상기 UI를 제공하기 위한 하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 인스트럭션을 실행하는 하나 이상의 프로세서를 포함하며,
상기 프로세서는,
상기 디스플레이에 로그인 UI를 표시하고, 상기 로그인 UI 를 통해 로그인되는 경우, 상기 통신부를 통해 수집된 정보를 이용하여 종합 현황 UI, 분석 정보 UI, 모니터링 UI 및 연계 상황 UI 중 하나를 상기 디스플레이를 통해 선택적으로 제공하되, 상기 종합 현황 UI를 디폴트로 제공하며,
상기 프로세서는,
상기 로그인 UI를 통해 로그인되는 경우, 권한에 따라 서로 다른 UI를 제공하되, 관리자 계정인 경우 상기 작업장 전체 영역을 확인 가능한 UI를 디스플레이하고, 설비 담당자 계정인 경우 설비와 관련된 UI를 디스플레이하며,
상기 설비 담당자가 로그인하지 않은 경우 상기 로그인하지 않은 설비 담당자의 단말로 로그인 독려 메시지를 상기 통신부를 통해 제공하고,
상기 프로세서는,
상기 작업장의 설비 또는 환경에 관련된 정보에 대응하는 아이템을 상기 종합 현황 UI에 표시하며, 상기 작업장의 설비에 대한 조망 가능한 위치 정보를 상기 종합 현황 UI에 표시하고, 상기 아이템이 선택되는 경우 선택된 아이템에 대응하는 화면을 표시하고,
상기 프로세서는,
상기 작업장의 설비 또는 환경에 관련된 정보가 기 설정된 스레시홀드값을 초과하는 경우, 상기 아이템을 하이라이트하여 표시하며,
상기 프로세서는,
상기 모니터링 UI가 선택되는 경우, 상기 작업장의 설비에 위치한 작업자의 위험 행동 여부를 예측하는 정보 및 상기 카메라를 통해 작업자를 촬영한 정보를 상기 모니터링 UI에 함께 표시하며,
상기 프로세서는,
상기 통신부를 통해 수집한 작업자의 촬영 영상에서 작업자를 바운딩 박스 기반으로 특정하고, 상기 특정된 작업자의 촬영 영상을 입력으로 받아 작업자의 스켈레톤 포인트 세트를 추출하는 미리 학습된 스켈레톤 추출 모델을 이용하여 작업자의 스켈레톤 포인트 세트를 획득하고, 획득된 스켈레톤 포인트 세트에 기초하여 작업자의 자세를 추정하고,
상기 프로세서는,
상기 작업자의 촬영 영상에서 보이지 않는 신체 부위도 상기 추정된 작업자의 자세에 기초하여 특정하며,
상기 프로세서는,
상기 작업자의 촬영 영상에서 안전모, 안전띠 및 안전화 착용 부위를 바운딩 박스 기반으로 특정하고 착용 여부에 대한 정보를 함께 표시하고, 상기 획득된 스켈레톤 포인트 세트를 상기 촬영 영상에 표시하며,
상기 프로세서는,
상기 촬영 영상에 표시된 위험 영역의 위험 반경에 작업자가 접근하는지 여부를 상기 촬영 영상에 표시하며,
상기 프로세서는,
상기 분석 정보 UI가 선택되는 경우, 상기 작업장의 설비 또는 환경에 관련된 정보의 시간에 따른 추세 정보 및 이상 상황에서의 시간에 따른 추세 정보를 함께 비교하여 상기 분석 정보 UI에 표시하도록 구성되는, 안전 조업 관리 장치. - 제1항에 있어서,
상기 프로세서는,
상기 작업장의 설비 또는 환경에 관련된 정보가 기 설정된 스레시홀드값을 초과하는 경우, 알림을 생성하여 상기 종합 현황 UI에 표시하고, 상기 생성된 알림을 상기 통신부를 통해 관련 작업자에 대응하는 단말에 제공하도록 구성되는, 안전 조업 관리 장치. - 삭제
- 제2항에 있어서,
상기 프로세서는,
상기 연계 상황 UI가 선택되는 경우, 상기 작업장의 설비를 촬영하는 상기 카메라의 촬영 영상, 상기 카메라의 설치 위치 정보, 상기 설비의 동작 상황 정보 및 상기 설비와 연계된 설비의 동작 상황 정보 중 적어도 하나를 상기 연계 상황 UI에 표시하도록 구성되는, 안전 조업 관리 장치. - 제4항에 있어서,
상기 프로세서는,
상기 연계 상황 UI에서, 상기 작업장의 설비 또는 환경과 관련하여 설치된 센서 목록, 각 센서의 동작 상황 정보 및 센서값 정보를 표시하도록 구성되는, 안전 조업 관리 장치. - 삭제
- 안전 조업 관리 장치의 안전 조업을 위한 UI를 제공하는 방법으로서,
작업장의 설비 또는 환경에 관련된 정보를 수집하는 단계;
로그인 UI를 표시하고, 상기 로그인 UI 를 통해 로그인되는 경우, 상기 수집된 정보에 기초하여 종합 현황 UI, 분석 정보 UI, 모니터링 UI 및 연계 상황 UI 중 하나를 선택적으로 제공 가능하되, 상기 종합 현황 UI를 디폴트로 제공하는 단계;
상기 작업장의 설비에 대한 조망 가능한 위치 정보를 상기 종합 현황 UI에 표시하는 단계;
상기 작업장의 설비 또는 환경에 관련된 정보에 대응하는 아이템을 상기 종합 현황 UI에 표시하는 단계;
상기 아이템이 선택되는 경우 선택된 아이템에 대응하는 화면을 표시하는 단계; 및
상기 작업장의 설비 또는 환경에 관련된 정보가 기 설정된 스레시홀드값을 초과하는 경우, 상기 아이템을 하이라이트하여 표시하는 단계를 포함하며,
상기 종합 현황 UI를 디폴트로 제공하는 단계는,
상기 로그인 UI를 통해 로그인되는 경우, 권한에 따라 서로 다른 UI를 제공하되, 관리자 계정인 경우 상기 작업장 전체 영역을 확인 가능하게 하고, 설비 담당자 계정인 경우 담당 설비 및 연계 설비를 디스플레이하는 단계; 및
상기 설비 담당자가 로그인하지 않은 경우 상기 로그인하지 않은 설비 담당자의 단말로 로그인 독려 메시지를 제공하는 단계를 포함하며,
상기 방법은,
상기 모니터링 UI가 선택되는 경우, 상기 작업장의 설비에 위치한 작업자의 위험 행동 여부를 예측하는 정보 및 카메라를 통해 작업자를 촬영한 정보를 상기 모니터링 UI에 함께 표시하는 단계를 더 포함하며,
상기 방법은,
수집한 작업자의 촬영 영상에서 작업자를 바운딩 박스 기반으로 특정하고, 상기 특정된 작업자의 촬영 영상을 입력으로 받아 작업자의 스켈레톤 포인트 세트를 추출하는 미리 학습된 스켈레톤 추출 모델을 이용하여 작업자의 스켈레톤 포인트 세트를 획득하고, 획득된 스켈레톤 포인트 세트에 기초하여 작업자의 자세를 추정하는 단계; 및
상기 작업자의 촬영 영상에서 보이지 않는 신체 부위도 상기 추정된 작업자의 자세에 기초하여 특정하는 단계를 더 포함하며,
상기 방법은,
상기 작업자의 촬영 영상에서 안전모, 안전띠 및 안전화 착용 부위를 바운딩 박스 기반으로 특정하고 착용 여부에 대한 정보를 함께 표시하고, 상기 획득된 스켈레톤 포인트 세트를 상기 촬영 영상에 표시하는 단계; 및
촬영 영상에 표시된 위험 영역의 위험 반경에 작업자가 접근하는지 여부를 상기 촬영 영상에 표시하는 단계를 더 포함하며,
상기 방법은,
상기 분석 정보 UI가 선택되는 경우, 상기 작업장의 설비 또는 환경에 관련된 정보의 시간에 따른 추세 정보 및 이상 상황에서의 시간에 따른 추세 정보를 함께 비교하여 상기 분석 정보 UI에 표시하는 단계를 더 포함하는, 방법. - 제7항에 있어서,
상기 작업장의 설비 또는 환경에 관련된 정보가 기 설정된 스레시홀드값을 초과하는 경우, 알림을 생성하여 상기 종합 현황 UI에 표시하는 단계; 및
상기 생성된 알림을 관련 작업자에 대응하는 단말에 제공하는 단계를 더 포함하는, 방법. - 삭제
- 제8항에 있어서,
상기 연계 상황 UI가 선택되는 경우, 설비의 촬영 영상, 설비를 촬영하는 카메라의 설치 위치 정보, 상기 설비의 동작 상황 정보 및 상기 설비와 연계된 설비의 동작 상황 정보 중 적어도 하나를 상기 연계 상황 UI에 표시하는 단계를 더 포함하는, 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230090307A KR102601760B1 (ko) | 2023-07-12 | 2023-07-12 | 작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법 및 이를 위한 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230090307A KR102601760B1 (ko) | 2023-07-12 | 2023-07-12 | 작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법 및 이를 위한 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR102601760B1 true KR102601760B1 (ko) | 2023-11-13 |
| KR102601760B9 KR102601760B9 (ko) | 2024-01-11 |
Family
ID=88746624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230090307A KR102601760B1 (ko) | 2023-07-12 | 2023-07-12 | 작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법 및 이를 위한 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102601760B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102685248B1 (ko) * | 2023-12-07 | 2024-07-16 | 고등기술연구원연구조합 | 중대 재해 방지를 위한 작업자 위험 인자 감시를 수행하는 시스템 및 이의 작업자 위험 인자 감시 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101730450B1 (ko) * | 2016-09-08 | 2017-04-26 | 진이진 | 액티브 블랙박스를 이용한 공장설비 모니터링 시스템 및 방법 |
| KR102136070B1 (ko) | 2020-02-05 | 2020-07-21 | 안광호 | 인공지능형 영상분석을 이용한 건설현장의 재난 및 사고 예방장치 |
| KR20210021639A (ko) * | 2019-08-19 | 2021-03-02 | 퓨처메인 주식회사 | 증강현실 기반의 설비예지보전 시스템 및 방법 |
| KR102291259B1 (ko) * | 2020-02-28 | 2021-08-20 | 주식회사 그릿테크 | 산업현장 내 안전관리 강화를 위한 엣지컴퓨팅기반 인공지능시스템 |
| KR20220027119A (ko) * | 2019-12-31 | 2022-03-07 | 주식회사 버넥트 | 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법 |
| KR20220036672A (ko) * | 2020-09-16 | 2022-03-23 | 엔씨엔스페이스(주) | 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법 |
-
2023
- 2023-07-12 KR KR1020230090307A patent/KR102601760B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101730450B1 (ko) * | 2016-09-08 | 2017-04-26 | 진이진 | 액티브 블랙박스를 이용한 공장설비 모니터링 시스템 및 방법 |
| KR20210021639A (ko) * | 2019-08-19 | 2021-03-02 | 퓨처메인 주식회사 | 증강현실 기반의 설비예지보전 시스템 및 방법 |
| KR20220027119A (ko) * | 2019-12-31 | 2022-03-07 | 주식회사 버넥트 | 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법 |
| KR102136070B1 (ko) | 2020-02-05 | 2020-07-21 | 안광호 | 인공지능형 영상분석을 이용한 건설현장의 재난 및 사고 예방장치 |
| KR102291259B1 (ko) * | 2020-02-28 | 2021-08-20 | 주식회사 그릿테크 | 산업현장 내 안전관리 강화를 위한 엣지컴퓨팅기반 인공지능시스템 |
| KR20220036672A (ko) * | 2020-09-16 | 2022-03-23 | 엔씨엔스페이스(주) | 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102685248B1 (ko) * | 2023-12-07 | 2024-07-16 | 고등기술연구원연구조합 | 중대 재해 방지를 위한 작업자 위험 인자 감시를 수행하는 시스템 및 이의 작업자 위험 인자 감시 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102601760B9 (ko) | 2024-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200202281A1 (en) | Using smart cards to reduce risks of work accidents | |
| Jafari-Marandi et al. | From in-situ monitoring toward high-throughput process control: cost-driven decision-making framework for laser-based additive manufacturing | |
| CN110494861B (zh) | 基于图像的异常检测方法和系统 | |
| US11301683B2 (en) | Architecture, engineering and construction (AEC) construction safety risk analysis system and method for interactive visualization and capture | |
| JP7559391B2 (ja) | イベントの防止及び予測のためのシステム及び方法、コンピュータ実施方法、プログラム、及びプロセッサ | |
| JP7238217B2 (ja) | 定義されたオブジェクトを識別するためのシステム | |
| JP7289427B2 (ja) | プログラム、情報処理方法及び情報処理装置 | |
| CN113597634B (zh) | 使用人工智能的过程映射和监控 | |
| KR102601760B1 (ko) | 작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법 및 이를 위한 장치 | |
| US11295275B2 (en) | System and method of providing to-do list of user | |
| US20200090314A1 (en) | System and method for determining a condition of an object | |
| Xu et al. | Dynamic safety prewarning mechanism of human–machine–environment using computer vision | |
| Oh et al. | Adaptive SVM-based real-time quality assessment for primer-sealer dispensing process of sunroof assembly line | |
| US20180356491A1 (en) | Indoor Room-Localization System and Method Thereof | |
| US10692363B1 (en) | Method and system for determining probability of an alarm generated by an alarm system | |
| US20230195100A1 (en) | System and method for development and deployment of self-organizing cyber-physical systems for manufacturing industries | |
| EP4152272A1 (en) | Systems and methods for low latency analytics and control of devices via edge nodes and next generation networks | |
| KR20230133831A (ko) | Bim 설계 데이터 내 설비 라인을 자동으로 설계하는 장치, 방법 및 프로그램 | |
| Lee et al. | Determination of workers' compliance to safety regulations using a spatio-temporal graph convolution network | |
| US11468551B1 (en) | Machine-learning framework for detecting defects or conditions of railcar systems | |
| KR102608613B1 (ko) | 센싱 데이터 기반의 설비 이상 감지 장치 및 방법 | |
| KR102578851B1 (ko) | 딥러닝 기반 조업 안전 관리 방법 및 이를 위한 서버 | |
| Caltanissetta et al. | In-situ monitoring of image texturing via random forests and clustering with applications to additive manufacturing | |
| KR102601759B1 (ko) | 안전 관리 시스템 운용을 위한 이기종 기기 간 통합 방법 및 이를 위한 서버 | |
| JP4813071B2 (ja) | マクロ画像表示システム及びマクロ画像表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |