KR20220028347A - 스마트팩토리 위험요소 탐지시스템 - Google Patents

스마트팩토리 위험요소 탐지시스템 Download PDF

Info

Publication number
KR20220028347A
KR20220028347A KR1020200109225A KR20200109225A KR20220028347A KR 20220028347 A KR20220028347 A KR 20220028347A KR 1020200109225 A KR1020200109225 A KR 1020200109225A KR 20200109225 A KR20200109225 A KR 20200109225A KR 20220028347 A KR20220028347 A KR 20220028347A
Authority
KR
South Korea
Prior art keywords
smart factory
risk factor
image
unit
camera
Prior art date
Application number
KR1020200109225A
Other languages
English (en)
Other versions
KR102416751B1 (ko
Inventor
차병래
Original Assignee
제노테크주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제노테크주식회사 filed Critical 제노테크주식회사
Priority to KR1020200109225A priority Critical patent/KR102416751B1/ko
Publication of KR20220028347A publication Critical patent/KR20220028347A/ko
Application granted granted Critical
Publication of KR102416751B1 publication Critical patent/KR102416751B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/027—Alarm generation, e.g. communication protocol; Forms of alarm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • General Factory Administration (AREA)

Abstract

본 발명은 스마트팩토리 내부를 촬영한 영상을 모니터링하여 이미지 객체 탐지를 통해 스마트팩토리 내부의 위험요소를 추출하여 담당자에게 알람하고, 동종 및 유사한 스마트팩토리 간의 호환이 가능하도록 하여 중소기업의 스마트팩토리에도 적용할 수 있는 스마트팩토리 위험요소 탐지시스템 및 그 제어방법에 관한 것이다.
본 발명은 미리 카메라정보가 저장되면서 스마트팩토리 내부를 촬영하여 촬영영상을 생성하기 위한 카메라(100)와, 상기 카메라(100)로부터 수신받은 촬영영상과 미리 저장된 정상영상을 비교하여 상기 스마트팩토리 내부의 위험요소 존재여부를 판단하고, 객체 탐지를 통해 상기 촬영영상의 위험요소 객체를 추출한 후 준지도 학습을 기반으로 상기 식별된 위험요소 객체에 대한 결과정보를 생성하기 위한 관제서버(200)와, 상기 관제서버(200)로부터 결과정보를 수신받아 상기 스마트팩토리 내부의 위험요소를 알람하기 위한 관리자기기(300)를 포함하고, 상기 관제서버(200)는, 상기 스마트팩토리의 업종과 카메라정보가 포함된 스마트팩토리정보가 미리 저장되며, 미리 분류된 스마트팩토리의 업종별 딥러닝 모델 중에서 상기 스마트팩토리의 업종에 대응되는 딥러닝 모델을 추출하여, 상기 결과정보를 이용하여 상기 추출된 딥러닝 모델을 업데이트한다.

Description

스마트팩토리 위험요소 탐지시스템 및 그 제어방법{SMART FACTORY RISK FACTOR DETECTION SYSTEM AND CONTROL METHOD THEREOF}
본 발명은 스마트팩토리 위험요소 탐지시스템 및 그 제어방법에 관한 것으로, 보다 상세하게는 스마트팩토리 내부를 촬영한 영상을 모니터링하여 이미지 객체 탐지를 통해 스마트팩토리 내부의 위험요소를 추출하여 담당자에게 알람하고, 동종 및 유사한 스마트팩토리 간의 호환이 가능하도록 하여 중소기업의 스마트팩토리에도 적용할 수 있는 스마트팩토리 위험요소 탐지시스템 및 그 제어방법에 관한 것이다.
최근 ICT기술의 발전에 따라 종래의 스마트팩토리에서 인력으로 수행이 불가능했던 업무부터 인력으로 수행했던 업무까지 각종 센서 등으로 대체되고 있으며, 스마트팩토리을 효율적으로 운용할 수 있도록 스마트팩토리로의 전환이 진행되고 있다.
스마트팩토리는 설계·개발, 제조 및 유통·물류 등 생산과정에 디지털 자동화 솔루션이 결합된 정보통신기술(ICT)을 적용하여 생산성, 품질, 고객만족도를 향상시키는 지능형 생산 스마트팩토리이다.
이러한 스마트팩토리는 공개특허 제10-2018-0079893호(공개일자: 2018년 07월 11일)에 기재된 바와 같이, 각 공정라인별 생산 장비에 설치되며, 각 부품을 생산하는 동안의 시간을 인식하여 인식신호를 생성하고, 상기 인식신호에 기초하여 산출된 작업시간정보를 포함하는 공정별 작업시간 데이터를 생성하는 스마트팩토리 장치와, 상기 스마트팩토리 장치와 유선 및 무선으로 통신하여 상기 공정별 작업시간 데이터를 수신하고, 상기 공정별 작업시간 데이터를 정해진 기준에 따라 작업군 작업시간 데이터로 취합하는 내부 작업군서버 및 인터넷망을 통해 상기 내부 작업군서버로부터 취합된 상기 작업군 작업시간 데이터를 수신하여 저장하고, 상기 작업군 작업시간 데이터의 무선신뢰도를 산출하여 모니터링하는 외부 메인서버를 포함하는 스마트팩토리 시스템을 사용할 수도 있다.
스마트팩토리 구축 단계는 기초수준-중간수준1-중간수준2-고도화 수준과 같이 총 4단계로 나뉘며, 기초수준은 생산이력 추적관리, 중간수준1은 실시간 정보수집 및 생산관리, 중간수준2는 생산 자동화 및 최적화, 고도화수준은 지능형 유연생산을 의미한다.
이러한 스마트팩토리 기술의 세계시장 규모는 2015년 1,937억 달러에서 2020년까지 2,845억 달러의 경제적 가치를 창출할 전망이며, 미국, 독일, 일본 등 주요 제조 선진국뿐만 아니라 중국 등 신흥국들도 제조업의 중요성에 주목하고 제조업의 성장활력 제거, 고용창출, 무역수지 개선 등을 위해 ICT를 활용한 제조업 경쟁력 강화정책을 수립하고 추진하고 있다.
최근 우리나라에는 대기업을 위주로 스마트팩토리의 실현에 필요한 설비의 개발 및 도입이 이루어지고 있으나, 중소기업들의 경우에 대부분 자체적으로 추진할 여건이나 역량이 부족하여 여전히 ICT를 활용하지 않은 채 엑셀 등 문서로 작업하는 기초수준에 머무르거나 중간수준 1에 머물러있는 실정이다.
즉, 중소기업의 스마트팩토리에는 자체적으로 데이터를 수집하는데 소요되는 많은 비용으로 인해 스마트팩토리를 실현하지 못하고 있는 문제점이 있다.
또한, 종래의 스마트팩토리는 스마트팩토리의 작업시간 등을 관리하고 모니터링하지만, 스마트팩토리 내에 존재하는 위험요소를 사전에 탐지하기 어려운 문제점이 있다.
이에, 스마트팩토리 내의 위험요소를 사전에 탐지할 수 있으면서 중소기업 스마트팩토리에도 스마트팩토리를 적용할 수 있는 방안이 요구되고 있는 실정이다.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 스마트팩토리 내부를 촬영한 영상을 모니터링하면서 이미지 객체 탐지를 통해 상기 영상 속 스마트팩토리 내부의 위험요소를 추출하기 위한 스마트팩토리 위험요소 탐지시스템 및 그 제어방법을 제공하는 목적이 있다.
또한, 동종 및 유사한 스마트팩토리 간의 호환이 가능한 스마트팩토리 위험요소 탐지시스템 및 그 제어방법을 제공하는 목적이 있다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명에 의한 스마트팩토리 위험요소 탐지시스템 및 그 제어방법은, 미리 카메라정보가 저장되면서 스마트팩토리 내부를 촬영하여 촬영영상을 생성하기 위한 카메라(100)와, 상기 카메라(100)로부터 수신받은 촬영영상과 미리 저장된 정상영상을 비교하여 상기 스마트팩토리 내부의 위험요소 존재여부를 판단하고, 객체 탐지를 통해 상기 촬영영상의 위험요소 객체를 추출한 후 준지도 학습을 기반으로 상기 식별된 위험요소 객체에 대한 결과정보를 생성하기 위한 관제서버(200)와, 상기 관제서버(200)로부터 결과정보를 수신받아 상기 스마트팩토리 내부의 위험요소를 알람하기 위한 관리자기기(300)를 포함하고, 상기 관제서버(200)는, 상기 스마트팩토리의 업종과 카메라정보가 포함된 스마트팩토리정보가 미리 저장되며, 미리 분류된 스마트팩토리의 업종별 딥러닝 모델 중에서 상기 스마트팩토리의 업종에 대응되는 딥러닝 모델을 추출하여, 상기 결과정보를 이용하여 상기 추출된 딥러닝 모델을 업데이트한다.
또한, 상기 관제서버(200)는, 미리 분류된 스마트팩토리의 업종별로 딥러닝 모델이 저장된 딥러닝 모델DB부(201)와, 상기 카메라(100) 및 상기 관리자기기(300)와 통신하기 위한 서버통신부(202)와, 상기 서버통신부(202)를 통해 관리자기기(300)로부터 수신받은 스마트팩토리의 업종, 카메라정보, 관리자정보를 포함한 스마트팩토리정보가 저장된 스마트팩토리DB부(203)와, 상기 서버통신부(202)를 통해 상기 카메라(100)로부터 카메라정보 및 촬영영상을 수신받아 수집하기 위한 수집부(204)와, 상기 수신받은 카메라정보에 대응되는 스마트팩토리의 업종에 따라 상기 딥러닝 모델DB부(201)에서 딥러닝 모델을 추출하기 위한 딥러닝 모델추출부(205)와, 상기 수집부(204)에서 수집된 촬영영상과 미리 저장된 정상영상을 비교하여 상기 촬영영상에 위험요소가 존재하는지 판단하기 위한 위험요소판단부(206)와, 상기 위험요소판단부(206)에서 위험요소 존재로 판단된 촬영영상 데이터를 정규화한 후 상기 정규화된 촬영영상을 이미지로 변환하고, 상기 변환된 이미지를 상기 추출된 딥러닝 모델을 적용하여 머신러닝의 모델링과 유효성 검증하기 위한 데이터처리부(207)와, 상기 데이터처리부(207)에서 유효성 검증된 이미지에 객체 탐지를 통해 상기 이미지 중 위험요소 객체를 추출하기 위한 위험요소추출부(208)와, 상기 추출된 위험요소 객체의 이미지를 수신받아 준지도 학습을 기반으로 상기 위험요소 객체를 식별하기 위한 위험요소식별부(209)와, 상기 위험요소식별부(209)를 통해 식별된 위험요소 객체의 정보를 포함한 결과정보를 생성하여 해당 관리자기기(300)로 전송하기 위한 위험요소알림부(210)와, 상기 결과정보를 통해 전이학습하여 해당 스마트팩토리의 업종에 대응되는 딥러닝 모델을 업데이트하기 위한 전이학습부(211)를 포함하는 것이 바람직하다.
본 발명에 있어서, 스마트팩토리 내부에 설치된 카메라(100)를 통해 상기 스마트팩토리의 내부를 촬영하여 촬영영상을 생성하는 촬영단계와, 상기 카메라(100)로부터 촬영영상을 수신받은 관제서버(200)에서 상기 촬영영상을 저장하는 촬영영상수집단계와, 상기 관제서버(200)에서 상기 촬영영상과 미리 저장된 정상영상을 비교하여 상기 촬영영상의 위험요소 존재여부를 판단하는 위험요소판단단계와, 상기 관제서버(200)에서 상기 촬영영상에 위험요소가 존재하는 것으로 판단하였을 경우에 상기 촬영영상을 정규화하여 이미지로 변환한 후 딥러닝 모델을 적용하여 모델링 및 유효성 검사하는 데이터처리단계와, 상기 관제서버(200)에서 상기 유효성 검사한 이미지에 객체 탐지하여 위험요소 객체를 추출하는 위험요소추출단계와, 상기 관제서버(200)에서 준지도 학습을 기반으로 상기 추출된 위험요소 객체를 식별하는 위험요소식별단계와, 상기 관제서버(200)에서 상기 식별된 위험요소 객체에 대한 결과정보를 생성하여 상기 스마트팩토리를 제어하기 위한 관리자기기(300)로 전송하는 위험요소알림단계와, 상기 관리자기기(300)에서 수신받은 결과정보를 디스플레이하는 디스플레이단계를 포함한다.
상술한 바와 같이 본 발명에 따르면, 스마트팩토리 내부를 촬영한 영상을 모니터링하면서 이미지 객체 탐지를 통해 상기 영상 속 스마트팩토리 내부의 위험요소를 추출하여 담당자에게 알람할 수 있어 스마트팩토리 내에 발생할 수 있는 안전사고를 미연에 방지할 수 있게 되며, 스마트팩토리의 원활한 제조 및 운영을 지원할 수 있는 효과가 있다.
또한, 동종 및 유사한 스마트팩토리 간의 호환이 가능하도록 하여 스마트팩토리를 적용하는데 소요되는 비용을 절감시켜줄 수 있어 중소기업의 스마트팩토리에도 적용할 수 있어 생산성을 향상시키고 효율적으로 운영할 수 있도록 도움을 줄 수 있는 효과가 있다.
도 1은 본 발명의 일실시 예에 의한 스마트팩토리 위험요소 탐지시스템,
도 2는 본 발명의 일실시 예에 의한 스마트팩토리 위험요소 탐지시스템의 관제서버,
도 3은 본 발명의 일실시 예에 의한 스마트팩토리 위험요소 탐지시스템의 관제서버의 데이터처리부,
도 4는 본 발명의 일실시 예에 의한 스마트팩토리 위험요소 탐지시스템의 관리자기기,
도 5는 본 발명의 일실시 예에 의한 스마트팩토리 위험요소 탐지시스템의 제어방법.
이하, 첨부된 도면을 참조하여 본 발명에 의한
을 상세히 설명한다.
상기 도면의 구성 요소들에 인용부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 또한, '상부', '하부', '앞', '뒤', '선단', '전방', '후단' 등과 같은 방향성 용어는 개시된 도면(들)의 배향과 관련하여 사용된다. 본 발명의 실시 예의 구성요소는 다양한 배향으로 위치설정될 수 있기 때문에 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.
본 발명의 바람직한 일실시 예에 의한 스마트팩토리 위험요소 탐지시스템은, 미리 카메라정보가 저장되면서 스마트팩토리 내부를 촬영하여 촬영영상을 생성하기 위한 카메라(100)와, 상기 카메라(100)로부터 수신받은 촬영영상과 미리 저장된 정상영상을 비교하여 상기 스마트팩토리 내부의 위험요소 존재여부를 판단하고, 객체 탐지를 통해 상기 촬영영상의 위험요소 객체를 추출한 후 준지도 학습을 기반으로 상기 식별된 위험요소 객체에 대한 결과정보를 생성하기 위한 관제서버(200)와, 상기 관제서버(200)로부터 결과정보를 수신받아 상기 스마트팩토리 내부의 위험요소를 알람하기 위한 관리자기기(300)를 포함하고, 상기 관제서버(200)는, 상기 스마트팩토리의 업종과 카메라정보가 포함된 스마트팩토리정보가 미리 저장되며, 미리 분류된 스마트팩토리의 업종별 딥러닝 모델 중에서 상기 스마트팩토리의 업종에 대응되는 딥러닝 모델을 추출하여, 상기 결과정보를 이용하여 상기 추출된 딥러닝 모델을 업데이트한다.
상기 카메라(100)는, 객체 인식 카메라를 사용할 수 있으며, 스마트팩토리 내부를 촬영하기 위해 다수개를 사용할 수 있다.
상기 카메라(100)는 스마트팩토리 내부를 촬영하여 촬영영상을 생성한 후 상기 관제서버(200)로 전송한다. 이때, 상기 카메라(100)는 미리 설정된 일정시간을 간격으로 상기 스마트팩토리 내부를 촬영하여 촬영영상을 생성하여 상기 관제서버(200)로 전송할 수 있으며, 상기 관제서버(200)로 상기 촬영영상을 전송할 때 타 카메라와 식별하기 위해 카메라정보를 더 포함하여 전송하는 것이 바람직하다.
또한, 상기 카메라(100)는 상기 촬영영상이 어두울 경우에 적외선을 이용하여 스마트팩토리 내부를 재촬영할 수 있다.
상기 관제서버(200)는, 미리 분류된 스마트팩토리의 업종별로 딥러닝 모델이 저장된 딥러닝 모델DB부(201)와, 상기 카메라(100) 및 상기 관리자기기(300)와 통신하기 위한 서버통신부(202)와, 상기 서버통신부(202)를 통해 관리자기기(300)로부터 수신받은 스마트팩토리의 업종, 카메라정보, 관리자정보를 포함한 상기 스마트팩토리정보가 저장된 스마트팩토리DB부(203)와, 상기 서버통신부(202)를 통해 상기 카메라(100)로부터 카메라정보 및 촬영영상을 수신받아 수집하기 위한 수집부(204)와, 상기 수신받은 카메라정보에 대응되는 스마트팩토리의 업종에 따라 상기 딥러닝 모델DB부(201)에서 딥러닝 모델을 추출하기 위한 딥러닝 모델추출부(205)와, 상기 수집부(204)에서 수집된 촬영영상과 미리 저장된 정상영상을 비교하여 상기 촬영영상에 위험요소가 존재하는지 판단하기 위한 위험요소판단부(206)와, 상기 위험요소판단부(206)에서 위험요소 존재로 판단된 촬영영상 데이터를 정규화한 후 상기 정규화된 촬영영상을 이미지로 변환하고, 상기 변환된 이미지를 상기 추출된 딥러닝 모델을 적용하여 머신러닝의 모델링과 유효성 검증하기 위한 데이터처리부(207)와, 상기 데이터처리부(207)에서 유효성 검증된 이미지에 객체 탐지를 통해 상기 이미지 중 위험요소 객체를 추출하기 위한 위험요소추출부(208)와, 상기 추출된 위험요소 객체의 이미지를 수신받아 준지도 학습을 기반으로 상기 위험요소 객체를 식별하기 위한 위험요소식별부(209)와, 상기 위험요소식별부(209)를 통해 식별된 위험요소 객체의 정보를 포함한 결과정보를 생성하여 해당 관리자기기(300)로 전송하기 위한 위험요소알림부(210)를 포함할 수 있다.
또한, 상기 관제서버(200)에는 상기 결과정보를 통해 전이학습하여 해당 스마트팩토리의 업종에 대응되는 딥러닝 모델을 업데이트하기 위한 전이학습부(211)를 더 포함할 수 있다.
상기 딥러닝 모델DB부(201)는, 미리 분류된 스마트팩토리의 업종별로 딥러닝 모델이 저장된다.
상기 딥러닝 모델은 스마트팩토리 내부의 위험요소를 인식할 수 있도록 여러 위험요소에 대해 식별할 수 있는 정보를 제공할 수 있다. 이러한 딥러닝 모델은 스마트팩토리 내부의 구성요소 이미지와 위험요소 이미지를 이용하여 머신 러닝을 적용하고 트레이닝시킴으로써, 위험요소에 대한 인식률을 높일 수 있게 되어 그로 인한 위험요소 인식률의 정확성과 신뢰도를 높일 수 있다.
상기 딥러닝 모델을 스마트팩토리의 업종별로 저장함으로써 동일 내지 유사한 스마트팩토리 간의 호환이 가능해지며, 학습을 위한 많은 학습 데이터와 학습 시간을 줄이는데 효과적이다.
상기 서버통신부(202)는, 상기 카메라(100) 및 상기 관리자기기(300)와 무선 네트워크를 이용하여 통신할 수 있다.
상기 스마트팩토리DB부(203)는, 상기 서버통신부(202)를 통해 상기 관리자기기(300)로부터 스마트팩토리정보를 수신받아 저장한다.
상기 스마트팩토리정보는 스마트팩토리의 업종, 카메라정보, 관리자정보를 포함하는 것이 바람직하다. 추후 상기 스마트팩토리정보 중 스마트팩토리의 업종을 이용하여 딥러닝 모델을 추출하여 해당 스마트팩토리 내의 위험요소를 탐지할 수 있게 된다.
상기 수집부(204)는, 상기 서버통신부(202)를 통해 상기 카메라(100)로부터 카메라정보 및 촬영영상을 수신받아 수집한다.
상기 수집부(204)는 상기 촬영영상을 누적하여 저장할 수 있다.
상기 딥러닝 모델추출부(205)는, 상기 딥러닝 모델DB부(201)에서 상기 카메라(100)로부터 수신받은 카메라정보를 이용하여 딥러닝 모델을 추출할 수 있다. 즉, 상기 딥러닝 모델추출부(205)는 상기 스마트팩토리DB부(203)의 스마트팩토리정보 중 상기 카메라(100)로부터 수신받은 카메라정보에 대응되는 스마트팩토리정보를 추출한 후 상기 딥러닝 모델DB부(201)에서 상기 추출된 스마트팩토리정보 중 스마트팩토리의 업종에 따라 딥러닝 모델을 추출할 수 있다.
상기 위험요소판단부(206)는, 상기 수집부(204)에서 수집된 촬영영상과 미리 저장된 정상영상을 비교하게 된다.
이때, 상기 정상영상은 정상적인 스마트팩토리의 내부 상태가 촬영된 영상이며, 상기 수집된 촬영영상과의 차이를 통해 상기 촬영영상의 위험요소를 판단하는데 도움을 줄 수 있다.
상기 위험요소판단부(206)에서는 상기 촬영영상과 상기 정상영상을 비교하여 상기 촬영영상과 상기 정상영상이 서로 동일할 경우에 상기 촬영영상 내에 위험요소가 존재하지 않는다고 판단하고, 상기 촬영영상과 상기 정상영상이 서로 동일하지 않을 경우에 상기 촬영영상 내에 위험요소가 존재하는 것으로 판단하다.
예를 들어, 상기 위험요소판단부(206)는 상기 촬영영상과 상기 정상영상의 컨베이어 사이의 통로 등을 비교할 수 있으며, 상기 정상영상의 통로에 어떠한 물체가 없는 반면, 상기 촬영영상의 통로에 어떠한 물체가 있을 경우에 상기 촬영영상 내에 위험요소가 존재하는 것으로 판단할 수 있다.
상기 위험요소판단부(206)에서 상기 촬영영상에 위험요소가 존재하는 것으로 판단하였을 경우에는 상기 촬영영상을 데이터처리부(207)로 전송한다.
상기 데이터처리부(207)는, 상기 위험요소판단부(206)에서 위험요소가 존재하는 것으로 판단된 촬영영상 데이터를 정규화하며, 상기 정규화된 촬영영상 데이터를 차원 축소하거나 데이터 증강시킨 후 이미지로 변환한다.
상기 데이터처리부(207)는 상기 변환된 이미지에 상기 추출한 딥러닝 모델을 적용하여 머신러닝의 모델링과 유효성을 검증한다. 상기 데이터처리부(207)에서 상기 변환된 이미지를 딥러닝 모델을 적용하여 모델링하고 유효성 검증함으로 인해 상기 이미지의 객체 탐지를 할 수 있게 된다.
상기 위험요소추출부(208)는, 상기 데이터처리부(207)에서 유효성 검증된 이미지에 객체 탐지를 통해 상기 이미지 중 위험요소 객체를 추출하게 된다.
상기 위험요소추출부(208)에서 추출된 위험요소 객체는 상기 위험요소식별부(209)를 통해 정보를 파악할 수 있게 된다.
상기 위험요소식별부(209)는, 상기 추출된 위험요소 객체의 이미지를 수신받아 준지도 학습을 기반으로 상기 위험요소 객체를 식별하여 상기 위험요소 객체의 정보를 생성한다.
상기 위험요소알림부(210)는, 상기 위험요소식별부(209)를 통해 식별된 위험요소 객체의 정보를 포함한 결과정보를 생성하여 해당 관리자기기(300)로 전송한다. 즉, 상기 위험요소알림부(210)는 상기 카메라(100)로부터 수신받은 카메라정보에 대응되는 스마트팩토리정보 중 관리자정보를 추출하여 상기 결과정보를 해당 관리자기기(300)로 전송할 수 있게 된다.
상기 전이학습부(211)는, 상기 결과정보를 통해 전이학습하여 해당 스마트팩토리의 업종에 대응되는 딥러닝 모델을 업데이트하게 된다.
상기와 같이 전이학습부(211)를 구성함으로 인해 스마트팩토리의 업종별로 딥러닝 모델을 수시로 업데이트할 수 있어 동종 및 유사한 스마트팩토리 간의 호환이 가능해질 수 있어 각 스마트팩토리별로 학습을 위해 많은 학습데이터를 필요로하거나 학습 시간이 많이 소요되는 것을 방지할 수 있게 된다.
상기 관리자기기(300)는, 상기 관제서버(200)와 통신하기 위한 관리자통신부(301)와, 상기 관리자통신부(301)를 통해 상기 관제서버(200)로 전송하기 위한 스마트팩토리정보를 생성하기 위한 스마트팩토리정보부(302)와, 상기 관리자통신부(301)를 통해 상기 관제서버(200)로부터 수신받은 결과정보를 저장하여 관리하기 위한 결과정보저장부(303)와, 상기 저장된 결과정보를 알림하기 위해 상기 결과정보를 디스플레이하기 위한 디스플레이부(304)와, 상기 저장된 결과정보를 통해 스마트팩토리를 제어하기 위한 제어부(305)를 포함하여 구성될 수 있다.
상기 관리자통신부(301)는, 상기 관제서버(200)와 무선네트워크를 통해 통신할 수 있다.
상기 스마트팩토리정보부(302)는, 상기 스마트팩토리의 업종과 상기 스마트팩토리에 설치된 카메라정보와 상기 스마트팩토리를 관리하는 관리자정보를 포함하여 스마트팩토리정보를 생성한다.
상기 결과정보저장부(303)는, 상기 관제서버(200)로부터 수신받은 결과정보를 누적저장하여 관리할 수 있게 된다. 상기 결과정보저장부(303)에 상기 결과정보가 누적저장됨으로써 스마트팩토리의 오류 등에 대한 문제점의 히스토리를 용이하게 파악할 수 있어 추후 발생하는 문제점에 신속하게 대처할 수 있으면서 반복하여 발생하는 문제점을 해소하는데 도움을 줄 수 있게 된다.
상기 디스플레이부(304)는, 상기 저장된 결과정보를 알림하기 위해 상기 결과정보를 디스플레이한다. 상기 디스플레이부(304)를 통해 상기 스마트팩토리에 위험요소가 존재하는 것을 담당자에게 알림할 수 있어 신속한 대처가 가능해질 수 있다.
상기 제어부(305)는, 상기 저장된 결과정보를 통해 스마트팩토리의 작동여부를 제어할 수 있다.
상기 스마트팩토리 위험요소 탐지시스템의 제어방법은, 상기 카메라(100)를 통해 상기 스마트팩토리의 내부를 촬영하여 촬영영상을 생성한다(S10).
상기 관제서버(200)는 상기 카메라(100)로부터 촬영영상을 수신받아 수집하여 저장한다(S20).
상기 관제서버(200)에서는 수집한 촬영영상과 미리 저장된 정상영상을 비교하여 상기 촬영영상과 상기 정상영상이 동일할 경우에 상기 촬영영상 내 위험요소가 존재하지 않는 것으로 판단하고, 상기 촬영영상과 상기 정상영상이 동일하지 않을 경우에 상기 촬영영상 내 위험요소가 존재하는 것으로 판단한다(S30).
상기 관제서버(200)는 상기 촬영영상에 위험요소가 존재하는 것으로 판단하였을 경우에 상기 촬영영상을 정규화하여 이미지로 변환한 후 상기 변환된 이미지에 상기 스마트팩토리의 업종에 따른 딥러닝 모델을 적용하여 모델링 및 유효성 검사한다(S40).
상기 관제서버(200)에서 상기 유효성 검사한 이미지에 객체 탐지 기술을 이용하여 위험요소 객체를 추출한다(S50). 상기 추출된 위험요소 객체는 준지도 학습을 기반으로 식별한다(S60).
상기 관제서버(200)에서 상기 식별된 위험요소 객체에 대한 결과정보를 생성하여 해당 관리자기기(300)로 전송한다(S70).
상기 관리자기기(300)는 수신받은 결과정보를 디스플레이하여 관리자에게 알림한다(S80).
상기와 같이 제어되는 스마트팩토리 위험요소 탐지시스템은, 스마트팩토리 내부를 촬영한 영상을 모니터링하면서 이미지 객체 탐지를 통해 상기 영상 속 스마트팩토리 내부의 위험요소를 추출하여 담당자에게 알람할 수 있어 스마트팩토리 내에 발생할 수 있는 안전사고를 미연에 방지할 수 있게 되며, 스마트팩토리의 원활한 제조 및 운영을 지원할 수 있는 효과가 있다.
또한, 동종 및 유사한 스마트팩토리 간의 호환이 가능하도록 하여 스마트팩토리를 적용하는데 소요되는 비용을 절감시켜줄 수 있어 중소기업의 스마트팩토리에도 적용할 수 있어 생산성을 향상시키고 효율적으로 운영할 수 있도록 도움을 줄 수 있게 된다.
앞에서 설명되고, 도면에 도시된 본 발명의 실시 예들은 본 발명의 기술적 사상을 한정하는 것으로 해석되어서는 안 된다. 본 발명의 보호범위는 청구범위에 기재된 사항에 의하여만 제한되고, 본 발명의 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 다양한 형태로 개량 변경하는 것이 가능하다. 따라서 이러한 개량 및 변경은 통상의 지식을 가진 자에게 자명한 것인 경우에는 본 발명의 보호범위에 속하게 될 것이다.
100: 카메라 200: 관제서버
201: 딥러닝 모델DB부 202: 서버통신부
203: 스마트팩토리DB부 204: 수집부
205: 딥러닝 모델추출부 206: 위험요소판단부
207: 데이터처리부 208: 위험요소추출부
209: 위험요소식별부 210: 위험요소알림부
211: 전이학습부 300: 관리자자기기
301: 관리자통신부 302: 스마트팩토리정보부
303: 결과정보저장부 304: 디스플레이부
305: 제어부

Claims (3)

  1. 미리 카메라정보가 저장되면서 스마트팩토리 내부를 촬영하여 촬영영상을 생성하기 위한 카메라(100)와, 상기 카메라(100)로부터 수신받은 촬영영상과 미리 저장된 정상영상을 비교하여 상기 스마트팩토리 내부의 위험요소 존재여부를 판단하고, 객체 탐지를 통해 상기 촬영영상의 위험요소 객체를 추출한 후 준지도 학습을 기반으로 상기 식별된 위험요소 객체에 대한 결과정보를 생성하기 위한 관제서버(200)와, 상기 관제서버(200)로부터 결과정보를 수신받아 상기 스마트팩토리 내부의 위험요소를 알람하기 위한 관리자기기(300)를 포함하고,
    상기 관제서버(200)는, 상기 스마트팩토리의 업종과 카메라정보가 포함된 스마트팩토리정보가 미리 저장되며, 미리 분류된 스마트팩토리의 업종별 딥러닝 모델 중에서 상기 스마트팩토리의 업종에 대응되는 딥러닝 모델을 추출하여, 상기 결과정보를 이용하여 상기 추출된 딥러닝 모델을 업데이트하는 스마트팩토리 위험요소 탐지시스템.
  2. 청구항 1에 있어서,
    상기 관제서버(200)는, 미리 분류된 스마트팩토리의 업종별로 딥러닝 모델이 저장된 딥러닝 모델DB부(201)와, 상기 카메라(100) 및 상기 관리자기기(300)와 통신하기 위한 서버통신부(202)와, 상기 서버통신부(202)를 통해 관리자기기(300)로부터 수신받은 스마트팩토리의 업종, 카메라정보, 관리자정보를 포함한 스마트팩토리정보가 저장된 스마트팩토리DB부(203)와, 상기 서버통신부(202)를 통해 상기 카메라(100)로부터 카메라정보 및 촬영영상을 수신받아 수집하기 위한 수집부(204)와, 상기 수신받은 카메라정보에 대응되는 스마트팩토리의 업종에 따라 상기 딥러닝 모델DB부(201)에서 딥러닝 모델을 추출하기 위한 딥러닝 모델추출부(205)와, 상기 수집부(204)에서 수집된 촬영영상과 미리 저장된 정상영상을 비교하여 상기 촬영영상에 위험요소가 존재하는지 판단하기 위한 위험요소판단부(206)와, 상기 위험요소판단부(206)에서 위험요소 존재로 판단된 촬영영상 데이터를 정규화한 후 상기 정규화된 촬영영상을 이미지로 변환하고, 상기 변환된 이미지를 상기 추출된 딥러닝 모델을 적용하여 머신러닝의 모델링과 유효성 검증하기 위한 데이터처리부(207)와, 상기 데이터처리부(207)에서 유효성 검증된 이미지에 객체 탐지를 통해 상기 이미지 중 위험요소 객체를 추출하기 위한 위험요소추출부(208)와, 상기 추출된 위험요소 객체의 이미지를 수신받아 준지도 학습을 기반으로 상기 위험요소 객체를 식별하기 위한 위험요소식별부(209)와, 상기 위험요소식별부(209)를 통해 식별된 위험요소 객체의 정보를 포함한 결과정보를 생성하여 해당 관리자기기(300)로 전송하기 위한 위험요소알림부(210)와, 상기 결과정보를 통해 전이학습하여 해당 스마트팩토리의 업종에 대응되는 딥러닝 모델을 업데이트하기 위한 전이학습부(211)를 포함하는 스마트팩토리 위험요소 탐지시스템.
  3. 스마트팩토리 내부에 설치된 카메라(100)를 통해 상기 스마트팩토리의 내부를 촬영하여 촬영영상을 생성하는 촬영단계와,
    상기 카메라(100)로부터 촬영영상을 수신받은 관제서버(200)에서 상기 촬영영상을 저장하는 촬영영상수집단계와,
    상기 관제서버(200)에서 상기 촬영영상과 미리 저장된 정상영상을 비교하여 상기 촬영영상의 위험요소 존재여부를 판단하는 위험요소판단단계와,
    상기 관제서버(200)에서 상기 촬영영상에 위험요소가 존재하는 것으로 판단하였을 경우에 상기 촬영영상을 정규화하여 이미지로 변환한 후 딥러닝 모델을 적용하여 모델링 및 유효성 검사하는 데이터처리단계와,
    상기 관제서버(200)에서 상기 유효성 검사한 이미지에 객체 탐지하여 위험요소 객체를 추출하는 위험요소추출단계와,
    상기 관제서버(200)에서 준지도 학습을 기반으로 상기 추출된 위험요소 객체를 식별하는 위험요소식별단계와,
    상기 관제서버(200)에서 상기 식별된 위험요소 객체에 대한 결과정보를 생성하여 상기 스마트팩토리를 제어하기 위한 관리자기기(300)로 전송하는 위험요소알림단계와,
    상기 관리자기기(300)에서 수신받은 결과정보를 디스플레이하는 디스플레이단계를 포함하는 스마트팩토리 위험요소 탐지시스템의 제어방법.


KR1020200109225A 2020-08-28 2020-08-28 스마트팩토리 위험요소 탐지시스템 KR102416751B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200109225A KR102416751B1 (ko) 2020-08-28 2020-08-28 스마트팩토리 위험요소 탐지시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109225A KR102416751B1 (ko) 2020-08-28 2020-08-28 스마트팩토리 위험요소 탐지시스템

Publications (2)

Publication Number Publication Date
KR20220028347A true KR20220028347A (ko) 2022-03-08
KR102416751B1 KR102416751B1 (ko) 2022-07-06

Family

ID=80812645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109225A KR102416751B1 (ko) 2020-08-28 2020-08-28 스마트팩토리 위험요소 탐지시스템

Country Status (1)

Country Link
KR (1) KR102416751B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117176922A (zh) * 2023-10-31 2023-12-05 安徽三禾一信息科技有限公司 一种基于物联网的智慧火电厂监测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180012613A (ko) * 2016-07-27 2018-02-06 주식회사 바이테크 스마트 팩토리 작업환경 관제시스템
KR20200088682A (ko) * 2019-01-15 2020-07-23 삼성전자주식회사 전자 장치 및 이의 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180012613A (ko) * 2016-07-27 2018-02-06 주식회사 바이테크 스마트 팩토리 작업환경 관제시스템
KR20200088682A (ko) * 2019-01-15 2020-07-23 삼성전자주식회사 전자 장치 및 이의 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117176922A (zh) * 2023-10-31 2023-12-05 安徽三禾一信息科技有限公司 一种基于物联网的智慧火电厂监测方法及系统
CN117176922B (zh) * 2023-10-31 2023-12-29 安徽三禾一信息科技有限公司 一种基于物联网的智慧火电厂监测方法及系统

Also Published As

Publication number Publication date
KR102416751B1 (ko) 2022-07-06

Similar Documents

Publication Publication Date Title
CN106845890B (zh) 一种基于视频监控的仓储监控方法及装置
CN101329804B (zh) 安全设备及系统
US10901834B2 (en) Interactive troubleshooting assistant
CN111310947A (zh) 基于5g的建筑设施运维方法、设备、存储介质及系统
US20220284366A1 (en) Method and system for managing a crane and/or construction site
KR101869697B1 (ko) 사물인터넷을 이용한 발전소 관리시스템 및 방법
KR102219809B1 (ko) 영상 분석을 통한 안전작업관리 시스템
KR102416751B1 (ko) 스마트팩토리 위험요소 탐지시스템
CN112528860A (zh) 基于图像识别的安全工器具管理方法及系统
US20200293877A1 (en) Interactive assistant
CN117808265A (zh) 企业项目生产信息动态显示提醒方法、装置、设备及介质
CN111738182B (zh) 基于图像识别的身份验证方法、装置、终端及存储介质
CN116863288A (zh) 基于深度学习的目标检测和报警方法、装置及设备
CN113705988B (zh) 一种监理人员绩效管理方法、系统、存储介质及智能终端
CN115953815A (zh) 基建现场的监测方法及装置
US11320809B2 (en) Factory management system and control system
KR102279334B1 (ko) 존마스터를 이용한 산업공정용 iot 및 비iot 모듈의 그룹운영기반 스마트 팩토리 시스템 및 그 운영 방법
CN111126326A (zh) 一种基于图像识别技术的起重机配重自动识别系统及方法
KR20210049705A (ko) 음식물 쓰레기를 모니터링하기 위한 시스템 및 방법
CN111583215A (zh) 损伤图像智能定损方法、装置、电子设备及存储介质
CN112083693A (zh) 基于物联网技术的涂料生产线信息化管理系统
KR101907445B1 (ko) 원격 자산 관리시스템
KR102449823B1 (ko) 건설 현장의 이미지 태깅 방법 및 이를 수행하는 서버 및 시스템
CN108513101A (zh) 基于脚步识别的现场枪体分析系统
CN117557968B (zh) 监控方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right