KR20200006230A - 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템 - Google Patents

스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템 Download PDF

Info

Publication number
KR20200006230A
KR20200006230A KR1020180079693A KR20180079693A KR20200006230A KR 20200006230 A KR20200006230 A KR 20200006230A KR 1020180079693 A KR1020180079693 A KR 1020180079693A KR 20180079693 A KR20180079693 A KR 20180079693A KR 20200006230 A KR20200006230 A KR 20200006230A
Authority
KR
South Korea
Prior art keywords
image data
smart terminal
data
server
machine learning
Prior art date
Application number
KR1020180079693A
Other languages
English (en)
Inventor
배현섭
오승욱
최성욱
Original Assignee
슈어소프트테크주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 슈어소프트테크주식회사 filed Critical 슈어소프트테크주식회사
Priority to KR1020180079693A priority Critical patent/KR20200006230A/ko
Publication of KR20200006230A publication Critical patent/KR20200006230A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/027—Alarm generation, e.g. communication protocol; Forms of alarm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Factory Administration (AREA)

Abstract

본 발명의 실시예에 따른 스마트 단말의 작업 공정 이상 부문 판별 방법은, 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하는 단계, 기 촬영된 영상 데이터를 기계 학습이 수행된 학습 모델에 적용하여 생성된 표준행동데이터를 서버로부터 수신하는 단계, 상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하는 단계 및 상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별하는 단계를 포함할 수 있다.

Description

스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템{SMART TERMINAL AND ERROR PART DETECTING METHOD REGARDING WORKING PROCESS IN THE SMART TERMINAL, AND WORKING PROCESS AUTOMATIC RECORDIMG SERVER USING MACHINE LEARNING ALGORITHEM AND WORKING PROCESS AUTOMATIC RECORDIMG METHOD BY USING THE MACHINE LEARNING ALGORITHEM, AND, DATA COMMUNICATING SYSTEM BETWEEN THE SMART TERMINAL AND THE SERVER}
본 발명은 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템에 관한 것으로, 보다 구체적으로, 영상을 기계 학습하여 표준데이터를 생성하고, 이를 기초로 실시간 촬영된 영상의 이상 유무를 판별하여, 작업 공정의 이상 부분을 검출하고 수정하기 위해 구현된, 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템에 관한 것이다.
일반적으로, 생산현장은 제품의 가공 또는 조립이 이루어지는 복수의 생산라인에서 작업자에 의해 수행되는 각각의 공정을 거쳐 최종적인 제품으로 완성되도록 분업화되어 있다. 이러한, 종래의 생산현장에서는 각각의 생산라인에서 이루어지는 공정의 난이도, 효율성 및 제품의 생산현황을 파악하고 각각의 공정을 수행하는 작업자를 관리 및 감독하여, 공정 및 인력 재배치, 개선 사항의 분석, 개선 대책의 수립, 생산성 향상 기반의 조성 등을 수행하기 위한 관리자가 배치되게 된다.
종래의 생산현장에서 관리자는 각각의 생산라인별 및 작업자별로 수작업으로 노트에 기재하거나 문서화하여, 생산라인별 생산 효율 및 작업자별 업무 효율을 산출 및 분석하고 있다.
그러나, 이러한 수동 기재는 사람이 일일이 기록하게 되므로, 기록 내용에 오류가 생길 수 있으며, 매우 시간이 많이 걸려 불편하다는 문제점이 있었다.
더불어, 종래의 생산현장은 생산된 제품에 품질문제가 발생하였을 경우 관리자가 품질문제가 발생된 공정 또는 품질문제를 발생시킨 작업자를 확인하기 어려우므로, 동일한 작업자 또는 공정에 의해 품질문제의 발생이 반복되는 문제점이 있었다.
본 발명은 전술한 문제점을 해결하기 위해 도출된 것으로, 작업 공정의 자동 기록을 목적으로 한다.
또한, 반복되는 작업 공정상의 오류를 검출하여, 불량품의 양산을 막고, 정확한 수량의 물품이 생산되도록 하는 데에 그 목적이 있다.
그리고, 머신 러닝 알고리즘을 기반으로 생성된 표준행동데이터를 이용하여 작업자의 작업 공정 상의 이상 유무를 판별할 수 있으므로, 보다 빠르고 정확하게 작업 공정의 이상 유무를 판별할 수 있도록 하는 데에 그 목적이 있다.
본 발명의 실시예에 따른 스마트 단말의 작업 공정 이상 부문 판별 방법은, 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하는 단계, 기 촬영된 영상 데이터를 기계 학습이 수행된 학습 모델에 적용하여 생성된 표준행동데이터를 서버로부터 수신하는 단계, 상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하는 단계 및 상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별하는 단계를 포함할 수 있다.
실시예에 따라, 상기 매칭율이 소정의 임계치 미만이라고 판단하는 경우, 알람을 발생시키는 단계를 더 포함할 수 있다.
실시예에 따라, 상기 현 영상 데이터 및 상기 기 촬영된 영상 데이터 중 적어도 하나는, 상기 작업자의 작업 행동 데이터, 물품에 부착된 식별정보, 공장 설비, 작업 도구 등에 관련된 데이터를 포함할 수 있다.
본 발명의 다른 실시예에 따른 스마트 단말은, 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하는 촬영부, 기 촬영된 영상 데이터를 기계 학습이 수행된 학습 모델에 적용하여 생성된 표준행동데이터를 서버로부터 수신하는 통신부 및 상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하고, 상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별하는 프로세서를 포함할 수 있다.
본 발명의 다른 실시예에 따라 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법은, 스마트 단말로부터 작업자의 작업 공정과 관련되어 촬영된 영상 데이터를 수신하는 단계 및 상기 영상 데이터를 입력 데이터로 하는 학습 모델을 기초로 기계 학습을 수행하고, 상기 출력되는 영상 데이터를 상기 기계 학습이 수행된 학습 모델에 적용하여 출력되는 행동데이터를 기초로 표준행동데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버는, 스마트 단말로부터 작업자의 작업 공정과 관련되어 촬영된 영상 데이터를 수신하는 인터페이스부 및 상기 영상 데이터를 입력 데이터로 하는 학습 모델을 기초로 기계 학습을 수행하고, 상기 출력되는 영상 데이터를 상기 기계 학습이 수행된 학습 모델에 적용하여 출력되는 행동데이터를 기초로 표준행동데이터를 생성하는 제어부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템은, 상기 스마트 단말로부터 작업자의 작업 공정과 관련되어 촬영된 영상 데이터를 수신하고, 상기 영상 데이터를 입력 데이터로 하는 학습 모델을 기초로 기계 학습을 수행하며, 상기 출력되는 영상 데이터를 상기 기계 학습이 수행된 학습 모델에 적용하여 출력되는 행동데이터를 기초로 표준행동데이터를 생성하는 서버 및 상기 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하고, 상기 표준행동데이터를 상기 서버로부터 수신하며, 상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하고, 상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별하는 스마트 단말을 포함할 수 있다.
본 발명의 다른 실시예에 따른 스마트 단말 및 작업 공정 자동 기록 서버간 데이터 통신 방법은, 상기 스마트 단말에서, 상기 서버로 작업자의 작업 공정과 관련되어 촬영된 영상 데이터를 송신하는 단계, 상기 서버에서, 상기 영상 데이터를 입력 데이터로 하는 학습 모델을 기초로 기계 학습을 수행하며, 상기 출력되는 영상 데이터를 상기 기계 학습이 수행된 학습 모델에 적용하여 출력되는 행동데이터를 기초로 표준행동데이터를 생성하는 단계, 상기 서버에서, 상기 표준행동데이터를 상기 스마트 단말로 전송하는 단계, 상기 스마트 단말에서, 상기 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하는 단계 및 상기 스마트 단말에서, 상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하고, 상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 작업자 및 공장 설비들을 촬영하여 영상 결과를 분석하고 불량이 발생하지 않도록 한다.
본 발명의 실시예에 따르면, 서버에서 학습 모델을 이용해 머신 러닝 알고리즘으로 표준행동데이터를 생성하고, 스마트 단말에서 머신 러닝 알고리즘 수행으로 생성된 표준행동데이터를 이용하여 작업자의 작업 공정 상 이상 유무를 판별할 수 있으므로, 보다 빠르고 정확하게 작업 공정의 이상 유무를 판별할 수 있게 된다.
본 발명의 실시예에 따르면, 불량품을 양산하는 것을 예방함과 동시에, 정확한 수치의 물품이 양산될 수 있다.
본 발명의 실시예에 따르면, 작업 공정을 수시로 자동으로 기록함으로써, 과거의 수동 기록에 따른 불편함을 없애고, 보다 빠른 기록이 수행될 수 있게 된다.
도 1은 본 발명의 실시예에 따른 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템을 기술하기 위해 참조되는 도면
도 2는 본 발명의 실시예에 따른 스마트 단말 및 작업 공정 자동 기록 서버의 구성을 나타내는 블록도
도 3은 본 발명의 실시예에 따른 스마트 단말 및 작업 공정 자동 기록 서버간 데이터 통신 방법에 대한 순서도
도 4는 서버에서 영상 데이터를 학습 모델에 적용하여 표준행동데이터를 획득하는 과정을 설명하기 위해 참조되는 도면
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 첨부되는 도면을 참조하여 본 발명의 실시예에 따른 스마트 단말(100) 및 작업 공정 자동 기록 서버(200)간 통신 시스템(1)에 대해 기술한다.
도 1 및 도 2는 본 발명의 실시예에 따른 스마트 단말(100) 및 작업 공정 자동 기록 서버(200)간 통신 시스템(1)을 기술하기 위해 참조되는 도면이다.
도 1에 도시한 바와 같이, 사출 공장에서의 공정은 사출 성형기에 의한 제품 생산 -> 제품에 색깔을 입히는 증착 공정 -> 조립 공정 등으로 진행되고, 조립 공정은 다시 세분화해서 나사 조립, LED 조립 등을 통해 수행될 수 있다.
이 때, 작업자의 작업 공정이 수행되면서, 불량품이 생산되거나 미리 계획했던 수량의 제품이 생산되지 않는 등의 오류가 발생할 수 있으므로, 이를 예방하기 위해 작업자의 작업 공정을 모니터링할 필요가 있다.
이를 위하여, 작업자의 각 작업 공정을 스마트 단말(100)을 이용해 모니터링하고, 각 모니터링 결과를 서버(200)로 전송하여 관리할 수 있다.
도 1과 같은, 사출 공장에서 작업 공정 수행시, 복수의 스마트 단말(100a 내지 100d)이 배치되어 작업 공정을 촬영할 수 있다. 예를 들어, 제1 스마트 단말(100a)에서 제품 생산 공정을 촬영한다면, 제2 스마트 단말(100b)에서 증착 공정을 촬영할 수 있다.
구체적으로, 서버(200)의 관리자 프로그램에서 1개의 공정(예> 생산 공정)을 선택하고, 스마트 단말(100a)을 선택하면, 스마트 단말(100a)에서 공정에 해야 할 행동들을 촬영하고, 촬영 영상을 수신하여 서버(200)에서 머신러닝으로 학습을 수행할 수 있다. 머신러닝을 통하여 영상으로부터 표준행동데이터를 생성하면, 선택된 스마트 단말(100a)에 표준행동데이터를 전송하게 된다. 그리고, 스마트 단말(100a)은 전송받은 표준행동데이터를 기준으로 행동매치율을 산출하고, 행동매치율, 행동명등은 서버(200) 데이터베이스에 저장된다. 동시에, 이상 행동으로 판별되면, 알람을 발생하여 작업자의 작업에 제동을 걸 수 있게 된다.
이로서 불량품을 양산하는 것을 예방할 수도 있고, 정확한 수치의 물품이 양산될 수 있다. 또한, 작업 공정을 수시로 자동으로 기록함으로써, 과거의 수동 기록에 따른 불편함을 없애고, 보다 빠른 기록이 수행될 수 있게 된다. 그리고, 머신 러닝 알고리즘을 기반으로 표준행동데이터를 생성하여 정확한 데이터 생성이 가능해진다.
도 2는 본 발명의 실시예에 따른 스마트 단말(100) 및 작업 공정 자동 기록 서버(200)의 구성을 나타내는 블록도이다.
도 2에 도시한 바와 같이, 본 발명의 실시예에 따른 스마트 단말(100)은 소정의 운영체제에 의해 구동되고, 소프트웨어의 설치 및 편집이 가능한 장치로서, 소정의 프로그램 모듈 또는 하드웨어들을 포함한다. 메모리(170)를 구비하고 프로세서를(150)를 탑재하여 연산 능력을 갖춘 기기라면 얼마든지 본 발명의 실시예에 따른 스마트 단말(100)로 구현될 수 있다. 특히, 촬영된 영상 정보를 가공/제어하여 저장하고, 제어 결과에 따라 알람을 발생시킬 수 있는 장치로, 스마트 카메라, 스마트폰, 태블릿 등을 포함할 수 있다.
본 발명의 실시예에 따른 스마트 단말(100)은, 촬영부(110), 프로세서(150), 통신부(160), 메모리(170), 및 알람부(180)를 포함할 수 있다. 만일, 스마트 카메라가 스마트 단말(100)로 구현되는 경우, 모터부(120), 구동드라이버부(130), 및 OSD부(140)를 더 포함할 수 있다.
본 발명의 경우, 스마트 단말(100)로 스마트 카메라를 예시하여 기술되나, 본 발명의 권리범위가 이에 제한되지 않는다.
스마트 카메라는, 반구형 프레임에 위치되고, 다시점 영상획득제어모듈의 제어신호에 따라 구동되어, 모터를 이용해 전기적 팬(Pan : 수평방향), 틸트(Tilt : 수직 방향), 줌(Zoom : 광학적 줌 배율) 조정을 하면서 촬영 대상물을 초광각렌즈를 통해 다시점 영상(Multiview)으로 촬영한 후, 근거리 통신망으로 연결된 서버(200)에 촬영한 다시점 영상을 전송시키는 역할을 할 수 있다.
촬영부(110)는 생산현장의 생산라인에서 물품의 가공/조립 등을 수행하는 작업자 또는 작업 공정 등의 촬영대상물을 촬영하여 이미지 영상을 획득하는 것으로, 이미지 센서, 초광각렌즈 등을 포함할 수 있다. 초광각렌즈는 스마트 카메라 본체의 선단 헤드부에 위치하여, 120도~170도의 화각을 갖으면서, 촬영대상물을 촬영한다. 이는, 줌 기능이 없는 고정형, 수동 줌, 전동 줌 중 어느 하나가 선택되어 구성될 수 있다. 촬영대상물과의 거리에 따라 초광각렌즈의 초점이 맞지 않을 수 있으므로 초점조절형 구동 모터로 초광각렌즈를 움직여 초점을 조절하는 오토 포커스(Auto Focus)기능이 부가되어 구성될 수도 있다.
실시예에 따라, 촬영부(110)는 생산라인의 관리자가 리모트 컨트롤러를 이용하여 이동 또는 촬영을 수행하도록 동작시키거나, 기 설정된 설정 조건에 따라 자동으로 이동 또는 촬영을 수행하도록 구비될 수 있다.
모터부(120)는 초광각렌즈의 후단 일측에 연결되어 초광각렌즈를 움직여 원하는 팬 및 틸트 각도로 구동시키는 역할을 한다. 이는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성될 수 있다.
구동 드라이버부(130)는 프로세서(150)의 제어신호에 따라 구동되어, 카메라본체의 전기적 팬(Pan : 수평방향), 틸트(Tilt : 수직 방향), 줌(Zoom : 광학적 줌 배율)을 조정시킨다.
OSD부(On Screen Display, 140)는 프로세서(150)로부터 메뉴나 정보를 전달받아 내장된 폰트로 디스플레이시키는 역할을 한다. 이는 클라이언트가 선택할 수 있는 설정 메뉴나 시간, 위치, 경보 상태 등과 같은 정보들을 비디오 신호에 오버레이시켜 표시하도록 구성된다.
프로세서(150)는 촬영부(110), 모터부(120), 구동 드라이버부(130) 등 본 발명의 각 구성요소와 연결되어 각 기기의 전반적인 동작을 제어한다.
특히, 본 발명의 실시예에 따라, 프로세서(150)는 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하고, 기 촬영된 영상 데이터를 기계 학습이 수행된 학습 모델에 적용하여 생성된 표준행동데이터를 서버로부터 수신하며, 상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하고, 상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별할 수 있다.
통신부(160)는 스마트 단말(100)과 서버(200)를 유/무선 통신망으로 연결시켜, 스마트 단말(100)에서 생성된 영상을 서버(200)로 전송시키고, 서버(200)에서 획득된 표준행동데이터를 스마트 단말(100)에서 수신하도록 한다. 무선 통신으로, 예를 들어, WIFI, 블루투스, 적외선 통신, 지그비 통신 등의 근거리 통신을 이용하거나, 실시예에 따라 원거리 통신망을 이용할 수도 있다.
메모리(170)는 프로세서(150)에 의한 처리 결과나 서버(200)로부터 수신한 데이터를 저장한다. 본 발명의 실시예에 따라, 서버(200)에서 생성된 표준행동데이터, 실시간 촬영된 현 영상 데이터 등을 저장할 수 있다.
알람부(180)는 프로세서(150)의 처리 결과를 바탕으로, 경고음을 발생할 수 있다. 또는, OSD부(140)와 함께 경고 이미지를 출력할 수도 있다. 본 발명의 경우, 현 영상 데이터와 표준행동데이터의 매칭율의 소정의 임계치 미만인 경우, 알람부(180)는 알람을 발생시킬 수 있다.
본 발명의 실시예에 따른 서버(200)는 인터페이스부(210), 제어부(220), 및 저장부(230)를 포함할 수 있다.
서버(200)는 관리자 프로그램을 포함하여, 관리자 모드 상에서 구현될 수 있다. 별도의 모니터(미도시)를 포함하여, 관리자 프로그램이 구동된 결과를 실시간 확인할 수 있다. 서버(200)는 작업자별 업무 효율, 생산라인별 생산 효율, 생산라인에서 가공/조립되는 제품의 생산수량, 부적합 제품의 발생현황, 부적합 제품을 가공/조립한 작업자에 대한 정보를 산출하여 별도의 데이터베이스로 관리할 수 있다.
인터페이스부(210)는 스마트 단말(100)과 서버(200)를 유/무선 통신망으로 연결시켜, 스마트 단말(100)에서 생성된 영상을 서버(200)에서 수신하도록 하고, 서버(200)에서 획득된 표준행동데이터를 스마트 단말(100)로 전송하도록 한다. 무선 통신으로, 예를 들어, WIFI, 블루투스, 적외선 통신, 지그비 통신 등의 근거리 통신을 이용하거나, 실시예에 따라 원거리 통신망을 이용할 수도 있다.
제어부(220)는 인터페이스부(210) 및 저장부(230)와 연결되어, 각 구성요소를 제어한다. 본 발명의 실시예에 따라, 인터페이스부(210)가 스마트 단말(100)로부터 작업자의 작업 공정과 관련되어 촬영된 영상 데이터를 수신하면, 상기 영상 데이터를 입력 데이터로 하는 학습 모델(221)을 기초로 기계 학습을 수행하고, 상기 출력되는 영상 데이터를 상기 기계 학습이 수행된 학습 모델(221)에 적용하여 출력되는 행동데이터를 기초로 표준행동데이터를 생성할 수 있다.
저장부(230)는 제어부(220)에 의한 처리 결과나 스마트 단말(100)로부터 수신한 데이터를 저장한다. 본 발명의 실시예에 따라, 서버(200)에서 생성된 표준행동데이터, 스마트 단말(100)로부터 수신한 실시간 촬영된 현 영상 데이터 등을 저장할 수 있다.
도 3은 본 발명의 실시예에 따른 스마트 단말(100) 및 작업 공정 자동 기록 서버(200, 이하 서버라 한다)간 데이터 통신 방법에 대한 순서도 이다.
도 3에 도시한 바와 같이, 본 발명의 실시예에 따른 스마트 단말(100) 및 서버(200)간 데이터 통신 방법에 따르면, 먼저, 스마트 단말(100)은 작업자의 작업 공정과 관련된 영상 데이터를 생성한다(s100). 스마트 단말(100)은 복수의 스마트 단말(100a 내지 100d) 중 서버(200) 관리자에 의해 선택된 스마트 단말(이하, 100a라 한다)일 수 있다. 즉, 선택된 스마트 단말(100a)은 서버(200)에 포함된 관리 프로그램과 연계되어 서버(200)에서 표준행동데이터를 생성하기 위해 지정된 단말일 수 있다. 또한, 작업자의 작업 공정은 복수의 작업 공정 중 관리자에 의해 선택된 작업 공정일 수 있다. 실시예에 따라, 스마트 단말(100) 및/작업 공정은 하나 또는 복수개로 선택될 수 있다. 스마트 단말(100a)은 서버(200)로부터 촬영 명령을 수신하여, 작업자의 작업 공정을 촬영하여 영상 데이터를 생성한다. 작업자의 작업 공정 촬영은 작업자의 외관(얼굴 등), 작업자의 작업 행동, 물품에 부착된 바코드, 공장 설비, 작업자의 작업 도구 등을 촬영하여 수행될 수 있다.
촬영부(110)는 생산라인에서 제품의 가공 또는 조립을 수행하는 작업자를 식별하여 작업자 또는 작업자의 작업 공정을 촬영할 수 있다. 이러한 촬영은 관리자에 의해 기 설정된 촬영 시간 동안 수행될 수 있다.
촬영부(110)는 작업자의 신체 부위를 인지하고, 프로세서(150)는 각 신체 부위별 움직임을 수치화하여 기록할 수 있다. 촬영부(110)는 모션 센서, 키넥트 센서(Kinect sensor)를 포함하여 구현될 수 있다. 프로세서(150)는 공장 설비나 작업자의 작업 도구 등을 학습하여 작업 도구명을 기록할 수 있다. 프로세서(150)는 작업 영상 기록시, 작업자가 들고 있는 도구명을 인지하고, 팔이 어떤 각도로 몇번이나 움직였는지 등의 구체적인 움직임을 기록할 수 있다. 그 밖에, 손목의 각도 변화와 횟수, 작업자의 시선의 변화, 작업자 머리 회전에 따른 각도 변화 등을 기록할 수 있다. 만일, 작업대에 특정 검사/측정기(미도시)가 있다면, 이의 동작도 함께 기록할 수도 있다. 그밖에, 촬영 영상을 통해 물품의 식별정보를 기록하는 것 이외에, 바코드 리더기(미도시), QR코드 리더기(미도시) 등을 통해 물품의 식별정보를 기록할 수도 있다.
생성된 영상 데이터 및/또는 물품의 식별정보는 통신부(160)를 통해 서버(200)로 전송되어, 서버(200)는 영상 데이터를 학습 모델(221)에 적용하여 표준행동데이터를 취득할 수 있다(s200). 영상 데이터를 학습 모델(221)에 적용하는 과정은, 머신 러닝 알고리즘에 기초하여 수행되며, 이에 대해서는 도 4를 참조하여 후술한다.
작업 이상을 검출하기 위한 스마트 단말(100)로부터의 데이터 전송 요청이 없더라도, 서버(200)는 표준행동데이터를 취득하기 위해, 평상시에 작업자들의 작업 공정이 촬영된 촬영 영상을 스마트 단말(100)로부터 수시로 수신할 수 있다. 이를 위하여, 스마트 단말(100)은 작업자의 작업 공정을 미리 수시로 촬영하여 저장할 수 있다.
서버(200)에서 생성된 표준행동데이터는 저장부(230)에 저장될 수 있다. 표준행동데이터는 인터페이스부(210)를 통해 스마트 단말(100)로 전송되어, 스마트 단말(100)의 메모리(170)에 저장될 수 있다.
스마트 단말(100)은 작업자의 작업 공정과 관련된 현 영상 데이터를 생성한다(s300). 표준행동데이터는 서버(200)로부터 수신한 데이터인 반면, 현 영상 데이터는 스마트 단말(100)에서 실시간 촬영된 영상 데이터이다. 현 영상 데이터는 작업자의 외관(얼굴 등), 작업자의 작업 행동, 물품에 부착된 바코드, 공장 설비, 작업자의 작업 도구 등을 촬영하여 생성될 수 있다.
현 영상 데이터와 표준행동데이터는 실시예에 따라 2D 이미지 또는 3D 이미지로 구현될 수 있다.
프로세서(150)는 현 영상 데이터와 표준행동데이터를 비교하여, 자동으로 매칭율을 산출할 수 있다(s400). 매칭율은 현 영상 데이터와 표준행동데이터가 얼마나 일치하는 가에 대한 수치적 판정 결과일 수 있다. 구체적으로, 매칭율은 각 영상에서 도출되는 작업자의 행동들이 얼마나 매칭되는지를 판단하기 위한 행동매칭율일 수 있다. 또는, 실시예에 따라, 작업자의 작업 순서가 기 정해진 매뉴얼에 따라 수행되었는지를 판별하기 위한 매칭율일 수도 있다.
매칭율이 산출되면, 프로세서(150)는 매칭율과 임계치를 비교하여, 매칭율이 소정의 임계치 미만인지 여부를 판단할 수 있다(s500). 임계치는 서버(200)의 관리자에 의해 미리 설정된 값으로, 서버(200)로부터 수신하여 메모리(170)에 기 저장된 값일 수 있다.
매칭율이 소정의 임계치 미만인 경우, 이는, 작업자의 작업 행동이 표준 행동을 따르고 있지 않다고 판단하여, 알람을 발생시킬 수 있다(s600). 반면, 매칭율이 소정의 임계치 이상이라면, 이는 작업자가 표준 행동 범위 안에서 작업을 수행하고 있다고 판단하여, 계속 작업자의 작업 공정과 관련된 다음 영상 데이터를 생성한다.
알람은 알람부(180) 또는 OSD부(140)를 통해 경고음, 표시 램프, 경고 이미지 등의 형태로 출력될 수 있다. 경고음이나 경고 이미지도 관리자에 의해 미리 설정될 수 있다. 실시예에 따라, 알람부(180)에 의한 알람이 출력되는 경우, 공장 설비의 동작이 자동으로 정지되도록 제어될 수 있다.
일 실시예에 따라, 서버(200)로부터 수신한 표준행동데이터를 스마트 단말(100)이 수신하여 메모리(170)에 기 저장되어 있는 상태에서, 스마트 단말(100)이 현 영상 데이터를 생성하여 현 영상 데이터와 표준행동데이터에 대한 비교 과정이 수행될 수 있다. 또는, 다른 실시예에 따라, 스마트 단말(100)이 현 영상 데이터를 생성하는 과정에서, 서버(200)로 표준행동데이터 전송을 요청하면, 서버(200)로부터 표준행동데이터를 수신하여 현 영상 데이터와의 비교 과정을 수행할 수도 있다.
스마트 단말(100)은 매칭율과 이상 여부에 대해 판단한 결과 리포트인 이상 상태 정보를 메모리(170)에 저장할 수 있다(s700).
그리고, 매칭율과 이상 상태 정보는 서버(200)로 전송되어, 관리자 데이터베이스에 매칭율과 이상 상태 정보를 기록할 수 있다(s800).
실시예에 따라, 매칭율과 이상 상태 정보는, 각 물품별 기록될 수 있으며, 각 물품의 바코드 정보와 함께 기록될 수 있다. 실시예에 따라, 바코드 정보 이외에, RFID, QR 코드등의 물품식별정보가 기록될 수도 있다. 또한, 각 물품식별정보를 기초로, 각 물품에 대한 작업자의 현 영상 데이터, 표준행동데이터, 작업일시(날짜, 시, 분, 초 등등)을 함께 기록할 수도 있다. 이 경우, 각 물품식별정보와 작업 일시가 소정의 아이디(ID)로 관리자 데이터베이스에 기록될 수 있다.
서버(200)에 저장된 매칭율, 이상 상태 정보, 현 영상 데이터, 표준행동데이터, 작업일시 등에 대한 정보는 저장부(230)에 저장되고, 실시예에 따라, 고객 단말(미도시, 외부 PC등)에서 원하는 경우, 인터넷을 통해 고객 단말로 전송되어, 고객 단말에서 상기 각 정보를 확인할 수도 있다.
도 3의 각 과정을, 나사 조립 공정을 예를 들어 설명한다.
작업자의 작업 공정 촬영은 작업자의 외관(얼굴 등), 작업자의 작업 행동, 물품에 부착된 바코드, 공장 설비, 작업자의 작업 도구 등을 촬영하여 수행될 수 있다. 예를 들어, 나사를 조립하는 공정이 있다고 한다면, 표준행동은 드릴을 드는 행동, 나사를 조이는 행동, 나사가 예를 들어 총 13개를 조여야 한다면 13개의 나사를 조였는지에 대한 행동 등이 표준 행동이 될 수 있다. 이런 행동들을 했는지 안했는지 스마트 단말(100a)이 촬영하고, 촬영 결과를 판단하고 분석하여 분석 결과를 서버(200)에 전송하는 것이다. 그리고 나사 조이는 공정(본 발명에서는 관리자에 의해 선택된 작업 공정일 수 있다)에서는, 나사의 조이는 힘 즉 토르크가 중요한데 스마트 단말(100a)이 토르크 단말기에 대한 숫자를 영상 인식하게 하여, 예를 들어 나사를 조일 때마다 1300 토르크 이상이 나오는지도 분석하여, 불량이 발생하지 않는 행동 및 상황을 판단하도록 할 수 있다. 서버(200)에서 작업 공정을 선택하고 스마트 단말(100a)을 선택하여, 토르크 기계를 스마트 단말(100a)에 비치게 한 후 관리자가 영상 촬영을 일시 정지 시킨 후, 토르크 머신의 숫자 영역이 표시되도록 한 후에 숫자의 범위를 정함으로써, 영상 분석 시 검사할 대상의 기계도 분석할 수 있도록 할 수 있는 것이다. 즉, 작업자의 작업 행동과 함께 작업자의 작업 도구도 촬영하여 표준행동데이터를 획득하는 데 이용할 수 있다.
즉, 스마트 단말(100a)에서 작업자 및 공장 설비들을 촬영하여 분석하고 불량이 발생하지 않도록 한다.
도 4는 서버(200)에서 영상 데이터를 학습 모델(221)에 적용하여 표준행동데이터를 획득하는 과정을 설명하기 위해 참조되는 도면이다.
도 2에 도시한 바와 같이, 제어부(220)는 영상 데이터를 기계 학습하기 위해서, 적어도 하나 이상의 학습 모델(221)을 갖는다.
구체적으로, 제어부(220)는 스마트 단말(100)로부터 제공되는 영상 데이터를 입력 데이터로 하는 학습 모델(221)을 기초로 기계 학습을 수행하고, 기계 학습 결과가 반영된 학습 모델(221)에 스마트 단말(100)로부터 출력되는 영상 데이터를 적용하여 표준행동데이터를 취득할 수 있다.
학습 모델(221)은 스마트 단말(100)로부터 제공되는 하나 또는 그 이상의 영상 데이터를 입력으로 하고, 작업자의 표준행동데이터를 출력하는 인공 신경회로망(이하, '신경망'이라 함.)일 수 있다. 도 4를 참조하여 신경망의 기본 구조를 설명한다.
도 4는 신경망의 기본 구조를 도시한다.
도 4를 참조하면, 신경망의 기본 구조는 입력층(input layer)과 출력층(output layer)을 포함한다. 입력층은 외부로부터 소정의 입력 데이터를 받아들이는 층이고, 출력층은 외부로 소정의 출력 데이터를 내는 층이다.
각각의 입력층과 출력층은 하나 또는 다수의 노드(node)를 포함한다. 입력층의 노드를 입력노드라 하고, 출력층의 노드를 출력노드라 한다. 입력층의 각 입력노드는, 도 2에 도시된 바와 같이, 출력층의 각 출력노드와 완전 연결(fully connected)될 수도 있고, 출력층의 일부 출력노드와 불완전 연결될 수도 있다.
출력층의 출력노드들 중 하나의 출력노드는 자신과 연결된 입력층의 입력노드(들)로부터 입력 데이터를 받아들이되, 소정의 변수(또는 가중치, w)를 곱하여 받아들인다. 그리고 하나의 출력노드는 받아들인 것들을 모두 합(가중합)한 후, 미리 설정된 활성화 함수를 통과시켜 소정의 출력 데이터를 출력한다.
하나의 출력노드는 활성화 함수를 갖는다. 활성화 함수는 계단 함수(step function), 부호 함수(sign function), 선형 함수(linear function), 로지스틱 시그모이드 함수(logistic sigmoid function), 하이퍼탄젠트 함수(hyper tangent function), ReLU 함수, 소프트맥스(softmax) 함수 중 어느 하나일 수 있다. 활성화 함수는 통상의 기술자라면 신경망의 학습 방법에 따라 적절히 결정될 수 있다.
신경망은 변수(w)를 반복적으로 적절한 값으로 갱신(또는 수정)하는 과정으로 기계 학습한다. 신경망이 기계 학습하는 방법에는 대표적으로 지도 학습과 비지도 학습이 있다.
지도 학습은 입력 데이터에 대해 임의의 신경망이 계산해내기를 바라는 목표 출력 데이터가 명확히 정해져 있는 상태에서, 상기 입력 데이터를 상기 신경망에 넣어서 얻은 출력 데이터를 상기 목표 데이터에 비슷해질 수 있도록 변수(w)를 갱신시키는 학습 방법이다. 지도 학습을 수행하는 대표적인 신경망에는 도 4에 도시된 바와 같은 단층 퍼셉트론과 다층 퍼셉트론이 있다. 여기서, 다층 퍼셉트론은 도 4에 도시된 입력층과 출력층 사이에 1개 이상의 은닉층을 더 갖는다. 은닉층은 하나 또는 다수의 은닉노드를 갖는다.
비지도 학습은 입력 데이터에 대해 임의의 신경망이 계산해내기를 바라는 목표 데이터가 정해져 있지 않고, 비슷한 입력 데이터에 대해서 일관된 출력 데이터를 내는 학습 방법이다. 비지도 학습을 수행하는 대표적인 신경망에는 자기조직화특징맵(SOM, Self-organizing feature map)과 볼쯔만머쉰(Boltzmann machine)이 있다.
다시, 도 2를 참조하면, 제어부(220)는 학습 모델(221)을 포함하고, 학습 모델(221)은 신경망을 포함한다.
학습 모델(221)이 도 4에 도시된 신경망일 경우, 스마트 단말(100)에서 제공되는 영상 데이터가 신경망의 입력층으로 입력된다. 여기서, 제공되는 영상 데이터의 개수는 입력층의 입력노드의 개수와 일대일 대응할 수 있다. 그리고, 출력층의 출력노드 각각은 서로 다른 행동데이터와 연관될 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 입력층의 4개의 입력노드 별로 제1 내지 제4 영상 데이터가 각각 입력되고, 출력층의 제1 출력노드의 출력 데이터는 제1 행동데이터, 제2 출력노드의 출력 데이터는 제2 행동데이터가 될 수 있다.
그리고, 표준행동데이터는 제1 행동데이터 또는 제2 행동데이터 중 서버(200) 관리자에 의해 채택된 것일 수 있다. 또는, 다른 실시예에 따라 제1 행동데이터 및 제2 행동데이터를 조합하여 새롭게 생성된 것일 수도 있다.
학습 모델(221)은 스마트 단말(100)에서 제공되는 하나 또는 그 이상의 영상 데이터를 이용하여 기계 학습을 수행한다. 기계 학습을 수행한다는 의미는 신경망의 변수를 갱신하는 과정이다.
구체적으로, 학습 모델(221)의 입력층의 입력노드들로 하나 또는 그 이상의 영상 데이터가 입력되면, 학습 모델(221)은 현재 셋팅된 변수를 이용하여 행동데이터에 대응되는 출력 데이터를 출력하고, 이와 함께, 학습 모델(221)은 출력되는 출력 데이터를 이용하여 현재 셋팅된 변수를 갱신한다. 셋팅된 변수의 갱신 과정이 기계 학습 과정이다. 그리고, 영상 데이터는 갱신된 변수로 구성된 학습 모델(221)에 적용되어 표준행동데이터를 산출하게 된다. 여기서, 학습 모델(221)이 지도 학습 방법에 따르면, 학습 모델(221)은 출력 데이터가 목표 데이터에 비슷해지도록 현재 셋팅된 변수를 갱신할 수 있다. 한편, 학습 모델(221)이 비지도 학습 방법에 따르면, 학습 모델(221)은 비슷한 영상 데이터들이 일관된 출력 데이터가 되도록 현재 셋팅된 변수를 갱신할 수 있다.
학습 모델(221)은 도 2에 도시된 신경망을 이용하였으나, 이에 한정되는 것은 아니며 학습 모델(221)의 신경망은 다층 퍼셉트론, 자기조직화특징맵, 볼쯔만머쉰 등 어느 하나로 구현될 수도 있고, 앞서 언급하지 않은 다른 신경망으로도 구현될 수 있다.
본 발명의 경우, 서버(200)에서 학습 모델(221)을 이용해 머신 러닝 알고리즘으로 표준행동데이터를 생성하고, 스마트 단말(100)에서 머신 러닝 알고리즘 수행으로 생성된 표준행동데이터를 이용하여 작업자의 작업 공정 상 이상 유무를 판별할 수 있으므로, 보다 빠르고 정확하게 작업 공정의 이상 유무를 판별할 수 있게 된다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하는 단계;
    기 촬영된 영상 데이터를 기계 학습이 수행된 학습 모델에 적용하여 생성된 표준행동데이터를 서버로부터 수신하는 단계;
    상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하는 단계; 및
    상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별하는 단계;를 포함하는,
    스마트 단말의 작업 공정 이상 부문 판별 방법.
  2. 제 1항에 있어서,
    상기 매칭율이 소정의 임계치 미만이라고 판단하는 경우, 알람을 발생시키는 단계;를 더 포함하는,
    스마트 단말의 작업 공정 이상 부문 판별 방법.
  3. 제 1항에 있어서,
    상기 현 영상 데이터 및 상기 기 촬영된 영상 데이터 중 적어도 하나는,
    상기 작업자의 작업 행동 데이터, 물품에 부착된 식별정보, 공장 설비, 작업 도구 등에 관련된 데이터를 포함하는,
    스마트 단말의 작업 공정 이상 부문 판별 방법.
  4. 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하는 촬영부;
    기 촬영된 영상 데이터를 기계 학습이 수행된 학습 모델에 적용하여 생성된 표준행동데이터를 서버로부터 수신하는 통신부; 및
    상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하고, 상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별하는 프로세서;를 포함하는,
    스마트 단말.
  5. 제 4항에 있어서,
    상기 매칭율이 소정의 임계치 미만이라고 판단하는 경우, 알람을 발생시키는 알람부;를 더 포함하는,
    스마트 단말.
  6. 제 4항에 있어서,
    상기 현 영상 데이터 및 상기 기 촬영된 영상 데이터 중 적어도 하나는,
    상기 작업자의 작업 행동 데이터, 물품에 부착된 식별정보, 공장 설비, 작업 도구 등에 관련된 데이터를 포함하는,
    스마트 단말.
  7. 스마트 단말로부터 작업자의 작업 공정과 관련되어 촬영된 영상 데이터를 수신하는 단계; 및
    상기 영상 데이터를 입력 데이터로 하는 학습 모델을 기초로 기계 학습을 수행하고, 상기 출력되는 영상 데이터를 상기 기계 학습이 수행된 학습 모델에 적용하여 출력되는 행동데이터를 기초로 표준행동데이터를 생성하는 단계;를 포함하는,
    머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법.
  8. 제 7항에 있어서,
    상기 영상 데이터는 상기 작업자의 작업 행동 데이터, 물품에 부착된 식별정보, 공장 설비, 작업 도구 등에 관련된 데이터를 포함하는,
    머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법.
  9. 스마트 단말로부터 작업자의 작업 공정과 관련되어 촬영된 영상 데이터를 수신하는 인터페이스부; 및
    상기 영상 데이터를 입력 데이터로 하는 학습 모델을 기초로 기계 학습을 수행하고, 상기 출력되는 영상 데이터를 상기 기계 학습이 수행된 학습 모델에 적용하여 출력되는 행동데이터를 기초로 표준행동데이터를 생성하는 제어부;를 포함하는,
    머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버.
  10. 제 9항에 있어서,
    상기 영상 데이터는 상기 작업자의 작업 행동 데이터, 물품에 부착된 식별정보, 공장 설비, 작업 도구 등에 관련된 데이터를 포함하는,
    머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버.
  11. 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템에 있어서,
    상기 스마트 단말로부터 작업자의 작업 공정과 관련되어 촬영된 영상 데이터를 수신하고, 상기 영상 데이터를 입력 데이터로 하는 학습 모델을 기초로 기계 학습을 수행하며, 상기 출력되는 영상 데이터를 상기 기계 학습이 수행된 학습 모델에 적용하여 출력되는 행동데이터를 기초로 표준행동데이터를 생성하는 서버; 및
    상기 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하고, 상기 표준행동데이터를 상기 서버로부터 수신하며, 상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하고, 상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별하는 스마트 단말;을 포함하는,
    스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템.
  12. 스마트 단말 및 작업 공정 자동 기록 서버간 데이터 통신 방법에 있어서,
    상기 스마트 단말에서, 상기 서버로 작업자의 작업 공정과 관련되어 촬영된 영상 데이터를 송신하는 단계;
    상기 서버에서, 상기 영상 데이터를 입력 데이터로 하는 학습 모델을 기초로 기계 학습을 수행하며, 상기 출력되는 영상 데이터를 상기 기계 학습이 수행된 학습 모델에 적용하여 출력되는 행동데이터를 기초로 표준행동데이터를 생성하는 단계;
    상기 서버에서, 상기 표준행동데이터를 상기 스마트 단말로 전송하는 단계;
    상기 스마트 단말에서, 상기 작업자의 작업 공정과 관련되어 촬영된 현 영상 데이터를 생성하는 단계; 및
    상기 스마트 단말에서, 상기 현 영상 데이터와 상기 표준행동데이터를 비교하여 자동으로 매칭율을 산출하고, 상기 매칭율을 기초로 상기 현 영상 데이터의 이상 여부를 판별하는 단계;를 포함하는,
    스마트 단말 및 작업 공정 자동 기록 서버간 데이터 통신 방법.
KR1020180079693A 2018-07-10 2018-07-10 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템 KR20200006230A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180079693A KR20200006230A (ko) 2018-07-10 2018-07-10 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180079693A KR20200006230A (ko) 2018-07-10 2018-07-10 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템

Publications (1)

Publication Number Publication Date
KR20200006230A true KR20200006230A (ko) 2020-01-20

Family

ID=69367725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180079693A KR20200006230A (ko) 2018-07-10 2018-07-10 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템

Country Status (1)

Country Link
KR (1) KR20200006230A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379247A (zh) * 2021-06-10 2021-09-10 鑫安利中（北京）科技有限公司 企业安全隐患追踪模型的建模方法及系统
KR20210153270A (ko) * 2020-06-10 2021-12-17 비전커넥트 주식회사 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법
KR102379655B1 (ko) 2021-09-03 2022-03-30 (주)천후 반도체 공정 진단 방법
KR20220044919A (ko) * 2020-01-21 2022-04-12 황형수 고객클레임 검증방법 및 장치
KR20220127474A (ko) * 2021-03-11 2022-09-20 임정택 자동화 공정 이상상태 모니터링 및 제어 시스템 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220044919A (ko) * 2020-01-21 2022-04-12 황형수 고객클레임 검증방법 및 장치
KR20210153270A (ko) * 2020-06-10 2021-12-17 비전커넥트 주식회사 인공 지능 기반의 이미지 인식을 이용한 물류 피킹 감시 시스템 및 그의 처리 방법
KR20220127474A (ko) * 2021-03-11 2022-09-20 임정택 자동화 공정 이상상태 모니터링 및 제어 시스템 및 방법
CN113379247A (zh) * 2021-06-10 2021-09-10 鑫安利中（北京）科技有限公司 企业安全隐患追踪模型的建模方法及系统
CN113379247B (zh) * 2021-06-10 2024-03-29 锐仕方达人才科技集团有限公司 企业安全隐患追踪模型的建模方法及系统
KR102379655B1 (ko) 2021-09-03 2022-03-30 (주)천후 반도체 공정 진단 방법

Similar Documents

Publication Publication Date Title
KR20200006230A (ko) 스마트 단말 및 스마트 단말에서의 작업 공정 이상 부분 판별 방법 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 서버 및 머신러닝 알고리즘을 이용한 작업 공정 자동 기록 방법, 그리고, 스마트 단말 및 작업 공정 자동 기록 서버간 통신 시스템
US20200336706A1 (en) Virtual reality and augmented reality for industrial automation
US10725459B2 (en) Identifying and distributing optimal machine parameters within a fleet of additive manufacturing machines
EP3318944B1 (en) Virtual reality and augmented reality for industrial automation
US10254754B2 (en) Systems and methods for receiving sensor data for an operating manufacturing machine and producing an alert during manufacture of a part
US20180307045A1 (en) Maintenance support device and maintenance support system for factory equipment
US9377778B2 (en) Integration of manufacturing control functions using a multi-functional vision system
US20210358110A1 (en) Device and Method for Processing at Least One Work Area With a Processing Tool
KR20200109271A (ko) 혼합 현실 기반 부품 정비를 지원하기 위한 시스템 및 그 방법
US20200333759A1 (en) Facility diagnosis method using facility diagnosis system
CN114326517B (zh) 一种基于虚拟现实的远程管理方法和系统
CN118134219B (zh) 生产预警方法、系统、装置及非易失性存储介质
KR20210050889A (ko) Cctv 관제 시스템 업데이트 방법 및 cctv 관제 시스템 업데이트 장치
Chmiel et al. Workflow management system with smart procedures
CN109327696A (zh) 一种投影仪智能监测系统及使用方法
CN115484434A (zh) 监控系统及自动执行安全功能的方法及生成合成训练数据集的系统和方法
Viharos et al. Vision based, statistical learning system for fault recognition in industrial assembly environment
JP2022015795A (ja) 原因分析システムおよび方法
KR102348881B1 (ko) 공압 실린더의 동작 영상정보를 이용한 반도체 제조공정 감시 시스템과 감시 방법
US20240233113A9 (en) Method and system of providing assistance during an operation performed on an equipment
KR102473078B1 (ko) 복수의 ptz카메라에 의해 촬영되는 감시영역의 위치산출장치
WO2023008330A1 (ja) 作業状況分析システム及び作業状況分析方法
KR20140105279A (ko) Ｌｅｄ 모니터를 이용한 지능형 로봇의 얼굴 인식 기능에 대한 성능 평가 시스템 및 방법
JP7433604B1 (ja) 注意喚起システム、及び注意喚起装置
KR20230077862A (ko) 실감 기술 기반을 통한 산업 설비 장치의 유지 관리 원격 협업 시스템 및 그 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application