KR20240009603A - 스마트공장용 mes에 지능형 rpa 및 비전 기술을 융합한 생산 관리 시스템 - Google Patents
스마트공장용 mes에 지능형 rpa 및 비전 기술을 융합한 생산 관리 시스템 Download PDFInfo
- Publication number
- KR20240009603A KR20240009603A KR1020220086676A KR20220086676A KR20240009603A KR 20240009603 A KR20240009603 A KR 20240009603A KR 1020220086676 A KR1020220086676 A KR 1020220086676A KR 20220086676 A KR20220086676 A KR 20220086676A KR 20240009603 A KR20240009603 A KR 20240009603A
- Authority
- KR
- South Korea
- Prior art keywords
- production
- text data
- management server
- information
- network
- Prior art date
Links
- 238000005516 engineering process Methods 0.000 title claims description 18
- 238000004519 manufacturing process Methods 0.000 claims abstract description 94
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 16
- 238000007689 inspection Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000013075 data extraction Methods 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 80
- 238000000034 method Methods 0.000 abstract description 16
- 238000004891 communication Methods 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000003754 machining Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000007774 longterm Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
- G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
스마트공장용 MES에서 RPA를 적용한 주문 및 생산 관리 프로세스의 자동화, RPA를 적용한 생산실적처리 프로세스 자동화와 생산 작업 설비에 마련된 CCTV 영상에서 객체 추출 기술을 적용하여 생산 관리를 자동으로 실행할 수 있는 생산 관리 시스템에 관한 것으로, 생산 현장의 품질 검사 관련 상태 정보를 표시하는 디스플레이 모듈, 상기 디스플레이 모듈에 표시되는 영상 이미지를 촬영하는 촬영 모듈, 네트워크를 통해 상기 촬영 모듈에서 촬영된 영상 이미지를 수신하여 텍스트 데이터를 추출하는 관리 서버, 상기 관리 서버에서 추출한 텍스트 데이터를 저장하는 데이터베이스, 네트워크를 통해 상기 관리 서버에서 추출한 텍스트 데이터에 대한 정보 수신하는 관리자 단말기를 포함하는 구성을 마련하여, 영상 이미지에서 텍스트 데이터를 추출하는 것에 의해 생산실적처리 프로세스를 자동화할 수 있다.
Description
본 발명은 스마트공장용 MES(Manufacturing Execution Systems)에 지능형 RPA(Robotic Process Automation) 및 비전 기술을 융합한 생산 관리 시스템에 관한 것으로, 특히 스마트공장용 MES에서 RPA를 적용한 주문 및 생산 관리 프로세스의 자동화, RPA를 적용한 생산실적처리 프로세스 자동화와 생산 작업 설비에 마련된 CCTV 영상에서 객체 추출 기술을 적용하여 생산 관리를 자동으로 실행할 수 있는 생산 관리 시스템에 관한 것이다.
최근 스마트 팩토리 및 관리 시스템에 적용되면서, 특정 지역 내에서 관리 대상이 되는 설비 등의 개수가 크게 증가하고 있다. 공장 또는 일반적인 영역 내에서 모니터링 대상이 되는 설비 등의 객체의 개수가 증가됨에 따라서, 해당 설비 등의 상태를 모니터링하는 데 많은 인력 및 시간이 소요되고 있다. 이에 따라서 스마트 팩토리 및 시티 등의 기술에서 모니터링 대상이 되는 설비 및 장치 등에 통신망을 구축하고, 이를 이용하여 설비 및 장치의 상태를 원격에서 수신하여 감지함으로써, 설비 및 장치의 모니터링에 소요되는 인력 및 시간을 절약하기 위한 기술이 적용되고 있다.
한편, 전사적자원관리(Enterprise Resource Planning : ERP)는 구매와 생산물류, 판매, 회계 등의 기업 활동 전반에 걸친 업무를 통합한 기업정보시스템의 패키지 소프트웨어를 말한다. 즉, ERP는 기업 전체 경영자원을 계획적으로, 동시에 최적으로 활용한다는 것을 의미하며, 좀 더 포괄적으로 본다면 고객사, 하청회사 등 상/하위 공급 체계와 회사 내 연관부서의 업무를 동시에 고려하여 시시각각 변하는 기업 활동과 정보 기술의 변화에 대응할 수 있게 유도해주는 애플리케이션이다.
최근에는 기존의 ERP에 전자상거래를 기반으로 하는 공급자관리기능 및 고객관리기능을 추가한 소위 확장형 ERP가 개발되어 기업 내 통합은 물론 고객사 및 협력사를 포함하는 기업 간 통합까지도 가능하도록 하고 있으며, ERP의 업무기능 중에서 고객사로부터의 수주(PO)부터 생산, 출하까지의 생산물류에 관한 업무기능은 효율적인 관리를 위하여 기업 간의 통합 즉, 기업 간 정보의 상호교환이 중요하다.
또, MES는 제품주문에 의한 착수에서 완성품의 품질검사까지 전 생산활동을 관리하는 시스템으로 생산 현장의 각종 정보, 즉 생산실적, 작업자활동, 설비가동, 제품 품질정보 등을 실시간으로 수집하여 집계/분석/모니터링 및 생산공정을 제어함으로써 고품질의 수익 지향적 생산체제를 갖추게 하는 통합 생산관리시스템을 의미한다.
MES는 장비, Moving 설비, PLC, 각종 device 등을 제어해 자동화를 가능하게 해주는 자동화 시스템과 인터페이스를 하고, 계획 시스템 또는 전사적 자원관리(ERP)시스템과 인터페이스를 하여 전사적인 자원관리부터 최하위 생산설비까지의 제어를 통합시켜주는 역할을 함으로써 계층 간 양방향 통신으로 정보체계화 및 계층 간 협력/보완으로 시스템 통합 효과를 낼 수 있다.
즉, MES는 공정진행 정보 Monitoring 및 Control, 설비제어 및 Monitoring, 품질정보 Tracking 및 Control, 실적정보 집계, 창고운영 관리, 재고품 관리, 자재투입 관리, 인력 관리, 공무관리 등 생산 현장에서 발생할 수 있는 모든 정보를 통합 관리한다고 할 수 있다.
또한, RPA는 사람이 수행하던 규칙적이고 반복적인 업무 프로세스를 소프트웨어 로봇을 적용하여 자동화하는 것으로 저렴한 비용으로 빠르고 정확하게 업무를 수행하는 디지털 노동을 일컫는다. 이러한 RPA는 사용자 입장에서 사람이 하는 기계적 행위(마우스 클릭, 복사 그리고 붙여 넣기, 검색 등)를 소프트웨어 로봇이 모방하여 수행하도록 만든 것이다. 상술한 바와 같은 RPA를 사용하면 입력 오류를 예방하고 문제를 최소화함과 함께 무인 사무처리 능력으로 인해 연중무휴로 신속하게 작업수행이 가능하고, 규칙적이고 반복적인 업무에 적합하여 업무 생산성을 향상시킬 수 있다.
이러한 기술의 일 예가 하기 특허 문헌 1 내지 3 등에 개시되어 있다.
예를 들어, 하기 특허문헌 1에는 도 1에 도시된 바와 같이, 현장 설비에 설치되어, 생산 현장의 데이터를 실시간 수집하는 복수의 IoT(Internet of Things) 센서(10), 상기 복수의 IoT 센서가 연결되며, 상기 복수의 IoT 센서로부터 생산 현장의 데이터를 실시간으로 수집하는 ISC(IoT Sensor Connector)(20) 및 상기 ISC에서 실시간 수집된 정보를 취합하여 저장 및 관리하는 현장 정보 수집 관리 서버(30), 관리자의 조작에 따라 유무선 통신망을 통해 현장 정보 수집 관리 서버(30)에 접속하여 현장 설비를 실시간으로 모니터링 하는 관리자 단말기(40)를 포함하고, 상기 ISC는 상기 복수의 IoT 센서가 각각 연결되는 복수의 센서 인터페이스부를 포함하는 IoT 기반의 스마트 팩토리 관리 시스템에 대해 개시되어 있다.
또, 하기 특허문헌 2에는 가공재로부터 소정의 부품을 제작하는 가공 프로세스가 수행되는 대상 공간을 촬영한 원본 영상을 촬영 장치를 통해 획득하는 단계, 상기 가공재로부터 상기 부품을 제작하는 가공 장치로부터 상기 가공 프로세스에 대한 측정 데이터를 수신하는 단계 및 상기 측정 데이터에 기초하여 상기 원본 영상에 포함된 복수의 프레임 중 적어도 일부의 프레임을 선택적으로 스킵하여 상기 원본 영상을 압축한 가공 영상을 생성하는 단계를 포함하는 영상 분석 기반의 가공 프로세스 모니터링 방법에 대해 개시되어 있다.
한편, 하기 특허문헌 3에는 송전 설비를 모니터링하여 영상 정보를 생성하는 다수의 영상 촬영기, 네트워크와 연결되어 상기 영상 정보를 수집하여 미리 설정되는 신경망 학습 모델을 통해 객체 필터를 생성하고, 상기 객체 필터를 이용하여 추적 객체를 추출하고, 상기 추적 객체와 미리 설정되는 기준 객체의 비교 결과에 따라 알람 정보를 생성하는 서비스 관리 서버 및 상기 알람 정보를 출력하는 사용자 단말을 포함하며, 상기 추적 객체가 학습 데이터 셋의 기준 객체와 동일하거나 유사도 이하이면, 상기 추적 객체의 이미지가 미리 설정된 해상도 및 크기를 만족하는지를 확인하고, 상기 추적 객체의 이미지가 상기 미리 설정된 해상도 및 크기를 만족하지 않으면 상기 추적 객체의 이미지의 크기를 미리 설정된 기준 크기로 확대시키며, 상기 추적 객체를 신경망 컨볼루션(Convolutional Neural Network) 필터를 이용하여 컨볼루션 연산을 수행하고, 상기 추적 객체의 특징을 나타내는 특징 맵(Feature Map)을 생성하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템에 대해 개시되어 있다.
상술한 바와 같은 특허문헌 1에는 IoT 센서를 이용하여 생산 현장의 정보를 자동으로 수집 및 관리할 수 있도록 하는 IoT 기반의 스마트 팩토리 관리 시스템에 관한 개시되어 있지만, 연속적으로 변화되는 CCTV 영상에서 객체를 추출하는 기술에 대해서는 개시되어 있지 않았다.
또 상기 특허문헌 2에는 가공재로부터 소정의 부품을 제작하는 가공 프로세스가 수행되는 공간을 촬영한 원본 영상을 가공 장치로부터 획득된 측정 데이터에 기초하여 선택적으로 압축하여 가공 영상을 생성하는 기술에 대해 개시되어 있고, 특허문헌 3에는 송전선로 및/또는 철탑을 모니터링하는 CCTV를 빅 데이터화하고 신경망 학습을 통하여 자동으로 알람 정보 상황을 감지하고 알람 정보를 발생하는 기술에 대해 개시되어 있지만, 영상 이미지에서 텍스트 데이터를 추출하여 생산현장의 생산정보 및 품질 정보를 모니터링하는 기술에 대해서는 개시되어 있지 않았다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 생산실적처리 프로세스 자동화와 생산 작업 설비에 마련된 CCTV 영상에서 객체 추출 기술을 적용하여 생산 관리를 자동으로 실행할 수 있는 생산 관리 시스템을 제공하는 것이다.
본 발명의 다른 목적은 표시 기능을 구비한 계측 기기 또는 고가의 외국산 장비로서 정보 추출을 위한 연결 단자가 마련되지 않은 모니터를 CCTV로 촬영하고 텍스트 데이터를 추출하여 생산현장의 생산정보 및 품질 정보를 모니터링할 수 있는 생산 관리 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 생산현장의 생산정보 및 품질 정보를 실시간으로 관리하여 통합 정보를 제공할 수 있는 생산 관리 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명에 따른 생산 관리 시스템은 스마트공장용 MES에 지능형 RPA 및 비전 기술을 융합한 생산 관리 시스템으로서, 생산 현장의 품질 검사 관련 상태 정보를 표시하는 디스플레이 모듈, 상기 디스플레이 모듈에 표시되는 영상 이미지를 촬영하는 촬영 모듈, 네트워크를 통해 상기 촬영 모듈에서 촬영된 영상 이미지를 수신하여 텍스트 데이터를 추출하는 관리 서버, 상기 관리 서버에서 추출한 텍스트 데이터를 저장하는 데이터베이스, 네트워크를 통해 상기 관리 서버에서 추출한 텍스트 데이터에 대한 정보 수신하는 관리자 단말기를 포함하는 것을 특징으로 한다.
또 본 발명에 따른 생산 관리 시스템에서, 상기 관리 서버는 인공지능 기반의 객체 추출(object detection) 알고리즘을 이용하여 상기 영상 이미지에 포함된 문자, 숫자, 도형, 영상 데이터를 추출하는 영상 처리부, 상기 영상 처리부에서 추출된 문자, 숫자, 도형 데이터를 주기적으로 반복 학습하는 학습부, 상기 학습부에서의 학습에 따라 최적 모델 상태 정보를 추출하는 최적 모델 추출부, 상기 최적 모델 추출부에서 추출된 최적 모델 상태 정보에 따라 텍스트 데이터를 추출하는 텍스트 데이터 추출부, 상기 텍스트 데이터 추출부에서 추출된 텍스트 데이터에 따라 생산 현장의 품질 검사 정보를 생성하는 생산 현장 정보 생성부를 포함하는 것을 특징으로 한다.
또 본 발명에 따른 생산 관리 시스템에서, 상기 촬영 모듈에서 촬영된 영상 이미지를 압축 저장하는 NVR(Network video recorder), 네트워크에 접속되어 상기 관리 서버에 의해 추출된 문자, 숫자, 도형, 영상 데이터를 저장하는 NAS(Network Attached Storage)를 더 포함하는 것을 특징으로 한다.
또 본 발명에 따른 생산 관리 시스템에서, 상기 디스플레이 모듈은 표시 기능을 구비한 계측 기기 또는 정보 추출을 위한 연결 단자가 마련되지 않은 모니터인 것을 특징으로 한다.
또 본 발명에 따른 생산 관리 시스템에서, 상기 촬영 모듈은 상기 디스플레이 모듈에 장착되고, 상기 디스플레이 모듈의 표시부를 촬영하는 카메라와 상기 네트워크를 통해 상기 관리 서버로 촬영된 영상 이미지를 송신하는 송신부를 포함하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 생산 관리 시스템에 의하면, 표시 기능을 구비한 계측 기기 또는 고가의 외국산 장비로서 정보 추출을 위한 연결 단자가 마련되지 않은 모니터로 마련된 디스플레이 모듈을 촬영하고, 촬영된 영상 이미지에서 텍스트 데이터를 추출하는 것에 의해 생산실적처리 프로세스를 자동화할 수 있다는 효과가 얻어진다.
또 본 발명에 따른 생산 관리 시스템에 의하면, 스마트공장용 MES에 지능형 RPA 및 비전 기술을 융합하여 데이터를 추출할 수 없는 디스플레이 모듈이 마련된 장비에서 텍스트 데이터를 실시간으로 추출하여 생산 관리를 실행할 수 있다는 효과가 얻어진다.
도 1은 종래의 IoT 기반의 스마트 팩토리 관리 시스템의 구성도,
도 2는 본 발명에 따른 스마트공장용 MES에 지능형 RPA 및 비전 기술을 융합한 생산 관리 시스템의 구성도,
도 3은 도 2에 도시된 디스플레이 모듈에서의 상태 정보 표시의 일 예를 나타내는 사진,
도 4는 도 2에 도시된 디스플레이 모듈과 촬영 모듈의 장착 상태의 일 예를 나타내는 사진,
도 5는 도 1에 도시된 관리 서버의 구성의 나타내는 블록도,
도 6은 관리 서버의 생산 현장 정보 생성부에 의해 생성된 검사기별 불량 현황 조회의 일 예를 나타내는 도면,
도 7은 관리 서버의 생산 현장 정보 생성부에 의해 생성된 금 검사 불량률 현황을 나타내는 그래프.
도 2는 본 발명에 따른 스마트공장용 MES에 지능형 RPA 및 비전 기술을 융합한 생산 관리 시스템의 구성도,
도 3은 도 2에 도시된 디스플레이 모듈에서의 상태 정보 표시의 일 예를 나타내는 사진,
도 4는 도 2에 도시된 디스플레이 모듈과 촬영 모듈의 장착 상태의 일 예를 나타내는 사진,
도 5는 도 1에 도시된 관리 서버의 구성의 나타내는 블록도,
도 6은 관리 서버의 생산 현장 정보 생성부에 의해 생성된 검사기별 불량 현황 조회의 일 예를 나타내는 도면,
도 7은 관리 서버의 생산 현장 정보 생성부에 의해 생성된 금 검사 불량률 현황을 나타내는 그래프.
본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.
본원에서 사용하는 용어 "모듈", "유닛" 또는 "부"는 적어도 하나의 기능이나 동작을 수행하며, 기계적 구성 또는 전기전자적 구성으로 이루어진 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 복수의 "모듈" 또는 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 또는 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
이하, 본 발명에 따른 실시 예를 도면에 따라서 설명한다.
도 2는 본 발명에 따른 스마트공장용 MES에 지능형 RPA 및 비전 기술을 융합한 생산 관리 시스템의 구성도이다.
본 발명에 따른 생산 관리 시스템은 스마트공장용 MES에 지능형 RPA 및 비전 기술을 융합한 생산 관리 시스템으로서, 도 2에 도시된 바와 같이, 생산 현장의 품질 검사 관련 상태 정보를 표시하는 디스플레이 모듈(100), 상기 디스플레이 모듈(100)에 표시되는 영상 이미지를 촬영하는 촬영 모듈(200), 네트워크를 통해 상기 촬영 모듈(200)에서 촬영된 영상 이미지를 수신하여 텍스트 데이터를 추출하는 관리 서버(300), 상기 관리 서버(300)에서 추출한 텍스트 데이터를 저장하는 데이터베이스(400), 네트워크를 통해 상기 관리 서버(300)에서 추출한 텍스트 데이터에 대한 정보 수신하는 관리자 단말기(500)을 포함할 수 있다.
또 본 발명에 따른 생산 관리 시스템에서는 상기 촬영 모듈(200)에서 촬영된 영상 이미지를 압축 저장하는 NVR(Network video recorder), 네트워크에 접속되어 상기 관리 서버(300)에 의해 추출된 문자, 숫자, 도형, 영상 데이터를 저장하는 NAS(Network Attached Storage)를 더 포함할 수 있다.
상기 네트워크는 촬영 모듈(200)과 관리 서버(400) 사이에서 무선 통신 또는 관리 서버(400)와 관리자 단말기(500)와의 무선 통신을 구축하기 위한 것으로서, 무선랜(Wireless LAN:WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 5G, 6G 등을 적용할 수 있다. 그러나 이에 한정되는 것은 아니며, 무선 통신 기술의 발전에 따라 다양하게 응용 실시할 수 있다.
또한, 상기 네트워크는 촬영 모듈(200)과 관리 서버(300)와의 근거리 무선 통신용으로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), UWB(Ultra WideBand : 초광대역) 통신, 적외선 통신(Infrared Data Association : IrDA), 지그비(ZigBee), 인접 자장 통신(Near Field Communication : NFC), 초음파 통신(Ultra Sound Communication : USC), 가시광 통신(Visible Light Communication : VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등에 의해 실행될 수도 있다.
상기 디스플레이 모듈(100)은 도 3에 도시된 바와 같이, 생산 현장의 품질 검사 상태를 표시하는 기기이다. 도 3은 도 2에 도시된 디스플레이 모듈에서의 상태 정보 표시의 일 예를 나타내는 사진으로서, 도 3의 (a)는 정보를 추출하기 위한 직접 연결이 불가능한 계측 기기의 일 예를 나타낸 사진이고, 도 3의 (b)는 교체 불가능한 구형의 모니터 사진이다.
도 3에서 알 수 있는 바와 같이, 본 발명에 적용되는 디스플레이 모듈(100)은 표시 기능을 구비한 계측 기기 또는 고가의 외국산 장비로서 정보 추출을 위한 연결 단자가 마련되지 않은 모니터이므로, 본 발명에서는 촬영 모듈(200)을 통한 비접속 접근 방법으로 생산 현장의 품질 검사 관련 상태 정보를 취득한다. 즉, 디스플레이 모듈(100)은 다수의 디스플레이 장비일 수 있으며, 예를 들어 크랙 검사장치로서 정보 누출을 우려해서 접속 정보 제공하지 않도록, 연결 포트가 마련되지 않은 모니터일 수 있다. 이와 같은 디스플레이 모듈(100)의 표시부에는 생산 관리를 위한 기계동작 상태를 표시하는 다양한 인디케이터(디지털) 또는 게이지(아날로그)로서, RPM/압력/PH, 온도/습도, 동작/정지, 진동, 가동시간, 생산 수량/불량 수량, 투입 인력 등이 표시될 수 있다.
상기 촬영 모듈(200)은 도 4에 도시된 바와 같이, 디스플레이 모듈(100)의 표시부의 정면 근처에 마련된다. 도 4는 도 2에 도시된 디스플레이 모듈과 촬영 모듈의 장착 상태의 일 예를 나타내는 사진이다.
이러한 촬영 모듈(200)은 디스플레이 모듈(100)의 표시부를 촬영하는 카메라와 네트워크를 통해 관리 서버(300)로 촬영된 영상 이미지를 송신하는 송신부로 이루어질 수 있다. 또 본 발명에 따른 촬영 모듈(200)은 디스플레이 모듈(100)의 표시부를 향해서만 마련되므로, 도 4에 도시된 바와 같은 거치대에 의해 디스플레이 모듈(100)의 전면에 고정되게 마련될 수도 있다.
또한, 상기 촬영 모듈(200)의 카메라는 도 4에 도시된 바와 같이, 대상 공간에 대하여 마련된 폐쇄회로 텔레비전(Closed Circuit Television, CCTV)일 수 있으나, 이에 한정되는 것은 아니고, CCD(Charge-Coupled Device) 카메라, CMOS(complementary metaloxide semiconductor) 카메라 또는 생산 관리 시스템을 관리하는 관리자가 소지하는 관리자 단말기(500) 내에 대상 공간을 촬영하도록 구비되는 카메라 모듈일 수도 있다.
상기 촬영 모듈(200)에서 촬영된 영상 이미지는 녹화 기록을 위해 영상 이미지를 압축 저장하는 NVR에 저장될 수도 있다.
상기 관리 서버(300)에 대해서는 도 5를 참조하여 설명한다.
도 5는 도 1에 도시된 관리 서버의 구성의 나타내는 블록도 이다.
본 발명에 따른 관리 서버(300)는 앱 페이지, 웹 페이지, 애플리케이션, 프로그램 등을 직접 및/또는 간접적으로 제공하는 서버일 수 있으며, 도 5에 도시된 바와 같이, 촬영 모듈(200), 데이터베이스(DB, 400) 및 관리자 단말기(500)와 유무선으로 정보를 송신 또는 수신할 수 있는 송수신부(310), 인공지능 기반의 객체 추출(object detection) 알고리즘을 이용하여 영상 이미지에 포함된 문자, 숫자, 도형, 영상 데이터를 추출하는 영상 처리부(320), 상기 영상 처리부(320)에서 추출된 문자, 숫자, 도형 데이터를 주기적으로 반복 학습하는 학습부(330), 상기 학습부(330)에서의 학습에 따라 최적 모델 상태 정보를 추출하는 최적 모델 추출부(340), 상기 최적 모델 추출부(340)에서 추출된 최적 모델 상태 정보에 따라 텍스트 데이터를 추출하는 텍스트 데이터 추출부(350), 상기 텍스트 데이터 추출부(350)에서 추출된 텍스트 데이터에 따라 생산 현장의 품질 검사 정보를 생성하는 생산 현장 정보 생성부(360)를 포함할 수 있다.
상기 송수신부(310)는 통상의 송수신 모듈로 이루어지고, 상기 네트워크를 이용하여 관리자 단말기(500) 및 데이터베이스(400)와 유무선으로 생산 현장 정보의 송수신을 실행할 수 있도록 마련되며, 특정의 통신 모듈에 한정되는 것은 아니다.
상기 영상 처리부(320)는 시계열적으로 획득되는 영상 이미지 미리 설정된 시간 단위 예를 들어, 소정의 초 단위의 시간 구간으로 분할하고, 분할된 영상 이미지 각각에 대응하는 패턴에 따라 생산 관리의 프로세스를 수행하는 구간 및 미수행하는 구간을 식별하여 영상을 처리할 수 있으며, 인공지능 기반의 객체 추출 알고리즘을 이용하여 처리된 영상 이미지에 포함된 문자, 숫자, 도형, 영상 데이터를 추출할 수 있다. 상기 객체 추출 알고리즘은 의미론적 영역 분할(Semantic Segmentation)에 기초하여 미리 설정된 객체에 해당하는 영역을 영상에서 분할 및 검출할 수 있다. 또한, 객체 추출 알고리즘에 의해 추출된 객체에 대한 경계 영역(Bounding Box)이 표시(라벨링)되는 것일 수 있다. 예를 들어, 상기 객체 검출 알고리즘은 영상으로부터 미리 설정된 객체를 검출하도록 사전 학습된 기계 학습 기반 모델일 수 있으며, 이러한 기계 학습 방식에는 딥 러닝(Deep Learning), 컨볼
루션 신경망(Convolutional Neural Network, CNN), 로지스틱 회귀 분석(Logistic Regression), 랜덤 포레스트(Random Forest) 등이 활용될 수 있지만, 이에 한정되는 것은 아니고, 향후 개발되는 다양한 기계 학습 알고리즘이 적용될 수 있다.
상기 학습부(330)는 상기 영상 처리부(320)에서 추출된 문자, 숫자, 도형 데이터에 대해 학습하고, 학습의 결과에 따라 상기 최적 모델 추출부(340)에서 최적 모델 상태 정보를 추출한다. 즉, 학습부(330)는 객체 추출 알고리즘에 의해 추출된 숫자에 대한 신경망 학습으로 예를 들어, 순환적 컨볼루션 신경망 모델(Recurrent Convolutional Neural Network; rCNN) 또는 장단기 기억(Long Short-Term Memory; LSTM) 순환신경망을 이용할 수도 있다.
상기 텍스트 데이터 추출부(350)는 최적 모델 추출부(340)에서 추출된 최적 모델 상태 정보로서 숫자를 텍스트 데이터로 추출하고, 추출된 텍스트 데이터는 NAS 또는 데이터베이스(400)에 저장될 수 있다.
상기 생산 현장 정보 생성부(360)는 도 6 및 도 7에 도시된 바와 같이, 텍스트 데이터 추출부(350)에 의해 추출된 숫자에 따라 생산 현장의 정보 및 통합 정보를 마련할 수 있다.
도 6은 관리 서버의 생산 현장 정보 생성부에 의해 생성된 검사기별 불량 현황 조회의 일 예를 나타내는 도면이고, 도 7은 관리 서버의 생산 현장 정보 생성부에 의해 생성된 금 검사 불량율 현황을 나타내는 그래프이다.
상기 생산 현장 정보 생성부(360)에서 생성된 생산 현장 정보는 송수신부(310)를 통해 관리자 단말기(500)로 전송될 수 있다.
한편, 상기 설명에서 관리 서버(300)에 대해 각각의 구성을 구분하여 설명하였지만, 이에 한정되는 것은 아니고, 각각의 구성은 프로그램에 의해 연동하여 동작할 수 있다.
상기 데이터베이스(400)는 텍스트 데이터 추출부(350)에 의해 추출된 숫자에 관한 정보를 저장하는 현장 데이터베이스와 MES(Manufacturing Execution Systems) 데이터를 저장하는 MES 데이터베이스를 포함할 수 있다. 이와 같은 데이터베이스(400)의 구성은 바람직한 일 실시 예일 뿐이며, 구체적인 장치를 개발하는 데 있어서, 접근 및 검색의 용이성 및 효율성 등을 감안하여 데이터베이스 구축이론에 의하여 다른 구조로 구성될 수 있다. 또한, 도 2 및 상술한 설명에서는 관리 서버(300)와 데이터베이스(400)를 구분하여 나타내며 설명하였지만, 데이터베이스(400)는 관리 서버(300) 내에 포함되어 마련될 수도 있다.
상기 관리자 단말기(500)는 카메라 기능, 화상 출력 기능, 음성 출력 기능, 데이터 저장 기능, 앱(App) 실행 기능 및 네트워크를 통해 관리 서버(300)와 데이터 통신을 할 수 있는 통신 기능을 구비한 것으로서, 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 노트북 컴퓨터, 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함) 등과 같은 다양한 단말기를 사용할 수 있다.
상기 관리자 단말기(500)에는 도 6 및 도 7에 도시된 바와 같은 생산 현장의 정보 및 통합 정보가 표시될 수 있다.
상술한 바와 같이, 본 발명에 따른 스마트공장용 MES에 지능형 RPA 및 비전 기술을 융합한 생산 관리 시스템에 의해 표시 기능을 구비한 계측 기기 또는 정보 추출을 위한 연결 단자가 마련되지 않은 모니터를 구비한 디스플레이 모듈(100)에서 촬영 모듈(200) 및 관리 서버(300)를 통해 텍스트 데이터를 추출하고, 생산 현장의 품질 검사 정보를 실시간으로 생성하여 생산실적처리 프로세스를 자동화할 수 있다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명에 따른 생산 관리 시스템을 사용하는 것에 의해 영상 이미지에서 텍스트 데이터를 추출하는 것에 의해 생산실적처리 프로세스를 자동화할 수 있다.
100 : 디스플레이 모듈
200 : 촬영 모듈
300 : 관리 서버
400 : 데이터베이스
500 : 관리자 단말기
200 : 촬영 모듈
300 : 관리 서버
400 : 데이터베이스
500 : 관리자 단말기
Claims (5)
- 스마트공장용 MES에 지능형 RPA 및 비전 기술을 융합한 생산 관리 시스템으로서,
생산 현장의 품질 검사 관련 상태 정보를 표시하는 디스플레이 모듈,
상기 디스플레이 모듈에 표시되는 영상 이미지를 촬영하는 촬영 모듈,
네트워크를 통해 상기 촬영 모듈에서 촬영된 영상 이미지를 수신하여 텍스트 데이터를 추출하는 관리 서버,
상기 관리 서버에서 추출한 텍스트 데이터를 저장하는 데이터베이스,
네트워크를 통해 상기 관리 서버에서 추출한 텍스트 데이터에 대한 정보 수신하는 관리자 단말기를 포함하는 것을 특징으로 하는 생산 관리 시스템. - 제1항에서,
상기 관리 서버는
인공지능 기반의 객체 추출(object detection) 알고리즘을 이용하여 상기 영상 이미지에 포함된 문자, 숫자, 도형, 영상 데이터를 추출하는 영상 처리부,
상기 영상 처리부에서 추출된 문자, 숫자, 도형 데이터를 주기적으로 반복 학습하는 학습부,
상기 학습부에서의 학습에 따라 최적 모델 상태 정보를 추출하는 최적 모델 추출부,
상기 최적 모델 추출부에서 추출된 최적 모델 상태 정보에 따라 텍스트 데이터를 추출하는 텍스트 데이터 추출부,
상기 텍스트 데이터 추출부에서 추출된 텍스트 데이터에 따라 생산 현장의 품질 검사 정보를 생성하는 생산 현장 정보 생성부를 포함하는 것을 특징으로 하는 생산 관리 시스템. - 제1항에서,
상기 촬영 모듈에서 촬영된 영상 이미지를 압축 저장하는 NVR(Network video recorder),
네트워크에 접속되어 상기 관리 서버에 의해 추출된 문자, 숫자, 도형, 영상 데이터를 저장하는 NAS(Network Attached Storage)를 더 포함하는 것을 특징으로 하는 생산 관리 시스템. - 제1항에서,
상기 디스플레이 모듈은 표시 기능을 구비한 계측 기기 또는 정보 추출을 위한 연결 단자가 마련되지 않은 모니터인 것을 특징으로 하는 생산 관리 시스템. - 제1항에서,
상기 촬영 모듈은 상기 디스플레이 모듈에 장착되고, 상기 디스플레이 모듈의 표시부를 촬영하는 카메라와 상기 네트워크를 통해 상기 관리 서버로 촬영된 영상 이미지를 송신하는 송신부를 포함하는 것을 특징으로 하는 생산 관리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220086676A KR20240009603A (ko) | 2022-07-14 | 2022-07-14 | 스마트공장용 mes에 지능형 rpa 및 비전 기술을 융합한 생산 관리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220086676A KR20240009603A (ko) | 2022-07-14 | 2022-07-14 | 스마트공장용 mes에 지능형 rpa 및 비전 기술을 융합한 생산 관리 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240009603A true KR20240009603A (ko) | 2024-01-23 |
Family
ID=89713704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220086676A KR20240009603A (ko) | 2022-07-14 | 2022-07-14 | 스마트공장용 mes에 지능형 rpa 및 비전 기술을 융합한 생산 관리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240009603A (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180027176A (ko) | 2016-09-06 | 2018-03-14 | 주식회사 액티브디앤씨 | IoT 기반의 스마트 팩토리 관리 시스템 |
| KR101897923B1 (ko) | 2017-09-20 | 2018-10-31 | 한국전력공사 | 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
| KR102310851B1 (ko) | 2021-01-13 | 2021-10-07 | 전용준 | 영상 분석 기반의 가공 프로세스 모니터링 장치 및 방법 |
-
2022
- 2022-07-14 KR KR1020220086676A patent/KR20240009603A/ko unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180027176A (ko) | 2016-09-06 | 2018-03-14 | 주식회사 액티브디앤씨 | IoT 기반의 스마트 팩토리 관리 시스템 |
| KR101897923B1 (ko) | 2017-09-20 | 2018-10-31 | 한국전력공사 | 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
| KR102310851B1 (ko) | 2021-01-13 | 2021-10-07 | 전용준 | 영상 분석 기반의 가공 프로세스 모니터링 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhong et al. | IoT-enabled smart factory visibility and traceability using laser-scanners | |
| US10410171B2 (en) | System and method for inventory management | |
| US20160171622A1 (en) | Insurance Asset Verification and Claims Processing System | |
| US8953890B2 (en) | Usage of visual reader as an input provider in portals | |
| Kumar et al. | Application of internet of things in image processing | |
| CN102804211B (zh) | 信息处理设备、信息处理系统、信息处理方法和信息处理程序 | |
| US20230007831A1 (en) | Method for warehouse storage-location monitoring, computer device, and non-volatile storage medium | |
| CN109427056A (zh) | 对供数据传输的图像数据进行优化的方法和系统 | |
| CN106355367A (zh) | 仓库监控管理装置 | |
| US20200160227A1 (en) | Model update based on change in edge data | |
| KR102296274B1 (ko) | 사용자 학습 기반 딥러닝 객체 인식 서비스 제공 방법 | |
| KR102543064B1 (ko) | Ｒｐａ 기반 제조환경 모니터링 서비스 제공 시스템 | |
| CN115695541A (zh) | 基于边缘计算的网点巡检监测方法、装置、设备及存储介质 | |
| CN117078163A (zh) | 基于数字孪生的物流仓储管控系统及方法 | |
| Bhargava et al. | A study on potential of big visual data analytics in construction Arena | |
| CN116580362B (zh) | 输电运维跨系统融合数据的采集方法及数字资产处理系统 | |
| KR20240009603A (ko) | 스마트공장용 mes에 지능형 rpa 및 비전 기술을 융합한 생산 관리 시스템 | |
| CN112016380A (zh) | 野生动物监测方法及系统 | |
| CN115225670B (zh) | 一种应用于制造业的可溯源工业互联网系统 | |
| CN116486506A (zh) | 一种用于执行巡检任务信息的方法与设备 | |
| CN113158842A (zh) | 一种识别方法、系统、设备及介质 | |
| Chen et al. | Smart gateway for bridging BIM and building | |
| CN114612069A (zh) | 一种冶金行业安全生产管理系统及方法 | |
| CN110415110A (zh) | 进度监测方法、进度监测装置和电子设备 | |
| CN103701864A (zh) | 一种店面数据实时分析系统、方法、装置和服务器 |