KR102086451B1 - Smart Factory remote collaboration CMS system in augmented reality and Drive method of the Same - Google Patents
Smart Factory remote collaboration CMS system in augmented reality and Drive method of the Same Download PDFInfo
- Publication number
- KR102086451B1 KR102086451B1 KR1020190110397A KR20190110397A KR102086451B1 KR 102086451 B1 KR102086451 B1 KR 102086451B1 KR 1020190110397 A KR1020190110397 A KR 1020190110397A KR 20190110397 A KR20190110397 A KR 20190110397A KR 102086451 B1 KR102086451 B1 KR 102086451B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- smart factory
- communication terminal
- remote collaboration
- cms
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
Description
본 발명은 스마트팩토리 기술에 관한 것으로, 특히 스마트 공장 내 비치된 담당 장비의 고유식별 마크나 실물을 자동 인식할 시, 담당 장비에 관한 각종 유용한 정보들을 AR 화면을 통해 실시간으로 제공하며, 현장 작업자용 통신 단말기와 인공지능 스마트팩토리 컨설팅용 통신 단말기 간의 대화형 가상비서 서비스를 지원해 줌으로써, 실제 작업 현장에서 활용되는 담당 장비에 관한 원격 협업을 인공지능 스마트팩토리 컨설팅 프로그램을 통해 실시케 하는 증강현실 상의 스마트팩토리 원격협업 CMS 시스템 및 그 구동방법에 관한 것이다.The present invention relates to a smart factory technology, and in particular, when automatically identifying a unique identification mark or an object of a responsible equipment in a smart factory, provides various useful information about the responsible equipment in real time through an AR screen, and for field workers Smart Factory on Augmented Reality that enables remote collaboration on the equipment used in the actual work site through the AI Smart Factory Consulting Program by supporting interactive virtual assistant services between the communication terminal and the communication terminal for AI smart factory consulting It relates to a remote collaboration CMS system and its driving method.
최근 사물인터넷, CPS 등 IT 기술 발전에 따라 개별 사용자 요구를 반영할 수 있는 맞춤제조, 소프트웨어를 활용한 가상제조, 전 제품 가치사슬 연동을 통한 협업 제조가 가능한 스마트 팩토리로 제조 패러다임의 변화가 요구되고 있다.With the recent development of IT technologies such as the Internet of Things and CPS, the manufacturing paradigm is required to be changed into a smart factory that enables customized manufacturing to reflect individual user needs, virtual manufacturing using software, and collaborative manufacturing through the interlocking of all product value chains. have.
현대의 컴퓨팅 및 디스플레이 기술들은, 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하며, 디지털적으로 재생된 이들의 이미지들 또는 부분들은 이들이 실제인 것 같은 또는 실제인 것으로 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR", 시나리오는 다른 실제의 실Modern computing and display technologies enable the development of systems for so-called "virtual reality" or "augmented reality" experiences, and the digitally reproduced images or parts of them appear as if they are real or real It is presented to the user in a recognizable manner. Virtual reality, or "VR", a scenario is another real
세계 시각 입력에 투명하지 않은 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함하며; 증강 현실, 또는 "AR", 시나리오는 사용자 주위의 실제 세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함한다. 예컨대, 증강 현실 장면은 AR 기술의 사용자가 실세계 객체들(예컨대, 사람들, 나무들, 백그라운드의 빌딩들 등을 특징 짓는 실세계 공원 같은 세팅) 상에 또는 그 가운데 중첩되는 하나 또는 그 초과의 가상 객체들을 볼 수 있게 한다.Typically includes representation of digital or virtual image information that is not transparent to world time input; Augmented reality, or "AR", a scenario typically includes a representation of digital or virtual image information as an augmentation of the real world visualization around the user. For example, an augmented reality scene allows one or more virtual objects to be superimposed on or among real-world objects (eg, real-world parks featuring people, trees, buildings in the background, etc.) by a user of AR technology. Make it visible.
스마트 팩토리 환경에서는 정보 시스템 및 필드 시스템 연동을 위한 스마트팩토리 연동 미들웨어를 요구하는데, 스마트 팩토리 연동 미들웨어는 기존 물리적 생산 설비와 정보 통신 기술을 융합하여 소프트웨어 중심으로 생산공정을 통합, 제어할 수 있게 한다. 따라서 스마트 팩토리 연동 미들웨어는 스마트 팩토리 생산 시스템의 생산설비 연동 기반을 제공하여, 생산 공정의 전 가치사슬의 이익 및 경쟁력을 극대화할 수 있게 해준다.In a smart factory environment, a smart factory interlocking middleware for interworking with an information system and a field system is required, and the smart factory interlocking middleware integrates existing physical production equipment and information communication technology to integrate and control the production process centered on software. Therefore, the smart factory interlocking middleware provides the base for interlocking production facilities of the smart factory production system, thereby maximizing the profit and competitiveness of the entire value chain of the production process.
스마트팩토리 구현을 위해 필수적으로 필요한 기술로는 CPS 기술이 있다. CPS 기술은 생산 현장과 기업의 정보시스템을 통합한 정보 모델 구축과 이를 기반으로 시장 변화에 대응해 설비·공정을 최적 제어할 수 있는 기술을 말한다. Cyber-Physical Systems (CPS) 란 컴퓨팅 시스템과 사람·제조공정·설비와 같은 물리적인 시스템을 네트워크로 통합하여 자동형·지능형 시스템을 구축하는 기술을 말한다.CPS technology is an essential technology for smart factory implementation. CPS technology refers to a technology that can optimally control facilities and processes in response to market changes based on the establishment of an information model that integrates production sites and corporate information systems. Cyber-Physical Systems (CPS) is a technology that builds automatic and intelligent systems by integrating computing systems and physical systems such as people, manufacturing processes, and facilities into a network.
스마트 팩토리는 제제품의 기획·설계, 생산, 유통 등 전 과정을 정보통신 기술로 통합, 고객맞춤형 제품을 최소 비용·시간으로 생산하는 미래형 공장으로, 이러한 스마트 팩토리의 핵심기술인 사물인터넷(IoT), 사이버 물리 시스템(CPS)을 기반으로, 제조의 모든 단계가 자동화·정보화(디지털화)되고, 가치사슬 전체가 하나의 공장처럼 실시간 연동되는 생산체계 지향한다.Smart Factory is a futuristic factory that integrates the entire process of planning, design, production, and distribution of products with information and communication technology, and produces customized products at minimum cost and time. The Internet of Things (IoT), the core technology of these smart factories, Based on the Cyber Physical System (CPS), all stages of manufacturing are automated and informatized (digitized), and the entire value chain is aimed at a production system that works in real time like a factory.
스마트팩토리 기술이 필요한 하이테크놀로지 산업의 제조 공정은 수백, 수천개의 다수의 공정들로 구성되어 있기 때문에 개략적인 수치를 통해서는 전체 제조 공정의 신뢰성을 높일 수 없다. 그리고 단위 공정별로 진행되어 온 자동화시스템은 생산현장에서 발생하는 돌발 장애, 품질 불량 등의 원인을 알아낼 수 없고, 공장 내 숙련자의 도움 없이는 해당 문제를 해결하기가 쉽지 않은 상황이다.Since the manufacturing process in the high technology industry that requires smart factory technology is composed of hundreds or thousands of processes, the reliability of the entire manufacturing process cannot be increased through a rough number. In addition, the automated system, which has been conducted for each unit process, cannot identify the cause of sudden failure and quality defects in the production site, and it is difficult to solve the problem without the help of skilled workers in the factory.
제조업 분야는 고령화에 따라 숙련공들이 점점 줄어들어 생산 현장에 문제가 발생할 때 제대로 된 대응에 어려움이 있으며, 또한 제품의 라이프 사이클이 단축되고 있고, 맞춤형 대량생산으로 변화하면서 가볍고 유연한 생산 체계가 요구되는 상황으로부터, IT 기술발전에 따라 사용자 요구를 반영할 수 있는 맞춤 제조, 소프트웨어를 활용한 가상제조 및 전 제품 가치사슬 연동을 통한 협업 제조가 가능하게 스마트 팩토리(Smart Factory)로 패러다임이 변화되고 있으며, 독일, 미국과 같은 제조 강국을 중심으로 이러한 새로운 패러다임을 통한 생산효율 증대와 친환경 고객 맞춤형 생산으로 제조업 경쟁력을 강화하고 있다.In the manufacturing sector, as the number of skilled workers is gradually decreasing due to the aging, it is difficult to properly respond when problems occur at the production site, and the product life cycle is shortening, and as the mass production is customized, a light and flexible production system is required. The paradigm is changing to a smart factory that enables custom manufacturing that can reflect user needs, virtual manufacturing using software, and collaborative manufacturing through the interlocking of all product value chains as IT technology advances. Focusing on manufacturing powerhouses such as the United States, we are strengthening the manufacturing competitiveness by increasing production efficiency through this new paradigm and producing eco-friendly customized products.
IoT 기술의 응용 분야들 또한 많은 연구가 이루어지고 있는데, 스마트 홈, 스마트 팩토리, 스마트 농장 등이 대표적이다. 이러한 자동화 시스템은 일반적으로 사용자 인터페이스로 제어되는 게이트웨이라는 중앙 허브에 스위치와 센서가 연결됨으로써 구성되는데, 연결되는 각종 기기의 통신 프로토콜로 X10, 이더넷, 블루투스 LE(BLE), 지그비(ZigBee) 등이 사용된다.A lot of research has been conducted in the fields of application of IoT technology, such as smart home, smart factory, and smart farm. These automation systems are generally composed of switches and sensors connected to a central hub called a gateway controlled by a user interface. X10, Ethernet, Bluetooth LE (BLE), and ZigBee are used as communication protocols of various connected devices. do.
이러한 스마트 팩토리는, 이전부터 존재한 공장자동화(factory automation)의 연장선상에 있는 개념으로서, 제품의 기획, 설계, 생산, 유통 등 전 과정을 정보통신 기술로 통합, 고객맞춤형 제품을 최소 비용 시간으로 생산하는 미래형 공장으로, 핵심기술인 사물인터넷(IoT), 사이버 물리시스템(CPS)을 기반으로, 제조의 모든 단계가 자동화 정보화되고, 가치사슬 전체가 하나의 공장처럼 실시간 연동되는 생산체계 지향한다.This smart factory is a concept that extends from the factory automation that existed before, and integrates the entire process of product planning, design, production, distribution, etc. into information and communication technology, and integrates customized products with minimum cost time. As a future factory that produces, based on core technologies such as the Internet of Things (IoT) and cyber physical systems (CPS), all stages of manufacturing are automated and informatized, and the entire value chain is aimed at a production system that works in real time like a single factory.
종래의 제어 방식은 IoT 기기가 개별적인 지능을 갖지 않기 때문에, IoT 기기가 설치된 공간에 대한 상황을 유의미한 정보로 인지하고 반응하기 어렵다. 또한, IoT 기기들 상호간 지능이 서로 공유되지 못하기 때문에 공간 제어라는 공통의 목표를 위해 서로 협업하기 어려운 문제가 있다.In the conventional control method, since the IoT device does not have individual intelligence, it is difficult to recognize and react to the space in which the IoT device is installed as meaningful information. In addition, since intelligence between IoT devices is not shared with each other, there is a problem that it is difficult to collaborate with each other for a common goal of spatial control.
즉, 공장 내 설비와 기계에 설치된 센서를 통해 데이터가 실시간으로 수집ㆍ분석되어 공장 내 모든 상황들이 일목요연하게 보여지고, 이를 분석해 목적된 바에 따라 스스로 제어할 수 있어, 생산시설을 무인화하고 관리를 자동화하는 공장 자동화가 단위 공정별로만 최적화가 이루어져 전체 공정이 유기적이라고 보기 어렵던 것을 넘어, 전후 공정간 데이터를 자유롭게 연계할 수 있어 총체적인 관점에서 최적화를 이룰 수 있게 되면서, 이를 기반으로 능동적 의사결정이 실시간으로 이행되는 제조 운영 환경은 다품종 복합생산에 적합한 유연성을 갖는 제조 시스템을 구현하는 기반이 된다.In other words, data is collected and analyzed in real time through sensors installed in the facilities and machines in the factory, and all the situations in the factory can be seen at a glance, and it can be analyzed and controlled according to the purpose, unmanning production facilities and automating management. Factory automation is optimized for each unit process, so it is difficult to see that the entire process is organic, and it is possible to freely link data between processes before and after, enabling optimization from a holistic point of view. The implemented manufacturing operating environment is the basis for implementing a flexible manufacturing system suitable for multi-product complex production.
최근에는 센서기술들의 발달에 힘입어 공장의 각 설비들에 센서를 부착하고, 센서들에 의해 감지된 센싱 데이터들을 이용하여 설비나 공장의 상황을 실시간으로 분석하는 기술이 개발되고 있다. 이러한 기술의 경우, 많은 센서들이 설치될 뿐만 아니라 각 센서들의 센싱주기 또한 짧아 대량의 수집 데이터가 생성된다는 특징이 있다. 이에 따라, 각 센서들로부터 각 센서들이 생성한 수집 데이터를 누락 없이 수신할 수 있어야만 정확한 분석을 수행할 수 있다.Recently, thanks to the development of sensor technologies, a technology for attaching a sensor to each facility of a factory and analyzing the situation of a facility or a factory in real time using sensing data sensed by the sensors has been developed. In the case of such a technique, not only are many sensors installed, but the sensing period of each sensor is also short, so that a large amount of collected data is generated. Accordingly, accurate analysis can be performed only when collection data generated by each sensor can be received from each sensor without omission.
하지만, 종래의 공장 관리 시스템에서는 짧은 주기로 발생하는 대용량 수집 데이터의 수신여부를 실시간으로 모니터링 할 수 없을 뿐만 아니라, 수집 데이터의 수신 여부를 모니터링 할 수 있다 하더라도 수집 데이터 수신 여부 모니터링으로 인해 데이터 수집 작업의 부하가 가중될 수 밖에 없다는 문제점이 있다.However, in the conventional factory management system, it is not only possible to monitor the reception of large-capacity collection data occurring in a short period in real time, but even if it is possible to monitor the reception of the collection data, the monitoring of the data collection operation is There is a problem that the load must be weighted.
또한, 서로 다른 프로토콜을 지원하는 다양한 종류의 센서들이 배치되어 있는 환경에 종래의 공장 관리 시스템을 적용하는 경우, 각 센서들에 의해 생성된 수집 데이터의 수신 여부를 모니터링 할 수 있는 모니터링 장치를 각 센서들이 지원하는 프로토콜의 유형에 따라 별도로 구비해야 하므로, 수집 데이터 수신 여부 모니터링 작업의 부하는 물론 모니터링을 위한 비용이 증가한다는 문제점이 있다.In addition, when applying a conventional factory management system to an environment in which various types of sensors supporting different protocols are arranged, each sensor is equipped with a monitoring device capable of monitoring whether the collected data generated by each sensor is received. Since they must be provided separately according to the types of protocols they support, there is a problem in that the load for monitoring whether or not to receive the collected data increases as well as the cost for monitoring.
본 발명의 증강현실 상의 스마트팩토리 원격협업 CMS 시스템 및 그 구동방법은 앞서 본 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 본 발명의 제 1 목적은 스마트 공장 내 비치된 다수의 장비 중 선택된 어느 하나인 담당 장비에 부착된 고유식별 마크나 실물을 자동 인식할 시 스마트팩토리 원격협업 CMS 플랫폼 상에서 구현되는 AR 화면을 통해 담당 장비에 관한 유용한 정보들을 실시간으로 제공해 줌으로써, 현장 작업자용 통신 단말기에게 위임된 담당 장비에 대한 이해 및 파악을 정확히 도모하기 위함이다.The smart factory remote collaboration CMS system on the augmented reality of the present invention and its driving method have been devised to solve the problems of the prior art, and the first object of the present invention is to select any one of a plurality of equipment provided in a smart factory. When automatically recognizing the unique identification mark or object attached to the person in charge, the person in charge of the communication terminal for the field worker is provided by providing useful information about the device in real time through the AR screen implemented on the smart factory remote collaboration CMS platform. This is to accurately understand and grasp the equipment.
본 발명의 제 2 목적은 현장 작업자용 통신 단말기와 인공지능 스마트팩토리 컨설팅용 통신 단말기 간의 대화형 가상비서 서비스를 지원해 줌으로써, 실제 작업 현장에서 활용되는 담당 장비에 관한 원격 협업을 인공지능 스마트팩토리 컨설팅 프로그램을 통해 실시케 하여 실제 작업현장에서 일어나는 각종 작업상태 및 각종 이벤트 현황에 관한 신속한 정보수집 및 정보전달을 인공지능 스마트팩토리 컨설팅용 통신 단말기의 도움을 받아 대응, 응대, 돌발상황에 따른 긴급 조치 뿐만 아니라 스마트 공장 내에서 일어나는 시스템 전반에 관한 운행 및 관리 체계를 더욱 안정화시킬 수 있기 위함이다.The second object of the present invention is to support an interactive virtual secretary service between a communication terminal for field workers and a communication terminal for artificial intelligence smart factory consulting, so that an artificial intelligence smart factory consulting program can remotely collaborate on the equipment used in the actual work site. Through the help of a communication terminal for artificial intelligence smart factory consulting, it is possible to promptly collect and transmit information on various working conditions and various events occurring at the actual work site. This is to further stabilize the operation and management system for the overall system occurring within the smart factory.
본 발명의 제 3 목적은 담당 장비를 대상으로 한 현장 작업자용 통신 단말기와 인공지능 스마트팩토리 컨설팅용 통신 단말기 간의 원격협업이 진행되도록 클라우드 통신망 구축하여 종래의 행해왔던 출장, 외근없이도 원격으로 담당 장비에 대한 정보알림 및 정보처리를 언제든, 어디서든 실시할 수 있게 되어 시간낭비, 비용절감 및 업무효율을 극대화시키기 위함이다.The third object of the present invention is to establish a cloud communication network so that a remote collaboration between a communication terminal for field workers and a communication terminal for artificial intelligence smart factory consulting targeted to the equipment in charge can be remotely connected to the equipment in charge without any business trip or outside work. This is to maximize time wasting, cost reduction, and work efficiency by enabling information notification and information processing at any time and anywhere.
본 발명의 제 4 목적은 증강현실 상의 스마트팩토리 원격협업 CMS 시스템 내 AR 기술을 수반하는 스마트팩토리 원격협업 CMS 플랫폼을 활성화시켜 보다 빠르고 정확한 의사 결정에 따른 일처리 및 그에 따른 제품 생산력 향상, 수익율 증대를 기대할 수 있기 위함이다.The fourth object of the present invention is to activate a smart factory remote collaboration CMS platform that involves AR technology in a smart factory remote collaboration CMS system on augmented reality to improve work productivity according to faster and more accurate decision making, thereby improving product productivity and increasing profitability. It is to be expected.
본 발명의 제 5 목적은 AR 기술을 수반하는 스마트팩토리 원격협업 CMS 플랫폼의 유용성을 더욱 고취시켜 담당 장비를 대상으로 한 정기점검의 편리성 향상 및 그에 따른 장비 고장, 장비 오작동의 감소율 증대, 사고 위험율 저감 및 작업중단 여태로 생길만한 막대한 인적 물적 피해를 최대한 줄여 나감과 동시에 제품의 원가 경쟁력과 기업 수익성을 더욱 증대시켜 기업의 이익추구 및 4차산업 관련 산업계 및 학계 전반을 크게 부흥시키는데 이바지하기 위함이다.The fifth object of the present invention is to further enhance the convenience of the regular inspection for the equipment in charge by increasing the usefulness of the smart factory remote collaboration CMS platform with AR technology, thereby increasing the reduction rate of equipment failures and equipment malfunctions, and the risk of accidents. The goal is to reduce the enormous human and physical damage that can be caused by reduction and suspension of work as much as possible, while at the same time further increasing the cost competitiveness of products and profitability of the company, contributing to the pursuit of corporate profits and revival of the industry and academia related to the 4th industry. .
상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다.The present invention for achieving the above object includes the following configuration.
즉, 본 발명의 실시예에 따른 증강현실 상의 스마트팩토리 원격협업 CMS 시스템은 스마트 공장 내 배치된 다수의 장비 중 선택된 어느 하나인 담당 장비에 부착된 고유식별 마크나 실물 그대로를 자동 인식해 AR 화면을 띄워 상기 AR 화면 내에 메뉴 버튼을 표출시키고, 상기 메뉴 버튼 중 적어도 어느 하나를 클릭함에 따라 상기 담당 장비에 대한 메뉴얼 정보를 2D/3D로 비주얼하게 실시간으로 확인하는 현장 작업자용 통신 단말기; 상기 현장 작업자용 통신 단말기가 상기 메뉴 버튼 중 통화 버튼을 클릭할 경우, 상기 현장 작업자용 통신 단말기에 나타난 상기 담당 장비를 대상으로 한 상세점검 화면을 실시간으로 체크해 상기 상세점검 화면과 유사 혹은 동일로 유추될만한 과거 상세점검 화면을 인공지능 스마트팩토리 컨설팅 프로그램이 머신러닝을 통해 찾아내도록 구동시키며, 상기 과거 상세점검 화면과 1:1 매칭되도록 미리 설정해 둔 메뉴얼 특정서칭 정보를 상기 메뉴얼 정보 내에서 추출해 TTS 변환하고, 상기 TTS 변환으로 생성된 음성 정보를 상기 현장 작업자용 통신 단말기가 사전에 설정해 둔 영어 모드 또는 자국어 모드로 자동 번역한 후 영어나 자국어로 외부 표출시키는 인공지능 스마트팩토리 컨설팅용 통신 단말기; 및 상기 다수의 장비에 관한 전체 메뉴얼 정보와 스마트팩토리 원격협업 CMS 플랫폼을 구비하며, 상기 현장 작업자용 통신 단말기가 상기 고유식별 마크나 실물을 자동 인식함을 파악함에 따라 상기 AR 화면상에 상기 메뉴 버튼이 나타나도록 상기 스마트팩토리 원격협업 CMS 플랫폼을 상기 현장 작업자용 통신 단말기에 실시간으로 제공하고, 상기 고유식별 마크나 실물로부터 인지되는 장비식별 정보와 상기 현장 작업자용 통신 단말기의 고유식별 정보 간의 1:1 매칭을 통해 사용 접근에 관한 승인여부를 판단해 상기 현장 작업자용 통신 단말기의 담당 장비에 대한 현장작업 실시를 지원하는 원격협업 CMS 관리 서버를 포함한다.In other words, the smart factory remote collaboration CMS system on augmented reality according to an embodiment of the present invention automatically recognizes the unique identification mark or the real thing attached to the responsible equipment, which is one of a plurality of equipment deployed in the smart factory, and displays the AR screen. A communication terminal for on-site workers visually real-time confirming manual information on the responsible equipment in 2D / 3D by displaying a menu button within the AR screen and clicking at least one of the menu buttons; When the communication terminal for the field worker clicks the call button among the menu buttons, the detailed inspection screen for the responsible equipment displayed on the communication terminal for the field worker is checked in real time and analogous or similar to the detailed inspection screen. It drives the artificial intelligence smart factory consulting program to find possible past detailed inspection screens through machine learning, extracts manual specific search information set in advance to match 1: 1 with the past detailed inspection screens within the manual information, converts TTS, , A communication terminal for artificial intelligence smart factory consulting that automatically translates the voice information generated by the TTS conversion into an English mode or a native language mode set in advance by the communication terminal for field workers, and then externally displays it in English or a native language; And a smart factory remote collaboration CMS platform with all manual information on the plurality of equipment, and the menu button on the AR screen as it is understood that the communication terminal for the field worker automatically recognizes the unique identification mark or the real object. The smart factory remote collaboration CMS platform is provided in real time to the communication terminal for the field worker so as to appear, 1: 1 between the identification information of the unique identification mark or the actual identification information of the communication terminal for the field worker. It includes a remote collaboration CMS management server that determines whether to approve usage access through matching and supports field work on the equipment in charge of the communication terminal for the field worker.
또한, 본 발명의 실시예에 따른 증강현실 상의 스마트팩토리 원격협업 CMS 시스템의 구동방법은, 현장 작업자용 통신 단말기가 스마트 공장 내 배치된 다수의 장비 중 선택된 어느 하나인 담당 장비에 부착된 고유식별 마크나 실물 그대로를 자동 인식해 AR 화면을 띄워 상기 AR 화면 내에 메뉴 버튼을 표출시키고, 상기 메뉴 버튼 중 적어도 어느 하나를 클릭함에 따라 상기 담당 장비에 대한 메뉴얼 정보를 2D/3D로 비주얼하게 실시간으로 확인하는 단계; 상기 현장 작업자용 통신 단말기가 상기 메뉴 버튼 중 통화 버튼을 클릭할 경우, 인공지능 스마트팩토리 컨설팅용 통신 단말기가 상기 현장 작업자용 통신 단말기에 나타난 상기 담당 장비를 대상으로 한 상세점검 화면을 실시간으로 체크하는 단계; 상기 인공지능 스마트팩토리 컨설팅용 통신 단말기가 상기 상세점검 화면과 유사 혹은 동일로 유추될만한 과거 상세점검 화면을 인공지능 스마트팩토리 컨설팅 프로그램이 머신러닝을 통해 찾아내도록 구동시키는 단계; 상기 인공지능 스마트팩토리 컨설팅용 통신 단말기가 상기 과거 상세점검 화면과 1:1 매칭되도록 미리 설정해 둔 메뉴얼 특정서칭 정보를 상기 메뉴얼 정보 내에서 추출해 TTS 변환하는 단계; 상기 인공지능 스마트팩토리 컨설팅용 통신 단말기가 상기 TTS 변환으로 생성된 음성 정보를 상기 현장 작업자용 통신 단말기가 사전에 설정해 둔 영어 모드 또는 자국어 모드로 자동 번역한 후 영어나 자국어로 외부 표출시키는 단계; 원격협업 CMS 관리 서버가 상기 다수의 장비에 관한 전체 메뉴얼 정보와 스마트팩토리 원격협업 CMS 플랫폼을 구비하는 단계; 상기 원격협업 CMS 관리 서버가 상기 AR 화면상에 상기 메뉴 버튼이 나타나도록 상기 스마트팩토리 원격협업 CMS 플랫폼을 상기 현장 작업자용 통신 단말기에 실시간으로 제공하는 단계; 상기 원격협업 CMS 관리 서버가 상기 고유식별 마크나 실물로부터 인지되는 장비식별 정보와 상기 현장 작업자용 통신 단말기의 고유식별 정보 간의 1:1 매칭을 통해 사용 접근에 관한 승인여부를 판단하는 단계; 및 상기 원격협업 CMS 관리 서버가 상기 현장 작업자용 통신 단말기의 담당 장비에 대한 현장작업 실시를 지원하는 단계를 포함한다.In addition, a method for driving a smart factory remote collaboration CMS system on augmented reality according to an embodiment of the present invention is a unique identification mark attached to a responsible equipment, which is a selected one of a plurality of equipment arranged in a smart factory where a communication terminal for field workers is used. I automatically recognize the real thing and display the AR button on the AR screen by displaying the AR screen, and visually check the manual information on the equipment in real time in 2D / 3D by clicking at least one of the menu buttons. step; When the communication terminal for the field worker clicks the call button among the menu buttons, the communication terminal for artificial intelligence smart factory consulting checks the detailed inspection screen for the responsible equipment displayed in the communication terminal for the field worker in real time. step; Driving the artificial intelligence smart factory consulting communication terminal to find a past detailed inspection screen similar or identical to the detailed inspection screen by the artificial intelligence smart factory consulting program through machine learning; Extracting the manual specific search information set in advance so that the artificial intelligence smart factory consulting communication terminal is 1: 1 matched with the past detailed inspection screen, and converting it into TTS; The artificial intelligence smart factory consulting communication terminal automatically translates the voice information generated by the TTS conversion into the English mode or the native language mode set in advance by the communication terminal for field workers, and then externally displays it in English or native language; Providing a remote collaboration CMS management server with full manual information on the plurality of devices and a smart factory remote collaboration CMS platform; Providing, by the remote collaboration CMS management server, the smart factory remote collaboration CMS platform in real time to the communication terminal for the field worker so that the menu button appears on the AR screen; Determining, by the remote collaboration CMS management server, whether to approve the use access through 1: 1 matching between the equipment identification information recognized from the unique identification mark or the real and the identification information of the communication terminal for the field worker; And the remote collaboration CMS management server assisting in performing field work on the equipment in charge of the communication terminal for the field worker.
본 발명의 증강현실 상의 스마트팩토리 원격협업 CMS 시스템 및 그 구동방법은 스마트 공장 내 비치된 다수의 장비 중 선택된 어느 하나인 담당 장비에 부착된 고유식별 마크 혹은 실물을 자동 인식할 시 스마트팩토리 원격협업 CMS 플랫폼 상에서 구현되는 AR 화면을 통해 담당 장비에 관한 유용한 정보들을 실시간으로 제공해 줌으로써, 현장 작업자용 통신 단말기에게 위임된 담당 장비에 대한 이해 및 파악을 정확히 도모하는 제 1 효과를 준다.Smart factory remote collaboration CMS system on augmented reality of the present invention and its driving method are smart factory remote collaboration CMS when automatically recognizing a unique identification mark or real object attached to a responsible equipment selected from among a plurality of equipment provided in a smart factory. By providing useful information about the responsible equipment in real time through the AR screen implemented on the platform, it provides the first effect to accurately understand and grasp the responsible equipment delegated to the communication terminal for field workers.
본 발명은 현장 작업자용 통신 단말기와 인공지능 스마트팩토리 컨설팅용 통신 단말기 간의 대화형 가상비서 서비스를 지원해 줌으로써, 실제 작업 현장에서 활용되는 담당 장비에 관한 원격 협업을 인공지능 스마트팩토리 컨설팅 프로그램을 통해 실시케 하여 실제 작업현장에서 일어나는 각종 작업상태 및 각종 이벤트 현황에 관한 신속한 정보수집 및 정보전달을 인공지능 스마트팩토리 컨설팅용 통신 단말기의 도움을 받아 대응, 응대, 돌발상황에 따른 긴급 조치 뿐만 아니라 스마트 공장 내에서 일어나는 시스템 전반에 관한 운행 및 관리 체계를 더욱 안정화시킬 수 있는 제 2 효과를 준다.The present invention provides an interactive virtual secretary service between a communication terminal for field workers and a communication terminal for artificial intelligence smart factory consulting, thereby enabling remote collaboration on the equipment used in the actual work site through an artificial intelligence smart factory consulting program. By responding to, responding to, responding to, responding to and responding promptly to information on the status of various jobs and events occurring at the actual work site, and communicating information with the help of communication terminals for artificial intelligence smart factory consulting, as well as emergency measures within the smart factory It gives a second effect that can further stabilize the operation and management system for the overall system that takes place.
본 발명은 담당 장비를 대상으로 한 현장 작업자용 통신 단말기와 인공지능 스마트팩토리 컨설팅용 통신 단말기 간의 원격협업이 진행되도록 클라우드 통신망 구축하여 종래의 행해왔던 출장, 외근없이도 원격으로 담당 장비에 대한 대한 정보알림 및 정보처리를 언제든, 어디서든 실시할 수 있게 되어 시간낭비, 비용절감 및 업무효율을 극대화시키는 제 3 효과를 준다.The present invention establishes a cloud communication network so that a remote collaboration between a communication terminal for field workers and a communication terminal for artificial intelligence smart factory consulting targeting the equipment in charge is carried out, and informs information about the equipment in charge remotely without a business trip or outside work. And information processing can be performed anytime, anywhere, giving a third effect of maximizing time wasting, cost reduction, and work efficiency.
본 발명은 증강현실 상의 스마트팩토리 원격협업 CMS 시스템 내 AR 기술을 수반하는 스마트팩토리 원격협업 CMS 플랫폼을 활성화시켜 보다 빠르고 정확한 의사 결정에 따른 일처리 및 그에 따른 제품 생산력 향상, 수익율 증대를 기대할 수 있는 제 4 효과를 준다.The present invention activates a smart factory remote collaboration CMS platform that involves AR technology in a smart factory remote collaboration CMS system on augmented reality, and can be expected to increase work yields according to faster and more accurate decision making, thereby improving product productivity and yield. 4 gives effect.
본 발명은 AR 기술을 수반하는 스마트팩토리 원격협업 CMS 플랫폼의 유용성을 더욱 고취시켜 담당 장비를 대상으로 한 정기점검의 편리성 향상 및 그에 따른 장비 고장, 장비 오작동의 감소율 증대, 사고 위험율 저감 및 작업중단 여태로 생길만한 막대한 인적 물적 피해를 최대한 줄여 나감과 동시에 제품의 원가 경쟁력과 기업 수익성을 더욱 증대시켜 기업의 이익추구 및 4차산업 관련 산업계 및 학계 전반을 크게 공헌하는데 이바지하는 제 5 효과를 준다.The present invention further enhances the convenience of regular inspections for the equipment in charge by further enhancing the usefulness of the smart factory remote collaboration CMS platform with AR technology, resulting in increased equipment failure, reduction in equipment malfunction, reduction in accident risk, and interruption of work. It has the fifth effect of contributing greatly to the pursuit of profits of companies and to the overall contribution of industry and academia related to the fourth industry by further increasing the cost competitiveness and the profitability of products while reducing the enormous human and physical damages possible.
도 1은 본 발명의 실시예에 따른 증강현실 상의 스마트팩토리 원격협업 CMS 시스템을 도시한 도면이다.
도 2은 본 발명의 실시예에 따른 증강현실 상의 스마트팩토리 원격협업 CMS 시스템을 도시한 다른 도면이다.
도 3은 본 발명의 실시예에 따른 증강현실 상의 스마트팩토리 원격협업 CMS 시스템을 도시한 상세도면이다.
도 4는 본 발명의 실시예에 따른 증강현실 상의 스마트팩토리 원격협업 CMS 시스템의 스마트팩토리 원격헙업 CMS 플랫폼을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 스마트팩토리 원격헙업 CMS 플랫폼에서 제공되는 원격협업 서비스 리스트를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 증강현실 상의 스마트팩토리 원격협업 CMS 시스템의 구동방법을 나타낸 순서도이다.1 is a view showing a smart factory remote collaboration CMS system on augmented reality according to an embodiment of the present invention.
Figure 2 is another diagram showing a smart factory remote collaboration CMS system on augmented reality according to an embodiment of the present invention.
3 is a detailed diagram showing a smart factory remote collaboration CMS system on augmented reality according to an embodiment of the present invention.
4 is a view showing a smart factory remote collaboration CMS platform of a smart factory remote collaboration CMS system on augmented reality according to an embodiment of the present invention.
5 is a view showing a list of remote collaboration services provided in a smart factory remote up-up CMS platform according to an embodiment of the present invention.
6 is a flowchart illustrating a method of driving a smart factory remote collaboration CMS system on augmented reality according to an embodiment of the present invention.
[실시예][Example]
이하, 본 발명의 실시예에 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings in an embodiment of the present invention will be described in detail as follows.
도 1은 본 발명의 실시예에 따른 증강현실 상의 스마트팩토리 원격협업 CMS 시스템을 도시한 도면이다.1 is a view showing a smart factory remote collaboration CMS system on augmented reality according to an embodiment of the present invention.
도 1를 참조하면, 증강현실 상의 스마트팩토리 원격협업 CMS 시스템(1000)은 스마트 공장 내 배치된 담당 장비의 고유식별 마크나 실물(110) 그대로를 자동 인식할 시, 담당 장비에 관한 각종 유용한 정보들을 AR 화면(2100)을 통해 실시간으로 제공하며, 현장 작업자용 통신 단말기(100)와 인공지능 스마트팩토리 컨설팅용 통신 단말기(200) 간의 대화용 가상비서 서비스를 지원해 줌으로써, 실제 작업 현장에서 활용되는 담당 장비에 관한 원격 협업을 인공지능 스마트팩토리 컨설팅 프로그램을 통해 실시케 하는 시스템으로, 현장 작업자용 통신 단말기(100), 인공지능 스마트팩토리 컨설팅용 통신 단말기(200) 및 원격협업 CMS 관리 서버(300)를 포함한다.Referring to FIG. 1, the smart factory remote
먼저, 현장 작업자용 통신 단말기(100)는 도 3, 도 4에서 보여지는 바와 같이, 스마트 공장 내 배치된 다수의 장비 중 선택된 어느 하나인 담당 장비에 부착된 고유식별 마크(110)나 실물을 그대로 자동 인식해 AR 화면(2100)을 띄워 AR 화면(2100) 내에 메뉴 버튼을 표출시키고, 메뉴 버튼 중 적어도 어느 하나를 클릭함에 따라 담당 장비에 대한 메뉴얼 정보를 2D/3D로 비주얼하게 실시간으로 확인한다.First, the
여기서, 현장 작업자용 통신 단말기(100)는 증강현실/가상현실 겸용 스마트 글라스, 증강현실/가상현실 지원용 5G(4G) 스마트폰, 스마트팩토리 원격헙업 CMS 플랫폼을 통해 제공되는 AR 화면(2100)을 실시간으로 디스플레이해 주는 휴대용 단말기, 헤드 마운트 디스플레이 기기(HMD) 중 선택된 하나라 할 수 있겠다.Here, the communication terminal for the
현장 작업자용 통신 단말기(100)는 대화형 가상비서 서비스를 제공하는 크라우드 통신을 활용해 인공지능 스마트팩토리 컨설팅용 통신 단말기(200)와의 원격협업을 인공지능 스마트팩토리 컨설팅 프로그램을 통해 수행하기 위하여 스마트팩토리 원격헙업 CMS 플랫폼(2000)의 사용권한을 위한 회원가입 및 로그인 접속을 실시한다.The communication terminal for the
현장 작업자용 통신 단말기(100)는 회원 로그인을 인증 완료한 후, 접속 대기 중에 있는 인공지능 스마트팩토리 컨설팅용 통신 단말기(200)와의 통화 연결을 진행한다.The
그에 따라, 인공지능 스마트팩토리 컨설팅용 통신 단말기(200)는 현장 작업자용 통신 단말기(100)가 메뉴 버튼 중 통화 버튼(2110)을 클릭할 경우, 현장 작업자용 통신 단말기(100)에 나타난 AR 화면(2100)을 딥러닝 기법을 적용해 정밀 분석하거나 현장 작업자용 통신 단말기(100)에 나타난 담당 장비를 대상으로 한 상세점검 화면을 실시간으로 체크하는 동작을 실시한다.Accordingly, the artificial intelligence smart factory
인공지능 스마트팩토리 컨설팅용 통신 단말기(200)는 상세점검 화면과 유사 혹은 동일로 유추될만한 과거 상세점검 화면을 인공지능 스마트팩토리 컨설팅 프로그램이 머신러닝을 통해 찾아내도록 구동시킨다.The
또한, 인공지능 스마트팩토리 컨설팅용 통신 단말기(200)는 과거 상세점검 화면과 1:1 매칭되도록 미리 설정해 둔 메뉴얼 특정서칭 정보를 메뉴얼 정보 내에서 추출해 TTS(text-to-speech) 변환하고, TTS 변환으로 생성된 음성 정보를 현장 작업자용 통신 단말기(100)가 사전에 설정해 둔 영어 모드 또는 자국어 모드로 자동 번역한 후 영어나 자국어로 외부 표출시킨다.In addition, the artificial intelligence smart factory
인공지능 스마트팩토리 컨설팅용 통신 단말기(200)는 현장 작업자용 통신 단말기(100)가 메뉴 버튼 중 통화 버튼(2110)을 클릭할 경우, 현장 작업자용 통신 단말기(100)와의 통화 연결에 의해 생성된 현장 작업자 음성이 실린 질의 정보를 분석하고, 메뉴얼 정보를 참조로 질의 정보에 대해 부합될 만한 답변 정보를 생성 후 TTS 변환해, 현장 작업자용 통신 단말기(100)에게 영어나 자국어로 음성 표출한다.The
여기서, 인공지능 스마트팩토리 컨설팅 프로그램은 원격협업 CMS 관리 서버(300)가 업데이트된 전체 메뉴얼 정보에 포함되는 담당 장비의 메뉴얼 정보 내 메뉴얼 특정서칭 정보와 과거 상세검검 화면이 1:1 매칭되는지를 딥러닝하여 음성 정보의 빅데이터량을 덧붙여 증대시키거나 딥러닝으로 버전업된 음성 정보의 최신 빅데이터량만을 선별해 저장해 두도록 개발된 AI 솔루션을 적용시킨 맞춤형 컨텐츠이다라는 점에서 본 발명만의 고유하면서 도드러진 기술적 특이성이 존재한다고 주장할 수 있을 것이다.Here, the artificial intelligence smart factory consulting program deep-learns whether the manual specific searching information in the manual information of the responsible equipment included in the updated manual information of the remote collaboration
원격협업 CMS 관리 서버(300)는 다수의 장비에 관한 전체 메뉴얼 정보와 스마트팩토리 원격협업 CMS 플랫폼(2000)을 구비하며, 현장 작업자용 통신 단말기(100)가 고유식별 마크(110) 또는 실물의 자동 인식을 파악함에 따라 AR 화면(2100)상에 메뉴 버튼이 나타나도록 스마트팩토리 원격협업 CMS 플랫폼(2000)을 현장 작업자용 통신 단말기(100)에 실시간으로 제공하고, 고유식별 마크나 실물(110)로부터 인지되는 장비식별 정보와 현장 작업자용 통신 단말기(100)의 고유식별 정보 간의 1:1 매칭을 통해 사용 접근에 관한 승인여부를 판단해 현장 작업자용 통신 단말기(100)의 담당 장비에 대한 현장작업 실시를 지원한다.The remote collaboration
원격협업 CMS 관리 서버(300)는 장비식별 정보와 고유식별 정보 간의 1:1 매칭을 통해 사용 접근에 관한 승인여부를 판단할 시, 스마트팩토리 원격협업 CMS 플랫폼(2000)에 접근한 현장 작업자용 통신 단말기(100)를 소지한 작업자가 미리 회원등록한 아이디와 패스워드의 입력을 요청하며, 회원등록 일치로 로그인된 현장 작업자용 통신 단말기(100)를 대상으로 사용 접근을 승인한다.When the remote collaboration
원격협업 CMS 관리 서버(300)는 클라우드 통신망과 기연결된 장비공급 업체서버, 포탈 사이트 또는 SNS를 통해 다수의 장비에 관한 전체 메뉴얼 정보를 년/월/일별로 수시로 전달받아 업데이트를 실시한 후, 인공지능 스마트팩토리 컨설팅 프로그램이 업데이트된 전체 메뉴얼 정보를 참조해 머신러닝 동작을 실시하도록 인공지능 스마트팩토리 컨설팅용 통신 단말기(200)를 원격 제어한다.The remote collaboration
증강현실 상의 스마트팩토리 원격협업 CMS 시스템(1000)의 추가 구성인 빅데이터 관리 서버(400)는 도 2와 도 3에서도 알 수 있듯이, ERP 데이터베이스, MES 데이터베이스, POP 데이터베이스, PLM 데이터베이스, TPM 데이터베이스에 저장된 다량의 빅데이터를 대상으로 한 양방향 클라우드 통신에 따른 흐름 제어, 에러 제어, 혼잡 제어한다.The big
흐름 제어는 송신측이 수신측의 처리속도 보다 더 빨리 데이타를 보내지 못하도록 제어해 주는 것을 말하고, 에러 제어는 데이타 전송 중 발생되는 에러를 검출하고 이를 보정해주는 것을 말하며, 혼잡 제어는 정보 소통량을 조절하여 네트워크가 혼잡해지지 않게 조절하는 것을 말한다. 예를 들어, 정보 소통량이 과다한 것을 감지하여 패킷을 적게 보내면 혼잡 붕괴 현상이 일어나는 것을 막을 수 있다.Flow control refers to control that the sender does not send data faster than the processing speed of the receiver, error control refers to detecting and correcting errors that occur during data transmission, and congestion control by adjusting information traffic It means adjusting the network so that it is not congested. For example, detecting an excessive amount of information traffic and sending fewer packets can prevent congestion collapse.
즉, 빅데이터 관리 서버(400)는 클라우드 통신망을 통해 전송되는 다량의 빅데이터를 신호 처리 및 관리한다.That is, the big
빅데이터 관리 서버(400)는 현장 작업자용 통신 단말기(100)를 소지한 현장 작업자의 인적정보를 수시 등록 및 관리하며, 현장 작업자가 스마트팩토리 원격협업 CMS 플랫폼(2000)을 통해 올려놓은 일과정보를 전달받아 현장 작업자별 성과이력 통계치를 산출한다.The big
여기서, 스마트팩토리 원격협업 CMS 플랫폼(2000)은, 기업 내 생산, 물류, 재무, 회계, 영업, 구매, 재고를 포함하는 경영 활동 프로세스들을 통합적으로 연계해 관리해 주는 ERP(Enterprise Resource Planning) 데이터베이스와, 스마트 공장 내 운영되는 다수의 장비들의 실시간 모니터링, 제어, 제품의 유통 및 작업내역 추적관리, 수량 상태파악, 제품의 불량을 관리해 주는 MES(Manufacturing Execution System) 데이터베이스와 상시 컨넥션되어 있다.Here, the Smart Factory Remote Collaboration CMS platform (2000) includes an Enterprise Resource Planning (ERP) database that integrates and manages management activity processes including production, logistics, finance, accounting, sales, purchasing, and inventory within an enterprise, It is always connected to the MES (Manufacturing Execution System) database that manages real-time monitoring, control, product distribution and work history tracking, quantity status, and product defects in a number of equipments operating in a smart factory.
또한, 스마트팩토리 원격협업 CMS 플랫폼(2000)은, 제품을 대상으로 한 생산계획 및 작업지시에 의거 생산현장에서 발생하는 계획 대비 실적관리, 재고관리, 재공관리, 불출관리, 불량정보 관리, 다수의 장비에 대한 설비가동/비가동 정보관리, 라인별/공정별 생산현황 정보를 실시간으로 집계, 분석, 조회해 주는 POP(Point of Production) 데이터베이스와, 제품의 요구사항부터 개념정의, 개발, 생산, 유통, 유지보수, 폐기 및 재활용까지의 전과정에 걸쳐 제품의 출시에 관한 보증 책임을 경영 관리해 주는 PLM(Product lifecycle management) 데이터베이스와 상시 컨넥션되어 있다.In addition, the smart factory remote collaboration CMS platform (2000) is based on production plans and work orders for products, compared to plans that occur at the production site, performance management, inventory management, rework management, delivery management, defect information management, and multiple Equipment operation / non-operation information management for equipment, POP (Point of Production) database that aggregates, analyzes, and queries production status information by line / process in real time, and concept definition, development, production, from product requirements It is always connected to the product lifecycle management (PLM) database, which manages and manages the warranty responsibilities related to the release of products through distribution, maintenance, disposal, and recycling.
또한, 스마트팩토리 원격협업 CMS 플랫폼(2000)은, 다수의 장비의 고장, 제품의 불량, 현장 작업자의 산업 재해을 미리 예측해 위험수치 또는 경고 메시지로 알려주도록 지원하는 TPM(Total Productive Maintenance) 데이터베이스와 상시 컨넥션되어 있다.In addition, the Smart Factory Remote Collaboration CMS platform (2000) is always connected with a Total Productive Maintenance (TPM) database that helps to predict failures of multiple equipment, product defects, and industrial accidents of field workers in advance through a risk value or warning message. It is.
즉, 스마트팩토리 원격협업 CMS 플랫폼(2000)은, ERP(Enterprise Resource Planning) 데이터베이스, MES(Manufacturing Execution System) 데이터베이스, POP(Point of Production) 데이터베이스, PLM(Product lifecycle management) 데이터베이스, TPM(Total Productive Maintenance) 데이터베이스 중 적어도 하나로부터 다량의 빅데이터를 지원받음에 유의한다.In other words, the smart factory remote
또한, 스마트팩토리 원격협업 CMS 플랫폼(2000)에서 제공되는 원격협업 서비스 리스트는, 도 5에서 볼 수 있듯이 다수의 장비에 관한 명칭, 규격, 간략스팩 정보, 고유시리얼 번호, 고유식별 마크를 제공하는 (1)설비정보 검색 서비스와, 다수의 장비를 대상으로 한 스마트 공장 내 비치된 현 배치현황, 점검절차 정보, 점검이력, 수리이력, 고장원인 기록정보, 작업환경 최적유지 정보, 이상발생 경고정보를 제공하는 (2)고장진단 서비스와, 다수의 장비의 고장 발생시, 수리절차 정보, 부품 정보를 제공하는 (3)자체수리 지원 서비스를 포함한다.In addition, the list of remote collaboration services provided by the smart factory remote
또한, 스마트팩토리 원격협업 CMS 플랫폼(2000)에서 제공되는 원격협업 서비스 리스트는, 다수의 장비로부터 양산되는 제품에 관한 품목정보, 제품의 년월일별/시간대별 생산 통계치, 제품의 양산시 진행되는 공정별 생산 통계치를 제공하는 (4)생산정보 검색 서비스와, 다수의 장비를 대상으로 현 상태 정보, 년월일별/시간대별 실제운전 시간, 작업환경 최적유지 정보를 참조로 년월일별/시간대별 체크된 스마트 공장 내 온도, 습도에 관한 통계치를 제공하는 (5)장비상태 모니터링 서비스와, 현장 작업자용 통신 단말기(100)와 인공지능 스마트팩토리 컨설팅용 통신 단말기(200) 간에 년월일별/시간대별 접속된 전화연결 횟수에 관한 통계치, 질의-답변에 관한 상세정보를 저장 및 제공하는 (6)사용자 정보 서비스를 더 포함한다.In addition, the list of remote collaboration services provided by the Smart Factory Remote Collaboration CMS platform (2000) includes item information on products that are mass-produced from multiple equipment, production statistics for each month / time of the product, and production by process during mass production. (4) Production information retrieval service that provides statistics, and the current status information, actual operation time by date / time zone, and optimum maintenance information by work environment for multiple equipments (5) Equipment status monitoring service that provides statistics on temperature and humidity, and the number of connected telephone calls per month / time between the communication terminal for
인공지능 스마트팩토리 컨설팅 프로그램은 딥러닝(심층 학습)을 통해 상술한 기능들을 수행한다. 심층 학습은 어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예를 들어, 이미지의 경우는 픽셀 정보를 열 벡터로 표현하는 등)로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현 기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)가 진행되고 있으며, 이러한 노력의 결과로 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들이 컴퓨터 비젼, 음성 인식, 자연어 처리, 음성/신호 처리 등의 분야에 적용될 수 있다.The AI smart factory consulting program performs the functions described above through deep learning (deep learning). In-depth learning is represented in a form that a computer can recognize when there is any data (for example, in the case of an image, pixel information is represented as a column vector), and many studies are conducted to apply it to learning. How to make better representation techniques and how to build a model to learn them is ongoing, and as a result of these efforts, deep neural networks (DNN), convolutional deep neural networks (CNN) ), Various deep learning techniques such as Recurrent Boltzmann Machine (RNN), Restricted Boltzmann Machine (RBM), deep belief networks (DBN), Deep Q-Network They can be applied to fields such as computer vision, speech recognition, natural language processing, and voice / signal processing.
현재 모든 주요 상업 음성 인식 시스템(MS 코타나, 스카이프 번역기, 구글 나우, 애플 시리 등등)이 딥러닝 기법에 기반하고 있다.Currently, all major commercial speech recognition systems (MS Cortana, Skype translator, Google Now, Apple Siri, etc.) are based on deep learning techniques.
특히, 본 발명의 실시예에 따른 인공지능 스마트팩토리 컨설팅 프로그램은 자연어 처리 분야에서 심층 인공 신경망 구조를 이용하여 자동 번역(machine translation), 감정 분석(emotion analysis), 정보 검색(information retrieval)을 비롯한 다양한 자연 언어 처리 과정을 수행할 수 있다.In particular, the artificial intelligence smart factory consulting program according to an embodiment of the present invention uses a deep artificial neural network structure in the field of natural language processing, and includes a variety of automatic translation, emotion analysis, and information retrieval. Natural language processing can be performed.
도 6는 본 발명의 실시예에 따른 스마트팩토리 원격협업 CMS 시스템의 구동방법을 나타낸 순서도이다.6 is a flowchart illustrating a method of operating a smart factory remote collaboration CMS system according to an embodiment of the present invention.
도 6를 참조하면, 증강현실 상의 스마트팩토리 원격협업 CMS 시스템의 구동방법은 스마트 공장 내 비치된 담당 장비의 고유식별 마크 또는 장비 실물을 자동 인식할 시, 담당 장비에 관한 각종 유용한 정보들을 AR 화면을 통해 실시간으로 제공하며, 현장 작업자용 통신 단말기와 인공지능 스마트팩토리 컨설팅용 통신 단말기 간의 대화형 가상비서 서비스를 지원해 줌으로써, 실제 작업 현장에서 활용되는 담당 장비에 관한 원격 협업을 스마트팩토리 원격협업 CMS 플랫폼을 통해 실시케 하는 구동방법이다.Referring to FIG. 6, a method of driving a smart factory remote collaboration CMS system on augmented reality displays an AR screen with various useful information regarding a responsible equipment when automatically identifying a unique identification mark or equipment physical of a responsible equipment provided in a smart factory. Provides real-time and provides interactive virtual assistant service between the communication terminal for field workers and the communication terminal for artificial intelligence smart factory consulting, enabling the smart factory remote collaboration CMS platform for remote collaboration on the equipment in charge at the actual work site. It is a driving method to be implemented through.
즉, 현장 작업자용 통신 단말기는 스마트 공장 내 배치된 다수의 장비 중 선택된 어느 하나인 담당 장비에 부착된 고유식별 마크나 실물 그대로를 자동 인식해 AR 화면을 띄워 AR 화면 내에 메뉴 버튼을 표출시킨다(S100).That is, the communication terminal for the field worker automatically recognizes the unique identification mark or the real thing attached to the responsible equipment, which is one selected among a plurality of equipments arranged in the smart factory, and displays the AR screen to display the menu button in the AR screen (S100). ).
현장 작업자용 통신 단말기는 메뉴 버튼 중 적어도 어느 하나를 클릭함에 따라 담당 장비에 대한 메뉴얼 정보를 2D/3D로 비주얼하게 실시간으로 확인한다(S110).The communication terminal for the field worker visually checks the manual information on the equipment in charge in 2D / 3D in real time by clicking at least one of the menu buttons (S110).
현장 작업자용 통신 단말기가 메뉴 버튼 중 통화 버튼을 클릭할 경우, 인공지능 스마트팩토리 컨설팅용 통신 단말기는 현장 작업자용 통신 단말기에 나타난 담당 장비를 대상으로 한 상세점검 화면을 실시간으로 체크한다(S120).If the communication terminal for the field worker clicks the call button among the menu buttons, the communication terminal for AI smart factory consulting checks the detailed inspection screen for the equipment in charge in the communication terminal for the field worker in real time (S120).
인공지능 스마트팩토리 컨설팅용 통신 단말기는 상세점검 화면과 유사 혹은 동일로 유추될만한 과거 상세점검 화면을 인공지능 스마트팩토리 컨설팅 프로그램이 머신러닝을 통해 찾아내도록 구동시킨다(S130).The communication terminal for artificial intelligence smart factory consulting drives the artificial intelligence smart factory consulting program to find a past detailed inspection screen similar or identical to the detailed inspection screen through machine learning (S130).
인공지능 스마트팩토리 컨설팅용 통신 단말기는 과거 상세점검 화면과 1:1 매칭되도록 미리 설정해 둔 메뉴얼 특정서칭 정보를 메뉴얼 정보 내에서 추출해 TTS(text-to-speech)로 변환시킨다(S140).The communication terminal for AI smart factory consulting extracts manual specific search information set in advance to match 1: 1 with the past detailed inspection screen from the manual information and converts it into text-to-speech (TTS) (S140).
인공지능 스마트팩토리 컨설팅용 통신 단말기는 TTS 변환으로 생성된 음성 정보를 현장 작업자용 통신 단말기가 사전에 설정해 둔 영어 모드 또는 자국어 모드로 자동 번역한 후 영어나 자국어로 외부 표출시킨다(S150).The communication terminal for AI smart factory consulting automatically translates the voice information generated by TTS conversion into the English mode or the native language mode set in advance by the communication terminal for field workers, and then externally displays it in English or native language (S150).
원격협업 CMS 관리 서버는 다수의 장비에 관한 전체 메뉴얼 정보와 스마트팩토리 원격협업 CMS 플랫폼을 구비한다.The remote collaboration CMS management server is equipped with a full manual information on a plurality of devices and a smart factory remote collaboration CMS platform.
원격협업 CMS 관리 서버는 AR 화면상에 메뉴 버튼이 나타나도록 스마트팩토리 원격협업 CMS 플랫폼을 현장 작업자용 통신 단말기에 실시간으로 제공한다.The remote collaboration CMS management server provides the smart factory remote collaboration CMS platform in real time to the communication terminal for field workers so that the menu button appears on the AR screen.
원격협업 CMS 관리 서버는 고유식별 마크나 실물로부터 인지되는 장비식별 정보와 현장 작업자용 통신 단말기의 고유식별 정보 간의 1:1 매칭을 통해 사용 접근에 관한 승인여부를 판단한다(160).The remote collaboration CMS management server determines whether to approve the use access through 1: 1 matching between the unique identification mark or the equipment identification information recognized from the real thing and the unique identification information of the communication terminal for the field worker (160).
원격협업 CMS 관리 서버는 현장 작업자용 통신 단말기의 담당 장비에 대한 현장작업 실시를 지원한다(170).The remote collaboration CMS management server supports on-site operation of the equipment in charge of the communication terminal for the field worker (170).
본 발명의 실시예에 따른 스마트팩토리 원격협업 CMS 시스템의 구동방법에 대한 좀 더 추가적인 동작은 이하 기재된 바와 같이 실시 용이하다.The operation of the smart factory remote collaboration CMS system according to an embodiment of the present invention may be further performed as described below.
빅데이터 관리 서버는 ERP 데이터베이스, MES 데이터베이스, POP 데이터베이스, PLM 데이터베이스, TPM 데이터베이스에 저장된 다량의 빅데이터를 대상으로 한 양방향 클라우드 통신에 따른 흐름 제어, 에러 제어, 혼잡 제어한다.The big data management server controls flow control, error control, and congestion according to two-way cloud communication targeting a large amount of big data stored in ERP database, MES database, POP database, PLM database, and TPM database.
또한, 빅데이터 관리 서버는 현장 작업자용 통신 단말기를 소지한 현장 작업자의 인적정보를 수시 등록 및 관리하며, 현장 작업자가 스마트팩토리 원격협업 CMS 플랫폼을 통해 올려놓은 일과정보를 전달받아 현장 작업자별 성과이력 통계치를 산출한다.In addition, the big data management server registers and manages the personal information of the field worker who has the communication terminal for the field worker at any time, and receives the work information uploaded by the field worker through the smart factory remote collaboration CMS platform, and the performance history of each field worker Calculate statistics.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to the preferred embodiments of the present invention, those skilled in the art may variously modify and change the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that you can.
1000 : 증강현실 상의 스마트팩토리 원격협업 CMS 시스템
100 : 현장 작업자용 통신 단말기
200 : 인공지능 스마트팩토리 컨설팅용 통신 단말기
300 : 원격협업 CMS 관리 서버
400 : 빅데이터 관리 서버
2000 : 스마트팩토리 원격헙업 CMS 플랫폼1000: Smart Factory Remote Collaboration CMS System on Augmented Reality
100: communication terminal for field workers
200: artificial intelligence smart factory consulting communication terminal
300: CMS for remote collaboration management
400: big data management server
2000: Smart Factory Remote Up CMS Platform
Claims (8)
상기 현장 작업자용 통신 단말기가 상기 메뉴 버튼 중 통화 버튼을 클릭할 경우, 상기 현장 작업자용 통신 단말기에 나타난 상기 담당 장비를 대상으로 한 상세점검 화면을 실시간으로 체크해 상기 상세점검 화면과 유사 혹은 동일로 유추될만한 과거 상세점검 화면을 인공지능 스마트팩토리 컨설팅 프로그램이 머신러닝을 통해 찾아내도록 구동시키며, 상기 과거 상세점검 화면과 1:1 매칭되도록 미리 설정해 둔 메뉴얼 특정서칭 정보를 상기 메뉴얼 정보 내에서 추출해 TTS 변환하고, 상기 TTS 변환으로 생성된 음성 정보를 상기 현장 작업자용 통신 단말기가 사전에 설정해 둔 영어 모드 또는 자국어 모드로 자동 번역한 후 영어나 자국어로 외부 표출시키는 인공지능 스마트팩토리 컨설팅용 통신 단말기; 및
상기 다수의 장비에 관한 전체 메뉴얼 정보와 스마트팩토리 원격협업 CMS 플랫폼을 구비하며, 상기 현장 작업자용 통신 단말기가 상기 고유식별 마크나 실물을 자동 인식함을 파악함에 따라 상기 AR 화면상에 상기 메뉴 버튼이 나타나도록 상기 스마트팩토리 원격협업 CMS 플랫폼을 상기 현장 작업자용 통신 단말기에 실시간으로 제공하고, 상기 고유식별 마크나 실물로부터 인지되는 장비식별 정보와 상기 현장 작업자용 통신 단말기의 고유식별 정보 간의 1:1 매칭을 통해 사용 접근에 관한 승인여부를 판단해 상기 현장 작업자용 통신 단말기의 담당 장비에 대한 현장작업 실시를 지원하는 원격협업 CMS 관리 서버를 포함하며,
상기 인공지능 스마트팩토리 컨설팅 프로그램은,
상기 원격협업 CMS 관리 서버가 업데이트된 전체 메뉴얼 정보에 포함되는 상기 담당 장비의 메뉴얼 정보 내 메뉴얼 특정서칭 정보와 상기 과거 상세점검 화면이 1:1 매칭되는지를 딥러닝하여 상기 음성 정보의 빅데이터량을 덧붙여 증대시키거나 상기 딥러닝으로 버전업된 상기 음성 정보의 최신 빅데이터량만을 선별해 저장해 두는 것을 특징으로 하는 증강현실 상의 스마트팩토리 원격협업 CMS 시스템.
A unique identification mark attached to a responsible device, which is one of a plurality of devices deployed in a smart factory, is automatically recognized, and an AR screen is opened to display a menu button within the AR screen, and at least one of the menu buttons is displayed. A communication terminal for a field worker who visually checks the manual information on the responsible equipment in 2D / 3D in real time by clicking;
When the communication terminal for the field worker clicks the call button among the menu buttons, the detailed inspection screen for the equipment in charge of the field worker communication terminal is checked in real time and analogous or similar to the detailed inspection screen. It drives the artificial intelligence smart factory consulting program to find possible past detailed inspection screens through machine learning, extracts manual specific search information set in advance to match 1: 1 with the past detailed inspection screens within the manual information, converts TTS, , A communication terminal for artificial intelligence smart factory consulting that automatically translates the voice information generated by the TTS conversion into an English mode or a native language mode set in advance by the communication terminal for field workers, and then externally displays it in English or a native language; And
The menu button is displayed on the AR screen as it has full manual information on the plurality of equipment and a smart factory remote collaboration CMS platform, and the communication terminal for field workers automatically recognizes the unique identification mark or the real thing. Providing the smart factory remote collaboration CMS platform in real time to the communication terminal for the field worker so as to appear, 1: 1 matching between the unique identification mark or the equipment identification information recognized from the real and the unique identification information of the field worker communication terminal. Includes a remote collaboration CMS management server that supports on-site work for the equipment in charge of the communication terminal for the field worker by determining whether to approve the use access through the
The AI smart factory consulting program,
The remote collaboration CMS management server deep-learns whether the manual specific search information in the manual information of the responsible equipment included in the updated manual information and the past detailed inspection screen match 1: 1 to increase the amount of big data of the voice information. In addition, a smart factory remote collaboration CMS system in augmented reality, characterized in that only the latest big data amount of the voice information that has been increased or upgraded by the deep learning is selected and stored.
상기 현장 작업자용 통신 단말기가 상기 메뉴 버튼 중 통화 버튼을 클릭할 경우, 상기 현장 작업자용 통신 단말기와의 통화 연결에 의해 생성된 현장 작업자 음성이 실린 질의 정보를 분석하고, 상기 메뉴얼 정보를 참조로 상기 질의 정보에 대해 부합될 만한 답변 정보를 생성 후 TTS 변환해, 상기 현장 작업자용 통신 단말기에게 상기 영어나 자국어로 음성 표출해 주는 것을 특징으로 하는 증강현실 상의 스마트팩토리 원격협업 CMS 시스템.
The artificial intelligence smart factory consulting communication terminal,
When the communication terminal for the field worker clicks the call button among the menu buttons, the query information carried by the field worker voice generated by the call connection with the communication terminal for the field worker is analyzed, and the manual information is referred to as the reference. Smart factory remote collaboration CMS system in augmented reality, characterized in that it generates a response information suitable for the query information and converts it to TTS, and then voices the voice to the communication terminal for field workers in the English or the native language.
상기 다수의 장비에 관한 명칭, 규격, 간략스팩 정보, 고유시리얼 번호, 고유식별 마크를 제공하는 설비정보 검색 서비스;
상기 다수의 장비를 대상으로 한 상기 스마트 공장 내 비치된 현 배치현황, 점검절차 정보, 점검이력, 수리이력, 고장원인 기록정보, 작업환경 최적유지 정보, 이상발생 경고정보를 제공하는 고장진단 서비스;
상기 다수의 장비의 고장 발생시, 수리절차 정보, 부품 정보를 제공하는 자체수리 지원 서비스;
상기 다수의 장비로부터 양산되는 제품에 관한 품목정보, 상기 제품의 년월일별/시간대별 생산 통계치, 상기 제품의 양산시 진행되는 공정별 생산 통계치를 제공하는 생산정보 검색 서비스;
상기 다수의 장비를 대상으로 현 상태 정보, 년월일별/시간대별 실제운전 시간, 상기 작업환경 최적유지 정보를 참조로 년월일별/시간대별 체크된 상기 스마트 공장 내 온도, 습도에 관한 통계치를 제공하는 장비상태 모니터링 서비스; 및
상기 현장 작업자용 통신 단말기와 인공지능 스마트팩토리 컨설팅용 통신 단말기 간에 년월일별/시간대별 접속된 전화연결 횟수에 관한 통계치, 질의-답변에 관한 상세정보를 저장 및 제공하는 사용자 정보 서비스를 포함하는 것을 특징으로 하는 증강현실 상의 스마트팩토리 원격협업 CMS 시스템.
According to claim 1, The list of remote collaboration services provided by the smart factory remote collaboration CMS platform,
A facility information retrieval service that provides names, specifications, brief specification information, unique serial numbers, and unique identification marks for the plurality of equipment;
A failure diagnosis service that provides the current deployment status, inspection procedure information, inspection history, repair history, failure cause record information, work environment optimum maintenance information, and abnormality warning information provided in the smart factory for the plurality of equipment;
A self-repair support service that provides repair procedure information and parts information when a plurality of equipments fail;
A production information retrieval service that provides item information on products mass-produced from the plurality of equipment, production statistics for each month / time of the product, and production statistics for each process performed during mass production of the products;
Equipment that provides statistics on temperature and humidity in the smart factory checked by month, month, and time zone with reference to the current status information, actual operation time for each month / time zone, and optimum maintenance information for the multiple devices Health monitoring services; And
And a user information service for storing and providing statistical information on the number of connected telephone connections by year / month and time between the communication terminal for field workers and the communication terminal for artificial intelligence smart factory consulting, and detailed information about inquiry-answer. Smart factory remote collaboration CMS system on augmented reality.
기업 내 생산, 물류, 재무, 회계, 영업, 구매, 재고를 포함하는 경영 활동 프로세스들을 통합적으로 연계해 관리해 주는 ERP(Enterprise Resource Planning) 데이터베이스;
상기 스마트 공장 내 운영되는 다수의 장비들의 실시간 모니터링, 제어, 상기 제품의 유통 및 작업내역 추적관리, 수량 상태파악, 상기 제품의 불량을 관리해 주는 MES(Manufacturing Execution System) 데이터베이스;
상기 제품을 대상으로 한 생산계획 및 작업지시에 의거 생산현장에서 발생하는 계획 대비 실적관리, 재고관리, 재공관리, 불출관리, 불량정보 관리, 상기 다수의 장비에 대한 설비가동/비가동 정보관리, 라인별/공정별 생산현황 정보를 실시간으로 집계, 분석, 조회해 주는 POP(Point of Production) 데이터베이스;
상기 제품의 요구사항부터 개념정의, 개발, 생산, 유통, 유지보수, 폐기 및 재활용까지의 전과정에 걸쳐 상기 제품의 출시에 관한 보증 책임을 경영 관리해 주는 PLM(Product lifecycle management) 데이터베이스; 및
상기 다수의 장비의 고장, 상기 제품의 불량, 작업자의 산업 재해을 미리 예측해 위험수치 또는 경고 메시지로 알려주도록 지원하는 TPM(Total Productive Maintenance) 데이터베이스 중 적어도 하나로부터 다량의 빅데이터를 지원받는 것을 특징으로 하는 증강현실 상의 스마트팩토리 원격협업 CMS 시스템.
According to claim 3, The smart factory remote collaboration CMS platform,
An enterprise resource planning (ERP) database that integrates and manages management activities processes including production, logistics, finance, accounting, sales, purchasing, and inventory within the enterprise;
A real-time monitoring and control of a plurality of equipments operating in the smart factory, tracking and distribution of the product and managing work history, knowing the quantity status, and managing the MES (Manufacturing Execution System) database;
Based on production plans and work orders for the above products, performance management, inventory management, rework management, delivery management, defect information management, facility operation / non-operation information management for the above multiple equipment, POP (Point of Production) database that aggregates, analyzes, and queries production status information by line / process in real time;
A product lifecycle management (PLM) database that manages and manages the warranty responsibility for the release of the product from the requirements of the product to concept definition, development, production, distribution, maintenance, disposal, and recycling; And
Characterized in that a large amount of big data is supported from at least one of a total productive maintenance (TPM) database that supports to predict failures of the plurality of equipment, defects of the products, and industrial accidents of workers in advance by providing a risk value or a warning message. Smart factory remote collaboration CMS system in augmented reality.
상기 ERP 데이터베이스, MES 데이터베이스, POP 데이터베이스, PLM 데이터베이스, TPM 데이터베이스에 저장된 상기 다량의 빅데이터를 대상으로 한 양방향 클라우드 통신에 따른 흐름 제어, 에러 제어, 혼잡 제어하거나,
상기 현장 작업자용 통신 단말기를 소지한 현장 작업자의 인적정보를 수시 등록 및 관리하며, 상기 현장 작업자가 상기 스마트팩토리 원격협업 CMS 플랫폼을 통해 올려놓은 일과정보를 전달받아 상기 현장 작업자별 성과이력 통계치를 산출하는 빅데이터 관리 서버를 더 포함하는 것을 특징으로 하는 증강현실 상의 스마트팩토리 원격협업 CMS 시스템.
The method of claim 4,
Flow control, error control, congestion control according to two-way cloud communication for the large amount of big data stored in the ERP database, MES database, POP database, PLM database, and TPM database,
Register and manage personal information of the field worker who has the communication terminal for the field worker at any time, and receive the work information uploaded by the field worker through the smart factory remote collaboration CMS platform to calculate the performance history statistics for each field worker Smart factory remote collaboration CMS system on augmented reality, characterized in that it further comprises a big data management server.
상기 장비식별 정보와 고유식별 정보 간의 1:1 매칭을 통해 사용 접근에 관한 승인여부를 판단할 시, 스마트팩토리 원격협업 CMS 플랫폼에 접근한 상기 현장 작업자용 통신 단말기를 소지한 작업자가 미리 회원등록한 아이디와 패스워드의 입력을 요청하며, 상기 회원등록 일치로 로그인된 상기 현장 작업자용 통신 단말기를 대상으로 상기 사용 접근을 승인하며,
클라우드 통신망과 기연결된 장비공급 업체서버, 포탈 사이트 또는 SNS를 통해 상기 다수의 장비에 관한 전체 메뉴얼 정보를 년/월/일별로 수시로 전달받아 업데이트를 실시한 후, 상기 인공지능 스마트팩토리 컨설팅 프로그램이 상기 업데이트된 전체 메뉴얼 정보를 참조해 상기 머신러닝 동작을 실시하도록 상기 인공지능 스마트팩토리 컨설팅용 통신 단말기를 원격 제어하는 것을 특징으로 하는 증강현실 상의 스마트팩토리 원격협업 CMS 시스템.
The method of claim 1, wherein the remote collaboration CMS management server,
When determining whether to approve the use access through 1: 1 matching between the equipment identification information and the unique identification information, an ID registered by a worker who has the communication terminal for the field worker accessing the smart factory remote collaboration CMS platform in advance And a password input request, and approving the use access to the communication terminal for the field worker logged in with the member registration match,
After receiving and updating the entire manual information for the multiple devices from time to time by year / month / day through the equipment provider server, portal site, or SNS that is already connected to the cloud communication network, the artificial intelligence smart factory consulting program updates the Smart factory remote collaboration CMS system in augmented reality, characterized in that the remote control of the communication terminal for the artificial intelligence smart factory consulting to perform the machine learning operation with reference to the entire manual information.
상기 현장 작업자용 통신 단말기가 상기 메뉴 버튼 중 통화 버튼을 클릭할 경우, 인공지능 스마트팩토리 컨설팅용 통신 단말기가 상기 현장 작업자용 통신 단말기에 나타난 상기 담당 장비를 대상으로 한 상세점검 화면을 실시간으로 체크하는 단계;
상기 인공지능 스마트팩토리 컨설팅용 통신 단말기가 상기 상세점검 화면과 유사 혹은 동일로 유추될만한 과거 상세점검 화면을 인공지능 스마트팩토리 컨설팅 프로그램이 머신러닝을 통해 찾아내도록 구동시키는 단계;
상기 인공지능 스마트팩토리 컨설팅용 통신 단말기가 상기 과거 상세점검 화면과 1:1 매칭되도록 미리 설정해 둔 메뉴얼 특정서칭 정보를 상기 메뉴얼 정보 내에서 추출해 TTS 변환하는 단계;
상기 인공지능 스마트팩토리 컨설팅용 통신 단말기가 상기 TTS 변환으로 생성된 음성 정보를 상기 현장 작업자용 통신 단말기가 사전에 설정해 둔 영어 모드 또는 자국어 모드로 자동 번역한 후 영어나 자국어로 외부 표출시키는 단계;
원격협업 CMS 관리 서버가 상기 다수의 장비에 관한 전체 메뉴얼 정보와 스마트팩토리 원격협업 CMS 플랫폼을 구비하는 단계;
상기 원격협업 CMS 관리 서버가 상기 AR 화면상에 상기 메뉴 버튼이 나타나도록 상기 스마트팩토리 원격협업 CMS 플랫폼을 상기 현장 작업자용 통신 단말기에 실시간으로 제공하는 단계;
상기 원격협업 CMS 관리 서버가 상기 고유식별 마크나 실물로부터 인지되는 장비식별 정보와 상기 현장 작업자용 통신 단말기의 고유식별 정보 간의 1:1 매칭을 통해 사용 접근에 관한 승인여부를 판단하는 단계; 및
상기 원격협업 CMS 관리 서버가 상기 현장 작업자용 통신 단말기의 담당 장비에 대한 현장작업 실시를 지원하는 단계를 포함하며,
상기 인공지능 스마트팩토리 컨설팅 프로그램은,
상기 원격협업 CMS 관리 서버가 업데이트된 전체 메뉴얼 정보에 포함되는 상기 담당 장비의 메뉴얼 정보 내 메뉴얼 특정서칭 정보와 상기 과거 상세점검 화면이 1:1 매칭되는지를 딥러닝하여 상기 음성 정보의 빅데이터량을 덧붙여 증대시키거나 상기 딥러닝으로 버전업된 상기 음성 정보의 최신 빅데이터량만을 선별해 저장해 두는 것을 특징으로 하는 증강현실 상의 스마트팩토리 원격협업 CMS 시스템의 구동방법.A communication terminal for a field worker automatically recognizes a unique identification mark or a real thing attached to a responsible device, which is one selected among a plurality of devices deployed in a smart factory, to display an AR screen to display a menu button within the AR screen, and to display the menu. Visually real-time checking in 2D / 3D the manual information on the responsible equipment by clicking at least one of the buttons;
When the communication terminal for the field worker clicks the call button among the menu buttons, the communication terminal for artificial intelligence smart factory consulting checks the detailed inspection screen for the responsible equipment displayed in the communication terminal for the field worker in real time. step;
Driving the artificial intelligence smart factory consulting communication terminal to find a past detailed inspection screen similar or identical to the detailed inspection screen by the artificial intelligence smart factory consulting program through machine learning;
Extracting the manual specific search information set in advance so that the artificial intelligence smart factory consulting communication terminal is 1: 1 matched with the past detailed inspection screen, and converting it into TTS;
The artificial intelligence smart factory consulting communication terminal automatically translates the voice information generated by the TTS conversion into the English mode or the native language mode set in advance by the communication terminal for field workers, and then externally displays it in English or native language;
Providing a remote collaboration CMS management server with full manual information on the plurality of devices and a smart factory remote collaboration CMS platform;
Providing, by the remote collaboration CMS management server, the smart factory remote collaboration CMS platform in real time to the communication terminal for the field worker so that the menu button appears on the AR screen;
Determining, by the remote collaboration CMS management server, whether to approve the use access through 1: 1 matching between the equipment identification information recognized from the unique identification mark or the real and the identification information of the communication terminal for the field worker; And
The remote collaboration CMS management server includes the step of supporting the field work for the equipment in charge of the communication terminal for the field worker,
The AI smart factory consulting program,
The remote collaboration CMS management server deep-learns whether the manual specific search information in the manual information of the responsible equipment included in the updated manual information and the past detailed inspection screen match 1: 1 to increase the amount of big data of the voice information. In addition, the method of driving a smart factory remote collaboration CMS system in augmented reality, characterized in that only the latest big data amount of the voice information that is increased or upgraded by the deep learning is selected and stored.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190110397A KR102086451B1 (en) | 2019-09-06 | 2019-09-06 | Smart Factory remote collaboration CMS system in augmented reality and Drive method of the Same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190110397A KR102086451B1 (en) | 2019-09-06 | 2019-09-06 | Smart Factory remote collaboration CMS system in augmented reality and Drive method of the Same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102086451B1 true KR102086451B1 (en) | 2020-05-29 |
Family
ID=70911468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190110397A KR102086451B1 (en) | 2019-09-06 | 2019-09-06 | Smart Factory remote collaboration CMS system in augmented reality and Drive method of the Same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102086451B1 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738459A (en) * | 2020-05-30 | 2020-10-02 | 国网河北省电力有限公司石家庄供电分公司 | Holographic expert system is examined in communication dispatch operation based on AR technique |
| KR102210803B1 (en) * | 2020-08-21 | 2021-02-02 | 이복은 | System, method and apparatus for smart management based on augmented reality |
| KR102294397B1 (en) * | 2020-12-03 | 2021-08-26 | 주식회사 엔씨월드 | Smart wearable system using augmented reality |
| KR102326507B1 (en) * | 2020-07-30 | 2021-11-15 | 이정근 | Method and system for providing extended reality service to operate industrial facilities |
| KR102339815B1 (en) * | 2021-03-26 | 2021-12-15 | (주)모백스 | Intelligent NFC safety management system for industrial facilities |
| KR20220041600A (en) * | 2020-09-25 | 2022-04-01 | (주)디엘정보기술 | Method of evaluating quality of smart factory data |
| WO2022139026A1 (en) * | 2020-12-22 | 2022-06-30 | 주식회사 에이스로보테크 | Smart factory collaboration system using augmented reality |
| KR20220097299A (en) | 2020-12-30 | 2022-07-07 | (주) 유비씨 | Artificial intelligence-based real-time voice recognition remote collaboration method and system thereof |
| CN115334062A (en) * | 2022-06-30 | 2022-11-11 | 浙江工业大学 | Digital factory inspection system based on mixed reality technology |
| KR102585650B1 (en) * | 2023-03-06 | 2023-10-13 | 한방유비스 주식회사 | Nuclear power plant electrical facility management method and system |
| KR102601819B1 (en) | 2022-12-19 | 2023-11-14 | 주식회사 코탁스 | Control system for remote helmet based on augmented reality using real-time sharing of visual information |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060057131A (en) * | 2004-11-23 | 2006-05-26 | (주)포미트 | Intelligent plant information system |
| KR20170054416A (en) | 2014-09-02 | 2017-05-17 | 가부시끼가이샤 제이엠에스 | Adapter for semi-solid nutritional supplement |
| KR20180028106A (en) * | 2016-09-08 | 2018-03-16 | 진이진 | System for managing production using location-based service of andon and method therefor |
| KR20180101815A (en) * | 2017-03-06 | 2018-09-14 | 한밭대학교 산학협력단 | System and Method of Smart Factory Operation Management Solution Service Using Big Data Platform |
| KR20180134320A (en) | 2015-09-28 | 2018-12-18 | 도쿄엘렉트론가부시키가이샤 | Film forming apparatus |
| KR20190007627A (en) | 2017-07-13 | 2019-01-23 | (주)대주기업 | shutter slat |
| KR20190059120A (en) * | 2017-11-22 | 2019-05-30 | 주식회사 아이엠알 | Facility Inspection System using Augmented Reality based on IoT |
| KR101990284B1 (en) * | 2018-12-13 | 2019-06-18 | 주식회사 버넥트 | Intelligent cognitive technology based augmented reality system using speech recognition |
-
2019
- 2019-09-06 KR KR1020190110397A patent/KR102086451B1/en active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060057131A (en) * | 2004-11-23 | 2006-05-26 | (주)포미트 | Intelligent plant information system |
| KR20170054416A (en) | 2014-09-02 | 2017-05-17 | 가부시끼가이샤 제이엠에스 | Adapter for semi-solid nutritional supplement |
| KR20180134320A (en) | 2015-09-28 | 2018-12-18 | 도쿄엘렉트론가부시키가이샤 | Film forming apparatus |
| KR20180028106A (en) * | 2016-09-08 | 2018-03-16 | 진이진 | System for managing production using location-based service of andon and method therefor |
| KR20180101815A (en) * | 2017-03-06 | 2018-09-14 | 한밭대학교 산학협력단 | System and Method of Smart Factory Operation Management Solution Service Using Big Data Platform |
| KR20190007627A (en) | 2017-07-13 | 2019-01-23 | (주)대주기업 | shutter slat |
| KR20190059120A (en) * | 2017-11-22 | 2019-05-30 | 주식회사 아이엠알 | Facility Inspection System using Augmented Reality based on IoT |
| KR101990284B1 (en) * | 2018-12-13 | 2019-06-18 | 주식회사 버넥트 | Intelligent cognitive technology based augmented reality system using speech recognition |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738459A (en) * | 2020-05-30 | 2020-10-02 | 国网河北省电力有限公司石家庄供电分公司 | Holographic expert system is examined in communication dispatch operation based on AR technique |
| WO2022025481A1 (en) * | 2020-07-30 | 2022-02-03 | 이정근 | Extended reality service providing method and system for operation of industrial installation |
| KR102326507B1 (en) * | 2020-07-30 | 2021-11-15 | 이정근 | Method and system for providing extended reality service to operate industrial facilities |
| KR102210803B1 (en) * | 2020-08-21 | 2021-02-02 | 이복은 | System, method and apparatus for smart management based on augmented reality |
| KR20220041600A (en) * | 2020-09-25 | 2022-04-01 | (주)디엘정보기술 | Method of evaluating quality of smart factory data |
| KR102411291B1 (en) * | 2020-09-25 | 2022-06-27 | (주)디엘정보기술 | Method of evaluating quality of smart factory data |
| KR102294397B1 (en) * | 2020-12-03 | 2021-08-26 | 주식회사 엔씨월드 | Smart wearable system using augmented reality |
| WO2022139026A1 (en) * | 2020-12-22 | 2022-06-30 | 주식회사 에이스로보테크 | Smart factory collaboration system using augmented reality |
| KR20220097299A (en) | 2020-12-30 | 2022-07-07 | (주) 유비씨 | Artificial intelligence-based real-time voice recognition remote collaboration method and system thereof |
| KR102339815B1 (en) * | 2021-03-26 | 2021-12-15 | (주)모백스 | Intelligent NFC safety management system for industrial facilities |
| CN115334062A (en) * | 2022-06-30 | 2022-11-11 | 浙江工业大学 | Digital factory inspection system based on mixed reality technology |
| KR102601819B1 (en) | 2022-12-19 | 2023-11-14 | 주식회사 코탁스 | Control system for remote helmet based on augmented reality using real-time sharing of visual information |
| KR102585650B1 (en) * | 2023-03-06 | 2023-10-13 | 한방유비스 주식회사 | Nuclear power plant electrical facility management method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102086451B1 (en) | Smart Factory remote collaboration CMS system in augmented reality and Drive method of the Same | |
| KR102396255B1 (en) | Method for cloud service based customized smart factory mes integrated service using ai and speech recognition | |
| Guerreiro et al. | Definition of smart retrofitting: First steps for a company to deploy aspects of industry 4.0 | |
| Wang et al. | Digital twin design for real-time monitoring–a case study of die cutting machine | |
| CN107026894B (en) | Apparatus and method for automatic notification through industrial asset delivery | |
| US11790180B2 (en) | Omnichannel data communications system using artificial intelligence (AI) based machine learning and predictive analysis | |
| KR102074924B1 (en) | Smart Factory remote collaboration CMS system and drive method of the Same | |
| US10528021B2 (en) | Automated creation of industrial dashboards and widgets | |
| US10319128B2 (en) | Augmented reality presentation of an industrial environment | |
| CN104142664B (en) | Use the predictive maintenance of the industrial products of big data | |
| US20170351226A1 (en) | Industrial machine diagnosis and maintenance using a cloud platform | |
| US20170337283A1 (en) | Dynamic search engine for an industrial environment | |
| EP3285182B1 (en) | Multimodal search input for an industrial search platform | |
| EP3018597A1 (en) | Crawler for discovering control system data in an industrial automation environment | |
| KR20190088581A (en) | Dynamic monitoring system based on FBD machine learning and method thereof | |
| CN104977874A (en) | Industrial-enabled Mobile Device | |
| CN101963799A (en) | The Process Control System that has integrated external data source | |
| KR20230115970A (en) | System and operational methods for manufacturing execution based on artificial intelligence and bigdata | |
| KR20220097299A (en) | Artificial intelligence-based real-time voice recognition remote collaboration method and system thereof | |
| CN111807181A (en) | Web elevator monitoring platform | |
| Gao et al. | Research of Internet of Things applied to manufacturing execution system | |
| WO2023089097A1 (en) | Scalable, data-driven digital marketplace providing a standardized secured data system for interlinking sensitive risk-related data, and method thereof | |
| KR101974631B1 (en) | Method for providing customer supproting service using manual after auto-checking based on history log and ambient condition | |
| Khire et al. | A novel human machine interface for advanced building controls and diagnostics | |
| Negulescu | A Configuration Model of the Smart Manufacturing Company |