KR20220029002A - Smart factory monitoring system of augmented reality type using gaze tracking technology - Google Patents

Smart factory monitoring system of augmented reality type using gaze tracking technology Download PDF

Info

Publication number
KR20220029002A
KR20220029002A KR1020200110775A KR20200110775A KR20220029002A KR 20220029002 A KR20220029002 A KR 20220029002A KR 1020200110775 A KR1020200110775 A KR 1020200110775A KR 20200110775 A KR20200110775 A KR 20200110775A KR 20220029002 A KR20220029002 A KR 20220029002A
Authority
KR
South Korea
Prior art keywords
factory
facility
eye tracking
operation information
monitoring system
Prior art date
Application number
KR1020200110775A
Other languages
Korean (ko)
Other versions
KR102393869B1 (en
Inventor
이상호
이인배
Original Assignee
이상호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이상호 filed Critical 이상호
Priority to KR1020200110775A priority Critical patent/KR102393869B1/en
Publication of KR20220029002A publication Critical patent/KR20220029002A/en
Application granted granted Critical
Publication of KR102393869B1 publication Critical patent/KR102393869B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Factory Administration (AREA)

Abstract

The present invention relates to an AR type smart factory monitoring system using a gaze tracking technology, which can perform monitoring from a remote place, comprising: a plurality of factory facilities separately installed along a production line in a smart factory; a plurality of facility management device units for providing facility operating information; and a monitoring device unit for remotely monitoring the facility operating information.

Description

시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템{SMART FACTORY MONITORING SYSTEM OF AUGMENTED REALITY TYPE USING GAZE TRACKING TECHNOLOGY}AR-type smart factory monitoring system using eye tracking technology {SMART FACTORY MONITORING SYSTEM OF AUGMENTED REALITY TYPE USING GAZE TRACKING TECHNOLOGY}

본 발명은 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 관한 것으로서, 보다 구체적으로는 스마트 공장의 생산라인에 설치되는 공장설비에 직접 가지 않더라도 언택트 하게 원격지에서 공장설비에 대해 실시간 영상과 함께 AR(증강) 정보를 확인할 수 있도록 하는 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 관한 것이다.The present invention relates to an AR-type smart factory monitoring system using eye tracking technology. More specifically, even if you do not go directly to the factory equipment installed in the production line of the smart factory, you can untact the factory equipment from a remote location together with real-time video. It relates to an AR-type smart factory monitoring system using eye tracking technology that allows you to check AR (augmented) information.

일반적으로 스마트팩토리(Smart Factory)는 제품을 생산하는 공장 설비가 네트워크에 연결되어 자동으로 생산 제어가 이루어지는 지능형 생산 공장을 의미한다. 이러한 스마트팩토리에서는 통상 사물 인터넷(Internet of Things; IoT)을 기반으로 공장 설비들이 상호 데이터를 송수신하면서 제품 생산의 전 과정이 통합적으로 제어하게 된다.In general, a smart factory refers to an intelligent production factory in which factory equipment that produces products is connected to a network to automatically control production. In such a smart factory, the entire process of product production is integrated and controlled while factory facilities transmit and receive data to each other based on the Internet of Things (IoT).

스마트팩토리에서 생산관리시스템(Manufacturing Execution System; MES)은 생산 공장의 생산 및 제조 공정에 있어서 제품 생산 계획, 원재료 준비 계획, 일정 및 주간 계획 데이터 등을 생성하고 생산 공정이 그 계획에 따라 진행될 수 있도록 진도 관리를 하는 시스템을 의미한다. 이러한 생산관리시스템(MES)은 물류 및 작업 내역을 관리하고, 제품의 상태를 파악하여 불량 제품 등을 관리할 수 있다. 즉, 생산관리시스템(MES)은 생산 공정을 실시간으로 모니터링하고, 모니터링 결과에 따라 네트워크를 통해 생산 공정에 포함되는 각종 공장 설비를 제어하게 된다.In the smart factory, the Manufacturing Execution System (MES) creates a product production plan, raw material preparation plan, schedule and weekly plan data, etc. in the production and manufacturing process of the production plant, and enables the production process to proceed according to the plan. It means a system that manages progress. Such a production management system (MES) can manage logistics and work details, and manage defective products by identifying the state of the product. That is, the production management system (MES) monitors the production process in real time, and controls various factory facilities included in the production process through a network according to the monitoring result.

도 1은 일반적인 스마트팩토리 시스템의 개념 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 스마트팩토리에서는 생산관리시스템(MES)이 공장 설비에 대한 데이터를 수집하고, 전체 생산 공정을 제어하게 된다. 이때, 공장 설비에 대한 데이터를 수집하기 위해서는 공장 설비가 사물 인터넷(IoT) 등을 통해 서로 네트워크에 연결되어 있으며, 스마트팩토리의 핵심이라고 할 수 있는 물류, 설비 데이터와 공정 간의 프로세스가 하나의 시스템으로 통합되어 있다. 즉, 스마트팩토리의 전체 공장 설비가 네트워크로 연결되어 생산관리시스템(MES)이 공장 설비에서 수집되는 데이터를 실시간으로 분석할 수 있게 된다.1 is a diagram showing the conceptual configuration of a general smart factory system. As shown in FIG. 1 , in a smart factory, a production management system (MES) collects data on factory equipment and controls the entire production process. At this time, in order to collect data on factory facilities, factory facilities are connected to each other through the Internet of Things (IoT), etc. is integrated. That is, the entire factory equipment of the smart factory is connected to the network so that the production management system (MES) can analyze the data collected from the factory equipment in real time.

이러한 스마트팩토리 시스템은 제약, 화장품, 반도체 산업에서 설비 자동화 공정으로 구현되고 있다. 이러한 스마트팩토리 시스템은 작업자를 최소화한 상태로 공정의 자동화를 통한 생산을 하고 있다. 여기서, 스마트팩토리 시스템의 생산설비들이 설치되는 현장에는 설비에 영향을 미치지 않는 방진복 등을 갈아입고 현장을 둘러볼 수 있도록 함에 따라 번거로운 문제가 있다. 특히, 바이어의 방문으로 생산 시설을 시찰할 경우, 현장에 방문하여 공장 설비를 직접 보면서 공장 설비의 작업 데이터를 AR(증강현실)글라스를 통해 볼 수 있도록 하고 있다.This smart factory system is being implemented as a facility automation process in the pharmaceutical, cosmetic, and semiconductor industries. This smart factory system is producing through automation of the process with the minimum number of workers. Here, at the site where the production facilities of the smart factory system are installed, there is a cumbersome problem as it is possible to look around the site by changing the dust-proof clothes that do not affect the facilities. In particular, when inspecting a production facility by a buyer's visit, it is possible to visit the site and see the factory equipment directly while viewing the operation data of the factory equipment through AR (augmented reality) glass.

이와 같이, 종래의 스마트팩토리 시스템에서의 현장 실사는 방진복 등을 갈아입어야 하는 불편함과 함께, 공장 설비의 작업 데이터를 AR(증강현실) 정보로 보기 위해서는 글라스를 착용해야만 하는 불편함이 따는 문제가 있으며, 특히, 글라스 착용에 따른 무겁고 불편함으로 인한 실효성이 저하되는 한계가 따르는 문제가 있었다. 대한민국 등록특허공보 제10-1203479호가 선행기술 문헌으로 개시되고 있다.As such, the on-site due diligence in the conventional smart factory system has the inconvenience of having to change dustproof clothes and the like, and the inconvenience of wearing glasses to view the work data of factory facilities as AR (augmented reality) information. There was, in particular, a problem in that effectiveness was lowered due to heavy and uncomfortable wearing glasses. Republic of Korea Patent Publication No. 10-1203479 is disclosed as a prior art document.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비와, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부와, 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하여 구성함으로써, 스마트 공장의 생산라인에 설치되는 공장설비에 직접 가지 않더라도 언택트 하게 원격지에서 공장설비에 대해 실시간 영상과 함께 AR(증강) 정보를 확인하고 모니터링 할 수 있도록 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, a plurality of factory equipment respectively installed along a production line in a smart factory, and a plurality of factories each installed along a production line in a smart factory In a remote location physically separated from a plurality of facility management device units and a plurality of facility management device units that take an image corresponding to each facility and provide facility operation information on the factory facility corresponding to the captured image together with the captured image. , It comprises a monitoring device that remotely monitors facility operation information together with the captured image provided through the facility management device for the selected factory facility according to the gaze tracking of the manager in the foreground of the factory provided through the display screen. AR method using eye tracking technology that enables you to check and monitor AR (augmented) information along with real-time images about factory facilities from a remote location without contact without going directly to the factory facilities installed in the production line of the smart factory. Its purpose is to provide a smart factory monitoring system of

또한, 본 발명은, 원격지의 모니터링 장치부의 디스플레이를 통해 표시되는 복수의 공장 설비에 대해 시선 추적부를 통해 관리자의 시선을 추적하여 해당 공장 설비의 선택이 가능하도록 함으로써, 스마트 공장의 생산라인에 설치되는 공장설비들에 대한 시선 추적 선택을 통한 원격지에서의 모니터링이 가능하고, 복수의 공장설비들에 대한 시선 추적 및 선택을 통한 모니터링으로 실제 산업현장을 시찰하는 것과 같은 효과가 더욱 향상될 수 있도록 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention is installed in the production line of a smart factory by tracking the gaze of the manager through the gaze tracking unit for a plurality of factory facilities displayed through the display of the monitoring device unit at a remote location to enable selection of the factory facilities. Monitoring through eye tracking selection for factory facilities is possible at a remote location, and monitoring through eye tracking and selection of a plurality of factory facilities to further improve the effect such as inspecting an actual industrial site, Another object is to provide an AR-type smart factory monitoring system using eye tracking technology.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템은,AR-type smart factory monitoring system using eye tracking technology according to a feature of the present invention for achieving the above object,

시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템으로서,As an AR-type smart factory monitoring system using eye tracking technology,

스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비;A plurality of factory equipment respectively installed along the production line in the smart factory;

상기 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부; 및a plurality of facility management device units for photographing an image corresponding to a plurality of factory facilities respectively installed along the production line in the smart factory, respectively, and providing facility operation information for the factory facility corresponding to the captured image together with the captured image; and

상기 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하는 것을 그 구성상의 특징으로 한다.In a remote location physically separated from the plurality of facility management unit units, the captured image provided through the facility management unit unit corresponding to the selected factory facility according to the gaze tracking of the manager in the factory view provided through the display screen; It is characterized in its configuration to include a monitoring device for remote monitoring of facility operation information together.

바람직하게는, 상기 복수의 공장설비는,Preferably, the plurality of factory facilities,

스마트 공장 내의 생산라인을 따라 각각 설치되는 생산 설비로서, 복수의 설비 관리 장치부와 1:1로 매칭 되어 관리될 수 있다.As a production facility installed along a production line in a smart factory, it can be managed by matching 1:1 with a plurality of facility management device units.

바람직하게는, 상기 복수의 공장설비는,Preferably, the plurality of factory facilities,

복수의 설비 관리 장치부와 1:1로 매칭 되어 관리되되, IoT(Internet of Things) 기반으로 설비 운용 정보를 제공할 수 있다.It is managed by being matched 1:1 with a plurality of facility management device units, and facility operation information may be provided based on the Internet of Things (IoT).

바람직하게는, 상기 복수의 설비 관리 장치부 각각은,Preferably, each of the plurality of facility management device units,

자신에게 대응하는 공장설비를 실시간 촬영하는 카메라 모듈;A camera module for real-time shooting of factory equipment corresponding to itself;

자신에게 대응하는 공장설비와 IoT 기반으로 데이터 통신을 수행하여 설비 운용 정보를 제공받는 통신모듈; 및a communication module for receiving facility operation information by performing data communication based on IoT-based factory facilities corresponding to itself; and

상기 카메라 모듈로부터 촬영된 공장설비의 실시간 영상에 상기 통신모듈의 IoT 기반의 데이터 통신을 수행하여 받은 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하는 장치 제어부를 포함하여 구성할 수 있다.It may include a device control unit that matches and provides augmented (AR) information with facility operation information received by performing IoT-based data communication of the communication module to the real-time image of factory equipment photographed from the camera module.

더욱 바람직하게는, 상기 복수의 설비 관리 장치부 각각은,More preferably, each of the plurality of facility management device units,

자신에게 대응하는 공장설비의 실시간 영상에 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하되, 상기 모니터링 장치부에서의 선택과 무관하게 실시간 브로드캐스팅(Broadcasting) 방식으로 제공할 수 있다.Provided by matching the facility operation information with the augmented (AR) information to the real-time image of the factory equipment corresponding to the user, it can be provided in a real-time broadcasting method regardless of the selection in the monitoring device unit.

더욱 바람직하게는, 상기 모니터링 장치부는,More preferably, the monitoring device unit,

상기 디스플레이 화면을 통해 원격지의 스마트 공장 내의 복수의 공장설비를 실제 현장에서 보는 것과 같이 선택된 공장설비에 대한 실시간 영상에 설비 운용 정보가 증강(AR) 정보로 매칭 되어 모니터링 되도록 표시될 수 있다.Like seeing a plurality of factory facilities in a remote smart factory through the display screen, it may be displayed so that facility operation information is matched with augmented (AR) information to a real-time image of the selected factory facility and monitored.

더욱 더 바람직하게는, 상기 모니터링 장치부는,Even more preferably, the monitoring device unit,

상기 디스플레이를 통해 제공되는 스마트 공장 내의 생산라인을 따라 설치되는 복수의 공장설비가 표시된 공장 전경에서 관리자가 바라보는 시선을 추적하고, 그 시선 추적에 따른 공장설비를 선택하는 시선 추적부; 및an eye tracking unit for tracking the gaze of a manager in a factory foreground in which a plurality of factory facilities installed along a production line in the smart factory provided through the display are displayed, and selecting the factory facilities according to the gaze tracking; and

상기 시선 추적부에 의해 선택된 공장설비를 실시간 촬영하고, 선택된 공장설비로부터 설비 운용 정보를 제공받아 브로드캐스팅 하는 해당하는 설비 관리 장치부의 실시간 영상과 함께 설비 운용 정보가 증강(AR) 정보로 표시되도록 디스플레이 화면을 제어하는 모니터링 제어부를 포함하여 구성할 수 있다.The factory equipment selected by the eye tracking unit is photographed in real time, and the facility operation information is displayed as augmented (AR) information together with the real-time image of the corresponding facility management device unit that receives and broadcasts the facility operation information from the selected factory facility. It can be configured to include a monitoring control unit for controlling the screen.

더더욱 바람직하게는, 상기 모니터링 장치부는,Even more preferably, the monitoring device unit,

상기 시선 추적부를 통한 관리자의 시선 추적으로 선택되는 공장설비의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이를 통해 표시되도록 하되, 관리자의 시선이 변경되어 새로운 공장설비가 변경 선택될 때마다 그에 상응하는 변경되는 공장설비의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이를 통해 제공될 수 있다.The real-time image and facility operation information of the factory equipment selected by the manager's eye tracking through the eye tracking unit are displayed through the display as augmented (AR) information, but whenever the manager's gaze is changed and a new factory facility is changed and selected A correspondingly changed real-time image of factory equipment and equipment operation information may be provided through a display as augmented (AR) information.

본 발명에서 제안하고 있는 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 따르면, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비와, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부와, 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하여 구성함으로써, 스마트 공장의 생산라인에 설치되는 공장설비에 직접 가지 않더라도 언택트 하게 원격지에서 공장설비에 대해 실시간 영상과 함께 AR(증강) 정보를 확인하고 모니터링 할 수 있도록 할 수 있다.According to the AR-type smart factory monitoring system using the eye tracking technology proposed in the present invention, a plurality of factory equipment respectively installed along a production line in a smart factory, and a plurality of factories each installed along a production line in a smart factory In a remote location physically separated from a plurality of facility management device units and a plurality of facility management device units that take an image corresponding to each facility and provide facility operation information on the factory facility corresponding to the captured image together with the captured image. , It comprises a monitoring device that remotely monitors facility operation information together with the captured image provided through the facility management device for the selected factory facility according to the gaze tracking of the manager in the foreground of the factory provided through the display screen. By doing so, it is possible to check and monitor AR (augmented) information along with real-time images of factory facilities from a remote location without contact without going to the factory facilities installed in the production line of the smart factory.

또한, 본 발명의 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 따르면, 원격지의 모니터링 장치부의 디스플레이를 통해 표시되는 복수의 공장 설비에 대해 시선 추적부를 통해 관리자의 시선을 추적하여 해당 공장 설비의 선택이 가능하도록 함으로써, 스마트 공장의 생산라인에 설치되는 공장설비들에 대한 시선 추적 선택을 통한 원격지에서의 모니터링이 가능하고, 복수의 공장설비들에 대한 시선 추적 및 선택을 통한 모니터링으로 실제 산업현장을 시찰하는 것과 같은 효과가 더욱 향상될 수 있도록 할 수 있다.In addition, according to the smart factory monitoring system of the AR method using the eye tracking technology of the present invention, a manager's gaze is tracked through the eye tracking unit for a plurality of factory facilities displayed through the display of the monitoring device unit at a remote location, By making selection possible, monitoring from a remote location is possible through eye tracking selection for factory facilities installed in the production line of a smart factory, and monitoring through eye tracking and selection of a plurality of factory facilities is possible in real industrial sites. The effect, such as examining the

도 1은 일반적인 스마트팩토리 시스템의 개념 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 구성을 기능블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 설비 관리 장치부의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 모니터링 장치부의 구성을 기능블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 전체 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 공장설비가 시선 추적을 위한 디스플레이 화면에 표시되는 구성을 도시한 도면.1 is a diagram showing the conceptual configuration of a general smart factory system.
2 is a diagram showing the configuration of a smart factory monitoring system of an AR method using a gaze tracking technology according to an embodiment of the present invention as a functional block.
3 is a view showing the configuration of the facility management device unit of the smart factory monitoring system of the AR method using the eye tracking technology according to an embodiment of the present invention as a functional block.
4 is a view showing the configuration of the monitoring device unit of the smart factory monitoring system of the AR method using the eye tracking technology according to an embodiment of the present invention as a functional block.
5 is a diagram illustrating the overall configuration of an AR method smart factory monitoring system using eye tracking technology according to an embodiment of the present invention.
6 is a diagram illustrating a configuration in which factory equipment of an AR method smart factory monitoring system using eye tracking technology is displayed on a display screen for eye tracking according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily practice the present invention. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, "including" a certain component means that other components may be further included, rather than excluding other components, unless specifically stated otherwise.

도 2는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 구성을 기능블록으로 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 설비 관리 장치부의 구성을 기능블록으로 도시한 도면이며, 도 4는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 모니터링 장치부의 구성을 기능블록으로 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 전체 구성을 도시한 도면이며, 도 6은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 공장설비가 시선 추적을 위한 디스플레이 화면에 표시되는 구성을 도시한 도면이다. 도 2 내지 도 6에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템(100)은, 복수의 공장설비(110), 복수의 설비 관리 장치부(120), 및 모니터링 장치부(130)를 포함하여 구성될 수 있다.2 is a diagram showing the configuration of a smart factory monitoring system of an AR method using an eye tracking technology according to an embodiment of the present invention as a functional block, and FIG. 3 is a view showing an eye tracking technology according to an embodiment of the present invention It is a diagram showing the configuration of the facility management device unit of the AR method smart factory monitoring system as a functional block, and FIG. 4 is the configuration of the monitoring device unit of the AR method smart factory monitoring system using the eye tracking technology according to an embodiment of the present invention. is a diagram showing a functional block, and FIG. 5 is a diagram showing the overall configuration of an AR method smart factory monitoring system using eye tracking technology according to an embodiment of the present invention, and FIG. 6 is an embodiment of the present invention. It is a diagram showing a configuration in which the factory equipment of the smart factory monitoring system of the AR method using the eye tracking technology is displayed on the display screen for eye tracking. 2 to 6, the smart factory monitoring system 100 of the AR method using the eye tracking technology according to an embodiment of the present invention includes a plurality of factory facilities 110 and a plurality of facility management devices. It may be configured to include a unit 120 and a monitoring device unit 130 .

복수의 공장설비(110)는, 스마트 공장 내의 생산라인을 따라 각각 설치되는 구성이다. 이러한 복수의 공장설비(110)는 스마트 공장 내의 생산라인을 따라 각각 설치되는 생산 설비로서, 후수하게 될 복수의 설비 관리 장치부(120)와 1:1로 매칭 되어 관리될 수 있다.The plurality of factory equipment 110 is configured to be installed along a production line in a smart factory, respectively. The plurality of factory equipment 110 is a production facility installed along a production line in a smart factory, and may be managed by matching 1:1 with a plurality of facility management device units 120 to be followed later.

또한, 복수의 공장설비(110)는 복수의 설비 관리 장치부(120)와 1:1로 매칭 되어 관리되되, IoT(Internet of Things) 기반으로 설비 운용 정보를 제공할 수 있다. 여기서, 설비 운용 정보는 공장설비(110) 각각이 수행하는 자신의 작업 데이터로 구성될 수 있다. 즉, 복수의 공장설비(110) 각각은 자신이 작업하는 작업 데이터로서, 무엇을 만드는지의 작업 내용, 작업 수량, 및 챠트 정보 등을 포함할 수 있다.In addition, the plurality of factory facilities 110 are managed by matching 1:1 with the plurality of facility management device units 120 , and may provide facility operation information based on the Internet of Things (IoT). Here, the facility operation information may be composed of its own work data performed by each of the factory facilities 110 . That is, each of the plurality of factory facilities 110 may include, as work data for which they work, work content of what to make, work quantity, chart information, and the like.

복수의 설비 관리 장치부(120)는, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비(110)에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 구성이다. 이러한 복수의 설비 관리 장치부(120)는 도 3에 도시된 바와 같이, 각각이 자신에게 대응하는 공장설비(110)를 실시간 촬영하는 카메라 모듈(121)과, 자신에게 대응하는 공장설비(110)와 IoT 기반으로 데이터 통신을 수행하여 설비 운용 정보를 제공받는 통신모듈(122)과, 카메라 모듈(121)로부터 촬영된 공장설비(110)의 실시간 영상에 통신모듈(122)의 IoT 기반의 데이터 통신을 수행하여 받은 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하는 장치 제어부(123)를 포함하여 구성할 수 있다. 여기서, 통신모듈(122)은 공장설비(110)와 IoT 기반으로 데이터 통신을 수행하고, 후술하게 될 모니터링 장치부(130)와는 네트워크로 연결 접속될 수 있다. 또한, 카메라 모듈(121)은 공장설비(110)를 실시간으로 촬영하되, 공장설비(110)를 촬영하는 각도를 조절할 수 있는 회전이 가능한 구조로 구성될 수 있다.The plurality of facility management device units 120 take images corresponding to the plurality of factory facilities 110 respectively installed along the production line in the smart factory, respectively, and take pictures of the factory facilities corresponding to them together with the captured images. It is a configuration that provides facility operation information. As shown in FIG. 3 , the plurality of facility management device unit 120 includes a camera module 121 that captures a factory facility 110 corresponding to each in real time, and a factory facility 110 corresponding to itself. IoT-based data communication of the communication module 122 for receiving facility operation information by performing data communication with the IoT and the communication module 122 to the real-time image of the factory facility 110 photographed from the camera module 121 It can be configured to include a device control unit 123 that matches and provides the facility operation information received by performing the augmented (AR) information. Here, the communication module 122 may perform data communication with the factory equipment 110 based on IoT, and may be connected to the monitoring device 130 to be described later through a network connection. In addition, the camera module 121 may be configured in a rotatable structure capable of filming the factory equipment 110 in real time, and adjusting the angle of photographing the factory equipment 110 .

또한, 복수의 설비 관리 장치부(120) 각각은 자신에게 대응하는 공장설비(110)의 실시간 영상에 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하되, 모니터링 장치부(130)에서의 선택과 무관하게 실시간 브로드캐스팅(Broadcasting) 방식으로 제공할 수 있다. 이러한 복수의 설비 관리 장치부(120) 각각은 원격지의 모니터링 장치부(130)의 관리자가 공장설비(110)의 현장에 직접 와서 실사를 보면서 증강(AR) 현실로 설비 운용 정보를 제공받는 것과 같이 기능할 수 있다. 즉, 현장에서 증강현실을 제공하는 글라스를 착용한 것과 같은 효과를 제공할 수 있다.In addition, each of the plurality of facility management device units 120 matches and provides facility operation information to the real-time image of the factory facility 110 corresponding to the augmented (AR) information, but is selected by the monitoring device unit 130 . Regardless, it can be provided in a real-time broadcasting method. Each of these plurality of facility management device units 120 is such that the manager of the remote monitoring device unit 130 directly comes to the site of the factory facility 110 and receives facility operation information in augmented (AR) reality while watching the actual inspection. can function That is, it is possible to provide the same effect as wearing glasses that provide augmented reality in the field.

또한, 복수의 설비 관리 장치부(120) 각각은 원격지에서 복수의 공장설비(110)를 직접 둘러보는 것과 같은 효과가 제공될 수 있도록 하는 원격 AR 렌즈 장치로 기능할 수 있다.In addition, each of the plurality of facility management device units 120 may function as a remote AR lens device to provide an effect such as directly looking around the plurality of factory facilities 110 at a remote location.

모니터링 장치부(130)는, 복수의 설비 관리 장치부(120)와 물리적으로 분리된 원격지에서, 디스플레이(131) 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비(110)에 대하여 해당하는 설비 관리 장치부(120)를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 구성이다. 이러한 모니터링 장치부(130)는 디스플레이(131) 화면을 통해 원격지의 스마트 공장 내의 복수의 공장설비(110)를 실제 현장에서 보는 것과 같이 선택된 공장설비(110)에 대한 실시간 영상에 설비 운용 정보가 증강(AR) 정보로 매칭 되어 모니터링 되도록 표시될 수 있다.The monitoring device unit 130, in a remote location physically separated from the plurality of facility management device units 120, selects the factory equipment 110 selected according to the eye tracking of the manager in the factory view provided through the display 131 screen. ) for remote monitoring of facility operation information together with a captured image provided through the facility management device unit 120 corresponding to each other. The monitoring device unit 130 enhances the facility operation information on the real-time image of the selected factory facility 110, such as viewing a plurality of factory facilities 110 in a remote smart factory through the display 131 screen in real time. It can be displayed to be monitored by matching (AR) information.

또한, 모니터링 장치부(130)는 디스플레이(131)를 통해 제공되는 스마트 공장 내의 생산라인을 따라 설치되는 복수의 공장설비(110)가 표시된 공장 전경에서 관리자가 바라보는 시선을 추적하고, 그 시선 추적에 따른 공장설비(110)를 선택하는 시선 추적부(132)와, 시선 추적부(132)에 의해 선택된 공장설비(110)를 실시간 촬영하고, 선택된 공장설비(110)로부터 설비 운용 정보를 제공받아 브로드캐스팅 하는 해당하는 설비 관리 장치부(120)의 실시간 영상과 함께 설비 운용 정보가 증강(AR) 정보로 표시되도록 디스플레이(131) 화면을 제어하는 모니터링 제어부(133)를 포함하여 구성할 수 있다. 여기서, 시선 추적부(132)는 디스플레이(131)에 위치하여 디스플레이(131) 화면에 배치되는 복수의 공장설비(110)를 바라보는 관리자의 시선을 추적하여 해당 공장설비(110)를 선택할 수 있도록 한다. 여기서, 시선 추적부(132)를 카메라를 구비하고, 카메라로 촬영된 영상에서 관리자의 얼굴 영역을 검출하고, 검출된 얼굴 영역을 이용하여 좌우 눈을 탐색하며, 탐색된 좌우 눈의 동공의 위치로 관리자의 시선을 추적할 수 있다.In addition, the monitoring device 130 tracks the gaze of the manager in the foreground of the factory in which a plurality of factory equipment 110 installed along the production line in the smart factory provided through the display 131 is displayed, and the gaze tracking The gaze tracking unit 132 that selects the factory equipment 110 according to It may include a monitoring control unit 133 for controlling the screen of the display 131 so that facility operation information is displayed as augmented (AR) information together with a real-time image of the corresponding facility management device unit 120 to be broadcast. Here, the eye tracking unit 132 is located on the display 131 to track the gaze of the manager looking at the plurality of factory facilities 110 arranged on the display 131 screen so that the corresponding factory facilities 110 can be selected. do. Here, the eye tracking unit 132 is provided with a camera, detects the manager's face area from the image captured by the camera, searches for the left and right eyes using the detected face area, and returns to the searched pupil position of the left and right eyes. You can track the manager's gaze.

또한, 모니터링 장치부(130)는 시선 추적부(132)를 통한 관리자의 시선 추적으로 선택되는 공장설비(110)의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이(131)를 통해 표시되도록 하되, 관리자의 시선이 변경되어 새로운 공장설비(110)가 변경 선택될 때마다 그에 상응하는 변경되는 공장설비(110)의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이(131)를 통해 제공될 수 있다.In addition, the monitoring device unit 130 displays the real-time image and facility operation information of the factory facility 110 selected by the manager's eye tracking through the eye tracking unit 132 as augmented (AR) information through the display 131 . However, whenever the manager's gaze is changed and a new factory facility 110 is changed and selected, the real-time image and facility operation information of the factory facility 110 that is changed corresponding to the change is displayed on the display 131 as augmented (AR) information. can be provided through

도 6은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 공장설비가 시선 추적을 위한 디스플레이 화면에 표시되는 구성을 나타내고 있다. 도 6에 도시된 바와 같이, 관리자가 디스플레이(131)를 통해 제공되는 스마트 공장의 공장 전경으로 표시되는 복수의 공장설비(110)를 주시함에 따른 시선을 시선 추적부(132)에서 추적하여 선택하며, 선택된 공장설비(110)에 대응하여 할당된 복수의 설비 관리 장치부(120) 중 해당하는 설비 관리 장치부(120)가 디스플레이(131)를 통해 선택된 공장설비(110)의 실시간 영상과 함께 설비 운용 정보를 AR(증강) 정보로 제공하게 된다.6 shows a configuration in which factory equipment of an AR method smart factory monitoring system using eye tracking technology is displayed on a display screen for eye tracking according to an embodiment of the present invention. As shown in FIG. 6 , the gaze tracking unit 132 tracks and selects the gaze as the manager gazes at the plurality of factory facilities 110 displayed as the factory foreground of the smart factory provided through the display 131 , , a corresponding facility management device unit 120 among a plurality of facility management device units 120 allocated to correspond to the selected factory facility 110 is installed along with a real-time image of the selected factory facility 110 through the display 131 . Operational information will be provided as AR (augmented) information.

상술한 바와 같이, 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템은, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비와, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부와, 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하여 구성함으로써, 스마트 공장의 생산라인에 설치되는 공장설비에 직접 가지 않더라도 언택트 하게 원격지에서 공장설비에 대해 실시간 영상과 함께 AR(증강) 정보를 확인하고 모니터링 할 수 있도록 할 수 있으며, 또한, 원격지의 모니터링 장치부의 디스플레이를 통해 표시되는 복수의 공장 설비에 대해 시선 추적부를 통해 관리자의 시선을 추적하여 해당 공장 설비의 선택이 가능하도록 함으로써, 스마트 공장의 생산라인에 설치되는 공장설비들에 대한 시선 추적 선택을 통한 원격지에서의 모니터링이 가능하고, 복수의 공장설비들에 대한 시선 추적 및 선택을 통한 모니터링으로 실제 산업현장을 시찰하는 것과 같은 효과가 더욱 향상될 수 있도록 할 수 있게 된다.As described above, the AR-type smart factory monitoring system using the eye tracking technology according to an embodiment of the present invention includes a plurality of factory equipment installed along a production line in a smart factory, respectively, and a production line in the smart factory. A plurality of facility management device units, a plurality of facility management device units, each of which takes an image corresponding to a plurality of factory facilities installed respectively, and provides facility operation information for the factory facility corresponding to the captured image together with the photographed image; In a physically separated remote location, the facility operation information is remotely monitored along with the captured image provided through the facility management unit for the selected factory facility according to the gaze tracking of the manager in the factory view provided through the display screen. By including the monitoring device unit, it is possible to check and monitor AR (augmented) information along with real-time images of factory facilities from a remote location without contact even if you do not go directly to the factory facilities installed in the production line of the smart factory. , also, by tracking the manager's gaze through the eye tracking unit for a plurality of factory facilities displayed through the display of the remote monitoring device unit to enable selection of the factory facilities, factory facilities installed in the production line of the smart factory Monitoring from a remote location is possible through the selection of eye tracking for

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

100: 본 발명의 일실시예에 따른 스마트팩토리 모니터링 시스템
110: 공장설비
120: 설비 관리 장치부
121: 카메라 모듈
122: 통신모듈
123: 장치 제어부
130: 모니터링 장치부
131: 디스플레이
132: 시선 추적부
133: 모니터링 제어부100: Smart factory monitoring system according to an embodiment of the present invention
110: factory equipment
120: facility management device unit
121: camera module
122: communication module
123: device control
130: monitoring device unit
131: display
132: eye tracking unit
133: monitoring control unit

Claims (8)

시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템(100)으로서,
스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비(110);
상기 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비(110)에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부(120); 및
상기 복수의 설비 관리 장치부(120)와 물리적으로 분리된 원격지에서, 디스플레이(131) 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비(110)에 대하여 해당하는 설비 관리 장치부(120)를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부(130)를 포함하는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
As an AR method smart factory monitoring system 100 using eye tracking technology,
A plurality of factory equipment 110 respectively installed along the production line in the smart factory;
A plurality of facility management that takes an image corresponding to a plurality of factory facilities 110 respectively installed along the production line in the smart factory, respectively, and provides facility operation information for the factory facility corresponding to the captured image together with the captured image device unit 120; and
In a remote location physically separated from the plurality of facility management device units 120 , facility management corresponding to the factory facility 110 selected according to the gaze tracking of the manager in the factory view provided through the display 131 screen AR-type smart factory monitoring system using eye tracking technology, characterized in that it includes a monitoring device unit 130 that remotely monitors facility operation information together with the captured image provided through the device unit 120 .
 제1항에 있어서, 상기 복수의 공장설비(110)는,
스마트 공장 내의 생산라인을 따라 각각 설치되는 생산 설비로서, 복수의 설비 관리 장치부(120)와 1:1로 매칭 되어 관리되는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
According to claim 1, wherein the plurality of factory equipment 110,
AR-type smart factory monitoring system using eye tracking technology, which is a production facility installed along a production line in a smart factory, and is managed 1:1 with a plurality of facility management device units 120 .
 제1항에 있어서, 상기 복수의 공장설비(110)는,
복수의 설비 관리 장치부(120)와 1:1로 매칭 되어 관리되되, IoT(Internet of Things) 기반으로 설비 운용 정보를 제공하는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
According to claim 1, wherein the plurality of factory equipment 110,
AR-type smart factory monitoring system using eye tracking technology, characterized in that it is managed by matching 1:1 with a plurality of facility management device units 120 and providing facility operation information based on IoT (Internet of Things) .
 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 복수의 설비 관리 장치부(120) 각각은,
자신에게 대응하는 공장설비(110)를 실시간 촬영하는 카메라 모듈(121);
자신에게 대응하는 공장설비(110)와 IoT 기반으로 데이터 통신을 수행하여 설비 운용 정보를 제공받는 통신모듈(122); 및
상기 카메라 모듈(121)로부터 촬영된 공장설비(110)의 실시간 영상에 상기 통신모듈(122)의 IoT 기반의 데이터 통신을 수행하여 받은 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하는 장치 제어부(123)를 포함하여 구성하는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
According to any one of claims 1 to 3, wherein each of the plurality of facility management device unit 120,
a camera module 121 for real-time photographing of the factory equipment 110 corresponding to itself;
a communication module 122 for receiving facility operation information by performing data communication based on IoT with the factory facility 110 corresponding to the self; and
A device control unit that matches and provides augmented (AR) information with facility operation information received by performing IoT-based data communication of the communication module 122 to the real-time image of the factory equipment 110 photographed from the camera module 121 AR-type smart factory monitoring system using eye tracking technology, characterized in that it comprises (123).
 제4항에 있어서, 상기 복수의 설비 관리 장치부(120) 각각은,
자신에게 대응하는 공장설비(110)의 실시간 영상에 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하되, 상기 모니터링 장치부(130)에서의 선택과 무관하게 실시간 브로드캐스팅(Broadcasting) 방식으로 제공하는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
According to claim 4, wherein each of the plurality of facility management device unit 120,
Provided by matching the facility operation information to the real-time image of the factory facility 110 corresponding to the user as augmented (AR) information, but provided in a real-time broadcasting method regardless of selection in the monitoring device unit 130 AR-type smart factory monitoring system using eye tracking technology, characterized in that.
 제4항에 있어서, 상기 모니터링 장치부(130)는,
상기 디스플레이(131) 화면을 통해 원격지의 스마트 공장 내의 복수의 공장설비(110)를 실제 현장에서 보는 것과 같이 선택된 공장설비(110)에 대한 실시간 영상에 설비 운용 정보가 증강(AR) 정보로 매칭 되어 모니터링 되도록 표시되는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
According to claim 4, wherein the monitoring device unit 130,
Through the display 131 screen, the facility operation information is matched with augmented (AR) information to the real-time image of the selected factory facility 110, such as viewing a plurality of factory facilities 110 in a remote smart factory at the actual site. AR-type smart factory monitoring system using eye tracking technology, characterized in that it is displayed to be monitored.
 제6항에 있어서, 상기 모니터링 장치부(130)는,
상기 디스플레이(131)를 통해 제공되는 스마트 공장 내의 생산라인을 따라 설치되는 복수의 공장설비(110)가 표시된 공장 전경에서 관리자가 바라보는 시선을 추적하고, 그 시선 추적에 따른 공장설비(110)를 선택하는 시선 추적부(132); 및
상기 시선 추적부(132)에 의해 선택된 공장설비(110)를 실시간 촬영하고, 선택된 공장설비(110)로부터 설비 운용 정보를 제공받아 브로드캐스팅 하는 해당하는 설비 관리 장치부(120)의 실시간 영상과 함께 설비 운용 정보가 증강(AR) 정보로 표시되도록 디스플레이(131) 화면을 제어하는 모니터링 제어부(133)를 포함하여 구성하는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
According to claim 6, The monitoring device unit 130,
A plurality of factory facilities 110 installed along a production line in a smart factory provided through the display 131 are tracked in the foreground of the factory displayed, and the factory facilities 110 according to the gaze tracking are tracked. a selection eye tracking unit 132; and
The factory equipment 110 selected by the eye tracking unit 132 is photographed in real time, and facility operation information is provided from the selected factory equipment 110 and broadcast together with a real-time image of the corresponding equipment management unit 120 . AR-type smart factory monitoring system using eye tracking technology, characterized in that it comprises a monitoring control unit 133 for controlling the display 131 screen so that facility operation information is displayed as augmented (AR) information.
 제7항에 있어서, 상기 모니터링 장치부(130)는,
상기 시선 추적부(132)를 통한 관리자의 시선 추적으로 선택되는 공장설비(110)의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이(131)를 통해 표시되도록 하되, 관리자의 시선이 변경되어 새로운 공장설비(110)가 변경 선택될 때마다 그에 상응하는 변경되는 공장설비(110)의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이(131)를 통해 제공되는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.According to claim 7, wherein the monitoring device unit 130,
The real-time image and facility operation information of the factory equipment 110 selected by the manager's eye tracking through the eye tracking unit 132 are displayed through the display 131 as augmented (AR) information, but the manager's gaze is changed Each time a new factory facility 110 is changed and selected, a real-time image and facility operation information of the factory facility 110 that is changed corresponding thereto is provided through the display 131 as augmented (AR) information, AR-type smart factory monitoring system using eye tracking technology.
KR1020200110775A 2020-09-01 2020-09-01 Smart factory monitoring system of augmented reality type using gaze tracking technology KR102393869B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200110775A KR102393869B1 (en) 2020-09-01 2020-09-01 Smart factory monitoring system of augmented reality type using gaze tracking technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200110775A KR102393869B1 (en) 2020-09-01 2020-09-01 Smart factory monitoring system of augmented reality type using gaze tracking technology

Publications (2)

Publication Number Publication Date
KR20220029002A true KR20220029002A (en) 2022-03-08
KR102393869B1 KR102393869B1 (en) 2022-05-03

Family

ID=80813052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200110775A KR102393869B1 (en) 2020-09-01 2020-09-01 Smart factory monitoring system of augmented reality type using gaze tracking technology

Country Status (1)

Country Link
KR (1) KR102393869B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331327A (en) * 2022-07-19 2022-11-11 广西科学院 Production line intelligent monitoring management system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133328A (en) * 2015-05-12 2016-11-22 삼성전자주식회사 Remote control method and device using wearable device
KR101977000B1 (en) * 2018-10-23 2019-05-13 주식회사 이피엠솔루션즈 Real image and video based real-time virtual factory
KR20190077898A (en) * 2017-12-26 2019-07-04 주식회사 아프로스 Abnormal status monitoring system for equipment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133328A (en) * 2015-05-12 2016-11-22 삼성전자주식회사 Remote control method and device using wearable device
KR20190077898A (en) * 2017-12-26 2019-07-04 주식회사 아프로스 Abnormal status monitoring system for equipment
KR101977000B1 (en) * 2018-10-23 2019-05-13 주식회사 이피엠솔루션즈 Real image and video based real-time virtual factory

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331327A (en) * 2022-07-19 2022-11-11 广西科学院 Production line intelligent monitoring management system

Also Published As

Publication number Publication date
KR102393869B1 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
EP3343937B1 (en) Method and computer system for video encoding using a historical gaze heat map
WO2019004564A1 (en) System for providing multiple virtual reality views
CN101201965B (en) Monitoring apparatus and monitoring method
EP2437496A2 (en) Intelligent monitoring camera apparatus and image monitoring system implementing same
EP3596527B1 (en) Display of the field of view of a video camera in the field of view of a head-wearable display device
CN103530061A (en) Display device, control method, gesture recognition method and head-mounted display device
US20090160936A1 (en) Methods and apparatus for operating a video camera assembly
CN110231061A (en) A kind of data center's infrastructure management system based on robot
KR102393869B1 (en) Smart factory monitoring system of augmented reality type using gaze tracking technology
CN105516656A (en) Article real condition viewing method and system
US20220109796A1 (en) Display eyewear with adjustable camera direction
WO2009128781A1 (en) A method and a device for remote visualization
CN112462723B (en) System for real-time control and visualization of digital factory under augmented reality environment
CN109636763B (en) Intelligent compound eye monitoring system
CN110225315A (en) Electric system screen monitored picture fusion method
US20080297601A1 (en) Camera control unit, camera display system, and camera control method
CN106060475A (en) System and method for video pre-monitoring and control through VR method
CN109143575A (en) Wearable device, anti-peeping display system and anti-peeping display method
CN102402014B (en) Viewing and admiring glasses, three-dimensional display system and image light beam adjusting method
KR101790570B1 (en) Method and systems for providing video data streams to multiple users
US20030200058A1 (en) Maintenance system
CN105716829B (en) Light-splitting device detection system and detection method
CN108848295A (en) A kind of ultrashort burnt visual imaging method of miniaturization
CN212628185U (en) Spectrum camera system based on intelligent glasses
CN111787217B (en) Video monitoring linkage system applied to water treatment intelligent production management and control

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant