KR102393869B1 - 시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템 - Google Patents

시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템 Download PDF

Info

Publication number
KR102393869B1
KR102393869B1 KR1020200110775A KR20200110775A KR102393869B1 KR 102393869 B1 KR102393869 B1 KR 102393869B1 KR 1020200110775 A KR1020200110775 A KR 1020200110775A KR 20200110775 A KR20200110775 A KR 20200110775A KR 102393869 B1 KR102393869 B1 KR 102393869B1
Authority
KR
South Korea
Prior art keywords
factory
facility
operation information
eye tracking
smart
Prior art date
Application number
KR1020200110775A
Other languages
English (en)
Other versions
KR20220029002A (ko
Inventor
이상호
이인배
Original Assignee
이상호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이상호 filed Critical 이상호
Priority to KR1020200110775A priority Critical patent/KR102393869B1/ko
Publication of KR20220029002A publication Critical patent/KR20220029002A/ko
Application granted granted Critical
Publication of KR102393869B1 publication Critical patent/KR102393869B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Factory Administration (AREA)

Abstract

본 발명은 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 관한 것으로서, 보다 구체적으로는 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템으로서, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비; 상기 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부; 및 상기 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 따르면, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비와, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부와, 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하여 구성함으로써, 스마트 공장의 생산라인에 설치되는 공장설비에 직접 가지 않더라도 언택트 하게 원격지에서 공장설비에 대해 실시간 영상과 함께 AR(증강) 정보를 확인하고 모니터링 할 수 있도록 할 수 있다.
또한, 본 발명의 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 따르면, 원격지의 모니터링 장치부의 디스플레이를 통해 표시되는 복수의 공장 설비에 대해 시선 추적부를 통해 관리자의 시선을 추적하여 해당 공장 설비의 선택이 가능하도록 함으로써, 스마트 공장의 생산라인에 설치되는 공장설비들에 대한 시선 추적 선택을 통한 원격지에서의 모니터링이 가능하고, 복수의 공장설비들에 대한 시선 추적 및 선택을 통한 모니터링으로 실제 산업현장을 시찰하는 것과 같은 효과가 더욱 향상될 수 있도록 할 수 있다.

Description

시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템{SMART FACTORY MONITORING SYSTEM OF AUGMENTED REALITY TYPE USING GAZE TRACKING TECHNOLOGY}
본 발명은 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 관한 것으로서, 보다 구체적으로는 스마트 공장의 생산라인에 설치되는 공장설비에 직접 가지 않더라도 언택트 하게 원격지에서 공장설비에 대해 실시간 영상과 함께 AR(증강) 정보를 확인할 수 있도록 하는 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 관한 것이다.
일반적으로 스마트팩토리(Smart Factory)는 제품을 생산하는 공장 설비가 네트워크에 연결되어 자동으로 생산 제어가 이루어지는 지능형 생산 공장을 의미한다. 이러한 스마트팩토리에서는 통상 사물 인터넷(Internet of Things; IoT)을 기반으로 공장 설비들이 상호 데이터를 송수신하면서 제품 생산의 전 과정이 통합적으로 제어하게 된다.
스마트팩토리에서 생산관리시스템(Manufacturing Execution System; MES)은 생산 공장의 생산 및 제조 공정에 있어서 제품 생산 계획, 원재료 준비 계획, 일정 및 주간 계획 데이터 등을 생성하고 생산 공정이 그 계획에 따라 진행될 수 있도록 진도 관리를 하는 시스템을 의미한다. 이러한 생산관리시스템(MES)은 물류 및 작업 내역을 관리하고, 제품의 상태를 파악하여 불량 제품 등을 관리할 수 있다. 즉, 생산관리시스템(MES)은 생산 공정을 실시간으로 모니터링하고, 모니터링 결과에 따라 네트워크를 통해 생산 공정에 포함되는 각종 공장 설비를 제어하게 된다.
도 1은 일반적인 스마트팩토리 시스템의 개념 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 스마트팩토리에서는 생산관리시스템(MES)이 공장 설비에 대한 데이터를 수집하고, 전체 생산 공정을 제어하게 된다. 이때, 공장 설비에 대한 데이터를 수집하기 위해서는 공장 설비가 사물 인터넷(IoT) 등을 통해 서로 네트워크에 연결되어 있으며, 스마트팩토리의 핵심이라고 할 수 있는 물류, 설비 데이터와 공정 간의 프로세스가 하나의 시스템으로 통합되어 있다. 즉, 스마트팩토리의 전체 공장 설비가 네트워크로 연결되어 생산관리시스템(MES)이 공장 설비에서 수집되는 데이터를 실시간으로 분석할 수 있게 된다.
이러한 스마트팩토리 시스템은 제약, 화장품, 반도체 산업에서 설비 자동화 공정으로 구현되고 있다. 이러한 스마트팩토리 시스템은 작업자를 최소화한 상태로 공정의 자동화를 통한 생산을 하고 있다. 여기서, 스마트팩토리 시스템의 생산설비들이 설치되는 현장에는 설비에 영향을 미치지 않는 방진복 등을 갈아입고 현장을 둘러볼 수 있도록 함에 따라 번거로운 문제가 있다. 특히, 바이어의 방문으로 생산 시설을 시찰할 경우, 현장에 방문하여 공장 설비를 직접 보면서 공장 설비의 작업 데이터를 AR(증강현실)글라스를 통해 볼 수 있도록 하고 있다.
이와 같이, 종래의 스마트팩토리 시스템에서의 현장 실사는 방진복 등을 갈아입어야 하는 불편함과 함께, 공장 설비의 작업 데이터를 AR(증강현실) 정보로 보기 위해서는 글라스를 착용해야만 하는 불편함이 따는 문제가 있으며, 특히, 글라스 착용에 따른 무겁고 불편함으로 인한 실효성이 저하되는 한계가 따르는 문제가 있었다. 대한민국 등록특허공보 제10-1203479호가 선행기술 문헌으로 개시되고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비와, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부와, 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하여 구성함으로써, 스마트 공장의 생산라인에 설치되는 공장설비에 직접 가지 않더라도 언택트 하게 원격지에서 공장설비에 대해 실시간 영상과 함께 AR(증강) 정보를 확인하고 모니터링 할 수 있도록 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 원격지의 모니터링 장치부의 디스플레이를 통해 표시되는 복수의 공장 설비에 대해 시선 추적부를 통해 관리자의 시선을 추적하여 해당 공장 설비의 선택이 가능하도록 함으로써, 스마트 공장의 생산라인에 설치되는 공장설비들에 대한 시선 추적 선택을 통한 원격지에서의 모니터링이 가능하고, 복수의 공장설비들에 대한 시선 추적 및 선택을 통한 모니터링으로 실제 산업현장을 시찰하는 것과 같은 효과가 더욱 향상될 수 있도록 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템은,
시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템으로서,
스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비;
상기 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부; 및
상기 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 복수의 공장설비는,
스마트 공장 내의 생산라인을 따라 각각 설치되는 생산 설비로서, 복수의 설비 관리 장치부와 1:1로 매칭 되어 관리될 수 있다.
바람직하게는, 상기 복수의 공장설비는,
복수의 설비 관리 장치부와 1:1로 매칭 되어 관리되되, IoT(Internet of Things) 기반으로 설비 운용 정보를 제공할 수 있다.
바람직하게는, 상기 복수의 설비 관리 장치부 각각은,
자신에게 대응하는 공장설비를 실시간 촬영하는 카메라 모듈;
자신에게 대응하는 공장설비와 IoT 기반으로 데이터 통신을 수행하여 설비 운용 정보를 제공받는 통신모듈; 및
상기 카메라 모듈로부터 촬영된 공장설비의 실시간 영상에 상기 통신모듈의 IoT 기반의 데이터 통신을 수행하여 받은 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하는 장치 제어부를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 복수의 설비 관리 장치부 각각은,
자신에게 대응하는 공장설비의 실시간 영상에 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하되, 상기 모니터링 장치부에서의 선택과 무관하게 실시간 브로드캐스팅(Broadcasting) 방식으로 제공할 수 있다.
더욱 바람직하게는, 상기 모니터링 장치부는,
상기 디스플레이 화면을 통해 원격지의 스마트 공장 내의 복수의 공장설비를 실제 현장에서 보는 것과 같이 선택된 공장설비에 대한 실시간 영상에 설비 운용 정보가 증강(AR) 정보로 매칭 되어 모니터링 되도록 표시될 수 있다.
더욱 더 바람직하게는, 상기 모니터링 장치부는,
상기 디스플레이를 통해 제공되는 스마트 공장 내의 생산라인을 따라 설치되는 복수의 공장설비가 표시된 공장 전경에서 관리자가 바라보는 시선을 추적하고, 그 시선 추적에 따른 공장설비를 선택하는 시선 추적부; 및
상기 시선 추적부에 의해 선택된 공장설비를 실시간 촬영하고, 선택된 공장설비로부터 설비 운용 정보를 제공받아 브로드캐스팅 하는 해당하는 설비 관리 장치부의 실시간 영상과 함께 설비 운용 정보가 증강(AR) 정보로 표시되도록 디스플레이 화면을 제어하는 모니터링 제어부를 포함하여 구성할 수 있다.
더더욱 바람직하게는, 상기 모니터링 장치부는,
상기 시선 추적부를 통한 관리자의 시선 추적으로 선택되는 공장설비의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이를 통해 표시되도록 하되, 관리자의 시선이 변경되어 새로운 공장설비가 변경 선택될 때마다 그에 상응하는 변경되는 공장설비의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이를 통해 제공될 수 있다.
본 발명에서 제안하고 있는 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 따르면, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비와, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부와, 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하여 구성함으로써, 스마트 공장의 생산라인에 설치되는 공장설비에 직접 가지 않더라도 언택트 하게 원격지에서 공장설비에 대해 실시간 영상과 함께 AR(증강) 정보를 확인하고 모니터링 할 수 있도록 할 수 있다.
또한, 본 발명의 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템에 따르면, 원격지의 모니터링 장치부의 디스플레이를 통해 표시되는 복수의 공장 설비에 대해 시선 추적부를 통해 관리자의 시선을 추적하여 해당 공장 설비의 선택이 가능하도록 함으로써, 스마트 공장의 생산라인에 설치되는 공장설비들에 대한 시선 추적 선택을 통한 원격지에서의 모니터링이 가능하고, 복수의 공장설비들에 대한 시선 추적 및 선택을 통한 모니터링으로 실제 산업현장을 시찰하는 것과 같은 효과가 더욱 향상될 수 있도록 할 수 있다.
도 1은 일반적인 스마트팩토리 시스템의 개념 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 구성을 기능블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 설비 관리 장치부의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 모니터링 장치부의 구성을 기능블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 전체 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 공장설비가 시선 추적을 위한 디스플레이 화면에 표시되는 구성을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 2는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 구성을 기능블록으로 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 설비 관리 장치부의 구성을 기능블록으로 도시한 도면이며, 도 4는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 모니터링 장치부의 구성을 기능블록으로 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 전체 구성을 도시한 도면이며, 도 6은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 공장설비가 시선 추적을 위한 디스플레이 화면에 표시되는 구성을 도시한 도면이다. 도 2 내지 도 6에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템(100)은, 복수의 공장설비(110), 복수의 설비 관리 장치부(120), 및 모니터링 장치부(130)를 포함하여 구성될 수 있다.
복수의 공장설비(110)는, 스마트 공장 내의 생산라인을 따라 각각 설치되는 구성이다. 이러한 복수의 공장설비(110)는 스마트 공장 내의 생산라인을 따라 각각 설치되는 생산 설비로서, 후수하게 될 복수의 설비 관리 장치부(120)와 1:1로 매칭 되어 관리될 수 있다.
또한, 복수의 공장설비(110)는 복수의 설비 관리 장치부(120)와 1:1로 매칭 되어 관리되되, IoT(Internet of Things) 기반으로 설비 운용 정보를 제공할 수 있다. 여기서, 설비 운용 정보는 공장설비(110) 각각이 수행하는 자신의 작업 데이터로 구성될 수 있다. 즉, 복수의 공장설비(110) 각각은 자신이 작업하는 작업 데이터로서, 무엇을 만드는지의 작업 내용, 작업 수량, 및 챠트 정보 등을 포함할 수 있다.
복수의 설비 관리 장치부(120)는, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비(110)에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 구성이다. 이러한 복수의 설비 관리 장치부(120)는 도 3에 도시된 바와 같이, 각각이 자신에게 대응하는 공장설비(110)를 실시간 촬영하는 카메라 모듈(121)과, 자신에게 대응하는 공장설비(110)와 IoT 기반으로 데이터 통신을 수행하여 설비 운용 정보를 제공받는 통신모듈(122)과, 카메라 모듈(121)로부터 촬영된 공장설비(110)의 실시간 영상에 통신모듈(122)의 IoT 기반의 데이터 통신을 수행하여 받은 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하는 장치 제어부(123)를 포함하여 구성할 수 있다. 여기서, 통신모듈(122)은 공장설비(110)와 IoT 기반으로 데이터 통신을 수행하고, 후술하게 될 모니터링 장치부(130)와는 네트워크로 연결 접속될 수 있다. 또한, 카메라 모듈(121)은 공장설비(110)를 실시간으로 촬영하되, 공장설비(110)를 촬영하는 각도를 조절할 수 있는 회전이 가능한 구조로 구성될 수 있다.
또한, 복수의 설비 관리 장치부(120) 각각은 자신에게 대응하는 공장설비(110)의 실시간 영상에 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하되, 모니터링 장치부(130)에서의 선택과 무관하게 실시간 브로드캐스팅(Broadcasting) 방식으로 제공할 수 있다. 이러한 복수의 설비 관리 장치부(120) 각각은 원격지의 모니터링 장치부(130)의 관리자가 공장설비(110)의 현장에 직접 와서 실사를 보면서 증강(AR) 현실로 설비 운용 정보를 제공받는 것과 같이 기능할 수 있다. 즉, 현장에서 증강현실을 제공하는 글라스를 착용한 것과 같은 효과를 제공할 수 있다.
또한, 복수의 설비 관리 장치부(120) 각각은 원격지에서 복수의 공장설비(110)를 직접 둘러보는 것과 같은 효과가 제공될 수 있도록 하는 원격 AR 렌즈 장치로 기능할 수 있다.
모니터링 장치부(130)는, 복수의 설비 관리 장치부(120)와 물리적으로 분리된 원격지에서, 디스플레이(131) 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비(110)에 대하여 해당하는 설비 관리 장치부(120)를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 구성이다. 이러한 모니터링 장치부(130)는 디스플레이(131) 화면을 통해 원격지의 스마트 공장 내의 복수의 공장설비(110)를 실제 현장에서 보는 것과 같이 선택된 공장설비(110)에 대한 실시간 영상에 설비 운용 정보가 증강(AR) 정보로 매칭 되어 모니터링 되도록 표시될 수 있다.
또한, 모니터링 장치부(130)는 디스플레이(131)를 통해 제공되는 스마트 공장 내의 생산라인을 따라 설치되는 복수의 공장설비(110)가 표시된 공장 전경에서 관리자가 바라보는 시선을 추적하고, 그 시선 추적에 따른 공장설비(110)를 선택하는 시선 추적부(132)와, 시선 추적부(132)에 의해 선택된 공장설비(110)를 실시간 촬영하고, 선택된 공장설비(110)로부터 설비 운용 정보를 제공받아 브로드캐스팅 하는 해당하는 설비 관리 장치부(120)의 실시간 영상과 함께 설비 운용 정보가 증강(AR) 정보로 표시되도록 디스플레이(131) 화면을 제어하는 모니터링 제어부(133)를 포함하여 구성할 수 있다. 여기서, 시선 추적부(132)는 디스플레이(131)에 위치하여 디스플레이(131) 화면에 배치되는 복수의 공장설비(110)를 바라보는 관리자의 시선을 추적하여 해당 공장설비(110)를 선택할 수 있도록 한다. 여기서, 시선 추적부(132)를 카메라를 구비하고, 카메라로 촬영된 영상에서 관리자의 얼굴 영역을 검출하고, 검출된 얼굴 영역을 이용하여 좌우 눈을 탐색하며, 탐색된 좌우 눈의 동공의 위치로 관리자의 시선을 추적할 수 있다.
또한, 모니터링 장치부(130)는 시선 추적부(132)를 통한 관리자의 시선 추적으로 선택되는 공장설비(110)의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이(131)를 통해 표시되도록 하되, 관리자의 시선이 변경되어 새로운 공장설비(110)가 변경 선택될 때마다 그에 상응하는 변경되는 공장설비(110)의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이(131)를 통해 제공될 수 있다.
도 6은 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템의 공장설비가 시선 추적을 위한 디스플레이 화면에 표시되는 구성을 나타내고 있다. 도 6에 도시된 바와 같이, 관리자가 디스플레이(131)를 통해 제공되는 스마트 공장의 공장 전경으로 표시되는 복수의 공장설비(110)를 주시함에 따른 시선을 시선 추적부(132)에서 추적하여 선택하며, 선택된 공장설비(110)에 대응하여 할당된 복수의 설비 관리 장치부(120) 중 해당하는 설비 관리 장치부(120)가 디스플레이(131)를 통해 선택된 공장설비(110)의 실시간 영상과 함께 설비 운용 정보를 AR(증강) 정보로 제공하게 된다.
상술한 바와 같이, 본 발명의 일실시예에 따른 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템은, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비와, 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부와, 복수의 설비 관리 장치부와 물리적으로 분리된 원격지에서, 디스플레이 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비에 대하여 해당하는 설비 관리 장치부를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부를 포함하여 구성함으로써, 스마트 공장의 생산라인에 설치되는 공장설비에 직접 가지 않더라도 언택트 하게 원격지에서 공장설비에 대해 실시간 영상과 함께 AR(증강) 정보를 확인하고 모니터링 할 수 있도록 할 수 있으며, 또한, 원격지의 모니터링 장치부의 디스플레이를 통해 표시되는 복수의 공장 설비에 대해 시선 추적부를 통해 관리자의 시선을 추적하여 해당 공장 설비의 선택이 가능하도록 함으로써, 스마트 공장의 생산라인에 설치되는 공장설비들에 대한 시선 추적 선택을 통한 원격지에서의 모니터링이 가능하고, 복수의 공장설비들에 대한 시선 추적 및 선택을 통한 모니터링으로 실제 산업현장을 시찰하는 것과 같은 효과가 더욱 향상될 수 있도록 할 수 있게 된다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 본 발명의 일실시예에 따른 스마트팩토리 모니터링 시스템
110: 공장설비
120: 설비 관리 장치부
121: 카메라 모듈
122: 통신모듈
123: 장치 제어부
130: 모니터링 장치부
131: 디스플레이
132: 시선 추적부
133: 모니터링 제어부

Claims (8)

  1. 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템(100)으로서,
    스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비(110);
    상기 스마트 공장 내의 생산라인을 따라 각각 설치되는 복수의 공장설비(110)에 각각 대응하여 영상을 촬영하고, 촬영된 영상과 함께 자신에 대응하는 공장설비에 대한 설비 운용 정보를 제공하는 복수의 설비 관리 장치부(120); 및
    상기 복수의 설비 관리 장치부(120)와 물리적으로 분리된 원격지에서, 디스플레이(131) 화면을 통해 제공되는 공장 전경에서 관리자가 바라보는 시선 추적에 따라 선택된 공장설비(110)에 대하여 해당하는 설비 관리 장치부(120)를 통해 제공되는 촬영된 영상과 함께 설비 운용 정보를 원격 모니터링 하는 모니터링 장치부(130)를 포함하되,
    상기 복수의 공장설비(110)는,
    스마트 공장 내의 생산라인을 따라 각각 설치되는 생산 설비로서, 복수의 설비 관리 장치부(120)와 1:1로 매칭 되어 관리되고,
    상기 복수의 공장설비(110)는,
    복수의 설비 관리 장치부(120)와 1:1로 매칭 되어 관리되되, IoT(Internet of Things) 기반으로 설비 운용 정보를 제공하며,
    상기 복수의 설비 관리 장치부(120) 각각은,
    자신에게 대응하는 공장설비(110)를 실시간 촬영하는 카메라 모듈(121)과, 자신에게 대응하는 공장설비(110)와 IoT 기반으로 데이터 통신을 수행하여 설비 운용 정보를 제공받는 통신모듈(122)과, 상기 카메라 모듈(121)로부터 촬영된 공장설비(110)의 실시간 영상에 상기 통신모듈(122)의 IoT 기반의 데이터 통신을 수행하여 받은 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하는 장치 제어부(123)를 포함하여 구성하고,
    상기 모니터링 장치부(130)는,
    상기 디스플레이(131)를 통해 제공되는 스마트 공장 내의 생산라인을 따라 설치되는 복수의 공장설비(110)가 표시된 공장 전경에서 관리자가 바라보는 시선을 추적하고, 그 시선 추적에 따른 공장설비(110)를 선택하는 시선 추적부(132)와, 상기 시선 추적부(132)에 의해 선택된 공장설비(110)를 실시간 촬영하고, 선택된 공장설비(110)로부터 설비 운용 정보를 제공받아 브로드캐스팅 하는 해당하는 설비 관리 장치부(120)의 실시간 영상과 함께 설비 운용 정보가 증강(AR) 정보로 표시되도록 디스플레이(131) 화면을 제어하는 모니터링 제어부(133)를 포함하여 구성하는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 복수의 설비 관리 장치부(120) 각각은,
    자신에게 대응하는 공장설비(110)의 실시간 영상에 설비 운용 정보를 증강(AR) 정보로 매칭 하여 제공하되, 상기 모니터링 장치부(130)에서의 선택과 무관하게 실시간 브로드캐스팅(Broadcasting) 방식으로 제공하는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
  6. 제1항에 있어서, 상기 모니터링 장치부(130)는,
    상기 디스플레이(131) 화면을 통해 원격지의 스마트 공장 내의 복수의 공장설비(110)를 실제 현장에서 보는 것과 같이 선택된 공장설비(110)에 대한 실시간 영상에 설비 운용 정보가 증강(AR) 정보로 매칭 되어 모니터링 되도록 표시되는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
  7. 삭제
  8. 제6항에 있어서, 상기 모니터링 장치부(130)는,
    상기 시선 추적부(132)를 통한 관리자의 시선 추적으로 선택되는 공장설비(110)의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이(131)를 통해 표시되도록 하되, 관리자의 시선이 변경되어 새로운 공장설비(110)가 변경 선택될 때마다 그에 상응하는 변경되는 공장설비(110)의 실시간 영상과 설비 운용 정보가 증강(AR) 정보로 디스플레이(131)를 통해 제공되는 것을 특징으로 하는, 시선 추적 기술을 이용한 AR 방식의 스마트팩토리 모니터링 시스템.
KR1020200110775A 2020-09-01 2020-09-01 시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템 KR102393869B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200110775A KR102393869B1 (ko) 2020-09-01 2020-09-01 시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200110775A KR102393869B1 (ko) 2020-09-01 2020-09-01 시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템

Publications (2)

Publication Number Publication Date
KR20220029002A KR20220029002A (ko) 2022-03-08
KR102393869B1 true KR102393869B1 (ko) 2022-05-03

Family

ID=80813052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200110775A KR102393869B1 (ko) 2020-09-01 2020-09-01 시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR102393869B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331327A (zh) * 2022-07-19 2022-11-11 广西科学院 一种生产线智能监控管理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977000B1 (ko) * 2018-10-23 2019-05-13 주식회사 이피엠솔루션즈 실물영상기반 리얼타임 가상공장

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133328A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치
KR102073135B1 (ko) * 2017-12-26 2020-02-04 (주)아프로스 관리 대상 설비 이상 상태 모니터링 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977000B1 (ko) * 2018-10-23 2019-05-13 주식회사 이피엠솔루션즈 실물영상기반 리얼타임 가상공장

Also Published As

Publication number Publication date
KR20220029002A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
EP3628125B1 (en) System for providing multiple virtual reality views
EP3343937B1 (en) Method and computer system for video encoding using a historical gaze heat map
US9948901B2 (en) Moving information analyzing system, camera, and moving information analyzing method
CN101201965B (zh) 监视装置和监视方法
US20180181815A1 (en) Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program
KR102393869B1 (ko) 시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템
AU2010253639A1 (en) Intelligent monitoring camera apparatus and image monitoring system implementing same
WO2016147586A1 (ja) 撮像装置、録画装置および映像出力制御装置
CN110231061A (zh) 一种基于机器人的数据中心基础设施管理系统
US20160328627A1 (en) Imaging device, recording device, and moving image output control device
CN109636763B (zh) 一种智能复眼监控系统
CN105516656A (zh) 一种物品实况查看方法和系统
CN111083438B (zh) 基于视频融合的无人巡检方法、系统、装置和存储介质
CN112462723B (zh) 一种增强现实环境下实时控制及可视化数字工厂的系统
CN115457446A (zh) 一种基于视频分析的异常行为监管系统
US20230024701A1 (en) Thermal imaging asset inspection systems and methods
CN104202576A (zh) 一种智能视频分析方法及系统
JPH09297694A (ja) 修理作業手配装置および方法
JP5370380B2 (ja) 映像表示方法および映像表示装置
KR101790570B1 (ko) 비디오 데이터 스트림을 다중 사용자에게 제공하기 위한 방법 및 시스템
US20030200058A1 (en) Maintenance system
CN105716829B (zh) 分光器件检测系统及检测方法
CN110260978A (zh) 温度检测方法、装置及ar设备
KR102423255B1 (ko) 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법
CN103488158A (zh) 一种基于机器视觉的虚拟人机操作界面系统及构建方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant