KR102556986B1 - 증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법 - Google Patents

증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR102556986B1
KR102556986B1 KR1020210070318A KR20210070318A KR102556986B1 KR 102556986 B1 KR102556986 B1 KR 102556986B1 KR 1020210070318 A KR1020210070318 A KR 1020210070318A KR 20210070318 A KR20210070318 A KR 20210070318A KR 102556986 B1 KR102556986 B1 KR 102556986B1
Authority
KR
South Korea
Prior art keywords
data
equipment
server
mobile device
augmented reality
Prior art date
Application number
KR1020210070318A
Other languages
English (en)
Other versions
KR20220011071A (ko
Inventor
이규원
이승준
Original Assignee
효성피엠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 효성피엠(주) filed Critical 효성피엠(주)
Priority to US17/523,150 priority Critical patent/US20220382255A1/en
Priority to CN202111409643.8A priority patent/CN115480520A/zh
Publication of KR20220011071A publication Critical patent/KR20220011071A/ko
Application granted granted Critical
Publication of KR102556986B1 publication Critical patent/KR102556986B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
    • G01K1/14—Supports; Fastening devices; Arrangements for mounting thermometers in particular locations
    • G01K1/143—Supports; Fastening devices; Arrangements for mounting thermometers in particular locations for measuring surface temperatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R23/00—Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
    • G01R23/16—Spectrum analysis; Fourier analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/34—Testing dynamo-electric machines
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4188—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by CIM planning or realisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31088—Network communication between supervisor and cell, machine group
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강현실에 기반하여 산업용 장비의 정보를 제공하기 위한 방법에 있어서, 서버는 사용자의 단말기에 포함된 카메라가 센싱한 상기 장비에 부착된 식별자에 관한 데이터 또는 상기 장비의 이미지데이터를 수신하는 단계; 상기 서버는 상기 식별자에 관한 데이터와 상기 서버에 저장된 복수의 장비의 종류에 관한 리스트를 비교하여 상기 장비의 종류를 판단하는 단계; 상기 서버는 상기 장비의 종류에 대응되는 3차원 영상데이터를 생성하는 단계; 및 상기 서버는 상기 3차원 영상데이터를 상기 사용자의 단말기로 전달하는 단계;를 포함하고, 상기 장비의 3차원 영상데이터는 상기 장비의 형상 및 크기에 관한 정보를 포함하는 방법을 제공할 수 있다.

Description

증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법 {Augmented Reality-Based Non-face-to-face Technical Support Service System and Method}
본 실시예는 증강현실(AR: Augmented Reality)을 사용하여 산업용 장비의 하자보수를 지원하기 위한 비대면 기술지원 서비스 시스템에 관한 것으로, 보다 구체적으로는 사물인터넷(IOT: Internet Of Things)을 통해 산업용 장비의 실시간 현황을 원격 모니터링이 가능한 기술지원 서비스 플랫폼 및 그 방법에 관한 것이다.
종래에 산업용 장비-예를 들어, 펌프, 모터-의 고장이 발생하는 경우, 전문가가 현장에 방문하여 고장 원인을 진단하게 되므로 산업용 장비의 고장 원인을 실시간으로 관리할 수 없고, 즉각적인 대응이 불가능하게 되므로 장비의 노후화를 촉진시키고 하자보수를 적절한 시간에 수행할 수 없는 문제점이 발생한다.
또한, 종래의 산업 현장에서는 숙련되지 않은 인력에 의해 산업용 장비의 이상 유무를 판단하고 대처하게 되므로, 다양한 종류의 장비의 구성을 정확하게 판단할 수 없고 숙련된 기술자 이외에는 장비의 고장 원인을 정확하게 판단할 수 없는 한계점이 있었다.
종래의 증강현실 기반 모바일 디바이스 및 서버는 등록특허공보 KR 10-2238193과 같이 실사영상에 일정한 정보를 나타낼 뿐, 산업용 장치의 개별 위치 및 크기를 정확하고 시뮬레이션 영상을 표시하는데 한계가 있다.
이러한 배경에서, 본 실시예의 목적은, 일 측면에서, 스마트폰의 화면에서 증강현실(AR: Augmented Reality) 또는 혼합현실(MR: Mixed Reality)을 구현하여 보다 신속하게 산업용 장비의 고장 문제를 해결하고, 산업용 장비에 관한 정보를 3차원 모델링을 통해 사용자에게 표시할 수 있는 기술을 제공하는 것이다.
이러한 배경에서, 본 실시예의 목적은, 일 측면에서, 산업용 장비에 설치된 무선센서에 의해 사물인터넷(IOT: Internet of Things)을 구현하고, 센싱데이터를 실시간으로 관리하는 모니터링 시스템을 통해 산업용 장비의 상태를 실시간으로 파악할 수 있는 기술을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 제1 실시예는, 증강현실에 기반하여 산업용 장비의 정보를 제공하기 위한 방법에 있어서, 서버는 사용자의 단말기에 포함된 카메라가 센싱한 상기 장비에 부착된 식별자에 관한 데이터 또는 상기 장비의 이미지데이터를 수신하는 단계; 상기 서버는 상기 식별자에 관한 데이터와 상기 서버에 저장된 복수의 장비의 종류에 관한 리스트를 비교하여 상기 장비의 종류를 판단하는 단계; 상기 서버는 상기 장비의 종류에 대응되는 3차원 영상데이터를 생성하는 단계; 및 상기 서버는 상기 3차원 영상데이터를 상기 사용자의 단말기로 전달하는 단계;를 포함하고, 상기 장비의 3차원 영상데이터는 상기 장비의 형상 및 크기에 관한 정보를 포함하는, 방법을 제공할 수 있다.
증강현실에 기반하여 산업용 장비의 정보를 제공하기 위한 방법에서 상기 서버는 상기 3차원 영상데이터가 상기 장비의 특정위치에 대응되도록 상기 3차원 영상데이터를 가공하는 단계;를 더 포함하고, 상기 장비는 펌프 또는 모터를 포함하고, 상기 식별자는 큐알코드(QR Code) 또는 바코드(Bar Code) 정보를 포함할 수 있다.
증강현실에 기반하여 산업용 장비의 정보를 제공하기 위한 방법에서 상기 사용자의 입력에 따라 상기 장비의 규격 또는 기능에 관한 정보를 포함하는 데이터를 사용자 단말기에 전송하는 단계;를 더 포함할 수 있다.
증강현실에 기반하여 산업용 장비의 정보를 제공하기 위한 방법에서 상기 서버는, 상기 사용자의 단말기의 카메라를 통하여 촬영된 상기 장비의 이미지데이터를 분석하는 단계; 및 분석된 이미지데이터와 상기 3차원 영상데이터를 결합하여 생성된 상기 장비의 증강현실 데이터를 상기 사용자 단말기에 전송하는 단계;를 더 포함할 수 있다.
증강현실에 기반하여 산업용 장비의 정보를 제공하기 위한 방법에서 상기 서버는, 상기 사용자 단말기로부터 사용자의 터치위치에 관한 정보를 포함하는 터치입력데이터를 수신하고, 상기 터치위치데이터가 애니메이션작동 메뉴를 나타내는 영역에 포함되는 경우에는 상기 서버에 저장된 애니메이션 데이터를 상기 사용자 단말기에 전송하는 단계;를 더 포함할 수 있다.
증강현실에 기반하여 산업용 장비의 정보를 제공하기 위한 방법에서 상기 장비는 식별자, 온도센서, 진동센서, 및 유량센서 중 하나 이상을 포함하고, 상기 서버는 상기 장비의 상기 온도센서, 상기 진동센서 또는 상기 유량센서가 측정한 측정데이터를 무선통신센서를 통해 LORA 통신 또는 WIFI 통신의 방법으로 수신할 수 있다.
전술한 목적을 달성하기 위하여, 제2 실시예는, 증강현실에 기반하여 장비의 정보를 제공하기 위한 시스템에 있어서, 카메라를 통해 상기 장비의 이미지를 획득하는 모바일 디바이스-상기 장비에 부착된 식별자를 인식하거나, 장비의 3차원 형상에 관한 정보를 수신할 수 있음-; 및 상기 모바일 디바이스로부터 상기 식별자 또는 상기 장비의 형상에 관한 측정데이터를 수신하는 서버를 포함하고, 상기 서버는 상기 측정데이터를 연산하여 증강현실을 구현하는 데이터를 생성하는 서버 내부의 프로세서를 포함하고, 상기 프로세서는 상기 장비의 3차원 가상 이미지를 상기 모바일 디바이스에 표시하기 위하여 3차원 영상데이터를 생성하고, 상기 3차원 영상데이터를 상기 모바일 디바이스에 전송하여 증강현실을 구현하는, 증강현실 기반 플랫폼을 제공할 수 있다.
증강현실 기반 플랫폼에서 상기 서버는 상기 장비의 식별자 데이터, 상기 장비의 실측 사이즈 데이터, 상기 장비의 형상 데이터, 상기 장비의 스펙에 관한 정보를 포함하는 제품정보 데이터 및 상기 장비의 작동과정을 나타내는 애니메이션 데이터를 저장하는 메모리를 더 포함할 수 있다.
증강현실 기반 플랫폼에서 상기 프로세서는 상기 장비의 식별자 데이터를 사용하여 상기 장비의 종류를 판단하고, 상기 장비의 종류에 따라 상기 메모리에 저장된 3차원 모델링 데이터를 불러올 수 있다.
증강현실 기반 플랫폼에서 상기 서버는 상기 장비에 부착된 온도센서 또는 진동센서가 측정한 측정데이터를 무선통신회로를 통해 수신하고, 상기 프로세서는 상기 측정데이터가 기준치를 초과하는 경우에 알람 데이터를 생성할 수 있다.
이상에서 설명한 바와 같이, 본 실시예에 의하면, 제품에 부착된 큐알(QR) 코드를 인식하여 제품의 종류를 정확하게 판단할 수 있고, 실제 장비에 대응하는 가상의 3차원 디자인 및 세부 구성요소의 정보를 모바일 디바이스에 표시할 수 있다.
이상에서 설명한 바와 같이, 본 실시예에 의하면, 제품에 부착된 무선센서로부터 실시간으로 데이터를 송수신할 수 있고, 장비의 이상 유무를 판단하여 사용자에게 알람을 전송할 수 있다.
도 1은 일 실시예에 따른 산업용 장비, 모바일 디바이스, 서버 사이의 데이터 흐름을 나타내는 도면이다.
도 2는 일 실시예에 따른 산업용 장비, 모바일 디바이스, 서버의 구성요소를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 서버의 관리자가 관리하는 데이터의 종류를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제1 예시 도면이다.
도 5는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제2 예시 도면이다.
도 6는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제4 예시 도면이다.
도 7은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제5 예시 도면이다.
도 8은 일 실시예에 따른 모바일 디바이스의 동작방법을 설명하는 순서도이다.
도 9는 일 실시예에 따른 모바일 디바이스의 증강현실 구현 방법을 설명하는 순서도이다.
도 10은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제6 예시 도면이다.
도 11은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제7 예시 도면이다.
도 12는 일 실시예에 따른 서버의 데이터 모니터링 방법을 설명하는 순서도이다.
도 13는 일 실시예에 따른 서버의 알람신호 전달 방법을 설명하는 순서도이다.
도 14는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제8 예시 도면이다.
도 15는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제9 예시 도면이다.
도 16은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제10 예시 도면이다.
도 17은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제11 예시 도면이다.
도 18은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제12 예시 도면이다.
도 19는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제13 예시 도면이다.
도 20은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제14 예시 도면이다.
도 21은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제15 예시 도면이다.
도 22는 일 실시예에 따른 사물인터넷 무선센서가 부착된 산업용 장비를 나타낸 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의하여야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 그 상세한 설명을 생략한다.
또한, 본 발명의 구성요소를 설명하는데 있어서, 제1, 제2, a, b 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 일 실시예에 따른 산업용 장비, 모바일 디바이스, 서버 사이의 데이터 흐름을 나타내는 도면이다.
도 1을 참조하면, 증강현실 기반 플랫폼은 산업용 장비(10), 모바일 디바이스(20), 서버(30) 등을 포함할 수 있다.
산업용 장비(10)는 펌프, 모터 등을 포함할 수 있지만, 산업용 플랜트에 포함되는 기계식 설비이면 그 종류는 제한되지 않는다.
산업용 장비(10)는 온도센서, 진동센서, 유량센서, 전력센서 등 산업용 장비의 상태를 측정할 수 있는 센서를 포함할 수 있고, 무선센서를 통해 LoRa(Long Range) 무선통신, Wi-Fi(Wireless Fidelity) 무선통신 등을 통해 모바일 디바이스(20) 또는 서버(30)과 데이터를 송수신할 수 있다.
모바일 디바이스(20)은 스마트폰, 태블릿, 컴퓨터, 노트북, 웨어러블 장치, 디지털 카메라 등을 포함할 수 있지만, 필요에 따라 컴퓨터 기반의 웹을 포함하는 것일 수 있고, 그 종류는 제한되지 않는다.
모바일 디바이스(20)는 디스플레이, 카메라 등을 포함하여 산업용 장비의 외관 또는 형상에 관한 이미지데이터 또는 거리데이터를 측정할 수 있고, 이를 서버(30)으로 전달하여 증강현실(AR) 구현을 위한 데이터를 송수신할 수 있다.
증강현실(AR: Augmented Reality)는 모바일 디바이스의 화면에서 현실의 이미지나 배경에 가상의 정보 객체를 겹쳐서 하나의 영상으로 보여주는 기술을 의미할 수 있고, 모바일 디바이스(20) 또는 서버(30)은 필요에 따라 현실의 이미지나 배경의 데이터와 가상의 정보 객체에 관한 데이터를 독립적으로 또는 통합적으로 처리하여 모바일 디바이스(20)에 나타낼 수 있다.
서버(30)는 물리적인 컴퓨팅 서버, 웹 서버, 데이터베이스 서버 등을 포함할 수 있고, 가상의 네트환경을 구현하는 클라우드 서버 등일 수 있으나, 이에 제한되지 않는다.
서버(30)는 3차원 모델링을 위한 서버(미도시), 증강현실 구현을 위한 서버(미도시), 사물인터넷 모니터링을 위한 서버(미도시), 원격제어를 위한 서버(미도시) 등으로 역할 또는 동작에 따라 구분될 수 있다.
서버(30)는 통신 인터페이스(미도시), 프로세서(미도시), 메모리(미도시) 등을 포함하는 것일 수 있고, 다른 구성요소들을 추가적으로 구비할 수 있다.
필요에 따라 서버(30)은 모바일 디바이스(20)에 내장되어 구현될 수 있고, 모바일 디바이스(20)에 내장된 저장장치 또는 프로세서를 통해 전술한 기능들이 구현될 수 있다.
서버(30)가 모바일 디바이스(20) 외부에 구현되어 있는 경우에는 모바일 디바이스(20) 내부의 정보처리장치와 구별될 수 있다.
도 2는 일 실시예에 따른 산업용 장비, 모바일 디바이스, 서버의 구성요소를 설명하기 위한 도면이다.
도 2를 참조하면, 증강현실 기반 플랫폼은 산업용 장비(10), 모바일 디바이스(20), 서버(30) 등을 포함할 수 있고, 각 구성은 하위 개념의 구성요소들을 더 포함할 수 있다.
산업용 장비(10)은 큐알코드(11), IOT 무선센서(12), 온도센서(13), 진동센서(14), 유량센서(15), 전력센서(16) 등을 포함할 수 있다.
산업용 장비(10)은 큐알코드(Quick Response Code) 또는 바코드(Bar Code) 등의 다양한 종류의 식별자를 포함하여 산업용 장비의 스펙, 종류 등에 관한 정보를 포함할 수 있다. 식별자는 산업용 장비(10)의 정보를 포함할 수 있는 것이면, 큐알코드와 바코드에 한정되지 않는다.
큐알코드(11)는 직사각형 형태의 영역에 일정한 흑백의 패턴을 만들어 형성한 것일 수 있고, 모바일 디바이스(20)의 카메라는 큐알코드(11)을 인식할 수 있다. 모바일 디바이스(20)가 획득한 큐알코드(11)에 관한 정보를 포함하는 데이터는 서버(30)으로 전송될 수 있고, 서버(30)에 저장된 산업용 장비들의 정보와 비교하여 산업용 장비(10)의 종류를 특정할 수 있다.
큐알코드(11)의 숫자는 한자리 숫자 또는 두자리 숫자로 정의되는 값일 수 있고, 큐알코드 정보는 서버에서 산업용 장비들의 정보를 조회하기 위하여 사용될 수 있다. 큐알코드(11)를 통해 서버에서 조회한 산업용 장비들의 정보가 모바일 디바이스(20)의 화면에 표시될 수 있다.
IOT 무선센서(12)는 사물인터넷(IOT: Internet Of Things)를 구현하기 위한 무선센서를 지칭하는 것일 수 있고, 모바일 디바이스(20) 또는 서버(30)와 무선통신을 할 수 있는 것이면 그 종류는 제한되지 않는다. 예를 들어, IOT 무선센서(12)는 LoRa(Long Range) 무선통신이 가능한 센서, Wi-Fi(Wireless Fidelity) 무선통신이 가능한 센서일 수 있다. 다른 예시적으로, 무선통신은 LTE(Long Term Evolution), CDMA(Code Division Multiple Access), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband) 등의 셀룰러 통신일 수 있고, 블루투스(Bluetooth), NFC(Near Field Communication), 라이오 프리퀀시(Radio Frequency) 등의 무선통신일 수 있다.
IOT 무선센서(12)는 모터 또는 펌프의 회전체, 진동체, 압축기, 베어링, 팬(FAN) 등 다양한 구성요소 또는 위치에 설치될 수 있고, 네트워크 서버와 무선통신을 수행할 수 있다.
IOT 무선센서(12)는 서버 소켓과 클라이언트 소켓을 포함하는 TCP/IP 소켓 통신방법을 채택하여 산업용 장비들의 정보를 서버로 전송할 수 있다.
IOT 무선센서(12)는 측정부(미도시), 신호전달라인(미도시), 프로세서(미도시) 및 통신부(미도시)를 포함할 수 있고, 다양한 센서의 기능이 통합되어 구현될 수 있다. 측정부(미도시)는 자석을 포함하여 산업용 장비의 임의의 부분에 부착되어 실시간으로 산업용 장비의 물리적 특성을 측정할 수 있다. 측정부(미도시)에서 측정한 신호는 신호전달라인(미도시)을 통해 내부 프로세서(미도시) 및 통신부(미도시)로 전달될 수 있다. 통신부(미도시)는 전술한 무선통신 방법으로 서버 또는 모바일 기기와 통신할 수 있다.
IOT 센서는 무선통신 방법을 채택하여 온도데이터 또는 진동데이터를 송수신할 수 있으나, 유선통신 방법 또는 이들의 혼합된 방식이 채택되어 각 데이터를 송수신할 수 있다.
온도센서(13)는 산업용 장비-예를 들어, 펌프 또는 모터-의 내부 온도 또는 외부 온도를 측정하기 위한 센서일 수 있고, IOT 무선센서(12)는 실시간 모니터링을 위해 장비의 온도데이터를 서버(30)로 전송할 수 있다. 예시적으로, 온도센서(13)은 장비 표면의 온도를 측정할 수 있다.
진동센서(14)는 산업용 장비-예를 들어, 펌프 또는 모터-의 내부 진동 또는 외부 진동를 측정하기 위한 센서일 수 있고, IOT 무선센서(12)는 실시간 모니터링을 위해 장비의 진동데이터를 서버(30)로 전송할 수 있다. 예시적으로, 진동센서(14)는 x축, y축, z축으로 정의된 방향에 따른 가속도(m/s2)를 측정할 수 있고, 진동의 표현 방식은 0.5G, 1G, 2G 등으로 다양하게 정의될 수 있다. 다른 예시적으로, 진동센서(14)가 측정하는 가속도의 범위는 2.5m/s2 내지 156m/s2일 수 있으나, 이에 제한되는 것은 아니다.
유량센서(15)는 산업용 장비-예를 들어, 펌프 또는 모터-의 일 단부 또는 내부에 흐르는 유량을 측정하기 위한 센서일 수 있고, IOT 무선센서(12)는 실시간 모니터링을 위해 장비의 유량데이터를 서버(30)로 전송할 수 있다.
전력센서(16)는 산업용 장비-예를 들어, 펌프 또는 모터-가 소비하는 전력을 측정하기 위한 센서일 수 있고, IOT 무선센서(12)는 실시간 모니터링을 위해 장비의 전력데이터를 서버(30)로 전송할 수 있다.
전술한 센서는 산업용 장비의 표면에 설치될 수 있으나, 산업용 장비의 내부 구성요소의 전부 또는 일부에 설치되어 내부의 물리적 특성의 변화를 측정하고 저장할 수 있으며, 서버 또는 모바일 디바이스(20) 또는 서버(30)로 전송할 수 있다.
모바일 디바이스(20)은 카메라(21), 증강현실 입체영상 표시부(22), IOT 데이터 표시부(23), 영상통화 송수신부(24), 알람 표시부(25) 등을 포함할 수 있다.
모바일 디바이스(20)은 디스플레이 패널(미도시)를 통해 텍스트데이터 또는 영상데이터를 변환하여 화면에 표시할 수 있고, 터치 패널(미도시)를 통해 사용자의 터치 입력을 수신하고 서버(30)으로 터치 데이터를 송수신할 수 있다.
카메라(21)는 피사체를 측정하여 피사체의 2차원 영상데이터, 거리데이터, 또는 이를 결합한 3차원 데이터를 획득하고 처리할 수 있다. 카메라(21)는 광 송신을 위한 광 출력부와 반사광을 측정하기 위한 이미지센서 등을 포함하는 것으로 정의될 수 있다. 카메라(21)에 의해 측정된 장비의 영상 또는 이미지를 실측영상 또는 실측이미지로 정의할 수 있다.
카메라(21)는 산업용 장비의 실제 이미지와 3차원 모델링을 통해 구현된 가상의 이미지와 각 위치가 대응되도록 촬영 각도, 사이즈, 영역 등일 조절될 수 있다. 카메라(21)의 촬영 각도, 사이즈, 영역은 사용자가 모바일 디바이스를 움직이거나, 모바일 디바이스 내부의 별도의 기능을 통해 구현하는 것일 수 있다.
증강현실 입체영상 표시부(22)는 카메라가 측정하는 피사체의 실제 영상을 표시하는 화면 이외에, 별도로 구분된 영역일 수 있다. 다른 예시적으로, 증강현실 입체영상 표시부(22)는 피사체의 실제 영상을 표시하는 화면에 중복되어 표시되는 가상의 화면 또는 물체의 영상을 의미하는 것일 수 있다. 증강현실 입체영상 표시부(22)에 표시되는 입체영상은 실제 이미지와 분리되는 별개의 클러스터(Cluster)를 형성하는 가상의 이미지 그룹의 지칭하거나, 실제 이미지와 가상의 이미지 그룹의 전부 또는 일부를 지칭하는 것일 수 있다.
증강현실 입체영상 표시부(22)는 후술하는 도면의 형태와 같이 구현될 수 있으나, 이에 제한되는 것은 아니다.
사물인터넷 데이터 표시부(23)는 서버에서 관리하는 산업용 장비의 측정데이터를 표시하기 위한 영역일 수 있고, 산업용 장비의 센서로부터 직접적으로 수신한 측정데이터를 표시하는 영역일 수 있다.
사물인터넷 데이터 표시부(23)는 후술하는 도면의 형태와 같이 구현될 수 있으나, 이에 제한되는 것은 아니다.
영상통화 송수신부(24)는 사용자와 관리자 사이에서 수행되는 음성통화 또는 영상통화 과정을 나타내는 영역일 수 있다. 서버(30)은 사용자의 참가를 확인하고, 1:1 대화가 가능한 경우에만 사용자와 관리자 사이의 통화를 진행하도록 리모트 연결 시스템을 구현할 수 있다. 서버(30)은 2명 이상의 참가자가 존재하는 경우에는 일부 참가자를 대기상태로 유지하도록 연결 여부에 관한 데이터를 처리할 수 있고, 기술적인 영상통화 송수신부(24)는 사용자와 기술자 사이의 통화가 진행되는 경우에만 리모트 연결을 수행하여 음성통화 또는 영상통화 과정을 표시할 수 있다.
영상통화 송수신부(24)는 비대면 원격 기술지원 서비스를 제공하기 위해 사용자가 사용자의 모바일 디바이스(20)으로 측정한 산업용 장비(10)의 사진 또는 영상을 공유할 수 있고, 이상이 있는 장비의 위치에 화면 터치로 그림을 그리는 드로잉(Drawing) 기능을 제공할 수 있다.
알람 표시부(25)는 산업용 장비(10)의 온도, 진동, 유량, 전력 상태를 측정한 측정데이터가 기준치를 넘는 경우에 알람 기능을 제공하는 영역일 수 있다.
서버(30)는 기준치(Threshold)를 설정할 수 있고, 매 시간 측정되는 측정데이터가 기준치를 초과하는 경우에 알람데이터를 생성하여 모바일 디바이스(20)로 전달할 수 있다.
알람 표시부(25)의 알람 영역은 개별 알람이 분리된 표시영역을 가지고, 위아래 또는 좌우 방향으로 순차적으로 제공되는 표시영역을 가지도록 형성될 수 있다.
서버(30)는 3차원 모델링 서버(31), 증강현실 구현 서버(32), 사물인터넷 모니터링 서버(33), 원격제어 서버(34), 메모리(35), 프로세서(36) 등을 포함할 수 있다.
3차원 모델링 서버(31)는 시뮬레이션을 통해 산업용 장비의 규격을 확인하고, 3차원 시뮬레이션을 통해 산업용 장비의 형상을 가상으로 구현할 수 있다. 이 경우 산업 현장의 조건에 맞는 최적의 레이아웃을 제공할 수 있다. 필요에 따라 3차원 모델링 서버(31)는 메모리(35)에 저장된 장비의 모델별 3차원 시뮬레이션 데이터를 사용할 수 있다.
증강현실 구현 서버(32)는 모바일 디바이스(20)가 측정한 산업용 장비(10)의 형상, 크기, 이미지 등에 관한 실측데이터와 3차원 모델링 데이터를 결합하여 증강현실을 구현할 수 있다. 증강현실 구현 서버(32)는 실측데이터와 3차원 모델링 데이터를 별도로 관리/처리할 수 있고, 장비의 특정 위치에 대응되는 매칭 데이터를 별도로 생성하여 증강현실을 구현할 수 있다.
사물인터넷 모니터링 서버(33)는 산업용 장비(10)의 상태에 관한 데이터를 수신하여 이를 서버에 저장하거나 연산을 수행할 수 있다. 사물인터넷 모니터링 서버(33)는 필요에 따라 기준값(Threshold)를 설정하여 알람을 발생시키거나, 일정한 기준 영역 또는 기준 범위에 포함되는 경우에 알람을 발생시킬 수 있다. 기준값, 기준 영역, 기준 범위는 산업용 장비(10), 모바일 디바이스(20), 서버(30)의 종류 및 상태에 따라 다르게 정의될 수 있다.
사물인터넷 모니터링 서버(33)가 모바일 디바이스(20)으로 전달한 알람데이터를 통해 사용자는 예방 정비 시점을 조절할 수 있다. 또한, 실시간 모니터링을 통해 설비 전체의 최적의 상태를 유지할 수 있다. 또한, 실시간 모니터링을 통해 여러 인자들을 감시 하여 품질 저하를 방지할 수 있고, 생산 효율을 증대시킬 수 있다.
사물인터넷 모니터링 서버(33)는 서버 소켓과 클라이언트 소켓을 포함하는 TCP/IP 소켓 통신방법을 채택하여 산업용 장비들의 정보를 서버로 전송할 수 있다. 서버 소켓은 클라이언트 소켓으로부터 연결 요청이 오기를 대기하고, 연결 요청이 오면 클라이언트와 연결하여 다른 소켓을 만들 수 있다. 클라이언트 소켓은 서버 프로그램으로 연결요청을 하거나 데이터전송을 할 수 있다.
사물인터넷 모니터링 서버(33)는 게이트웨이 서버를 포함할 수 있고, 주기적으로 IOT 무선센서(12)와 통신하여 전술한 센서들(13, 14, 15, 16)의 측정 데이터를 수신하여 내부에 저장할 수 있다. 이 경우 사물인터넷 모니터링 서버(33)는 TCP 소켓 방식으로 취합된 데이터를 가져오고, 이를 데이터베이스에 축적할 수 있다.
사물인터넷 모니터링 서버(33)는 설정된 주기-예를 들어, 1분에 1회-마다 IOT 무선센서(12)에서 전달할 데이터가 있는지를 http 통신을 통해 확인할 수 있다. http 통신을 통해 IOT 무선센서(12)와 통신하는 과정에서 IOT 무선센서(12)의 응답을 확인하는 단계를 더 포함할 수 있다.
사물인터넷 모니터링 서버(33)는 데이터 관리의 편의를 위해 모니터링 서버와 사물인터넷 서버로 분리된 형태로 설계될 수 있다. 모니터링 서버는 알람 발생을 위한 기준값을 미리 설정하고, http 방식으로 사물인터넷 서버에 데이터를 요청하고 수신하여 알람 발생 여부를 판단할 수 있다. 모니터링 서버는 사물인터넷 서버를 통해 수신한 센서들의 측정값들이 기준값을 초과하는 경우에 알람을 발생시킬 수 있고, 기준값 이하의 정상데이터를 수신하는 경우에는 알람을 해제시킬 수 있다.
메모리(35)는 휘발성 메모리(Volatile Memory) 및/또는 비휘발성 메모리(Non-Volatile Memory) 등을 포함할 수 있고, 필요에 따라 소프트웨어, 컴퓨터 프로그램, 산업용 장비의 스펙 또는 측정 데이터 등을 저장할 수 있다.
메모리(35)는 전술한 서버(31, 32, 33, 34)에 포함된 것일 수 있으나, 별개로 형성된 데이터베이스를 의미할 수 있다.
메모리(35)는 각 센서(13, 14, 15, 16)이 측정한 데이터를 IOT 무선센서(12)를 통해 수신하고 센서데이터를 저장할 수 있으며, 산업용 장비의 종류와 매칭하여 함께 데이터를 정렬하여 저장하여 내부 데이터베이스를 구축할 수 있다.
프로세서(36)는 중앙처리장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있고, 산업용 장비(10) 또는 모바일 디바이스(20)를 제어하거나 데이터 연산/처리를 수행할 수 있다.
일 실시예에 따른 사물인터넷은 무선인터넷, 중앙수신기, 서버, 모바일 디바이스의 연결구조를 가질 수 있으나 이에 제한되는 것은 아니다.
도 3은 일 실시예에 따른 서버의 관리자가 관리하는 데이터의 종류를 설명하기 위한 도면이다.
도 3을 참조하면, 서버의 관리자가 관리하는 데이터는 제품관리 데이터(41), 모니터링 데이터(42), 알람 데이터(43), 통계 데이터(44), 작업관리 데이터(45), 시스템 설정 데이터(46) 등을 포함할 수 있다.
제품관리 데이터(41)는 제품의 스펙(Spec), 제품의 타입, 제품의 시리얼 번호, 제품의 관리번호 등에 관한 정보를 포함할 수 있다. 예를 들어, 펌프의 유량, 펌프의 부품별 사이즈, 펌프의 출력전압, 구동전류 등에 관한 정보를 포함할 수 있다.
모니터링 데이터(42)는 장비의 센서들이 측정한 데이터들을 포함할 수 있고, 사용자별로 정렬되거나 구분된 데이터를 포함할 수 있다. 필요에 따라, 서버는 전체 사용자의 데이터 현황을 확인할 수 있도록 데이터를 관리할 수 있다.
알람 데이터(43)는 모니터링 데이터(42)가 기준값을 초과하거나 또는 기준범위를 벗어난 경우에 사용자 단말로 전달하기 위해 생성하는 데이터일 수 있다. 알람 데이터(43)는 각 알람의 이력을 관리하기 위하여 기준값을 초과하거나 또는 기준범위를 벗어난 데이터의 종류 또는 시간에 관한 정보를 포함할 수 있다.
통계 데이터(44)는 제품의 하자 또는 알람이 발생한 이력, 증강현실 시스템에 접속한 사용자의 접속횟수, 납품실적을 통계로 나타낸 정보를 포함할 수 있다.
작업관리 데이터(45)는 사용자와 관리자 사이의 통화 또는 대화 내역에 관한 정보, 증강현실 매뉴얼의 접속 이력에 관한 정보, 작업일지에 관한 정보 등을 포함할 수 있다.
시스템 설정 데이터(46)는 사용자의 접근권한과, 개별 기능을 구분한 카테고리의 관리내용, 어플리케이션의 설정내용 등의 사용자가 플랫폼을 관리하기 위한 정보를 포함할 수 있다.
도 4는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제1 예시 도면이다.
도 4를 참조하면, 모바일 디바이스의 화면(100)은 제1 영역(110), 제2 영역(120), 제3 영역(130), 제4 영역(140) 등을 포함할 수 있다.
제1 영역(110)은 증강현실을 구현하기 위한 메뉴일 수 있고, 사용자가 모바일 디바이스의 제1 영역(110)을 터치하는 경우, 증강현실을 구현하기 위한 알고리즘이 실행될 수 있다.
제2 영역(120)은 사용자와 관리자가 영상통화 또는 음성통화하기 위한 메뉴일 수 있고, 사용자가 모바일 디바이스의 제2 영역(120)을 터치하는 경우, 영상통화 또는 음성통화하기 위한 알고리즘이 실행될 수 있다.
제3 영역(130)은 사물인터넷 모니터링을 위한 메뉴일 수 있고, 사용자가 모바일 디바이스의 제3 영역(130)을 터치하는 경우, 장비의 상태를 모니터링하기 위한 알고리즘이 실행될 수 있다.
제4 영역(140)은 장비의 상태를 모니터링 하는 과정에서 발생한 알람을 표시하기 위한 메뉴일 수 있고, 사용자가 모바일 디바이스의 제4 영역(140)을 터치하는 경우, 알람을 표시하기 위한 알고리즘이 실행될 수 있다.
제1 영역 내지 제4 영역(110, 120, 130, 140)은 중첩되지 않는 사각형의 영역으로 정의될 수 있으나, 사용자의 터치입력을 구분하여 수신할 수 있는 형태이면 이에 제한되지 않는다.
도 5는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제2 예시 도면이다.
도 5를 참조하면, 모바일 디바이스의 화면(200-1)은 장비상태표시영역(201), 메뉴영역(202), 구성요소영역(203), 구성요소상세설명영역(204) 등을 포함할 수 있다.
장비상태표시영역(201)은 산업용 장비의 측정데이터-예를 들어, 온도데이터, 진동데이터, 유량데이터-를 표시하는 영역일 수 있다.
메뉴영역(202)은 구성요소표시메뉴, 3차원실측메뉴, 애니메이션실행메뉴, 동영상실행메뉴 등을 포함할 수 있고, 디스플레이 화면의 우측면에 배치될 수 있다.
구성요소영역(203)은 산업용 장비의 각 영역을 구분하여 표시하는 영역으로, 실측 화면에 각 구성요소를 표시하거나 가상의 시뮬레이션 화면에 각 구성요소를 표시하는 것이 수 있다. 메뉴영역(202)에서 구성요소표시메뉴를 터치하는 경우에는 자동으로 각 구성요소를 별도의 식별표시(A, B, C, D, E, F)로 특정하여 나타낼 수 있다. 구성요소영역(203)에 표시되는 구성요소의 정보는 서버(미도시)로부터 수신되는 것일 수 있고, 모바일 디바이스(미도시)에 저장된 정보일 수 있다.
구성요소상세설명영역(204)은 구성요소영역(203)의 일부 영역을 포인트로 표시하는 경우, 이를 클릭하는 경우에만 출력되는 영역일 수 있다. 구성요소상세설명영역(204)은 구성요소의 상세 스펙 또는 기능을 설명하는 텍스트 정보를 포함할 수 있다.
도 6는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제4 예시 도면이다.
모바일 디바이스의 화면(200-2)은 3차원실측영역(205), 드래그앤드롭영역(206) 등을 포함할 수 있다.
메뉴영역(미도시)에서 3차원실측메뉴를 선택하는 경우에 모바일 디바이스의 화면(200-2)이 나타날 수 있다.
3차원실측영역(205)는 모바일 디바이스의 카메라를 통해 인식하는 산업용 장비의 실제 제품의 수치를 측정하여 나타내거나, 증강현실을 통해 구현된 가상의 시뮬레이션 모델을 통해 제품의 수치를 나타내는 것일 수 있다.
드래그앤드롭영역(206)은 가상의 시뮬레이션을 통해 구현된 제품을 드래그앤 드롭(Drag and Drop)을 통해 화면상의 위치를 옮길 수 있도록 구현된 영역일 수 있다. 다른 예시적으로, 각 화면의 영역별로 제품의 구성요소가 분리되는 경우 드래그앤 드롭(Drag and Drop)을 통해 개별 구성요소의 화면상의 위치를 옮길 수 있다.
드래그앤드롭영역(206)은 3차원 모델링을 위한 3차원 공간상의 x, y, z 좌표를 정의하여 사용할 수 있고, 모바일 디바이스 영역의 2차원 터치 영역상의 x, y 좌표(3차원 모델링을 위한 3차원 공간 좌표와 별도로 정의됨)를 정의하여 사용할 수 있다. 사용자의 화면 터치를 통해 입력받는 2차원 터치 영역상의 x, y 좌표는 매 프레임마다 갱신될 수 있으며, 정의된 프레임의 시구간에 따라 갱신된 x, y 좌표를 획득할 수 있다.
드래그앤드롭영역(206)에서 모바일 디바이스에서 획득된 터치 좌표(x, y 좌표)의 변경값을 서버(미도시)에서 연산하고, 이를 3D 모델링으로 구현된 산업용 장비의 3차원 공간상의 x, y, z 좌표와 매칭하여 가상의 입체 형상을 움직일 수 있다. 이 경우 변경된 터치 좌표(x, y)는 3D 모델링으로 구현된 입체 형상의 x, y, z, 좌표 중 2가지 좌표를 매칭시켜 입체 형상의 x, y, z 좌표를 변경할 수 있다.
도 7은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제5 예시 도면이다.
모바일 디바이스의 화면(200-3)은 구성요소버튼영역(207), 애니메이션영역(208) 등을 포함할 수 있다.
구성요소버튼영역(207)은 제품의 각 구성요소의 위치에 대응하여 애니메이션이 실행 가능한 구성의 정보를 표시하는 영역일 수 있다.
애니메이션영역(208)은 제품의 점검 과정에서 필요한 설명을 포함하고, 구성요소의 작동 과정을 나타내는 영역일 수 있다. 사용자가 구성요소버튼영역(207)을 터치하는 경우에만 모바일 디바이스의 일부 영역에서 애니메이션이 구동될 수 있다. 사용자는 애니메이션의 구동과정을 통해 보다 쉽게 제품의 하자보수 과정을 학습하여 진행할 수 있게 되므로, 제품의 관리 편의성이 증대하게 된다.
도 8은 일 실시예에 따른 모바일 디바이스의 동작방법을 설명하는 순서도이다.
도 8을 참조하면, 모바일 디바이스의 동작방법(300)은 QR코드를 인식 단계(S310), 장비의 종류를 판단하는 단계(S320), 3차원 모델링을 구현하는 단계(S330), 장비의 정보를 표시하는 단계(S340) 등을 포함할 수 있다.
QR코드를 인식 단계(S310)는 서버 또는 모바일 디바이스를 통해 산업용 장비-예를 들어, 펌프 또는 모터-에 부착된 QR코드를 인식하는 단계일 수 있다.
QR코드를 인식 단계(S310)에서 사용자의 단말기에 포함된 카메라는 장비에 부착된 식별자-예를 들어, QR코드 또는 바코드-를 센싱하고, 서버 또는 모바일 디바이스는 QR코드에 관한 데이터를 수신하여 처리할 수 있다.
장비의 종류를 판단하는 단계(S320)는 서버 또는 모바일 디바이스를 통해 식별자에 관한 데이터와 메모리(미도시)에 저장된 복수의 장비의 종류에 관한 리스트를 비교하여 산업용 장비의 종류를 판단하는 단계일 수 있다.
3차원 모델링을 구현하는 단계(S330)는 서버 또는 모바일 디바이스를 통해 장비의 종류에 대응되는 3차원 영상데이터를 생성하는 단계일 수 있다.
장비의 정보를 표시하는 단계(S340)는 서버에 저장된 3차원 영상데이터를 상기 사용자의 단말기로 전달하여 표시하는 단계이거나, 모바일 디바이스에서 처리된 3차원 영상데이터를 사용자의 단말기에 표시하는 단계일 수 있다.
일 실시예에 따른 모바일 디바이스의 동작방법(300)은 3차원 영상데이터가 장비의 특정 구성요소 또는 특정 위치에 대응되도록 3차원 영상데이터를 가공하는 단계를 더 포함할 수 있다. 3차원 영상데이터를 가공하기 위하여 모바일 디바이스가 측정한 이미지 영역을 2가지 파라미터(x, y)로 정의하여 실제 촬영한 영상의 좌표를 획득할 수 있고, 서버에 저장된 가상의 3차원 영상데이터를 3가지 파라미터(x, y, z)로 정의하여 모바일 디바이스 상의 가상의 영상데이터의 좌표를 획득할 수 있다. 카메라가 실제 측정한 이미지 데이터와 서버에 저장된 3차원 모델링 입체 데이터가 매칭되는 과정은 전술한 드래그앤드롭 원리의 일부를 서버에서 자동적으로 구현한 것일 수 있다. 이 경우 실체 측정한 이미지 데이터 및 3차원 모델링 데이터의 경계값을 추출할 수 있고, 경계값을 기준으로 각 데이터를 매칭한 것일 수 있다.
일 실시예에 따른 모바일 디바이스의 동작방법(300)은 사용자의 입력에 따라 상기 장비의 규격 또는 기능에 관한 정보를 포함하는 데이터를 사용자 단말기에 전송하는 단계를 더 포함할 수 있다.
일 실시예에 따른 모바일 디바이스의 동작방법(300)은 사용자의 단말기의 카메라를 통하여 촬영된 상기 장비의 이미지데이터를 분석하는 단계를 더 포함하거나, 서버 또는 모바일 디바이스를 통해 분석된 이미지데이터와 상기 3차원 영상데이터를 결합하여 생성된 상기 장비의 증강현실 데이터를 상기 사용자 단말기에 전송하거나 표시하는 단계를 더 포함할 수 있다.
일 실시예에 따른 모바일 디바이스의 동작방법(300)은 사용자 단말기로부터 사용자의 터치위치에 관한 정보를 포함하는 터치입력데이터를 수신하고, 터치위치데이터가 애니메이션작동 메뉴를 나타내는 영역에 포함되는 경우에는 서버 또는 모바일 디바이스에 저장된 애니메이션 데이터를 상기 사용자 단말기에 전송하는 단계를 더 포함할 수 있다.
도 9는 일 실시예에 따른 모바일 디바이스의 증강현실 구현 방법을 설명하는 순서도이다.
도 8을 참조하면, 모바일 디바이스의 동작방법(400)은 QR코드를 인식 단계(S410), 증강현실을 표시하는 단계(S420), 증강현실 모드를 선택하는 단계(S430), 장비의 정보를 표시하는 단계(S440), 장비 사이즈를 표시하는 단계(S450), 애니메이션 동작을 표시하는 단계(S460) 등을 포함할 수 있다.
QR코드를 인식 단계(S410)는 전술한 도 8에서 QR코드를 인식하는 단계와 동일할 수 있다.
증강현실을 표시하는 단계(S420)는 전술한 도 1 내지 도 7에서 장비의 시뮬레이션 데이터를 모바일 화면에 표시하는 단계와 동일할 수 있다.
증강현실 모드를 선택하는 단계(S430)는 전술한 도 5에서 메뉴 영역을 터치하는 단계를 포함할 수 있고, 각 터치영역은 장비의 정보를 표시하는 단계(S440)를 수행하는 영역, 장비 사이즈를 표시하는 단계(S450)를 수행하는 영역, 애니메이션 동작을 표시하는 단계(S460)를 수행하는 영역으로 구분되어 정의될 수 있다.
장비의 정보를 표시하는 단계(S440)는 전술한 도 5에서 장비의 개별 구성요소를 표시하는 방법을 포함할 수 있다. 장비의 개별 구성요소는 각 제품마다 텍스트 오브젝트를 생성하여 장비의 개별 구성요소의 종류 및 정보를 서버에 미리 입력해둔 것일 수 있다. 사용자의 조작에 따라 장비의 정보를 표시하는 단계는 온오프로 제어될 수 있다.
장비 사이즈를 표시하는 단계(S450)는 전술한 도 6에서 장비의 사이즈를 표시하는 방법을 포함할 수 있다.
애니메이션 동작을 표시하는 단계(S460)는 전술한 도 7에서 장비의 개별 구성요소의 애니메이션 동작을 표시하는 방법을 포함할 수 있다.
도 10은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제6 예시 도면이다.
도 10을 참조하면, 모바일 디바이스의 어플리케이션 구동 화면(500-1)은 산업용 장비의 개수를 나타내는 영역, 센서의 개수를 나타내는 영역, 센서의 측정 데이터들을 나타내는 영역으로 구분될 수 있다.
도 11은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제7 예시 도면이다.
도 11을 참조하면, 모바일 디바이스의 어플리케이션 구동 화면(500-2)은 산업용 장비의 정보와 스펙을 나타내는 영역, 센서를 통해 모니터링한 데이터를 텍스트 또는 그래프로 나타낸 영역으로 구분될 수 있다.
산업용 장비에 설치되는 무선센서(미도시)에 의해 실시간으로 전달받은 측정데이터는 실시간으로 데이터 서버 또는 모바일 디바이스에 저장될 수 있고, 사용자 또는 관리자는 실시간으로 측정데이터를 열람할 수 있다. 예시적으로, 측정데이터는 그래프 형태로 가공되어 사용자 또는 관리자의 데이터 분석 기능을 제공할 수 있다.
사물인터넷(IOT)의 실시간 온도, 진동 모니터링을 수행할 수 있고, 알람 발생을 위한 기준이 되는 기준값(Threshold)을 설정하여 모바일 디바이스로 알람을 전달하여 표시할 수 있다.
도 12는 일 실시예에 따른 서버의 데이터 모니터링 방법을 설명하는 순서도이다.
도 12를 참조하면, 서버의 데이터 모니터링 방법(600)은 사물인터넷 데이터를 수집하는 단계(S610), 데이터를 모니터링하는 단계(S620), 측정데이터와 기준값을 비교하는 단계(S630), 알람을 발생시키는 단계(S640) 등을 포함할 수 있다.
사물인터넷 데이터를 수집하는 단계(S610)는 산업용 장비-예를 들어, 펌프 또는 모터-에 부착된 하나 이상의 센서를 통해 실시간으로 데이터를 수집하는 단계일 수 있다.
데이터를 모니터링하는 단계(S620)는 산업용 장비의 상태를 나타내는 측정데이터를 서버에서 모니터링하는 단계일 수 있다. 서버는 일정한 기간동안 측정데이터를 메모리(미도시)에 저장할 수 있다.
측정데이터와 기준값을 비교하는 단계(S630)는 설정된 기준값(Threshold)를 측정데이터와 비교하는 단계일 수 있다. 기준값과 비교되는 측정데이터는 단일 시점에 측정된 데이터일 수 있으나, 일정한 시구간동안 측정데이터를 평균하여 생성한 데이터일 수 있다.
알람을 발생시키는 단계(S640)는 기준값을 초과하는 측정데이터가 발생하는 경우 알람을 발생시키는 단계일 수 있다. 예시적으로, 측정데이터가 기준값을 초과하는 횟수가 일정한 횟수-예를 들어, 기준 횟수-인 경우에 알람을 발생시킬 수 있다. 다른 예시적으로, 측정데이터가 기준값을 초과하는 시간이 일정한 시간-예를 들어, 기준 시간-인 경우에 알람을 발생시킬 수 있다.
도 13는 일 실시예에 따른 서버의 알람신호 전달 방법을 설명하는 순서도이다.
도 13을 참조하면, 서버의 알람신호 전달 방법(700)은 실시간으로 데이터를 수집하는 단계(S710), 측정데이터와 기준값을 비교하는 단계(S720), 알람신호를 모바일 디바이스로 전달하는 단계(S730) 등을 포함할 수 있다.
실시간으로 데이터를 수집하는 단계(S710)는 전술한 도 12의 사물인터넷 데이터를 수집하는 단계(S610) 및/또는 데이터를 모니터링하는 단계(S620)를 포함할 수 있다.
측정데이터와 기준값을 비교하는 단계(S720)는 장비의 센서를 통해 측정한 측정데이터가 기준값(Threshold)를 초과하는 경우에만 알람신호를 모바일 디바이스로 전달할 수 있고, 기준값을 초과하지 않는 경우에는 실시간 모니터링을 지속적으로 수행할 수 있다.
알람신호를 모바일 디바이스로 전달하는 단계(S730)는 측정데이터가 기준값을 초과하는 경우-예를 들어, 온도데이터가 기준온도를 초과하는 경우-에만 모바일 디바이스로 알람신호를 전달하는 단계일 수 있다.
도 14는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제8 예시 도면이다.
도 15는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제9 예시 도면이다.
도 16은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제10 예시 도면이다.
도 17은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제11 예시 도면이다.
도 18은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제12 예시 도면이다.
도 19는 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제13 예시 도면이다.
도 20은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제14 예시 도면이다.
도 21은 일 실시예에 따른 모바일 디바이스의 어플리케이션 구동 화면을 예시하는 제15 예시 도면이다.
도 14 내지 도 21을 참조하면, 모바일 디바이스의 어플리케이션 구동 화면 구성(800-1, 800-2, 800-3, 800-4, 800-5, 800-6, 800-7, 800-8)은 사용자의 화면조작에 따라 다르게 정의될 수 있다.
모바일 디바이스의 어플리케이션 구동 화면(800-1)은 장비의 정보를 표시하기 위한 화면일 수 있다.
모바일 디바이스의 어플리케이션 구동 화면(800-2)은 장비의 구성요소의 세부 정보를 표시하기 위한 화면일 수 있다.
모바일 디바이스의 어플리케이션 구동 화면(800-3)은 장비의 측정데이터가 기준치를 초과하는 경우에 알람 정보를 표시하기 위한 화면일 수 있다.
모바일 디바이스의 어플리케이션 구동 화면(800-4)은 장비의 일부 구성요소를 가상의 시뮬레이션 화면을 통해 설명하기 위한 화면일 수 있다.
모바일 디바이스의 어플리케이션 구동 화면(800-5)은 장비의 실측 영상과 시뮬레이션 영상을 비교하여 나타내기 위한 화면일 수 있다.
모바일 디바이스의 어플리케이션 구동 화면(800-6)은 시뮬레이션 영상의 일부 단면을 상세하게 나타내기 위한 화면일 수 있다.
시뮬레이션 영상의 일부 단면의 구성요소를 보여주는 경우에는, 사용자가 장비의 실제 구성을 보다 간편하고 직관적으로 파악할 수 있고, 장비의 상태-예를 들어, 장비의 이상과 고장이 발생한 경우-를 판단하고, 장비의 구성을 정확하게 조작할 수 있다. 시뮬레이션을 통해 산업용 장비 내부의 구성요소의 구성을 파악하고, 해당 구성의 센싱값-예를 들어, 구성의 온도 또는 진동을 판단하는 센싱 데이터-를 확인하고 고장 유무를 판단할 수 있게 된다.
모바일 디바이스의 어플리케이션 구동 화면(800-7)은 시뮬레이션 영상의 일부 구성요소들을 이격하여 상세하게 나타내기 위한 화면일 수 있다. 필요에 따라 각 구성요소의 위치를 설명하는 화면은 동영상으로 구현될 수 있다.
모바일 디바이스의 어플리케이션 구동 화면(800-8)은 장비의 고장요소별 해결방법을 설명하는 텍스트를 나타내기 위한 화면일 수 있다.
도 22는 일 실시예에 따른 사물인터넷 무선센서가 부착된 산업용 장비를 나타낸 도면이다.
도 22를 참조하면, 사물인터넷 무선센서가 부착된 산업용 장비(900)은 산업용장비(901) 및 IoT 무선센서(902) 등을 포함할 수 있다.
산업용 장비(901)는 펌프, 모터, 압축기, 터빈 등을 포함할 수 있지만, 산업용 플랜트에 포함되는 기계식 설비이면 그 종류는 제한되지 않는다.
IoT 무선센서(902)는 온도센서, 진동센서, 유량센서, 전력센서 등 산업용 장비의 상태를 측정할 수 있는 센서로서, 산업용 장비(901)의 외부 또는 내부 표면에 부착될 수 있다.
IoT 무선센서(902)는 LoRa(Long Range) 무선통신, Wi-Fi(Wireless Fidelity) 무선통신, 블루투스(Bluetooth) 무선통신 등을 통해 모바일 디바이스(미도시) 또는 서버(미도시)와 측정데이터 등의 다양한 종류의 데이터를 실시간으로 송수신할 수 있다.
IoT 무선센서(902)는 산업용 장비(901)의 데이터를 정확하게 측정하기 위하여 진동 또는 온도변화량이 큰 위치에 설치될 수 있고, 복수의 위치에 복수의 IoT 무선센서(902)가 배치되어 여러 위치의 측정 데이터를 획득할 수 있다. 필요에 따라 IoT 무선센서(902)는 하나의 통신부(미도시)를 가지고, 복수 개의 신호전달라인(미도시) 및 복수 개의 센싱부(미도시)를 가지는 형태로 구현될 수 있으나, 이에 제한되지 않는다.

Claims (11)

  1. 증강현실에 기반하여 산업용 장비의 정보를 제공하기 위한 방법에 있어서,
    서버는 사용자의 단말기에 포함된 카메라가 센싱한 상기 장비에 부착된 식별자에 관한 데이터 또는 상기 장비의 이미지데이터를 수신하는 단계; 상기 서버는 상기 식별자에 관한 데이터와 상기 서버에 저장된 복수의 장비의 종류에 관한 리스트를 비교하여 상기 장비의 종류를 판단하는 단계; 상기 서버는 상기 장비의 종류에 대응되는 3차원 영상데이터를 생성하는 단계; 및 상기 서버는 상기 3차원 영상데이터를 상기 사용자의 단말기로 전달하는 단계;를 포함하고,
    상기 장비의 3차원 영상데이터는 상기 장비의 형상 및 크기에 관한 정보를 포함하며, 상기 장비는 식별자, 무선통신센서, 온도센서, 진동센서, 및 유량센서 중 하나 이상을 포함하고, 상기 서버는 상기 장비의 상기 온도센서, 상기 진동센서 또는 상기 유량센서가 측정한 측정데이터를 상기 무선통신센서를 통해 LORA 통신 또는 WIFI 통신의 방법으로 수신하며,
    상기 장비는 펌프 또는 모터를 포함하고, 상기 무선통신센서는 상기 펌프 또는 모터의 회전체, 진동체, 압축기, 베어링, 팬 중 적어도 어느 하나에 설치되고,
    상기 사용자의 단말기의 어플리케이션 구동화면은 상기 장비 개수를 나타내는 영역, 상기 장비에 포함된 센서의 개수를 나타내는 영역 및 상기 장비에 포함된 센서의 측정 데이터들을 나타내는 영역을 포함하는, 방법.
  2. 제1항에 있어서,
    상기 식별자는 큐알코드(QR Code) 또는 바코드(Bar Code) 정보를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 서버는 상기 3차원 영상데이터가 상기 장비의 실제이미지의 특정 위치에 대응되도록 상기 3차원 영상데이터를 가공하는 단계;를 더 포함하는, 방법.
  4. 제1항에 있어서,
    상기 사용자의 입력에 따라 상기 장비의 규격 또는 기능에 관한 정보를 포함하는 데이터를 사용자 단말기에 전송하는 단계;를 더 포함하는, 방법.
  5. 제1항에 있어서,
    상기 서버는,
    상기 사용자의 단말기의 카메라를 통하여 촬영된 상기 장비의 이미지데이터를 분석하는 단계; 및
    분석된 이미지데이터와 상기 3차원 영상데이터를 결합하여 생성된 상기 장비의 증강현실 데이터를 상기 사용자 단말기에 전송하는 단계;를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 서버는,
    상기 사용자 단말기로부터 사용자의 터치위치에 관한 정보를 포함하는 터치입력데이터를 수신하고, 상기 사용자의 터치위치가 애니메이션작동 메뉴를 나타내는 영역에 포함되는 경우에는 상기 서버에 저장된 애니메이션 데이터를 상기 사용자 단말기에 전송하는 단계;를 더 포함하는, 방법.
  7. 삭제
  8. 증강현실에 기반하여 장비의 정보를 제공하기 위한 시스템에 있어서,
    카메라를 통해 상기 장비의 이미지를 획득하는 모바일 디바이스-상기 장비에 부착된 식별자를 인식하거나, 장비의 3차원 형상에 관한 정보를 수신할 수 있음-; 및 상기 모바일 디바이스로부터 상기 식별자 또는 상기 장비의 형상에 관한 측정데이터를 수신하는 서버를 포함하고,
    상기 서버는 상기 측정데이터를 연산하여 증강현실을 구현하는 데이터를 생성하는 서버 내부의 프로세서를 포함하고, 상기 프로세서는 상기 장비의 3차원 가상 이미지를 상기 모바일 디바이스에 표시하기 위하여 3차원 영상데이터를 생성하고, 상기 3차원 영상데이터를 상기 모바일 디바이스에 전송하여 증강현실을 구현하며,
    상기 서버는 상기 장비에 부착된 온도센서 또는 진동센서가 측정한 측정데이터를 무선통신센서를 통해 수신하고, 상기 프로세서는 상기 측정데이터가 기준치를 초과하는 경우에 알람 데이터를 생성하며,
    상기 모바일 디바이스의 어플리케이션 구동화면은 상기 장비 개수를 나타내는 영역, 상기 장비에 부착된 센서의 개수를 나타내는 영역 및 상기 장비에 부착된 센서의 측정 데이터들을 나타내는 영역을 포함하는,
    증강현실 기반 플랫폼.
  9. 제8항에 있어서,
    상기 서버는 상기 장비의 식별자 데이터, 상기 장비의 실측 사이즈 데이터, 상기 장비의 형상 데이터, 상기 장비의 스펙에 관한 정보를 포함하는 제품정보 데이터 및 상기 장비의 작동과정을 나타내는 애니메이션 데이터를 저장하는 메모리를 더 포함하는, 증강현실 기반 플랫폼.
  10. 제8항에 있어서,
    상기 프로세서는 상기 장비의 식별자 데이터를 사용하여 상기 장비의 종류를 판단하고, 상기 장비의 종류에 따라 메모리에 저장된 3차원 모델링 데이터를 불러오는, 증강현실 기반 플랫폼.
  11. 삭제
KR1020210070318A 2020-07-20 2021-05-31 증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법 KR102556986B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/523,150 US20220382255A1 (en) 2020-07-20 2021-11-10 System for monitoring industrial equipment through iot sensors and augmented reality implementation
CN202111409643.8A CN115480520A (zh) 2020-07-20 2021-11-25 IoT传感器和用于监控工业设备的系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200089701 2020-07-20
KR20200089701 2020-07-20

Publications (2)

Publication Number Publication Date
KR20220011071A KR20220011071A (ko) 2022-01-27
KR102556986B1 true KR102556986B1 (ko) 2023-07-19

Family

ID=80049474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210070318A KR102556986B1 (ko) 2020-07-20 2021-05-31 증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법

Country Status (3)

Country Link
US (1) US20220382255A1 (ko)
KR (1) KR102556986B1 (ko)
CN (1) CN115480520A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104326B1 (ko) * 2019-06-28 2020-04-27 한화시스템 주식회사 증강현실 기반 정비 교육 시스템 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150085853A (ko) * 2014-01-16 2015-07-27 두산중공업 주식회사 증강현실을 이용한 플랜트 유지보수 시스템 및 방법
US9898001B2 (en) * 2015-03-27 2018-02-20 Rockwell Automation Technologies, Inc. Systems and methods for enhancing monitoring of an industrial automation system
KR101778593B1 (ko) * 2015-10-13 2017-09-15 한국기계연구원 산업플랜트 정비 지원 단말기
EP3593366A4 (en) * 2017-03-10 2021-05-05 ABB Power Grids Switzerland AG DISTRIBUTION TRANSFORMER OF AN INTELLIGENT POWER GRID
US11087541B2 (en) * 2018-12-03 2021-08-10 Honeywell International Inc. Location-based identification of petrochemical assets in an industrial plant
US11727255B2 (en) * 2019-10-15 2023-08-15 Rutgers, The State University Of New Jersey Systems and methods for edge assisted real-time object detection for mobile augmented reality
US11526159B2 (en) * 2020-02-14 2022-12-13 Rockwell Automation Technologies, Inc. Augmented reality human machine interface testing
US11835933B2 (en) * 2020-11-13 2023-12-05 Grace Technologies, Inc. Industrial automation integration method for internet of things technologies

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104326B1 (ko) * 2019-06-28 2020-04-27 한화시스템 주식회사 증강현실 기반 정비 교육 시스템 및 방법

Also Published As

Publication number Publication date
US20220382255A1 (en) 2022-12-01
KR20220011071A (ko) 2022-01-27
CN115480520A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN108628286B (zh) 机台维修系统与方法
KR102073135B1 (ko) 관리 대상 설비 이상 상태 모니터링 시스템
CN111149133B (zh) 过程控制环境中的虚拟x射线视觉
EP3076253B1 (en) Systems and methods for presenting an augmented reality
Subakti et al. Indoor augmented reality using deep learning for industry 4.0 smart factories
JP6307273B2 (ja) 改良された位置認識機能を有する手持ち式フィールドメンテナンス装置
JP5961905B2 (ja) 点検システム及び点検方法
CN107203196B (zh) 工业设备检测系统及方法
US11846936B2 (en) Systems and methods for automatically collecting and analyzing data from industrial equipment
KR20150083480A (ko) 3차원 입체 영상을 활용한, 설비 통합 관리 시스템
KR101779827B1 (ko) 제조 장비 및 설비에 대한 원격 모니터링 및 제어 시스템 및 이에 관한 컴퓨터 판독가능 저장 매체
WO2013036654A1 (en) Method and system for associating devices with a coverage area for a camera
KR102662331B1 (ko) IoT센서를 적용한 펌프 모니터링 및 자동제어 시스템
JP2013069281A (ja) コンポーネント構成を監視する機器のためのシステムおよび方法
EP3165979B1 (en) Providing mounting information
CN111770450A (zh) 一种车间生产监控服务器、移动终端及应用
US20190303114A1 (en) Program creating apparatus, program creating method, and non-transitory computer readable medium
KR102556986B1 (ko) 증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법
KR102206832B1 (ko) 설비 관리 통합관제시스템
KR101728557B1 (ko) 센서 네트워크 관리 시스템 및 방법
WO2021202616A1 (en) Thermal imaging asset inspection systems and methods
EP3361424A1 (en) Estimating operational life expectancy of an industrial device
JP2018106439A (ja) 計測支援装置
JP2022095589A (ja) 仮想情報がオーバーレイされたポータブルディスプレイデバイス
JP6237687B2 (ja) センサ情報処理装置、センサ情報処理方法およびセンサ情報処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)