KR102331172B1 - System for remote service and supporting of maintenance-repairment based in cloud employing smart glass - Google Patents
System for remote service and supporting of maintenance-repairment based in cloud employing smart glass Download PDFInfo
- Publication number
- KR102331172B1 KR102331172B1 KR1020200039104A KR20200039104A KR102331172B1 KR 102331172 B1 KR102331172 B1 KR 102331172B1 KR 1020200039104 A KR1020200039104 A KR 1020200039104A KR 20200039104 A KR20200039104 A KR 20200039104A KR 102331172 B1 KR102331172 B1 KR 102331172B1
- Authority
- KR
- South Korea
- Prior art keywords
- smart glasses
- remote
- cloud
- support
- remote control
- Prior art date
Links
- 239000004984 smart glass Substances 0.000 title claims abstract description 102
- 238000012423 maintenance Methods 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 230000011664 signaling Effects 0.000 claims description 7
- 230000010365 information processing Effects 0.000 claims 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 17
- 239000003795 chemical substances by application Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H04L65/608—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H04L67/16—
-
- H04L67/38—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Marketing (AREA)
- Economics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Information Transfer Between Computers (AREA)
Abstract
실시예는 스마트글라스를 활용한 원격 서비스 및 유지보수 지원 솔루션에 관한 것이다.
구체적으로, 그 솔루션은 스마트글라스를 통해 원격관제센터와 클라우드에 의해 가상의 웹서비스하는 클라우드 가상서버로부터 현장작업 관련 데이터를 해당하는 브라우저 및 모바일 응용프로그램의 API에 의해 고속의 웹RTC로 교환한다.
이러한 경우, 상기 API는 영상, 음성, 코덱을 포함한 정보 교환 프로토콜, 네트워크 정보 교환, 웹RTC 피어 연결을 포함한다.
그래서, 이에 따라 전체적으로 스마트글라스를 통한 원격 서비스 및 유지보수가 원격지원될 시에 고속의 웹RTC통신방식의 원격지원기능을 하는 것을 특징으로 한다.
따라서, 이를 통해 관리센터 또는 개발센터 등의 원격관제센터와 멀리 떨어진 현장에서 스마트글라스를 착용한 작업자가 일을 할 때, 유지보수 엔지니어 등이 직접적으로 현장에 출장을 가지 않고도 원격관제센터 내에서 머물면서 지원한다.The embodiment relates to a remote service and maintenance support solution using smart glasses.
Specifically, the solution exchanges field work-related data from the remote control center and the cloud virtual server that provides virtual web service by the cloud through smart glasses to high-speed web RTC by the API of the corresponding browser and mobile application.
In this case, the API includes video, audio, and information exchange protocols including codecs, network information exchange, and WebRTC peer connection.
Therefore, it is characterized in that the remote support function of the high-speed web RTC communication method is performed when remote service and maintenance are remotely supported through smart glasses.
Therefore, through this, when a worker wearing smart glasses works at a site far from the remote control center such as a management center or development center, maintenance engineers, etc. can stay in the remote control center without having to go on a business trip directly. and support
Description
본 명세서에 개시된 내용은 스마트글라스를 착용한 작업자가 물류창고 등의 현장에서 작업을 할 때, 스마트글라스를 통해서 현장작업 관련 데이터를 원격관제센터와 연동하여 제공해서 유지보수 등을 지원하는 솔루션에 관한 것이다.The content disclosed in this specification relates to a solution that supports maintenance by providing field work-related data through smart glasses in conjunction with a remote control center when a worker wearing smart glasses works in a field such as a logistics warehouse will be.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, the material described in this section is not prior art to the claims of this application, and inclusion in this section is not an admission that it is prior art.
최근 들어 스마트 IT 산업의 중심이 웨어러블 기기로 이동하면서 산업 현장에서 작업을 할 때 작업자가 착용하여 사용하는 보조기구로서 스마트워치에서 스마트글라스로의 시장을 바꾸고 있는 상황이다. 또한, 향후에는 하드웨어의 공급보다는 컨텐츠 시장의 성장 가속화 전망이 나오고 있기에 스마트글라스의 보급과 함께 이를 활용한 컨텐츠의 개발 필요성이 높아지고 있는 상황이다.Recently, as the center of the smart IT industry moves to wearable devices, it is a situation that is changing the market from smart watches to smart glasses as auxiliary devices worn by workers when working in industrial fields. In addition, since the growth of the content market is expected to accelerate rather than the supply of hardware in the future, the need for content development using smart glasses is increasing along with the spread of smart glasses.
이러한 스마트글라스 중에서 특히 핸즈프리 방식의 스마트글라스는 양손을 자유롭게 사용하면서 업무 지침 등의 데이터의 전달 및 작업이 용이하기 때문에 다양한 일을 하는데 많은 제약을 없애준다. 이는 작업방식의 변화를 일으켜 기계 가동시간의 향상으로 생산성을 높일 수가 있으며, 실시간 눈으로 확인하면서 작업을 하기 때문에 작업의 정확도를 향상시킬 수가 있다.Among these smart glasses, in particular, the hands-free type smart glasses removes many restrictions in doing various tasks because it is easy to transmit and work with data such as work instructions while using both hands freely. This can change the working method and increase the productivity by improving the machine operation time, and it can improve the accuracy of the work because the work is performed while checking in real time.
한편, 국내외 분산되어 있는 사업장이나 원격지의 작업 및 이상발생, 유지보수 지원을 위해서는 출장을 통해 현장에 직접 방문하여 해결하여야만 한다. 현재 스마트폰을 사용하여 사진이나 음성을 통하여 지원하는 솔루션이 있으나 실제 현장에서는 작업을 하거나 정비를 하면서 지원을 받아야만 신속하고 정확한 지원을 받을 수가 있는 것이다. 이는 기업이나 조직의 고급 인력들의 가용성 향상과 출장경비의 절감을 이룰 수가 있는 것이다.On the other hand, in order to support work, abnormalities, and maintenance at worksites that are dispersed at home and abroad or in remote locations, it is necessary to visit the site through business trips to solve the problem. Currently, there is a solution that supports photos or voices using a smartphone, but in the actual field, you can receive prompt and accurate support only if you receive support while doing work or maintenance. This can improve the availability of high-level personnel of a company or organization and reduce travel expenses.
또한, 최근 제조 관련 기업들이 현장의 비상 상황이나 긴급지원, 장애발생 또는 신규 및 미숙련자의 교육을 위해 출장비용 절감, 작업시간 절약, 신속대응, 작업 정확도 및 작업효율 향상이라는 요구가 있다.In addition, recently, manufacturing-related companies are required to reduce travel costs, save work time, respond quickly, and improve work accuracy and work efficiency for on-site emergency situations or emergency support, failures, or training for new and unskilled workers.
따라서, 이러한 유지보수 등을 위해 현장에 직접 방문하거나 또는 이러한 요구를 충족시키고자 할 때, 전술한 핸즈프리 방식의 스마트글라스를 통해 그에 따른 시스템을 개발해서 해결할 수 있을 것이다.Therefore, when a person visits the site for maintenance or the like or wants to meet these needs, it can be solved by developing a system according to the above-mentioned hands-free smart glasses.
이러한 배경이 되는 선행기술은 관련 선행기술을 살펴볼 경우, 특허문헌으로부터 선행기술을 조사해서 관련 선행기술로서 참고할만한 정도의 아래의 특허문헌들이 나왔고 관련 건수도 대체로 적은 편으로 조사되었다.When examining the related prior art as the background for this background, the following patent documents, which are worthy of reference as related prior art, have been found by examining the prior art from the patent document, and the number of related cases has been investigated in general.
(특허문헌 1) KR1020190016015 A (Patent Document 1) KR1020190016015 A
(특허문헌 2) KR1020190016016 A (Patent Document 2) KR1020190016016 A
참고로, 이러한 특허문헌들의 기술은 물류센터 창고에서 작업자가 착용한 스마트글라스를 통해 제품에 부착되는 QR 코드 등을 인식하고 물류센터 창고 관리 시스템으로 전송하여 입고 관리와 반품 관리 등을 제공하는 정도이다.For reference, the technology of these patent documents is to the extent of recognizing the QR code attached to the product through the smart glasses worn by the worker in the warehouse of the logistics center and transmitting it to the warehouse management system of the logistics center to provide warehouse management and return management. .
개시된 내용은, 스마트글라스를 착용한 작업자가 현장에서 일을 할 때 스마트글라스를 통해 데이터를 실시간으로 교환할 수 있도록 하는 스마트글라스를 활용한 클라우드 기반형 원격 서비스 및 유지보수 지원 솔루션을 제공하고자 한다.Disclosed content is to provide a cloud-based remote service and maintenance support solution using smart glasses that enables workers wearing smart glasses to exchange data in real time through smart glasses when working in the field.
또한, 이때 유지보수 엔지니어 등이 직접적으로 현장에 출장 등을 가지 않고도 원격관제센터 내에서 머물면서 지원할 수 있도록 하는 스마트글라스를 활용한 클라우드 기반형 원격 서비스 및 유지보수 지원 솔루션을 제공하고자 한다.In addition, we intend to provide a cloud-based remote service and maintenance support solution using smart glasses that allows maintenance engineers to stay in the remote control center and provide support without having to go to the site directly.
실시예에 따른 스마트글라스를 활용한 클라우드 기반형 원격 서비스 및 유지보수 지원 솔루션은,A cloud-based remote service and maintenance support solution using smart glasses according to an embodiment,
스마트글라스를 통해 현장작업을 할 시, 다수의 상이한 현장작업장마다의 스마트글라스별로서 적어도 하나 이상의 원격관제센터와 클라우드에 의해 가상의 웹서비스하는 클라우드 가상서버로부터 현장작업 관련 데이터를 제공한다.When performing field work through smart glasses, field work related data is provided from at least one remote control center and a cloud virtual server that provides virtual web service by the cloud for each smart glass for each of a number of different field work sites.
또한, 이때 그 클라우드 가상서버에 따른 공동의 웹RTC 시그널링 서버의 브라우저 및 모바일 응용프로그램의 API로부터 스마트글라스와 원격관제센터를 통신해서 고속의 웹RTC로 한다.In addition, at this time, the smart glasses and the remote control center are communicated from the browser of the common web RTC signaling server according to the cloud virtual server and the API of the mobile application program to achieve high-speed web RTC.
이러한 경우, 상기 API는 영상, 음성, 코덱을 포함한 정보 교환 프로토콜, 네트워크 정보 교환, 웹RTC 피어 연결을 포함한다.In this case, the API includes video, audio, and information exchange protocols including codecs, network information exchange, and WebRTC peer connection.
그래서, 이에 따라 전체적으로 스마트글라스를 통한 원격 서비스 및 유지보수가 원격지원될 시에 고속의 웹RTC통신방식의 원격지원기능을 하는 것을 특징으로 한다.Therefore, it is characterized in that the remote support function of the high-speed web RTC communication method is performed when remote service and maintenance are remotely supported through smart glasses.
실시예들에 의하면, 스마트글라스를 착용한 작업자가 현장에서 일을 할 때 스마트글라스를 통해 현장작업 관련 데이터를 실시간으로 교환한다.According to embodiments, when a worker wearing smart glasses works in the field, field work related data is exchanged in real time through the smart glasses.
구체적으로, 스마트글라스를 착용한 작업자가 관리센터 또는 개발센터 등과 먼 현장에서 일을 할 때, 전술한 솔루션으로부터 고속의 웹RTC통신방식의 원격지원기능을 제공해서 현장에서 현장상황과 즉각적인 피드백을 제공한다.Specifically, when a worker wearing smart glasses works in a remote site such as a management center or development center, the above solution provides a remote support function of high-speed web RTC communication method to provide on-site situation and immediate feedback do.
그리고, 스마트글라스를 착용한 작업자가 관리센터 등의 원격관제센터와 멀리 떨어진 현장에서 일을 할 때, 그 솔루션으로부터 유지보수 엔지니어 등이 직접적으로 현장에 출장을 가지 않고도 원격관제센터 내에서 머물면서 지원을 한다.And, when a worker wearing smart glasses works at a site far away from a remote control center such as a management center, a maintenance engineer from the solution provides support while staying in the remote control center without having to go on a business trip directly. do
또한, 최근 제조 관련 기업들이 현장의 비상 상황이나 긴급지원, 장애발생 또는 신규 및 미숙련자의 교육을 요구하는 실정에서 그 솔루션으로부터 신속대응, 작업 정확도 및 작업효율 향상을 가져온다.In addition, it brings rapid response, work accuracy and work efficiency improvement from the solution in the situation where manufacturing-related companies recently require on-site emergency situations, emergency support, failure, or training of new and unskilled workers.
도 1은 일실시예에 따른 스마트글라스를 활용한 원격 서비스 및 유지보수 지원 시스템이 적용된 시스템을 전체적으로 도시한 개략도
도 2는 일실시예에 따른 솔루션에 적용된 스마트글라스를 보여주는 도면
도 3은 도 2의 스마트글라스에 적용된 일실시예에 따른 스마트글라스의 구성을 도시한 도면
도 4는 일실시예에 따른 솔루션에 적용된 플랫폼 구조를 설명하기 위한 도면
도 5는 일실시예에 따른 솔루션에 적용된 고속의 웹RTC 구조를 보여주는 도면
도 6은 도 5의 고속의 웹RTC 구조에 적용된 일실시예에 따른 고속의 웹RTC의 절차를 순서대로 도시한 흐름도
도 7은 일실시예에 따른 스마트글라스를 활용한 원격 서비스 및 유지보수 지원 솔루션의 동작을 순서대로 도시한 플로우 차트1 is a schematic diagram showing the overall system to which a remote service and maintenance support system using smart glasses according to an embodiment is applied;
2 is a view showing smart glasses applied to a solution according to an embodiment;
3 is a view showing the configuration of smart glasses according to an embodiment applied to the smart glasses of FIG.
4 is a diagram for explaining a platform structure applied to a solution according to an embodiment;
5 is a diagram showing a high-speed WebRTC structure applied to a solution according to an embodiment;
6 is a flowchart sequentially illustrating a procedure of a high-speed WebRTC according to an embodiment applied to the high-speed WebRTC structure of FIG. 5;
7 is a flowchart sequentially illustrating the operation of a remote service and maintenance support solution using smart glasses according to an embodiment;
도 1은 일실시예에 따른 스마트글라스를 활용한 클라우드 기반형 원격 서비스 및 유지보수 지원 시스템(이하 '솔루션'이라 함)이 적용된 시스템을 전체적으로 도시한 개략도이다.1 is a schematic diagram showing the overall system to which a cloud-based remote service and maintenance support system (hereinafter referred to as a 'solution') using smart glasses according to an embodiment is applied.
도 1에 도시된 바와 같이, 상기 시스템은 현장에서 일할때 작업자마다 착용을 해서 현장정보를 알리는 다수의 스마트글라스(100), 알림될때 원격지에서 피드백을 각 스마트글라스(100)로 제공해서 지원하는 원격관제센터(200)를 포함한다.As shown in FIG. 1 , the system provides a plurality of
이때, 스마트글라스를 통해 원격관제센터와 클라우드에 의해 가상의 웹서비스하는 클라우드 가상서버로부터 현장작업 관련 데이터를 해당하는 공동의 웹RTC 시그널링 서버의 브라우저 및 모바일 응용프로그램의 API에 의해 고속의 웹RTC로 교환하는 솔루션을 포함한다.At this time, data related to field work from the cloud virtual server that provides virtual web service by the remote control center and the cloud through smart glasses is converted to high-speed web RTC by the browser of the common web RTC signaling server and the API of the mobile application program. Includes exchangeable solutions.
상기 스마트글라스(100)는 물류창고 등의 현장작업장에서 작업자가 일을 할 시, 작업자별로부터 착용을 하도록 되어 현장의 상황을 원격관제센터 등에서의 전문가가 볼 수 있도록 영상·음성 등으로 알려서 피드백을 제공받도록 한다. 그리고, 이러한 스마트글라스(100)는 이때 다수의 상이한 상호 간의 이격된 현장작업장(#1, ... , #5 등)별로부터 스마트글라스의 위치를 상이하게 해서 작업장별로 여러 개가 위치되어 활용된다.The
상기 원격관제센터(200)는 상기 스마트글라스(100)에 의해 각기 현장상황이 알림될 시, 유지보수 엔지니어 또는 지원 엔지니어 등으로부터의 피드백을 스마트글라스(100)로 제공해서 원격지원한다.The
솔루션은 스마트글라스를 착용한 작업자의 현장작업에 따른 현장작업 관련 데이터가 입력될 시 하드웨어 프로세서를 통해 상기 데이터를 스마트글라스와 원격관제센터의 통신으로 제공해서 유지보수 등을 원격지원하는 것을 전제로 한다. 이러한 상태에서, 상기 솔루션은 스마트글라스의 현장작업을 할때 스마트글라스를 통해 적어도 하나 이상의 원격관제센터와 클라우드에 의해 가상의 웹서비스하는 클라우드 가상서버로부터 데이터의 제공을 공동 플랫폼에 따라 해서 원격지원한다. 또한, 그 솔루션은 이때 상기 클라우드 가상서버에 따른 공동의 웹RTC 시그널링 서버로부터 상기 통신을 해당하는 브라우저 및 모바일 응용프로그램의 API에 의해 고속의 웹RTC로 한다. 즉, 웹브라우저의 플러그 인 도움 없이 간단한 API를 통해 브라우저 및 모바일 응용프로그램에서 CPU의 부하 없이 고속의 웹RTC를 구현한다. 그래서, 그 솔루션은 전체적으로 고속의 웹RTC통신방식의 원격지원기능을 한다.The solution is based on the assumption that when field work related data according to the field work of a worker wearing smart glasses is input, the data is provided through the hardware processor through communication between the smart glasses and the remote control center to remotely support maintenance, etc. In this state, the solution remotely supports the provision of data from at least one remote control center through the smart glasses and a cloud virtual server that provides virtual web service by the cloud according to a common platform when performing field work of smart glasses. . In addition, at this time, the solution makes the communication from the common WebRTC signaling server according to the cloud virtual server to a high-speed WebRTC by the API of the corresponding browser and mobile application program. In other words, it implements high-speed web RTC without CPU load in browsers and mobile applications through simple APIs without the help of web browser plug-ins. So, the solution as a whole performs the remote support function of the high-speed web RTC communication method.
따라서, 도 1의 시스템은 관리센터 또는 개발센터 등과 멀리 떨어진 현장에서 스마트글라스를 착용한 작업자가 일을 할 때, 그 솔루션으로부터 포괄적인 대화형 공동 플랫폼을 구현해서 현장상황과 즉각적인 피드백을 대화형으로 제공한다. 참고적으로, 이러한 일실시예에 따른 대화형 공동 플랫폼은 스마트글라스를 통한 현장의 작업이 될 시 적합한 플랫폼의 형태이다.Therefore, the system of FIG. 1 implements a comprehensive interactive joint platform from the solution when a worker wearing smart glasses works in a field remote from a management center or development center, etc. to provide. For reference, the interactive joint platform according to this embodiment is in the form of a platform suitable for field work through smart glasses.
또한, 관리센터 등과 멀리 떨어진 곳에서 스마트글라스를 착용한 작업자가 일을 할 때, 유지보수 엔지니어 등이 직접적으로 현장에 출장을 가지 않고 관리센터 내에서 현장의 상황을 원격 전문가가 정확히 볼 수 있으므로 쉽게 지원을 한다.In addition, when a worker wearing smart glasses is working in a remote location such as a management center, a remote expert can accurately view the situation in the management center without having a maintenance engineer directly go to the site. support
부가적으로, 상기 솔루션은 이렇게 스마트글라스를 착용한 현장의 상황을 원격 전문가가 정확히 볼 수 있으므로 음성/영상 양방향 전송과 증강현실의 텍스트, 그래픽 마커, 문서공유 등을 통해 작업을 지원한다.In addition, the solution supports work through voice/video bidirectional transmission and augmented reality text, graphic markers, document sharing, etc., since remote experts can accurately see the situation of the field wearing smart glasses.
예를 들어, 이러한 지원은 신속 대응과 사전 예방, 장애 발생 즉시 대응, 현장 정보 공유 제공 등이고, 엔지니어링 정보공유, 설비 및 생산 운용 요청, 정비지원 요청, IT 인프라 지원 요청, 긴급 지원 요청 등이다.For example, such support includes rapid response and prevention, immediate response to failure, provision of on-site information sharing, etc., engineering information sharing, facility and production operation request, maintenance support request, IT infrastructure support request, emergency support request, etc.
도 2는 도 1의 시스템에 적용된 일실시예에 따른 솔루션에 적용된 스마트글라스를 보여주는 도면이다.FIG. 2 is a view showing smart glasses applied to a solution according to an embodiment applied to the system of FIG. 1 .
도 2에 도시된 바와 같이, 일실시예에 따른 스마트글라스는 물류창고, 제조공장 등의 현장에서 작업자가 일을 하면서도 다양한 정보를 스마트글라스에 부착된 모니터를 보면서 일을 하는 것으로 사용자의 편의성과 사용성을 제공한다.As shown in FIG. 2 , the smart glasses according to an embodiment allow a worker to work while looking at a monitor attached to the smart glasses while working in a field such as a logistics warehouse, a manufacturing plant, etc., and the user's convenience and usability provides
구체적으로, 일실시예의 스마트글라스는 스마트글라스를 착용한 작업자가 일을 할 때, 작업자가 눈으로 보며 작업하는 작업장에서 현장정보를 작업자의 움직임에 따라 실시간 영상으로 원격지의 지원센터 등의 원격관제센터에 제공한다. 그리고, 이때 작업자의 음성으로부터 작업 중인 관련 기기상태정보 등을 음성 데이터로 제공해서 작업 관련 정보를 더 상세하게 원격관제센터에 알린다.Specifically, the smart glasses of one embodiment, when the worker wearing the smart glasses is working, the worker sees the field information in the workplace where the worker is working, according to the movement of the worker, a real-time image of a remote control center such as a support center in a remote location provided to And, at this time, by providing voice data related to the state of the device being worked on from the voice of the worker, the job-related information is notified to the remote control center in more detail.
그리고, 이러한 스마트글라스는 이때 전술한 모니터로부터 작업장에서 먼 원격지의 유지보수 센터 또는 지원 센터 등의 피드백을 증강현실에 따라 실시간으로 제공받아 원격의 가이드 지침을 작업장의 작업자에게 제공한다.And, at this time, these smart glasses receive feedback from a remote maintenance center or support center far from the workplace from the aforementioned monitor in real time according to augmented reality, and provide remote guide instructions to the workers in the workplace.
도 3은 도 2의 스마트글라스에 적용된 일실시예에 따른 스마트글라스의 구성을 도시한 도면이다.FIG. 3 is a diagram showing the configuration of smart glasses according to an embodiment applied to the smart glasses of FIG. 2 .
도 3에 도시된 바와 같이, 상기 스마트글라스의 구성은 원격지의 원격관제센터와 통신을 할 시 무선 와이파이 등으로부터 현장의 상황을 원격관제센터로 송신 또는 원격관제센터로부터의 피드백을 수신하는 무선 통신모듈(301)을 포함한다.As shown in FIG. 3 , the configuration of the smart glasses is a wireless communication module that transmits the situation of the field from wireless Wi-Fi to the remote control center or receives feedback from the remote control center when communicating with a remote control center at a remote location. (301).
추가적으로, 일실시예의 스마트글라스의 구성은 현장에서 작업자가 일을 할 때, 스마트글라스에 설치되어 현장상황을 실시간으로 원격관제센터에 영상으로 제공하기 위한 카메라(302)와 음성으로 제공하기 위한 마이크로폰(303)을 포함한다.Additionally, the configuration of the smart glasses of an embodiment is installed on the smart glasses when a worker works in the field, and a
또한, 이러한 스마트글라스의 구성은 이렇게 현장상황을 제공할 시 작업장에서 먼 원격지의 원격관제센터로부터 피드백을 제공받아 표시하므로 작업장의 작업자에게 가이드하는 LED 디스플레이(304)를 구비한다.In addition, the configuration of such smart glasses is provided with an
부가적으로, 상기 구성은 현장작업에 따른 현장상황 등의 현장정보가 입력될 시, 사용자의 키 조작에 따라 현장정보를 원격관제센터로 전송 등을 하기 위한 명령을 포함해서 사용자의 다양한 명령을 입력받는 터치 패드를 포함한다.Additionally, in the above configuration, when field information such as field conditions according to field work is input, various commands of the user are input, including commands for transmitting field information to the remote control center according to the user's key operation. Includes a receiving touchpad.
상기 무선 통신모듈(301)은 원격지의 원격관제센터와 통신을 할 시 예를 들어, 2.4/5 GHz 듀얼 밴드의 무선 와이파이 등으로부터 현장의 상황을 원격관제센터로 송신 또는 원격관제센터로부터의 즉각적인 피드백을 수신하는 것이다.When communicating with a remote control center at a remote location, the
상기 카메라(302)는 현장에서 작업자가 일을 할 때, 예를 들어 16MP 카메라 방식으로 스마트글라스에 설치되어 현장상황을 실시간으로 촬영해서 원격관제센터에 영상으로 제공하도록 한다.The
상기 마이크로폰(303)은 현장에서 작업자가 일을 할 때, 작업 관련 기기상태정보 등을 입력받아 음성신호로 변환해서 원격관제센터에 작업자의 음성으로 제공하도록 한다.The
상기 LED 디스플레이(304)는 이렇게 현장상황을 제공할 시, 작업장에서 멀리 떨어진 원격관제센터로부터 피드백을 제공받아 표시하므로 작업장의 작업자에게 가이드 지침을 전달하는 것이다.When the
이러한 경우, 상기 LED 디스플레이(304)는 스마트글라스에 증강현실의 지침을 전달하기 위해 웹브라우저를 통해 전달하지만, 사용자가 가상의 인터페이스 객체(물리적 공간정보)를 이용하여 통신하는 것과는 다르다. 구체적으로, 상기 LED 디스플레이는 이렇게 증강현실의 지침이 전달될 시, 가상이 아닌 웨어러블 스마트글라스 자체를 통해 증강현실을 인터페이스 하게 된다.In this case, the
보다 상세하게 상기 LED 디스플레이(304)는 고속의 웹RTC에 의해 피드백이 제공될 시, 스마트글라스의 기기자체로부터 피드백을 전달하기 위한 증강현실을 인터페이스해서 고속의 웹RTC통신방식의 원격지원기능을 확대한다.In more detail, when the feedback is provided by the high-speed web RTC, the
그리고, 상기 LED 디스플레이(304)는 이렇게 증강현실이 인터페이스될 시, 사물형상 인식과 특징기반 위치인식으로부터 마킹을 실제 움직이면서 지정된 위치에 추적해서 보여지도록 하므로 증강현실 기능을 강화한다.And, when the augmented reality is interfaced in this way, the
부가적으로 좀 더 설명하면, 현재의 증강현실 전달 기능은 그래픽 마커가 수행될 시, 절대좌표에 의한 그래픽 드로잉을 스마트글라스에 전달하고 있다.In addition, to explain more, the current augmented reality delivery function is to deliver the graphic drawing by the absolute coordinates to the smart glasses when the graphic marker is performed.
따라서, 이에 따라 증강현실의 기능을 강화하기 위해서는 대상(Target) 물체의 특징과 위치를 인식하여 실제 움직이면서 지정된 위치에 마킹이 추적하여 보여 지도록 증강현실을 구현한 것이다.Accordingly, in order to strengthen the function of augmented reality, augmented reality is implemented so that the mark is tracked and shown at the designated position while actually moving by recognizing the characteristics and location of the target object.
도 4는 일실시예에 따른 솔루션에 적용된 공동 플랫폼 구조를 설명하기 위한 도면이다.4 is a diagram for explaining a common platform structure applied to a solution according to an embodiment.
도 4에 도시된 바와 같이, 플랫폼은 원격지원이 될 때 원격관제센터를 웹 에이전트로 하여 스마트글라스와 전체 클라이언트로서 클라우드 기반으로서 가상의 웹서비스하는 클라우드 가상서버로부터 현장작업 관련 데이터를 공유해서 된다.As shown in FIG. 4 , the platform shares field work related data from the cloud virtual server that provides virtual web service as a cloud-based virtual web service as a whole client with smart glasses using the remote control center as a web agent when remote support is provided.
상기 클라우드 가상서버는 원격지원이 될 때 하나 이상의 원격관제센터를 웹 에이전트로 하여 하나 이상 유동의 스마트글라스와 전체 클라이언트로 클라우드 기반으로 가상의 웹서비스해서 원격지원기능 등의 공동 플랫폼을 형성한다. 부연해서, 이러한 공동 플랫폼은 스마트글라스를 착용한 작업자가 실제 현장에서 작업을 할 때 전술한 원격지원으로부터 사용자의 편의성과 사용성을 극대화하기 위한 기능의 공동 플랫폼이다.The cloud virtual server forms a common platform such as a remote support function by performing a virtual web service based on the cloud with one or more floating smart glasses and all clients using one or more remote control centers as a web agent when remote support is provided. Incidentally, this joint platform is a joint platform with a function to maximize the user's convenience and usability from the above-mentioned remote support when a worker wearing smart glasses actually works in the field.
부가적으로, 상기 원격관제센터는 예를 들어, 엔지니어링 지원 센터, 현장 담당 엔지니어 근무조 관리자, 설비 작업자 유지보수 엔지니어, 설비공급업체의 지원 엔지니어, ERP/CRM/FMS/MES, 인더스트리얼 loT 등이다.Additionally, the remote control center is, for example, an engineering support center, a field engineer shift manager, a facility operator maintenance engineer, a support engineer of a facility supplier, ERP/CRM/FMS/MES, industrial IoT, and the like.
도 5와 도 6은 일실시예에 따른 솔루션에 적용된 고속의 웹RTC를 설명하기 위한 도면이다.5 and 6 are diagrams for explaining a high-speed WebRTC applied to a solution according to an embodiment.
구체적으로, 도 5는 일실시예에 따른 고속의 웹RTC 구조를 보여주는 도면이고, 도 6은 도 5의 이러한 고속의 웹RTC 구조의 절차흐름도이다.Specifically, FIG. 5 is a diagram showing a high-speed WebRTC structure according to an embodiment, and FIG. 6 is a flowchart of the high-speed WebRTC structure of FIG. 5 .
먼저 도 5와 같이, 그 웹RTC 구조는 원격지원이 될 시 클라우드 가상서버에 따른 공동의 웹RTC 시그널링 서버로부터 웹브라우저와 원격관제센터의 통신을 해당하는 브라우저 및 모바일 응용프로그램의 API에 의해 고속의 웹RTC로 해서 된다.First, as shown in FIG. 5, the WebRTC structure enables communication between the web browser and the remote control center from the common WebRTC signaling server according to the cloud virtual server when remote support is provided by the corresponding browser and mobile application APIs. This is done with WebRTC.
예를 들어, 상기 브라우저 및 모바일 응용프로그램의 API는 데이터베이스의 등록정보에 따른 정보 교환 프로토콜과 네트워크 정보 교환, 웹RTC 피어 연결에 관한 동작을 미리 설정된 실시간통신에 따른 순서대로 포함해서 이루어진다.For example, the API of the browser and mobile application program includes an information exchange protocol according to database registration information, network information exchange, and operations related to WebRTC peer connection in an order according to preset real-time communication.
그래서, 웹브라우저의 플러그 인 도움 없이 간단한 API를 통해 브라우저 및 모바일 응용프로그램에서 CPU의 부하 없이 영상·음성의 실시간통신을 구현한다.Therefore, real-time communication of video and audio is implemented without CPU load in browsers and mobile applications through a simple API without the help of a web browser plug-in.
다음, 도 6과 같이 이러한 고속의 웹RTC 구조의 절차는 아래와 같이 이루어진다.Next, as shown in FIG. 6 , the procedure of such a high-speed web RTC structure is performed as follows.
먼저 현장에서 일을 할 때 전술한 바에 따른 브라우저 및 모바일 응용프로그램의 서버 접속(server join) 관련 API로부터 클라이언트 B인 스마트글라스와 클라이어트 A의 원격관제센터의 웹 에이전트가 서버 접속을 해서 상호 간에 연결한다.First, when working in the field, from the server join related API of the browser and mobile application as described above, the smart glasses, client B, and the web agent of the remote control center of client A connect to the server and connect with each other. .
다음, 이렇게 연결이 될 경우, 상기의 브라우저 및 모바일 응용프로그램의 정보 교환 프로토콜 관련 API로부터 원격관제센터의 웹 에이전트가 스마트글라스에게 영상, 음성, 코덱 등의 정보 교환 프로토콜을 요청한다.Next, when the connection is established in this way, the web agent of the remote control center requests information exchange protocols such as video, voice, codec, etc. from the smart glasses from the information exchange protocol related API of the browser and mobile application.
그러면, 이러한 요청이 될 시, 스마트글라스에서 웹 에이전트에게 응답을 해서 영상, 음성, 코덱 등의 정보 교환이 이루어지도록 한다.Then, when such a request is made, the smart glasses respond to the web agent to exchange information such as video, audio, and codec.
그리고 나서, 이렇게 정보 교환이 이루어지면 상기의 브라우저 및 모바일 응용프로그램의 네트워크 정보 교환 관련 API로부터 웹 에이전트가 스마트글라스에게 네트워크 정보 교환을 요청한다.Then, when the information is exchanged in this way, the web agent requests the smart glasses to exchange network information from the network information exchange related API of the browser and mobile application.
그러면, 이러한 요청이 될 시, 스마트글라스로부터 웹 에이전트에게 응답을 해서 네트워크 정보가 교환되도록 한다.Then, when such a request is made, the smartglass responds to the web agent so that network information is exchanged.
그래서, 이렇게 네트워크 정보가 교환되도록 된 경우, 상기 브라우저 및 모바일 응용프로그램 웹RTC 피어 연결 관련 API로부터 스마트글라스와 웹 에이전트 간에 웹RTC 피어 연결을 시작 수행해서 웹RTC를 하도록 한다.So, when network information is exchanged in this way, a WebRTC peer connection is initiated between the smartglasses and the web agent from the browser and the mobile application WebRTC peer connection related API to perform WebRTC.
따라서, 지연 없는 빠른 실시간 고품질 커뮤니케이션인 웹RTC통신방식을 사용한다.Therefore, it uses the WebRTC communication method, which is fast, real-time, high-quality communication without delay.
따라서, 이를 통해 물류창고 등의 현장에서 스마트글라스를 착용한 작업자가 일을 할 때, 스마트글라스와 웹 에이전트 간에 고속의 웹RTC를 되도록 해서 현장의 작업자와 원격지의 관제센터에서 커뮤니케이션이 원활히 이루어진다.Therefore, when a worker wearing smart glasses is working in a field such as a logistics warehouse, a high-speed web RTC is made between the smart glasses and the web agent, so that the operator on the field and the remote control center communicate smoothly.
도 7은 일실시예에 따른 스마트글라스를 활용한 클라우드 기반형 원격 서비스 및 유지보수 지원 솔루션의 동작을 순서대로 도시한 플로우 차트이다.7 is a flowchart sequentially illustrating operations of a cloud-based remote service and maintenance support solution using smart glasses according to an embodiment.
도 7과 같이, 솔루션은 먼저 스마트글라스의 현장작업 관련 데이터가 입력될 시, 하드웨어 프로세서에서 상기 데이터를 스마트글라스와 원격관제센터의 통신으로 상호 간에 제공해서 유지보수 등을 원격지원하는 솔루션을 전제로 한다.As shown in FIG. 7 , the solution is based on the assumption that when field work related data of smart glasses is input, the hardware processor provides the data through communication between the smart glasses and the remote control center to provide remote support for maintenance, etc. .
이러한 상태에서, 상기 솔루션은 이때, 다수의 상이한 현장작업장마다의 스마트글라스별로서 적어도 하나 이상의 원격관제센터와 클라우드에 의해 가상의 웹서비스하는 클라우드 가상서버로부터 상기 데이터의 제공을 한다(S701).In this state, the solution provides the data from a cloud virtual server that provides virtual web service by at least one remote control center and the cloud for each smart glass for each of a number of different field workshops at this time (S701).
그리고, 상기 클라우드 가상서버는 이러한 경우에 적어도 하나 이상의 원격관제센터로부터 웹 에이전트를 설정하여 스마트글라스와 전체 다 클라이언트로서 공동 플랫폼화해서 이루어진다.And, in this case, the cloud virtual server is made by setting a web agent from at least one remote control center and making it a joint platform as a smart glass and all multi-clients.
부연해서 상기 공동 플랫폼은 클라우드 기반 원격지원 솔루션으로서, 사용자의 편의성과 사용성을 극대화하기 위한 기능과 양자간 또는 3자 참여가 가능한 공동 플랫폼 기술이다.Incidentally, the joint platform is a cloud-based remote support solution, and it is a joint platform technology that enables bilateral or third-party participation and functions to maximize user convenience and usability.
다음, 이 클라우드 기반 원격지원에 더하여 그 솔루션은 이때, 클라우드 가상서버에 따른 공동의 웹RTC 시그널링 서버로부터 상기 통신을 해당하는 브라우저 및 모바일 응용프로그램의 API에 의해 고속의 웹RTC로 수행한다(S702).Next, in addition to this cloud-based remote support, the solution performs the communication from the common WebRTC signaling server according to the cloud virtual server in high-speed WebRTC by the API of the corresponding browser and mobile application (S702) .
이러한 경우, 상기 API는 영상, 음성, 코덱을 포함한 정보 교환 프로토콜, 네트워크 정보 교환, 웹RTC 피어 연결을 포함한다.In this case, the API includes video, audio, and information exchange protocols including codecs, network information exchange, and WebRTC peer connection.
그래서, 웹브라우저의 플러그 인 도움 없이 간단한 API를 통해 브라우저 및 모바일 응용프로그램에서 CPU의 부하 없이 영상·음성의 실시간통신을 구현하고 지연 없는 빠른 실시간 고품질 커뮤니케이션인 웹RTC통신방식을 사용한다.Therefore, real-time communication of video and audio is implemented without CPU load in browsers and mobile applications through a simple API without the help of a web browser plug-in, and WebRTC communication method, which is fast real-time high-quality communication without delay, is used.
따라서, 이에 따라 전체적으로 스마트글라스를 통한 원격 서비스 및 유지보수가 원격지원될 시에 일실시예에 따라 고속의 웹RTC통신방식의 원격지원기능을 한다.Accordingly, when remote service and maintenance through smart glasses are remotely supported, according to an embodiment, the remote support function of the high-speed web RTC communication method is performed.
따라서, 이를 통해 일실시예는 관리센터 또는 개발센터 등의 원격관제센터와 멀리 떨어진 현장에서 스마트글라스를 착용한 작업자가 일을 할 때, 이러한 솔루션으로부터 그 원격지원기능을 제공해서 현장상황과 즉각적인 피드백을 제공한다.Therefore, through this, one embodiment provides the remote support function from these solutions when a worker wearing smart glasses works in a field far away from a remote control center such as a management center or a development center to provide the field situation and immediate feedback provides
또한, 나아가서 일실시예는 관리센터 또는 개발센터와 멀리 떨어진 현장에서 스마트글라스를 착용한 작업자가 일을 할 때, 유지보수 엔지니어 등이 직접적으로 현장에 출장을 가지 않고도 관리센터 등의 내에서 머물면서 지원을 한다.Further, in one embodiment, when a worker wearing smart glasses works at a site far from the management center or development center, the maintenance engineer stays in the management center, etc. without having to go on a business trip directly to the site. support
이상과 같이, 일실시예는 스마트글라스의 현장작업할시 다수의 상이한 현장작업장마다의 스마트글라스별로서 적어도 하나 이상의 원격관제센터와 클라우드에 의해 웹서비스하는 클라우드 가상서버로부터 현장작업 관련 데이터를 제공한다.As described above, one embodiment provides field work related data from at least one remote control center and a cloud virtual server that provides web service by the cloud for each smart glass for each of a number of different field work sites when performing field work of smart glasses. .
또한, 이 클라우드 가상서버에 의해 데이터가 제공될 시 그 클라우드 가상서버에 따른 공동의 웹RTC 시그널링 서버의 브라우저 및 모바일 응용프로그램의 API로부터 스마트글라스와 원격관제센터를 통신해서 고속의 웹RTC로 한다.In addition, when data is provided by the cloud virtual server, the smart glasses and the remote control center are communicated from the browser of the common web RTC signaling server according to the cloud virtual server and the API of the mobile application to achieve high-speed Web RTC.
이러한 경우, 상기 API는 영상, 음성, 코덱을 포함한 정보 교환 프로토콜, 네트워크 정보 교환, 웹RTC 피어 연결을 포함한다.In this case, the API includes video, audio, and information exchange protocols including codecs, network information exchange, and WebRTC peer connection.
그래서, 이에 따라 전체적으로 스마트글라스를 통한 원격 서비스 및 유지보수가 원격지원될 시에 고속의 웹RTC통신방식의 원격지원기능을 한다.Therefore, when remote service and maintenance through smart glasses are supported remotely, it functions as a remote support function of the high-speed web RTC communication method.
따라서, 이를 통해 일실시예는 관리센터 또는 개발센터 등과 멀리 떨어진 현장에서 스마트글라스를 착용한 작업자가 일을 할 때, 이러한 솔루션으로부터 그 원격지원기능을 제공해서 현장상황과 즉각적인 피드백을 제공한다.Therefore, through this, one embodiment provides the field situation and immediate feedback by providing the remote support function from such a solution when a worker wearing smart glasses works in a field remote from the management center or development center.
또한, 나아가서 일실시예는 관리센터 또는 개발센터와 멀리 떨어진 현장에서 스마트글라스를 착용한 작업자가 일을 할 때, 유지보수 엔지니어 등이 직접적으로 현장에 출장을 가지 않고도 관리센터 등의 내에서 머물면서 지원을 한다.Further, in one embodiment, when a worker wearing smart glasses works at a site far from the management center or development center, the maintenance engineer stays in the management center, etc. without having to go on a business trip directly to the site. support
100 : 스마트글라스 200 : 원격관제센터100: smart glasses 200: remote control center
Claims (3)
상기 하드웨어 프로세서로 상기 데이터가 제공될 시, 다수의 상이한 현장작업장마다의 스마트글라스별로서 적어도 하나 이상의 원격관제센터와 클라우드에 의해 가상의 웹서비스하는 클라우드 가상서버로부터 상기 데이터의 제공을 하고,
상기 클라우드 가상서버에 의해 데이터의 제공이 될 시, 상기 클라우드 가상서버에 따른 공동의 웹RTC 시그널링 서버로부터 상기 통신을 해당하는 브라우저 및 모바일 응용프로그램의 API에 의해 고속의 웹RTC로 수행하며,
상기 API는 영상, 음성, 코덱을 포함한 정보 교환 프로토콜, 네트워크 정보 교환, 웹RTC 피어 연결을 포함해서 고속의 웹RTC통신방식의 원격지원기능을 하고,
상기 고속의 웹RTC에 의해 피드백이 제공될 시, 스마트글라스의 기기 자체로부터 피드백을 전달하기 위한 증강현실을 인터페이스해서 고속의 웹RTC통신방식의 원격지원기능을 확대하고,
상기 증강현실이 인터페이스될 시, 타겟에 대한 사물형상 인식 및 특징기반 위치인식으로부터 상기 타겟의 특징과 위치를 추적하는 마킹을 생성하고, 스마트 글라스의 실제 움직임에 따라 상기 타겟의 마킹을 움직이면서 상기 타겟이 지정된 위치에 추적해서 보여지도록 하여 증강현실 기능을 강화하고,
상기 원격지원은
스마트글라스의 영상·음성의 온-오프 제어, 미리 등록된 단말기 또는 정보처리장치에 녹화 파일 저장, 조명의 밝기 조절을 위한 플래쉬 온-오프 제어, 일시정지, 및 라이브 복귀 기능을 포함하는 제 1 원격지원과
하나 이상의 원격관제센터와 스마트글라스의 양자간을 참여하는 제 2 원격지원,
상기 제 2 원격지원에 따른 원격관제센터와 스마트글라스의 양자간 참여가 될 시, 이외에 관련 기술자의 단말기 또는 정보처리장치의 제 3 자를 참여하는 제 3 원격지원을 포함하는 것을 특징으로 하는 스마트글라스를 활용한 클라우드 기반형 원격 서비스 및 유지보수 지원 시스템.
Cloud-based remote service and maintenance support system using smart glasses that provides remote support by mutually providing the data from the hardware processor through communication between the smart glasses and the remote control center when the data related to the field work of smart glasses is input In
When the data is provided to the hardware processor, the data is provided from a cloud virtual server that provides virtual web service by at least one remote control center and the cloud for each smart glass for each of a number of different field worksites,
When data is provided by the cloud virtual server, the communication from the common WebRTC signaling server according to the cloud virtual server is performed in high-speed WebRTC by the API of the corresponding browser and mobile application,
The API functions as a remote support function for high-speed WebRTC communication including information exchange protocols including video, audio, and codecs, network information exchange, and WebRTC peer connection,
When feedback is provided by the high-speed web RTC, the remote support function of the high-speed web RTC communication method is expanded by interfacing the augmented reality for delivering feedback from the device itself of the smart glasses,
When the augmented reality is interfaced, a marking for tracking the characteristics and location of the target is generated from object shape recognition and feature-based location recognition for the target, and the target is moved while the marking of the target is moved according to the actual movement of the smart glass. The augmented reality function is strengthened by tracking and showing it in a designated location,
The remote support
First remote including on-off control of video/audio of smart glasses, storage of recorded files in a pre-registered terminal or information processing device, flash on-off control for brightness adjustment of lighting, pause, and live return functions support department
A second remote support that participates between one or more remote control centers and smart glasses,
When the remote control center and smart glasses participate according to the second remote support, in addition to the third party of the related technician's terminal or information processing device, the smart glasses comprising a third remote support A cloud-based remote service and maintenance support system utilizing
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200039104A KR102331172B1 (en) | 2020-03-31 | 2020-03-31 | System for remote service and supporting of maintenance-repairment based in cloud employing smart glass |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200039104A KR102331172B1 (en) | 2020-03-31 | 2020-03-31 | System for remote service and supporting of maintenance-repairment based in cloud employing smart glass |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210121796A KR20210121796A (en) | 2021-10-08 |
KR102331172B1 true KR102331172B1 (en) | 2021-11-26 |
Family
ID=78610036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200039104A KR102331172B1 (en) | 2020-03-31 | 2020-03-31 | System for remote service and supporting of maintenance-repairment based in cloud employing smart glass |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102331172B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114063512B (en) * | 2021-11-15 | 2023-09-19 | 中国联合网络通信集团有限公司 | Maintenance service guiding and monitoring method, cloud platform, AR glasses and system |
KR102584718B1 (en) * | 2023-02-15 | 2023-10-05 | 주식회사 엔티에스솔루션 | Real-time video/voice based remote maintenance system for ship and overseas equipment using smart glasses |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160057873A (en) * | 2014-11-14 | 2016-05-24 | 삼성전자주식회사 | Communication method, electronic apparatus and storage medium |
CN109923500B (en) * | 2016-08-22 | 2022-01-04 | 奇跃公司 | Augmented reality display device with deep learning sensor |
KR20190076770A (en) * | 2017-12-22 | 2019-07-02 | 주식회사 이엠아이티 | A augmented reality based assembly guide system |
-
2020
- 2020-03-31 KR KR1020200039104A patent/KR102331172B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20210121796A (en) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190076770A (en) | A augmented reality based assembly guide system | |
KR102331172B1 (en) | System for remote service and supporting of maintenance-repairment based in cloud employing smart glass | |
CN106815681B (en) | Transformer substation secondary equipment closed-loop management platform based on two-dimensional code and management system thereof | |
WO2009036782A1 (en) | Information processing apparatus and method for remote technical assistance | |
Kritzler et al. | The virtual twin: Controlling smart factories using a spatially-correct augmented reality representation | |
CN110989525B (en) | FPGA-based product intelligent assembly production line monitoring system and method | |
KR102239962B1 (en) | Platform providing apparaus based document form | |
KR20220010356A (en) | System and method for augmented reality content-based work management | |
CN112306233A (en) | Inspection method, inspection system and inspection management platform | |
CN108776444A (en) | Augmented reality man-machine interactive system suitable for CPS automatic control systems | |
CN111954318B (en) | Equipment interconnection method, device and system | |
CN104463490A (en) | Three-dimensional GIS electric power emergency command system | |
KR20150090366A (en) | real time on-site monitoring and information offering system and its operational method thereof | |
KR102593008B1 (en) | Method and apparatus for distributed smart factory operation using opc ua | |
KR102021148B1 (en) | Method for mediating labor force | |
Miah et al. | Wearable computers—an application of BT's mobile video system for the construction industry | |
KR20130027069A (en) | Equipment and method for finding and monitoring process actual results on real time on building vessels | |
CN112533287A (en) | Wireless AP positioning interaction system of urban underground comprehensive pipe gallery | |
KR20210051023A (en) | Method for Managing Facility Visiting Repair Services in Network, and Managing Server Used Therein | |
TWI801958B (en) | System and method for equipment maintenance | |
KR102420166B1 (en) | Method and system for customzing network transmssion prameter | |
KR102467017B1 (en) | Method for augmented reality communication between multiple users | |
EP3502836A1 (en) | Method for operating an augmented interactive reality system | |
CN205792702U (en) | Mining wireless based on 4G network scheduling GIS visual application system | |
CN115179256B (en) | Remote teaching method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |