KR20200068075A - 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법 - Google Patents
하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20200068075A KR20200068075A KR1020180148755A KR20180148755A KR20200068075A KR 20200068075 A KR20200068075 A KR 20200068075A KR 1020180148755 A KR1020180148755 A KR 1020180148755A KR 20180148755 A KR20180148755 A KR 20180148755A KR 20200068075 A KR20200068075 A KR 20200068075A
- Authority
- KR
- South Korea
- Prior art keywords
- work
- user
- augmented reality
- work step
- manual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 96
- 238000010801 machine learning Methods 0.000 title claims abstract description 34
- 239000003550 marker Substances 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 64
- 238000004891 communication Methods 0.000 claims description 36
- 230000033001 locomotion Effects 0.000 claims description 25
- 238000010191 image analysis Methods 0.000 claims description 14
- 238000013459 approach Methods 0.000 claims description 12
- 230000008921 facial expression Effects 0.000 claims description 9
- 230000008685 targeting Effects 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 238000009877 rendering Methods 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000013632 homeostatic process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 241000167926 Entoprocta Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Manufacturing & Machinery (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Educational Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법이 개시된다. 일 실시 예에 따른 사용자 단말에 구비되는 원격 가이던스 장치는, 작업자의 현장상황을 촬영한 현재영상을 입력받는 입력부와, 입력부로부터 수신된 현재영상에서 작업대상을 인식하고 인식된 작업대상을 포함한 현재영상에 가상의 작업 매뉴얼을 정합하여 증강현실 매뉴얼을 제공하며, 사용자 조작신호에 따라 증강현실 매뉴얼을 구성하는 다수의 작업 단계 중에서 사용자 조작에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 제어부와, 증강현실 매뉴얼 화면을 표시하는 출력부를 포함한다.
Description
본 발명은 증강현실 기반 영상분석 및 원격제어 기술에 관한 것이다.
장비의 유지관리를 하기 위해서는 수년간의 경험이 필요하고, 숙련자라 할지라도 신규 장비 도입시 이를 숙지하는데 오랜 시간이 소요된다. 또한, 아무리 숙련자라 할지라도 모든 정비 절차를 숙지하고 있을 수가 없고, 언제 어떤 정비 요구가 발생할지 예측하기가 어렵다. 이에 따라, 정비사들은 장비 유지 보수를 위한 매뉴얼을 항상 휴대하여, 유지보수 업무를 수행하여 왔다.
유지 보수를 위한 매뉴얼은 일반적으로 책으로 제작되어 있거나, 2D 이미지로 제작되어 있다. 책으로 제작된 매뉴얼의 문제점은 1개의 부품이라도 고장 날 경우에 해당 페이지를 일일이 찾아야 하고 매뉴얼이 오래되면 색이 변질되거나 손상이 심해지는 문제점이 있다. 항공기 등과 같이 복잡한 형태의 기계 장비의 경우에는 수십만 가지 상의 매뉴얼이 필요하기 때문에, 그 양이 방대하여 휴대가 불가능하다.
이러한 유지 보수 등의 문제는 비단 산업현장에만 한정되는 것은 아니다. 예를 들어, 가정집에서 냉장고가 고장난 경우 소비자는 스스로 고칠 수 없는 경우가 대부분이어서, 별도의 전문가를 불러 수리해야 하는 경우가 많다. 이때, 문제 해결까지 시간, 비용 등이 많이 소요되어 비효율적이다.
일 실시 예에 따라, 복잡한 구조의 장비일지라도 또는 숙련된 작업자가 아닐지라도 증강현실에 기반하여 제공되는 순차적인 지시에 따라 쉽고 빠르게 작업할 수 있으며, 다단계 조작이 필요한 경우에도 쉽고 빠르게 조작할 수 있도록 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법을 제안한다.
일 실시 예에 따른 사용자 단말에 구비되는 원격 가이던스 장치는, 작업자의 현장상황을 촬영한 현재영상을 입력받는 입력부와, 입력부로부터 수신된 현재영상에서 작업대상을 인식하고 인식된 작업대상을 포함한 현재영상에 가상의 작업 매뉴얼을 정합하여 증강현실 매뉴얼을 제공하며, 사용자 조작신호에 따라 증강현실 매뉴얼을 구성하는 다수의 작업 단계 중에서 사용자 조작에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 제어부와, 증강현실 매뉴얼 화면을 표시하는 출력부를 포함한다.
사용자 조작신호는 사용자의 화면 터치 신호, 음성신호, 영상 신호 및 생체 신호 중 적어도 하나를 포함할 수 있다. 사용자 조작에 대응되는 작업 단계로의 접근은, 현재 작업 단계를 기준으로 역방향으로의 작업 단계 이동, 순방향으로의 작업 단계 이동, 현재 작업 단계의 반복, 처음 작업 단계로의 이동 또는 다른 증강현실 매뉴얼로의 이동을 포함할 수 있다.
출력부는 다수의 작업 단계로 구성된 증강현실 매뉴얼을 대상으로 단계 상태를 파악할 수 있는 프로세스 마커를 화면에 표시하고, 프로세스 마커는 증강현실 매뉴얼 별 식별자 정보와, 증강현실 매뉴얼 내 각 작업 단계 별 식별자 정보와, 사용자가 원하는 작업 단계로의 접근을 위해 현재 작업 단계를 기준으로 적어도 하나의 작업 단계 식별자에 할당되는 마커 정보를 포함할 수 있다.
입력부는 사용자로부터 화면 터치 신호를 입력받는 터치 입력부를 포함하며, 제어부는 화면에 표시된 프로세스 마커를 대상으로 터치 입력부로부터 사용자 터치 신호를 수신하여 사용자 터치를 인식하고 증강현실 매뉴얼을 구성하는 다수의 작업 단계 중에서 인식된 터치에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 터치 인식부를 포함할 수 있다.
입력부는 사용자로부터 음성신호를 입력받는 음성 입력부를 포함하며, 제어부는 증강현실 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 음성인식 부호를 할당하며, 음성 입력부로부터 사용자 음성신호를 수신하여 사용자 음성을 인식하고 다수의 작업 단계 중에서 인식된 음성에 대응되는 음성인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 음성 인식부를 포함할 수 있다.
입력부는 사용자를 대상으로 촬영된 생체 이미지를 입력받는 생체 입력부; 를 포함하며, 제어부는 증강현실 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 생체인식 부호를 할당하며, 생체 입력부로부터 사용자 생체 이미지를 수신하여 사용자의 얼굴 및 신체를 감지하고 감지된 얼굴 및 신체정보에서 표정 또는 모션을 인식하며 다수의 작업 단계 중에서 인식된 표정 또는 모션에 대응되는 생체인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 생체 인식부를 포함할 수 있다.
입력부는 실시간으로 작업현장을 촬영한 현재상황 영상을 획득하는 영상 입력부를 포함하며, 제어부는 증강현실에 기반하여 현재영상에서 객체를 인식하고, 인식된 객체의 움직임을 트래킹하며, 트래킹되는 실제객체에 대해 증강현실 기반 작업 가이던스 정보에 해당하는 가상객체를 결합하여 렌더링하거나, 가상객체를 렌더링한 후 이를 실제객체에 결합하여 증강현실 매뉴얼을 생성하는 영상 인식부를 포함할 수 있다. 원격 가이던스 장치는 원격 서버와 네트워크 연결되어 입력부를 통해 획득된 현재영상을 원격 서버에 전송하여 공유하고 원격 가이던스 장치의 증강현실 기반 영상분석을 통해 인식된 객체정보를 원격 서버에 전송하며 원격 서버로부터 기계학습을 통해 인식된 객체정보를 수신하는 통신부를 더 포함하며, 영상 인식부는 증강현실 기반 객체의 윤곽선 인식결과에 통신부로부터 수신된 원격 서버의 기계학습 기반 객체 인식결과를 반영하여 증강현실 기반 객체의 윤곽선 인식 시에 파악되지 못한 객체를 인식할 수 있다.
원격 가이던스 장치는 작업대상에 구비된 프로세스 마커와 근거리 무선통신이 가능한 통신부를 더 포함하며, 제어부는 통신부로부터 수신된 무선신호에 의해 프로세스 마커를 인식하고 인식된 프로세스 마커에 기록된 작업 단계를 파악하며 파악된 작업 단계 중에 사용자 조작에 의해 사용자가 원하는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 무선신호 인식부를 포함할 수 있다.
다른 실시 예에 따른 사용자 단말에 구비된 원격 가이던스 장치를 이용한 원격 가이던스 방법은, 원격 가이던스 장치가: 작업자의 현장상황을 촬영한 현재영상을 획득하여 현재영상에서 작업대상을 인식하고 인식된 작업대상을 트래킹하는 단계와, 트래킹된 작업대상에 대해 작업자의 작업을 가이드하기 위한 작업 매뉴얼을 획득하는 단계와, 트래킹된 작업대상을 포함한 현재영상에, 수신된 가상의 작업 매뉴얼을 정합하여 증강현실 매뉴얼을 제공하는 단계와, 사용자 조작신호를 수신하여 사용자 조작을 인식하고 증강현실 매뉴얼을 구성하는 다수의 작업 단계 중에서 해당 작업 단계 화면을 제공하는 단계를 포함한다.
원격 가이던스 제공 방법은, 다수의 작업 단계로 구성된 증강현실 매뉴얼을 대상으로 단계 상태를 파악할 수 있는 프로세스 마커를 화면에 표시하는 단계를 더 포함하며, 프로세스 마커는 증강현실 매뉴얼 별 식별자 정보와, 증강현실 매뉴얼 내 각 작업 단계 별 식별자 정보와, 사용자가 원하는 작업 단계로의 접근을 위해 현재 작업 단계를 기준으로 적어도 하나의 작업 단계 식별자에 할당되는 마커 정보를 포함할 수 있다.
해당 작업 단계 화면을 제공하는 단계에서, 화면에 표시된 프로세스 마커를 대상으로 사용자로부터 터치 신호를 입력받아 사용자 터치를 인식하고 증강현실 매뉴얼을 구성하는 다수의 작업 단계 중에서 인식된 터치에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공할 수 있다.
원격 가이던스 제공 방법은 증강현실 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 음성인식 부호를 할당하는 단계를 더 포함하며, 해당 작업 단계 화면을 제공하는 단계에서, 사용자로부터 음성신호를 입력받아 사용자 음성을 인식하고 다수의 작업 단계 중에서 인식된 음성에 대응되는 음성인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공할 수 있다.
원격 가이던스 제공 방법은, 증강현실 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 생체인식 부호를 할당하는 단계를 더 포함하며, 해당 작업 단계 화면을 제공하는 단계에서, 사용자를 대상으로 촬영된 생체 이미지를 입력받아 사용자의 얼굴 및 신체를 감지하고 감지된 얼굴 및 신체정보에서 표정 및 모션을 인식하며 다수의 작업 단계 중에서 인식된 표정 또는 모션에 대응되는 생체인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공할 수 있다.
원격 가이던스 제공 방법은, 작업대상에 구비된 프로세스 마커와 근거리 무선통신하는 단계와, 무선통신을 통해 수신된 무선신호에 의해 프로세스 마커를 인식하고 인식된 프로세스 마커에 기록된 작업 단계를 파악하며 파악된 작업 단계 중에 사용자 조작에 의해 사용자가 원하는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 작업자는 작업 현장에서 사용자 단말만 소지하고 있으면, 장비에 대해 숙련된 전문가의 도움 없이도, 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있다. 또한, 스마트 글래스(smart glass)와 같은 기존의 별도의 하드웨어가 필요한 몰입형 디스플레이 등의 웨어러블 기기가 없어도 무방하며 결합하여 사용할 수도 있다.
증강현실에 기반하여 원격 엔지니어링을 제공함에 따라, 더 실감나는 화면을 제공할 수 있어서 작업자가 보다 직관적으로 작업을 수행할 수 있다. 나아가, 증강현실 기반 영상분석과 기계학습을 이용하여 영상 내 객체를 인식함에 따라 객체 인식 정확도를 높일 수 있다.
나아가, 다단계 조작이 필요한 경우에도 쉽고 빠르게 조작할 수 있다. 화면 터치, 음성인식, 생체인식 등을 이용하여 사용자가 원하는 작업 단계로 빠르게 접근, 예를 들어 점프할 수 있으므로 실시간 처리가 가능하며 조작의 번거로움을 덜 수 있어 사용의 편의성이 증대된다.
또한, 증강현실 기반 작업 가이던스 정보를 제작하고자 하는 사용자를 위해 이를 쉽게 제작하기 위한 스크립팅 툴과 템플릿을 제공하여 추가적인 AR 매뉴얼 제작비용 없이도 제작 가능하다.
사용자 단말을 이용한 원격 가이던스는 공장이나 빌딩과 같은 산업현장뿐만 아니라, 가정집이나 일반 가전기기 등으로 확장될 수 있다. 또한, 스마트 빌딩, 스마트 팩토리, 스마트 홈 등에서 사용하는 다수의 IoT 기기들뿐만 아니라, IoT 센싱 능력이 없는 IoT 시대 이전에 제작된 레거시 기기(legacy device)까지도 확장될 수 있다.
나아가, 다수의 기기들에 대해 에러(error)를 사전에 예측하고 에러 예측 기반 사전 서비스(before service)를 제공하는 경우, 기기의 에러를 사전에 예측하고 이를 기기 사용자에 알리면, 사용자는 사용자가 소지한 사용자 단말을 이용하여 원격 가이던스를 제공받아 쉽게 에러를 사전에 해결할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 원격 가이던스 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 원격 가이던스의 개념도,
도 3은 본 발명의 다른 실시 예에 따른 원격 가이던스의 개념도,
도 4는 본 발명의 일 실시 예에 따른 원격 가이던스 장치의 구성도,
도 5는 본 발명의 일 실시 예에 따른 도 4의 제어부의 세부 구성도,
도 6은 본 발명의 일 실시 예에 따른 도 4의 출력부의 세부 구성도,
도 7은 본 발명의 일 실시 예에 따른 원격 서버의 구성도,
도 8은 본 발명의 일 실시 예에 따른 원격 가이던스 방법을 도시한 흐름도,
도 9는 본 발명의 일 실시 예에 따른 원격 가이던스 장치가 원격 서버에 증강현실 매뉴얼을 요청하여 수신하는 프로세스를 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 음성인식 부호를 이용한 음성인식을 통해 작업단계의 이동을 보여주는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 원격 가이던스의 개념도,
도 3은 본 발명의 다른 실시 예에 따른 원격 가이던스의 개념도,
도 4는 본 발명의 일 실시 예에 따른 원격 가이던스 장치의 구성도,
도 5는 본 발명의 일 실시 예에 따른 도 4의 제어부의 세부 구성도,
도 6은 본 발명의 일 실시 예에 따른 도 4의 출력부의 세부 구성도,
도 7은 본 발명의 일 실시 예에 따른 원격 서버의 구성도,
도 8은 본 발명의 일 실시 예에 따른 원격 가이던스 방법을 도시한 흐름도,
도 9는 본 발명의 일 실시 예에 따른 원격 가이던스 장치가 원격 서버에 증강현실 매뉴얼을 요청하여 수신하는 프로세스를 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 음성인식 부호를 이용한 음성인식을 통해 작업단계의 이동을 보여주는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
도 1은 본 발명의 일 실시 예에 따른 원격 가이던스 시스템의 구성도이다.
도 1을 참조하면, 원격 가이던스 시스템(1)은 원격 서버(2)와 원격 가이던스 장치(3)를 포함한다. 원격 가이던스 장치(3)는 사용자 단말(4)에 하드웨어 또는 소프트웨어 형태로 포함된다.
원격 가이던스 시스템(1)은 작업 현장에서 작업이 필요한 장비를 대상으로 작업자가 소지하고 있는 사용자 단말(4) 내 원격 가이던스 장치(3)를 통해 증강현실(augmented reality) 및 기계학습(machine learning)에 기반하여 증강 콘텐츠 형태의 작업 매뉴얼을 제공한다. 작업자는 장비에 대해 숙련된 전문가의 도움 없이도, 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있다. 장비는 작업 현장에 설치된 기계, 설비, 장치 등을 포함하며, 하나의 장비를 구성하는 부품, 모듈 등을 포함할 수 있다. 작업은 수리, 정비, 유지 보수, 조정, 조작 등을 포함한다. 예를 들어, 작업은 문제가 발생한 장비에 대한 정비나, 문제가 발생할 가능성이 있는 장비에 대해 문제 발생 이전에 이를 조치하는 것일 수 있다.
작업 현장은 공장(스마트 팩토리)이나 빌딩(스마트 빌딩)과 같은 산업현장이 될 수도 있으며, 가정집(스마트 홈)이 될 수도 있다. 산업현장을 예로 들면, 공장 내 에어컨, 환기, 공조기, 팬, 보일러, 냉각탑, 펌프, 온/습도센서, 냉동기, 조명기기, 전력기기, 화재 시스템을 대상으로 원격 가이던스를 제공할 수 있다. 원격 서버(2)를 통해 건물 전체의 상황을 종합적으로 제어 및 감시하면서 기계설비, 조명, 전력, 출입통제, 방재, 주차관리, 시설관리가 가능하며, 모니터링 중에 작업이 필요한 경우 이를 작업자에게 알리며, 작업자는 원격 가이던스 장치(3)를 통해 보이는 원격 가이던스 정보를 이용하여 전문가의 도움 없이도 원활하게 작업을 수행할 수 있다.
다른 실시 예에 따른 원격 가이던스 시스템(1)은 가정 환경에서 운용된다. 예를 들어, 원격 서버(1)를 통해 가정 내 TV, 에어컨, 냉장고 같은 가전제품이나 수도, 전기, 냉난방과 같은 에너지 소비장치나, 도어락, 감시 카메라 등과 같은 보안기기나, 고가의 자동차와 전기 자동차 등의 기기를 모니터링 및 제어하면서, 원격으로 조정 가능하다. 또한, 해당 가정기기에 문제가 발생한 경우, 소비자가 사용자 단말(4)만 가지고 있으면 문제 해결을 위한 원격 가이던스를 제공받을 수 있으므로 쉽게 기기의 문제를 해결할 수 있다. 이 경우, 소비자는 소비자 센터에 연락하여 전문가를 부르거나 출장 비용을 별도로 부담할 필요도 없으며, 시간 낭비도 방지할 수 있다. 또한, 스마트 글래스(smart glass)와 같은 기존의 별도의 하드웨어가 필요한 몰입형 디스플레이가 없어도 무방하고 결합하여 사용도 가능하다.
원격 가이던스 시스템(1)은 스마트 기기, 스마트 빌딩, 스마트 팩토리 등에서 사용하는 다수의 IoT 기기들을 대상으로 원격 가이던스를 제공할 수 있다. IoT 기기는 디지털 사이니지(digital signage), 스마트 TV, 스마트 워치, 스마트 CE, 드론(drone) 등일 수 있다. 다른 실시 예에 따른 원격 가이던스 시스템(1)은 IoT 센싱 능력이 없는 IoT 시대 이전에 제작된 레거시 기기(legacy device)를 대상으로 작업 가이던스를 제공할 수도 있다. 예를 들어, 디바이스에 내장 또는 장착되는 IoT 센서가 없어서 디바이스와 그 주변환경의 정보를 센싱할 수 없는 레거시 기기를 대상으로도 사용자 단말(4)을 이용한 원격 가이던스를 제공할 수 있다.
일 실시 예에 따른 원격 가이던스 시스템(1)은 다수의 기기들에 대해 에러(error)를 사전에 예측하고 에러 예측 기반 사전 서비스(before service)를 제공한다. 사전 서비스는 기기들을 대상으로 발생 가능한 에러를 사전에 예측하고, 에러가 발생하기 이전에, 에러를 관리 및 처리하는 서비스이다. 예를 들어, 원격 서버(2)를 통해 기기의 에러를 사전에 예측한 경우, 이를 기기 사용자에 알리면, 사용자는 사용자가 소지한 사용자 단말(4)을 이용하여 원격 가이던스를 제공 받아 쉽게 에러를 사전에 해결할 수 있게 된다.
증강현실 기반 작업 가이던스에 대한 실시 예를 들면, 작업 현장에 위치하는 작업자가 사용자 단말(4)의 카메라를 통해 작업 현장을 실시간 촬영한다. 그러면, 원격 가이던스 장치(3)는 카메라로부터 실시간 촬영 영상을 입력받아 화면에 출력한다. 이때, 화면 출력 영상에 자동으로 작업 매뉴얼을 안내하는 가상의 작업 매뉴얼을 결합하여 사용자 단말(4)의 디스플레이를 통해 화면에 표시한다.
원격 가이던스 장치(3)는 작업 현장 내 현재영상을 획득하며, 획득된 현재영상에 가상의 작업 매뉴얼을 결합한 증강현실 매뉴얼(AR 매뉴얼, 이하 'AR 매뉴얼'이라 칭함)을 생성하여 화면에 표시한다. 이때, AR 매뉴얼뿐만 아니라, 작업대상에 대한 식별자 정보, 위치정보, 상태정보, 작업도구 정보 등을 포함하는 가상의 작업 가이던스 정보를 화면에 더 표시할 수 있다. 식별자 정보는 작업대상을 식별하기 위한 가상객체이다. 예를 들어, 작업대상을 점선이나 블록 등과 같은 표시자로 알려준다. 위치정보는 작업대상의 위치를 알려주기 위한 가상객체이다. 예를 들어, 작업이 필요한 장비나 장비 내 부품의 위치를 가상의 손가락 등으로 알려준다. 작업 매뉴얼 정보는 순차적 작업 매뉴얼에 따른 안내정보를 알려주기 위한 가상객체이다. 작업도구 정보는 작업에 필요한 도구를 알려주기 위한 가상객체이다. 예를 들어 드라이버, 망치 등과 같이 작업에 필요한 모든 가상도구를 표시한다. 화면에 표시되는 작업 가이던스 정보의 실시 예는 도 2 및 도 3을 참조로 하여 후술한다.
일 실시 예에 따른 원격 가이던스 장치(3)는 실시간으로 촬영되는 현재영상에 증강현실을 적용하기 위해, 객체 인식→객체 트래킹→객체 렌더링의 순차적인 프로세스를 반복하여 현재영상에 가상객체를 연동시킨다. 예를 들어, 원격 가이던스 장치(3)는 현재영상에서 실제객체를 인식하고, 인식된 실제객체를 트래킹하며, 트래킹되는 실제객체에 대해 증강현실 기반 작업 가이던스 정보에 해당하는 가상객체를 결합하여 렌더링하거나, 가상객체를 렌더링한 후 이를 실제객체에 결합하여 AR 매뉴얼을 생성하는 일련의 프로세스를 반복한다.
카메라를 통해 포착된 실제영상은, 고정된 것이 아니라 작업자의 움직임 등으로 인해 계속 움직이므로, 실제영상 내에서 인식된 객체의 움직임을 계속 따라가는 작업이 필요한데, 이를 "객체 트래킹"이라 한다. "객체 렌더링"은 2차원의 영상에 광원·위치·색상 등 외부의 정보를 고려하여 사실감을 불어넣어 3차원 영상을 만드는 과정이다. 와이어 프레임(wire frame), 레이 트레이싱(ray tracing) 렌더링 방법 등이 있다. 렌더링은 원격 가이던스 장치(3)에서 이루어질 수 있지만, 분산 환경의 경우, 원격 서버(2)에서 렌더링이 수행되고 수행결과를 원격 가이던스 장치(3)에 전송하는 방식으로 이루어질 수도 있다.
일 실시 예에 따른 원격 가이던스 시스템(1)은 객체를 인식할 때, 증강현실과 기계학습을 함께 사용한다. 증강현실의 코어 기술은 객체 인식, 트래킹 및 렌더링으로 요약되는데, 이 중 객체 인식은 윤곽선으로 객체를 인지하는 방식이다. 윤곽선을 통해 객체를 인지하므로 복잡한 형태의 Wireframe 상태가 접수되었을 때나 사물의 상태가 녹이 슬거나 일부가 찌그러졌다든지 하는 경우 인지율이 떨어져 인지를 못할 위험이 있다. 따라서, 증강현실만으로는 인식 정확도가 떨어지므로 이를 기계학습으로 보완하여 객체 인식률을 높인다. 기계학습은 다양한 이미지 데이터베이스를 통해 학습된 결과 값을 넘겨줄 수 있기에 윤곽선 인식을 통해 파악되지 못한 사물에 대한 보다 정확한 인식상태를 전달해 줄 수 있고, 이를 증강현실 모듈과 비교하여 처리할 수 있기 때문에 전체 인식율을 향상시킬 수 있는 장점이 있다. 분야의 확장에 따라 기계학습에 시간이 소요될 수 있으므로 우선적으로 증강현실 방식을 통해 원격 가이던스를 먼저 제공하고, 이후에 기계학습과 증강현실을 모두 적용하는 기술적 보완을 통해 분야 확장에 따르는 시간적 제약도 해소할 수 있다. 분산된 환경에서는, 원격 서버(2)에서 기계학습을 통해 인식된 장비의 상태를 원격 가이던스 장치(3)에서 인식한 장비의 상태와 비교하여 정확도를 높이는 협상(Negotiation) 프로세스를 가질 수 있다.
증강현실과 기계학습을 기반으로 하는 원격 가이던스 처리를 진행하는 경우 현장의 기계나 부품을 조작하는 절차를 AR 매뉴얼로 제공하고 작업자가 작업에 대한 이해도가 떨어질 경우 이에 대한 전문가의 지원을 실시간 처리하는 형태로 제공된다. 이때 다수의 조작이 필요한 제품의 경우나 단계별 난이도가 높아 처리 및 조작 횟수가 매우 많은 매뉴얼의 단계를 반복하거나 매뉴얼을 반대로 돌려가며 재조작 시도를 해야 하는 경우가 다수 발생한다.
일 실시 예에 따른 원격 가이던스 장치(3)는 다단계 조작이 필요한 경우 단계 상태를 파악할 수 있는 프로세스 마커(Process Marker)를 이용한다. 프로세스 마커는 AR 매뉴얼의 각 작업 단계 식별자가 일렬로 정렬되고 적어도 하나의 작업 단계 식별자에 마커가 기록된 것으로, 화면에 표시된다. AR 매뉴얼이 다수 개인 경우 각 AR 매뉴얼을 일련번호로 구분하여 표시할 수 있다.
프로세스 마커를 이용하면 현재 작업 단계를 기준으로 사용자가 원하는 작업 단계로 접근할 수 있다. 사용자 조작에 대응되는 작업 단계로의 접근은, 현재 작업 단계를 기준으로 역방향(backward)으로의 작업 단계 이동, 순방향(forward)으로의 작업 단계 이동, 현재 작업 단계의 반복, 처음 작업 단계로의 이동, 다른 증강현실 매뉴얼로의 이동 등을 포함한다. 예를 들여, 역방향 또는 순방향으로 사용자가 원하는 위치까지 신속하게 이동, 즉 점프(jump) 할 수 있어서 작업을 용이하게 처리할 수 있다. 작업 단계 식별자들에 5개 또는 10개 단위의 규칙적인 마커를 기록하고 사용자가 마커를 이용하여 원하는 작업 단계로 이동하도록 처리할 수 있다.
AR 매뉴얼은 원격 서버(2)에서 AR 매뉴얼의 순번에 따라 분리되어 원격 가이던스 장치(3)가 필요 시 원격 서버(2)에 요청하여 다운로드 받을 수 있다. AR 매뉴얼이 다수 개이면, 이를 1001, 1002, 1003 등의 일련번호로 구분할 수 있으며, 일련번호 안에 작업 단계가 20단계, 10단계 등으로 구분될 수 있다.
AR 매뉴얼이 표시되는 화면은 사용자의 태블릿 PC, 스마트폰, 화면 디스플레이가 있는 웨어러블 장치와 같은 사용자 단말 화면이다. 이때, 화면 터치가 가능한 태블릿 PC나 스마트 폰의 경우, 역방향이나 순방향으로 작업 단계를 이동하기 위해 현재 표시되고 있는 AR 매뉴얼의 작업 단계 위치를 마킹하여 보여주고, 이전 또는 이후의 중요한 작업 단계에 마커를 할당하여 마커 위치를 보여준다. 이 중 소정의 마커를 손가락 터치를 통해 지정하는 방식으로 지정된 마커 위치의 작업 단계로 접근하여 해당 작업 단계 화면을 제공할 수 있다. 사용자 단말이 웨어러블 장치인 경우에는 미리 지정된 버튼 등을 통해 접근 가능하다.
사용자 터치 등을 통해 접근하려면 필연적인 흔들림이 동반되고 마커를 통해 소정의 작업 단계로 점프할 수는 있으나 디스플레이에 포착한 장비나 부속에 대한 트래킹 및 기계학습이 다시 진행되어야 하므로 신속한 처리를 방해한다. 이를 보완하기 위해 중요한 작업 단계에 음성인식 또는 생체인식 부호를 할당하여 작업자의 작업을 보존하며 신속한 반응을 얻을 수 있도록 한다. 음성인식 또는 생체인식 부호는 해당 부호에 식별자 정보 및 위치정보가 할당된다. 음성인식 부호를 이용한 작업 단계 접근의 예를 들면, 인식된 사용자 음성이 "처음부터 다시!"이면, 작업 단계들 중 처음 위치에 해당하는 음성인식 부호가 할당된 처음 작업 단계에 해당하는 작업 단계로 이동하여 제공한다. 수신된 사용자 음성이 "5단계 뒤로!"이면, 현재 작업 단계를 기준으로 5단계 이후 위치에 해당하는 음성인식 부호가 할당된 작업 단계로 이동하여 제공한다. 생체인식 부호를 이용한 작업 단계 접근의 예를 들면, 인식된 사용자 생체신호가 "눈 깜빡임 연속 3회"이면, "처음부터 다시"를 의도하는 것으로, 처음 위치에 해당하는 생체인식 부호가 할당된 작업 단계로 이동하여 제공한다. 인식된 사용자 생체신호가 "고개 끄덕임"이면, "다음"을 의도하는 것으로, 다음 위치에 해당하는 생체인식 부호가 할당된 작업 단계로 이동하여 제공한다.
일 실시 예에 따른 원격 가이던스 시스템(1)은 증강현실 기반 작업 가이던스 정보를 제작하고자 하는 사용자를 위해, 이를 쉽게 제작하기 위한 스크립팅 툴(scripting tool)을 제공한다. 이에 따라, 추가적인 AR 매뉴얼 제작비용 없이도 제작 가능하다. 스크립팅 툴을 제공할 때 분야별로 적용샘플이 될 수 있는 다수의 템플릿(template)을 제공할 수 있다. 제작자는 소규모 사업자 및 장비 공급자들일 수 있다. 예를 들어, 원격 가이던스 장치(3)는 사용자 단말(4), 예를 들어, 데스크톱을 가지고 스크립팅 툴에 기본으로 제공되는 템플릿을 이용하여 증강현실 기반 작업 가이던스 정보를 쉽게 제작한다. 원격 가이던스 장치(3)는 이런 방식으로 제작된 증강현실 기반 작업 가이던스 정보를 입력받아 이를 AR 매뉴얼 생성에 사용할 수 있다.
원격 가이던스 장치(3)가 구비되는 사용자 단말(4)은 사용자가 소지한 스마트폰, 태블릿 PC, 화면 디스플레이가 있는 웨어러블 디바이스 등 휴대 가능한 모든 전자장치를 포함한다. 작업자는 스마트 글래스(smart glass)와 같은 기존의 별도의 하드웨어가 필요한 몰입형 디스플레이가 필요없이 또는 연계하여 원격 가이던스 장치(3)를 통해 작업 가이던스를 제공받을 수 있다. 물론, 작업자가 몰입형 디스플레이를 착용한 경우 이를 연동하여 작업도 가능하다. 사용자 단말(4)은 웨어러블 장비일 수 있다.
원격 서버(2)는 작업 현장에 위치한 장비를 모니터링하며 작업이 필요한 장비를 대상으로 원격 엔지니어링(remote engineering)을 수행한다. 이때, 원격 서버(2)는 소정의 장비에 에러가 발생하면, 에러 해결을 위해 원격 엔지니어링을 수행할 수 있다. 다른 예로, 작업 현장의 각 장비를 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 해당 장비에 대한 에러를 처리하기 위해 원격 엔지니어링을 수행할 수 있다. 원격 엔지니어링의 예로는 영상통화, 채팅, 원격화면 공유, 원격제어 등이 있다. 원격 가이던스 장치(3)를 통해 제공되는 증강현실 기반 작업 가이던스 정보를 통해 작업자가 문제를 해결하지 못하는 경우, 원격 가이던스 장치(3)는 원격 서버(2)와 연결하여, 전문가로부터 원격 제어를 지원받을 수 있다. 원격 서버(2)는 확장성을 고려하여 클라우드 플랫폼을 기반으로 설계될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 원격 가이던스의 개념도이다.
도 2를 참조하면, 원격 가이던스 시스템은 원격 가이던스 장치(3)의 증강현실 기반 영상분석과 원격 서버(2)의 기계학습을 이용하여 현재영상 내 작업대상이 되는 객체를 인식한다. 이를 위해, 원격 가이던스 장치(3)는 촬영된 현재영상을 원격 서버(2)와 공유한다. 원격 서버(2)는 사전에 기계학습을 통해 축적된 학습 데이터를 이용하여 현재영상 내 객체를 인식한다. 기계학습 기반 객체 인식결과는 원격 가이던스 장치(3)에 전송되는데, 인식된 객체 식별자(ID)가 포함될 수 있다. 예를 들어, 원격 서버(2)는 현재영상에서 기계학습을 통해 인식된 객체 식별자인 ID1: 전력반 커버, ID2: 브레이커, ID3: 파워서플라이를 원격 가이던스 장치(3)에 전송한다. 원격 가이던스 장치(3)는 증강현실 기반 영상분석을 통해 현재영상 내에서 객체의 윤곽선을 인식하며, 원격 서버(2)의 기계학습 기반 객체 인식결과를 증강현실 기반 인식결과에 반영하여 객체인식의 정확도를 높인다.
원격 가이던스 장치(3)는 인식된 객체를 포함한 현재영상에 작업 가이던스 정보를 결합하여 AR 매뉴얼을 화면에 표시한다. 예를 들어, 도 2에 도시된 바와 같이, 전력반 내 파워서플라이의 전력공급에 문제가 발생하면, 원격 가이던스 장치 화면에는 "전력반의 파워서플라이의 파워가 역치값을 넘었으므로 파워를 줄여야 한다" 라는 경고 메시지와 같은 상태정보(102)가 표시된다. 그리고 문제가 발생한 전력반 커버를 대상으로 블록 형태 등의 식별자와 같은 식별정보(100)를 화면에 표시하여 작업자에게 전력반 커버가 작업대상임을 인식시킨다. 식별정보(100)는 작업 매뉴얼에 따라 그 대상이 변경될 수 있다.
또한, 화면에는 작업 매뉴얼(104)이 함께 표시한다. 예를 들어, "1. 전력반 커버를 연다. 2. 브레이커를 내린다. 3. 파워서플라이를 교체한다. 4. 브레이커를 올린다."와 같이 작업순서에 따라 미리 설정된 작업 매뉴얼이 화면에 표시된다. "1. 전력반 커버를 연다."에서는 현재영상 내 전력반 커버의 손잡이가 점선 등으로 식별 가능하게 표시될 수 있다. "2. 브레이커를 내린다."에서는 현재영상 내 브레이커가 점선 등으로 식별 가능하게 표시될 수 있다. " 3. 파워서플라이를 교체한다."에서는 현재영상 내 파워서플라이가 점선 등으로 식별 가능하게 표시될 수 있다.
전술한 작업 가이던스 정보는 미리 정의된 템플릿에 기초하여 작업 매뉴얼에 따라 동적으로 편집 가능한 스크립팅 툴(106)을 통해 미리 제작될 수 있다. 작업자가 증강현실 기반 작업 가이던스 정보를 이용하여 문제를 해결하지 못하는 경우, 원격 가이던스 장치(3)는 원격 서버(2)와 네트워크 연결되어 전문가로부터 원격관리(108)를 통해 원격 엔지니어링을 지원받을 수 있다. 원격 엔지니어링은 영상통화, 채팅, 원격화면 공유, 원격제어 등을 포함한다.
도 3은 본 발명의 다른 실시 예에 따른 원격 가이던스의 개념도이다.
도 3을 참조하면, 작업 대상이 엔진(engine)인 경우, 원격 서버(2)는 기계학습 기반 객체 인식결과를 원격 가이던스 장치(3)에 전송한다. 예를 들어, 원격 서버(2)는 현재영상에서 기계학습을 통해 인식된 객체 식별자인 ID1: 라디에이터 팬, ID2: 타이밍 벨트, ID3: 점화 플러그를 원격 가이던스 장치(3)에 전송한다. 원격 가이던스 장치(3)는 증강현실 기반 영상분석을 통해 현재영상 내에서 객체의 윤곽선을 인식하며, 원격 서버(2)의 기계학습 기반 객체 인식결과를 증강현실 기반 인식결과에 반영하여 객체인식의 정확도를 높인다.
원격 가이던스 장치(3)는 인식된 객체를 포함한 현재영상에 작업 가이던스 정보를 결합하여 AR 매뉴얼을 화면에 표시한다. 예를 들어, 도 3에 도시된 바와 같이, 엔진에 문제가 발생하면, 엔진을 대상으로 점선의 네모 형태 등의 식별자와 같은 식별정보(100)를 화면에 표시하여 작업자에게 엔진이 작업대상임을 인식시킨다. 식별정보(100)는 작업 매뉴얼에 따라 그 대상이 변경될 수 있다.
화면에는 작업 매뉴얼(104)이 함께 표시한다. 예를 들어, "1. 본넷을 연다. 2. 타이밍 벨트 장력을 확인한다. 3. 라디에이터 팬 회전을 확인한다. 4. 점화 플러그를 확인한다."와 같이 작업순서에 따라 미리 설정된 작업 매뉴얼이 화면에 표시된다. 작업자가 본넷을 연 후에는, 현재영상 내 타이밍 벨트가 점선 등으로 식별 가능하게 표시될 수 있다. 작업자가 타이밍 벨트의 장력을 확인한 후에는, 현재영상 내 라디에이터가 점선 등으로 식별 가능하게 표시될 수 있다. 작업자가 라디에이터 팬 회전을 확인한 후에는, 현재영상 내 점화 플러그가 점선 등으로 식별 가능하게 표시될 수 있다.
전술한 작업 가이던스 정보는 미리 정의된 템플릿에 기초하여 작업 매뉴얼에 따라 동적으로 편집 가능한 스크립팅 툴(106)을 통해 미리 제작될 수 있다. 예를 들어, 원격 가이던스 장치(3)는 데스크톱과 같은 사용자 단말(4)을 통해 사용자가 스크립팅 툴(106)을 이용하여 작업 매뉴얼에 따라 작업 가이던스 정보를 제작할 수 있다. 스크립팅 툴(106)은 사용자가 증강현실 기반 작업 가이던스 정보를 쉽게 제작하기 위한 도구로서, 추가적인 AR 매뉴얼 제작비용 없이도 제작이 가능하도록 한다. 스크립팅 툴(106)을 제공할 때 분야별로 적용샘플이 될 수 있는 다수의 템플릿을 제공할 수 있다. 사용자는 소규모 사업자 및 장비 공급자들일 수 있다. 예를 들어, 사용자는 원격 가이던스 장치(3)를 가지고 스크립팅 툴에 기본으로 제공되는 템플릿을 이용하여 증강현실 기반 작업 가이던스 정보를 쉽게 제작한다. 원격 가이던스 장치(3)는 이런 방식으로 제작된 증강현실 기반 작업 가이던스 정보를 입력받아 이를 AR 매뉴얼 생성에 사용할 수 있다. 템플릿에는 가상 제어 영역을 도식화한 템플릿 도면(40)이 제어 화면에 표시될 수 있다. 템플릿 도면에는 가상도구를 나타내는 그래픽 오브젝트가 배치될 수 있다.
작업자가 증강현실 기반 작업 가이던스 정보를 이용하여 문제를 해결하지 못하는 경우, 원격 서버(2)와 네트워크 연결되어 전문가로부터 원격관리(108)를 통해 원격 엔지니어링을 지원받을 수 있다. 원격 엔지니어링은 영상통화, 채팅, 원격화면 공유, 원격제어 등을 포함한다.
도 4는 본 발명의 일 실시 예에 따른 원격 가이던스 장치의 구성도이다.
도 1 및 도 4를 참조하면, 원격 가이던스 장치(3)는 입력부(31), 제어부(32), 출력부(33), 통신부(34) 및 메모리(35)를 포함한다.
입력부(31)는 작업자의 현재 시점에서 작업현장을 실시간으로 촬영한 현재영상을 포함하는 영상 데이터를 입력받고, 필요 시 사용자 조작신호를 입력받는다. 사용자 조작신호는 사용자의 화면 터치 신호, 키(key) 입력신호, 음성신호 및 생체 신호 중 적어도 하나를 포함할 수 있다. 입력부(31)는 영상 데이터, 사용자 조작신호를 입력받아 이를 제어부(32)에 전달한다.
일 실시 예에 따른 입력부(31)는 영상 입력부(310), 터치 입력부(312), 음성 입력부(314) 및 생체 입력부(316)를 포함한다. 영상 입력부(310)는 실시간으로 작업현장을 촬영한 영상을 입력받는다. 터치 입력부(312)는 사용자로부터 화면 터치 신호를 입력받는다. 음성 입력부(314)는 사용자로부터 음성을 입력받는 마이크를 구비하여 음성신호를 입력받는다. 생체 입력부(316)는 사용자를 대상으로 촬영된 생체 이미지를 입력받는다. 영상 입력부(310) 및 생체 입력부(316)는 카메라, 영상센서 등으로부터 영상을 입력받을 수 있다.
출력부(33)는 제어부(32)를 통해 처리된 정보를 출력한다. 일 실시 예에 따른 출력부(33)는 제어부(32)를 통해 생성된 AR 매뉴얼을 출력한다. 출력의 예로는 화면에 영상을 표시할 수 있고, 스피커를 통해 음성을 출력할 수도 있다.
일 실시 예에 따른 출력부(33)는 프로세스 마커를 화면에 표시한다. 프로세스 마커는, 다수의 작업 단계로 구성된 AR 매뉴얼을 대상으로 각 작업 단계 식별자가 일렬로 정렬되고 적어도 하나의 작업 단계 식별자에 마커가 기록된다. AR 매뉴얼이 다수 개이면, 각 AR 매뉴얼을 일련번호로 구분하여 표시한다. 프로세스 마커의 실시 예는 도 10을 참조로 하여 후술한다.
통신부(34)는 원격 서버(2)와 네트워크 연결되어, 유무선 통신을 수행한다. 통신부(34)는 원격 서버(2)와 상호 작용하여 네트워크의 항상성 유지를 담당한다. 원격 가이던스 장치(3)는 통신부(34)를 통해 원격 서버(2)와 전용의 네트워크를 통해 연결되거나 인터넷 등의 범용 네트워크를 통해 연결될 수 있다.
일 실시 예에 따른 통신부(34)는 원격 서버(2)에 작업 매뉴얼을 요청하여 수신한다. 통신부(34)는 원격 서버(2)로부터 작업명령을 수신함에 따라 작업 가이던스를 시작할 수 있다. 예를 들어, 원격 서버(2)가 작업 현장 내 장비들을 모니터링하고 있다가 에러가 발생하거나 에러가 발생할 가능성이 있는 장비를 검출하면 해당 장비에 대한 작업 요청명령을 원격 가이던스 장치(3)에 전송하여 작업자에게 알린다.
일 실시 예에 따른 통신부(34)는 영상 입력부(30)를 통해 획득된 현재영상을 원격 서버(2)에 전송하여 공유한다. 그리고 원격 가이던스 장치(3)의 증강현실 기반 영상분석을 통해 인식된 객체정보를 원격 서버에 전송하며, 원격 서버(2)로부터 기계학습을 통해 인식된 객체정보를 수신할 수 있다.
일 실시 예에 따른 통신부(34)는 근거리 무선통신을 지원한다. 예를 들어, 통신부(34)는 근거리 무선통신(Near Field Communication: NFC, 이하 NFC라 칭함), 알에프아이디(radio frequency identification: RFID, 이하 RFID라 칭함), 마그네틱 소스 전송(Magnetic Source Transmission, 이하 MST라 칭함) 등을 지원한다. 통신부(34)는 수~수십 MHz 주파수 대역에서 근거리 무선통신을 수행하여 무선신호를 송수신할 수 있다. 작업대상, 예를 들어 작업장비에 주요 작업단계가 기록된 프로세스 마커가 구비, 예를 들어 부착되어 있는 경우, 통신부(34)는 프로세스 마커와의 근거리 무선통신을 통해 무선신호를 송수신하게 된다.
메모리(35)는 데이터를 저장한다. 데이터는 작업 현장의 장비들의 고유정보, 위치정보, 장비들의 도면, 작업 매뉴얼 정보, 장비 내 부품정보, 작업 스케줄 정보 등일 수 있다. 이러한 정보는 원격 서버(2)로부터 다운로드 받아 저장될 수도 있고, 입력부(31)를 통해 사용자로부터 입력받을 수도 있다. 메모리(35)는 하드디스크(Hard Disk), 플래시 메모리(Flash Memory)와 같은 내장형 메모리뿐만 아니라, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC 카드(Multi-Media Card), 또는 메모리 스틱(Memory Stick) 등과 같은 이동시 메모리로서 원격 가이던스 장치(3)의 내부에 구현될 수 있고, 별도의 장치에 구비되어 있을 수도 있다.
제어부(32)는 전술한 각 구성의 동작을 제어한다. 일 실시 예에 따른 제어부(32)는 영상 입력부(30)를 통해 획득된 현재상황 영상을 대상으로 객체 인식, 트래킹 및 렌더링을 반복적으로 수행한다. 예를 들어, 현재영상에서 작업대상을 인식하고 인식된 작업대상을 트래킹하면서 작업대상에 대한 작업을 돕기 위한 가상의 작업 가이던스 정보를 현재영상에 정합한 후 렌더링하거나, 가상의 작업 가이던스 정보를 렌더링한 후 현재영상에 정합하여 AR 매뉴얼을 생성한다. 일 실시 예에 따른 제어부(32)는 원격 서버(2)의 원격제어를 위한 명령을 처리한다. 예를 들어, 원격 가이던스 장치(3) 화면을 원격 서버(2)에 공유한다.
일 실시 예에 따른 제어부(32)는 객체 인식을 위해 증강현실 기반 영상분석과 학습 데이터 기반 기계학습을 이용한다. 영상분석은 획득된 현재영상 내에서 객체를 인식하는 일반적인 알고리즘을 사용할 수 있다. 예를 들어, 영상 내 점 군 정보(Point Cloud), 깊이 정보, 컬러 정보 등을 이용하여 객체를 인식한다. 영상분석 기반 객체 인식은 이미 공지된 기술이므로 상세한 설명은 생략한다. 이때, 영상 처리, 예를 들어, 영상에 대한 이진화, 에지 블랜딩(edge blending), 마스킹(masking) 등을 처리하여 객체 인식률을 높일 수 있다.
기계학습은 인공지능(Artificial Intelligence)에서 사용되는 방식 중 하나로서, 수많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하여 학습시키는 기술이다. 예를 들어, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. 기계학습을 통해 축적된 학습 데이터를 이용하여 영상 내 객체를 인식할 수 있다. 제어부(32)는 이러한 기계학습을 이용한 객체 인식을 증강현실 기반 영상분석의 보조수단으로 활용함에 따라 객체인식의 정확성을 높이고자 한다. 기계학습은 SVM(Support Vector Machines), 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다.
일 실시 예에 따른 제어부(32)는 사용자 조작신호에 따라 AR 매뉴얼을 구성하는 다수의 작업 단계 중에서 사용자 조작에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공한다. 이때, 사용자 조작신호는 사용자의 화면 터치 신호, 음성신호, 영상 신호, 생체 신호 등이 있다. 사용자 조작에 대응되는 작업 단계로의 접근은, 현재 작업 단계를 기준으로 역방향으로의 작업 단계 이동, 순방향으로의 작업 단계 이동, 현재 작업 단계의 반복, 처음 작업 단계로의 이동, 다른 증강현실 매뉴얼로의 이동 등을 포함한다. 제어부(32)의 세부 구성은 도 5를 참조로 하여 후술한다.
원격 가이던스 장치(3)가 원격 서버(2)와 연결되는 경우, 원격 가이던스 장치(3)는 원격 서버(2)로부터 수신된 제어명령을 수행하는 에이전트(Agent)가 된다. 원격 가이던스 장치(3)는 원격 가이던스를 위해 애플리케이션(App)을 실행할 수 있다. 이때, 서로 상이한 OS, 예를 들어, 안드로이드, iOS, 윈도우 등 각종 OS를 모두 지원할 수 있는 형태를 가진다.
도 5는 본 발명의 일 실시 예에 따른 도 4의 제어부의 세부 구성도이다.
도 1, 도 4 및 도 5를 참조하면, 제어부(32)는 신호 처리부(320), 원격제어 처리부(324) 및 디바이스 제어부(326)를 포함한다. 신호 처리부(320)는 영상 인식부(3200), 터치 인식부(3202), 음성 인식부(3204), 생채 인식부(3206) 및 무선신호 인식부(3208)를 포함할 수 있다.
영상 인식부(3200)는 현재영상에 대한 증강현실 기반 영상분석과 필요 시 학습 데이터를 이용한 기계학습을 이용하여 현재영상에서 객체를 인식한다. 예를 들어, 영상 인식부(3200)는 증강현실 기반 객체 인식결과에 통신부(34)를 통해 수신된 원격 서버(2)의 기계학습 기반 객체 인식결과를 반영하여 객체 인식 정확도를 높인다. 영상 인식부(3200)는 인식된 객체의 움직임을 트래킹한다. 카메라를 통해 포착된 현재영상은 고정된 것이 아니라 작업자의 움직임 등으로 인해 계속 움직이므로, 영상 인식부(3200)는 현재영상 내에서 인식된 객체의 움직임을 계속 따라가는 작업을 수행한다. 이어서, 영상 인식부(3200)는 실제환경과 가상환경 간의 상호작용을 계산하고 계산결과를 반영하여 AR 매뉴얼을 생성한다. AR 매뉴얼은 실제환경에 가상환경이 결합한 것이다.
일 실시 예에 따른 영상 인식부(3200)는 실제객체와 가상객체와의 상호작용을 계산하고 계산결과를 반영하여 현재영상에 가상객체를 결합한 후 렌더링하거나, 가상객체를 렌더링한 후 이를 현재영상에 결합하여 AR 매뉴얼을 생성한다. 이때, 현재영상에서 작업 가이던스 정보를 표현할 가상객체 위치를 선정하고 선정된 가상객체 위치에 작업 매뉴얼에 맞게 작업 가이던스 정보를 배치할 수 있다.
일 실시 예에 따른 영상 인식부(3200)는 미리 정의된 템플릿에 기초하여 작업 매뉴얼에 따라 동적으로 가공할 수 있는 스크립팅 툴을 통해 미리 제작된 작업 가이던스 정보를 입력받아 이를 AR 매뉴얼 생성에 사용한다. 영상 인식부(3200)를 통해 생성된 AR 매뉴얼은 출력부(33)에 제공된다.
터치 인식부(3202), 음성 인식부(3204), 생채 인식부(3206) 및 무선신호 인식부(3208)는 하이퍼모션 단계 처리를 위한 모듈이다.
터치 입력부(312)가 사용자로부터 화면 터치 신호를 입력받으면, 터치 인식부(3202)는 화면에 표시된 프로세스 마커를 대상으로 터치 입력부로부터 사용자 터치 신호를 수신하여 사용자 터치를 인식하고 AR 매뉴얼을 구성하는 다수의 작업 단계 중에서 인식된 터치에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공한다.
음성 인식부(3204)는 AR 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 음성인식 부호를 할당한다. 음성 입력부(314)가 마이크를 통해 사용자로부터 음성을 입력받으면, 음성 인식부(3204)는 음성 입력부(314)로부터 사용자 음성신호를 수신하여 사용자 음성을 인식하고 다수의 작업 단계 중에서 인식된 음성에 대응되는 음성인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공한다.
생체 인식부(3206)는 AR 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 생체인식 부호를 할당한다. 생체 입력부(316)가 사용자를 대상으로 촬영된 생체 이미지를 입력받으면, 생체 인식부(3206)는 생체 입력부(316)로부터 사용자 생체 이미지를 수신하여 사용자의 얼굴 및 신체를 감지하고 감지된 얼굴 및 신체정보에서 표정 또는 모션을 인식하며 다수의 작업 단계 중에서 인식된 표정 또는 모션에 대응되는 생체인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공한다. 사용자의 얼굴 및 신체 감지는 사용자의 눈 깜박임, 홍채, 지문, 손을 흔드는 동작과 같은 손의 움직임, 손가락 두 개를 펴는 동작과 같은 손가락 모양, 고개를 끄덕이는 것과 같은 머리의 움직임 등이 있을 수 있다.
무선신호 인식부(3208)는 통신부(34)로부터 수신된 무선신호에 의해 작업대상, 예를 들어 작업장비에 구비된 프로세스 마커를 인식한다. 프로세스 마커에는 작업대상에 대한 주요 작업 단계가 기록되어 있으므로, 인식된 프로세스 마커에 기록된 주요 작업 단계를 쉽게 파악할 수 있다. 나아가, 파악된 주요 작업 단계 중에 사용자 조작에 의해 사용자가 원하는 작업 단계로 접근하여 해당 작업 단계 화면을 제공할 수 있다. 무선통신은 NFC, RFID, MST 등을 이용할 수 있다.
원격제어 처리부(324)는 원격 서버(2)에 원격제어를 요청하고 원격 서버(2)의 제어에 따라 원격으로 화면을 공유한다. 디바이스 제어부(326)는 원격 서버(2)의 제어요청을 처리한다.
도 6은 본 발명의 일 실시 예에 따른 도 4의 출력부의 세부 구성도이다.
도 6을 참조하면, 출력부(33)는 식별자 표시부(330), 상태 표시부(332), 작업 매뉴얼 표시부(334), 작업도구 표시부(336) 및 프로세스 마커 표시부(338)를 포함한다.
식별자 표시부(330)는 작업대상을 식별하기 위한 가상객체를 화면에 표시한다. 예를 들어, 화살표, 선, 블록 등의 식별자를 화면에 표시한다. 이때, 작업대상은 작업 매뉴얼에 맞게 변경될 수 있다. 실시간으로 촬영되는 실제화면은 계속 움직이므로 식별자 역시 움직이는 작업대상에 맞게 이동한다. 식별자 표시부(330)는 작업대상의 위치를 알려줄 수도 있다. 예를 들어, 손 모양 등으로 작업이 필요한 부품을 가리킨다.
상태 표시부(332)는 작업대상의 제어 상태, 고장 상태, 동작 상태, 시간정보, 장비 내 작업이 필요한 제어 파라미터 등 장비에 관한 각종 상태정보를 표시한다. 이때, 작업대상의 품번, 수명주기, 최근 교체 내역, 고장 내역 등을 포함하는 세부설명이 화면에 표시될 수 있다. 제어 파라미터의 예를 들면, 장비가 공기 조화기인 경우, 제어 파라미터는 목표 온도(또는 설정 온도), 상한 온도, 하한 온도, 풍량, 운전, 정지 여부 등이 될 수 있다. 장비가 조명 설비인 경우, 제어 파라미터는 조명 밝기 등이 될 수 있다. 상태 표시부(332)는 작업이 필요한 장비를 대상으로 자동으로 상태정보를 표시할 수 있지만, 작업자의 요청에 따라 상태정보를 표시할 수도 있다. 예를 들어, 작업자가 화면 내에서 소정의 장비를 선택하면, 선택된 장비에 대한 각종 상태정보를 화면에 표시할 수 있다.
작업 매뉴얼 표시부(334)는 순차적인 작업 매뉴얼을 알려주기 위한 가상객체를 화면에 표시한다. 이때, 작업 매뉴얼에 맞게 작업이 필요한 장비 또는 장비 내 부품을 식별자 표시부(330)를 통해 함께 작업자에 알려줄 수 있다. 작업도구 표시부(336)는 작업에 필요한 도구를 알려주기 위한 가상객체를 화면에 표시한다. 작업도구는 예를 들어, 망치, 드라이버, 손 등이 있다.
프로세스 마커 표시부(338)는 다수의 작업 단계로 구성된 AR 매뉴얼을 대상으로 단계 상태를 파악할 수 있도록 는 프로세스 마커를 화면에 표시한다. 프로세스 마커는 AR 매뉴얼 별 식별자 정보와, AR 매뉴얼 내 각 작업 단계 별 식별자 정보와, 사용자가 원하는 작업 단계로의 접근을 위해 현재 작업 단계를 기준으로 적어도 하나의 작업 단계 식별자에 할당되는 마커 정보를 포함한다.
음성인식의 경우, 프로세스 마커 표시부(338)는 AR 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 음성인식 부호를 할당한다. 생체인식의 경우, 프로세스 마커 표시부(338)는 AR 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 생체인식 부호를 할당한다.
도 7은 본 발명의 일 실시 예에 따른 원격 서버의 구성도이다.
도 1 및 도 7을 참조하면, 원격 서버(2)는 인증 관리부(Verification Management Module: VMM)(20), 모니터링부(Monitoring Screen Module: MSM)(21), 네트워크 연결부(Network Handling Module: NHM)(22), 원격 제어부(Remote Access & Control Module: RCM)(23), 데이터 처리부(Data Processing Module: DPM)(24), 클라이언트 관리부(Device & App Monitoring Module: DMM)(25), 프로토콜 처리부(Messaging Protocol Stack: MPS)(26) 및 데이터 분석부(Bigdata Statistics Engine: BSE)(27)를 포함한다. 원격 서버(2)는 확장성을 고려하여 클라우드 플랫폼 기반으로 설계될 수 있다.
인증 관리부(20)는 요청받은 작업자의 사용자 정보의 유효성을 검증하며 필요에 따라 원격 서버(2)로 수신되는 요구사항의 주체가 누구인지를 인증한다. 모니터링부(21)는 원격에 있는 작업자의 원격 가이던스 장치(3) 화면을 모니터링한다. 이때, 기술자 및 관리자의 단말을 통해 모니터링하거나 조작을 돕는 기능을 제공한다.
네트워크 연결부(22)는 네트워크의 종류와 관계없이 네트워크 연결의 항상성을 유지한다. 네트워크 연결부(22)는 작업자의 원격 가이던스 장치(3)과 정보를 송수신한다. 예를 들어, 네트워크 연결부(22)는 원격 가이던스 장치(3)로부터 현재영상을 수신하여 공유하고, 원격 가이던스 장치(3)의 증강현실에 기반한 영상분석을 통해 인식된 객체정보를 수신하며, 기계학습 기반 객체 인식결과를 원격 가이던스 장치(3)에 전송한다. 원격 제어부(23)는 원격 가이던스 장치(3)로부터 원격제어 요청을 수신하면 원격 가이던스 장치(3)의 화면을 공유하며, 원격 제어명령을 원격 가이던스 장치(3)에 전송한다. 이때, 필요한 프로세스 조정 기능을 제공한다.
데이터 처리부(24)는 네트워크 연결부(22)를 통해 원격 가이던스 장치(3)로부터 수신된 현재영상을 대상으로 학습 데이터에 기반하여 기계학습을 통해 객체를 인식한다. 클라이언트 관리부(25)는 클라이언트의 상태를 확인하고 클라이언트가 정상적으로 작동하는지 작동하지 않으면 어떤 문제가 있는지 파악 후 처리한다. 클라이언트는 작업자가 소지한 사용자 단말, 원격 가이던스 장치(3)에서 실행되는 애플리케이션, 작업 현장 내 각종 장비일 수 있다. 원격 가이던스 장치(3)는 작업자에 의해 촬영된 현재영상에 증강현실 기반 작업 가이던스 정보를 결합하여 제공한다. 일 실시 예에 따른 클라이언트 관리부(25)는 작업 현장 내 장비들을 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 해당 장비에 대한 에러를 처리하기 위한 작업 명령을 생성한다. 생성된 작업 명령은 네트워크 연결부(22)를 통해 작업자의 원격 가이던스 장치(3)에 전송된다.
프로토콜 처리부(26)는 클라이언트의 정상신호를 수신하여 파싱하고 이를 처리하기 위한 통신규약을 구현해주는 소프트웨어 모듈이다. 데이터 분석부(27)는 다수의 클라이언트에 대한 이상징후를 파악하여 안정된 서비스를 할 수 있도록 클라이언트로부터 수신된 데이터를 분석한다. 이때, 분석된 데이터를 미리 설정된 역치 값과 비교하여 이상징후를 파악할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 원격 가이던스 방법을 도시한 흐름도이다.
도 8을 참조하면, 원격 가이던스 장치는 작업자의 현재 시점에서 작업현장을 실시간으로 촬영한 현재영상을 획득(800)하여 획득된 현재영상에서 작업대상을 인식하고 인식된 작업대상을 트래킹한다(810). 이어서, 트래킹된 작업대상에 대해 작업자의 작업을 가이드하기 위한 작업 매뉴얼을 획득한다(820). 트래킹된 작업대상을 포함한 현재영상에, 수신된 가상의 작업 매뉴얼을 정합하여 AR 매뉴얼을 사용자에 제공한다(830). 이어서, 사용자 조작신호를 수신하여 사용자 조작을 인식하고 AR 매뉴얼을 구성하는 다수의 작업 단계 중에서 인식된 사용자 조작에 대응되는 작업 단계로 접근하여 해당하는 작업 단계 화면을 제공한다(840).
작업 단계 접근 및 제공 단계(840)에서. 일 실시 예에 따른 원격 가이던스 장치는 화면에 표시된 프로세스 마커를 대상으로 사용자로부터 터치 신호를 입력받아 사용자 터치를 인식하고 AR 매뉴얼을 구성하는 다수의 작업 단계 중에서 인식된 터치에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공한다. AR 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 음성인식 부호를 할당하는 단계를 더 포함한다. 이 경우, 사용자로부터 음성신호를 입력받아 사용자 음성을 인식하고 다수의 작업 단계 중에서 인식된 음성에 대응되는 음성인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공할 수 있다.
작업 단계 접근 및 제공 단계(840)에서, 일 실시 예에 따른 원격 가이던스 장치는 다수의 작업 단계로 구성된 AR 매뉴얼을 대상으로 단계 상태를 파악할 수 있는 프로세스 마커를 화면에 표시한다. 프로세스 마커는 AR 매뉴얼 별 식별자 정보와, AR 매뉴얼 내 각 작업 단계 별 식별자 정보와, 사용자가 원하는 작업 단계로의 접근을 위해 현재 작업 단계를 기준으로 적어도 하나의 작업 단계 식별자에 할당되는 마커 정보를 포함한다.
작업 단계 접근 및 제공 단계(840)에서, 일 실시 예에 따른 원격 가이던스 장치는 AR 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 생체인식 부호를 할당한다. 그리고 사용자를 대상으로 촬영된 생체 이미지를 입력받아 사용자의 얼굴 및 신체를 감지하고 감지된 얼굴 및 신체정보에서 표정 및 모션을 인식하며 다수의 작업 단계 중에서 인식된 표정 또는 모션에 대응되는 생체인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공할 수 있다.
일 실시 예에 따른 원격 가이던스 장치는 작업대상에 구비된 프로세스 마커와 근거리 무선통신하여 수신된 무선신호에 의해 프로세스 마커를 인식하고 인식된 프로세스 마커에 기록된 작업 단계를 파악할 수 있다. 나아가, 파악된 주요 작업 단계 중에 사용자 조작에 의해 사용자가 원하는 작업 단계로 접근하여 해당 작업 단계 화면을 제공할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 원격 가이던스 장치가 원격 서버에 AR 매뉴얼을 요청하여 수신하는 프로세스를 도시한 도면이다.
도 9를 참조하면, 원격 가이던스 장치(3)는 원격 서버(2)에 AR 매뉴얼을 요청하여 수신한다. AR 매뉴얼은 일련번호로 구분될 수 있다. 예를 들어, 원격 가이던스 장치(3)가 원격 서버(2)로부터 AR 매뉴얼 1001을 다운로드 받아(900) 화면에 AR 매뉴얼 1001을 표시한다. 각 AR 매뉴얼은 다수의 작업 단계로 나눠질 수 있는데, AR 매뉴얼 1001은 10단계로 나누어진다. 이어서, 원격 가이던스 장치(3)는 원격 서버(2)에 AR 매뉴얼 1002를 요청(910)하여 원격 서버(2)로부터 AR 매뉴얼 1002를 다운로드 받고(920) AR 매뉴얼 1001에 이어서 AR 매뉴얼 1002를 화면에 표시한다.
도 10은 본 발명의 일 실시 예에 따른 음성인식 부호를 이용한 음성인식을 통해 작업단계의 이동을 보여주는 도면이다.
도 10을 참조하면, 일 실시 예에 따른 원격 가이던스 장치(3)는 다단계 조작이 필요한 경우 단계 상태를 파악할 수 있는 프로세스 마커를 이용한다. 프로세스 마커는 AR 매뉴얼의 각 작업 단계 식별자가 일렬로 정렬되고 적어도 하나의 작업 단계 식별자에 마커가 기록된 것으로, 화면에 표시된다. AR 매뉴얼이 다수 개인 경우 각 AR 매뉴얼을 일련번호로 구분하여 표시할 수 있다.
프로세스 마커를 이용하면 현재 작업 단계를 기준으로 역방향(backward) 또는 순방향(forward)으로 사용자가 원하는 위치까지 신속하게 이동할 수 있어서 작업을 용이하게 처리할 수 있다. 예를 들어, 작업 단계 식별자들에 5개 또는 10개 단위의 규칙적인 마커를 기록하고 사용자가 마커를 이용하여 원하는 작업 단계로 이동하도록 처리한다. 원하는 전후 작업 단계로의 이동뿐만 아니라, 현재 작업 단계의 반복 처리도 가능하다.
AR 매뉴얼은 원격 서버(2)에서 AR 매뉴얼의 순번에 따라 분리되어 원격 가이던스 장치(3)가 필요 시 원격 서버(2)에 요청하여 다운로드 받을 수 있다. AR 매뉴얼이 다수 개이면, 이를 1001, 1002, 1003 등의 일련번호로 구분할 수 있으며, 일련번호 안에 작업 단계가 20단계, 10단계 등으로 구분될 수 있다.
사용자 터치 등을 통해 접근하려면 필연적인 흔들림이 동반되고 마커를 통해 소정의 작업 단계로 점프할 수는 있으나 디스플레이에 포착한 장비나 부속에 대한 트래킹 및 기계학습이 다시 진행되어야 하므로 신속한 처리를 방해한다. 이를 보완하기 위해 중요한 작업 단계에 음성인식 또는 생체인식 부호를 할당하여 작업자의 작업을 보존하며 신속한 반응을 얻을 수 있도록 한다. 음성인식 또는 생체인식 부호는 해당 부호에 식별자 정보 및 위치정보가 할당된다.
음성인식 부호를 이용한 작업 단계 접근의 예를 들면, 현재 제공 중인 작업단계(Present Marker)와, 현재 작업 단계(Present Marker)를 기준으로 이전 및 이후의 주요 단계(Marker 1, Marker 2, Marker 4)를 마커로 표시한다. 이때, 인식된 사용자 음성이 "1001 다시!"이면, AR 매뉴얼 1001의 마커 1 위치에 해당하는 음성인식 부호가 할당된 처음 작업 단계로 이동하여 제공한다. 수신된 사용자 음성이 "뒤로!"이면, 현재 작업 단계를 기준으로 뒤에 표시된 마커 2 위치에 해당하는 음성인식 부호가 할당된 작업 단계로 이동하여 제공한다. 수신된 사용자 음성이 "앞으로!"이면, 현재 작업 단계를 기준으로 앞에 표시된 마커 4 위치에 해당하는 음성인식 부호가 할당된 작업 단계로 이동하여 제공한다. 수신된 사용자 음성이 "AR 매뉴얼 1001로!"이면, AR 매뉴얼 1001의 마커 1 위치에 해당하는 음성인식 부호가 할당된 작업 단계로 이동하여 제공한다. 수신된 사용자 음성이 "1002 다시!"이면, AR 매뉴얼 1002의 마커 5 위치에 해당하는 음성인식 부호가 할당된 작업 단계로 이동하여 제공한다.
생체인식 부호를 이용한 작업 단계 접근의 예를 들면, 인식된 사용자 생체신호가 "눈 깜빡임 연속 3회"이면, "처음부터 다시"를 의도하는 것으로, 처음 위치에 해당하는 생체인식 부호가 할당된 작업 단계로 이동하여 제공한다. 인식된 사용자 생체신호가 "고개 끄덕임"이면, "다음"을 의도하는 것으로, 다음 위치에 해당하는 생체인식 부호가 할당된 작업 단계로 이동하여 제공한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (16)
- 사용자 단말에 구비되는 원격 가이던스 장치에 있어서,
작업자의 현장상황을 촬영한 현재영상을 입력받는 입력부;
입력부로부터 수신된 현재영상에서 작업대상을 인식하고 인식된 작업대상을 포함한 현재영상에 가상의 작업 매뉴얼을 정합하여 증강현실 매뉴얼을 제공하며, 사용자 조작신호에 따라 증강현실 매뉴얼을 구성하는 다수의 작업 단계 중에서 사용자 조작에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 제어부; 및
증강현실 매뉴얼 화면을 표시하는 출력부;
를 포함하는 것을 특징으로 하는 원격 가이던스 장치. - 제 1 항에 있어서,
사용자 조작신호는 사용자의 화면 터치 신호, 음성신호, 영상 신호 및 생체 신호 중 적어도 하나를 포함하는 것을 특징으로 하는 원격 가이던스 장치. - 제 1 항에 있어서,
사용자 조작에 대응되는 작업 단계로의 접근은, 현재 작업 단계를 기준으로 역방향으로의 작업 단계 이동, 순방향으로의 작업 단계 이동, 현재 작업 단계의 반복, 처음 작업 단계로의 이동 또는 다른 증강현실 매뉴얼로의 이동을 포함하는 것을 특징으로 하는 원격 가이던스 장치. - 제 1 항에 있어서, 출력부는
다수의 작업 단계로 구성된 증강현실 매뉴얼을 대상으로 단계 상태를 파악할 수 있는 프로세스 마커를 화면에 표시하고,
프로세스 마커는 증강현실 매뉴얼 별 식별자 정보와, 증강현실 매뉴얼 내 각 작업 단계 별 식별자 정보와, 사용자가 원하는 작업 단계로의 접근을 위해 현재 작업 단계를 기준으로 적어도 하나의 작업 단계 식별자에 할당되는 마커 정보를 포함하는 것을 특징으로 하는 원격 가이던스 장치. - 제 4 항에 있어서, 입력부는
사용자로부터 화면 터치 신호를 입력받는 터치 입력부; 를 포함하며,
제어부는
화면에 표시된 프로세스 마커를 대상으로 터치 입력부로부터 사용자 터치 신호를 수신하여 사용자 터치를 인식하고 증강현실 매뉴얼을 구성하는 다수의 작업 단계 중에서 인식된 터치에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 터치 인식부;
를 포함하는 것을 특징으로 하는 원격 가이던스 장치. - 제 1 항에 있어서, 입력부는
사용자로부터 음성신호를 입력받는 음성 입력부; 를 포함하며,
제어부는
증강현실 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 음성인식 부호를 할당하며,
음성 입력부로부터 사용자 음성신호를 수신하여 사용자 음성을 인식하고 다수의 작업 단계 중에서 인식된 음성에 대응되는 음성인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 음성 인식부;
를 포함하는 것을 특징으로 하는 원격 가이던스 장치. - 제 1 항에 있어서, 입력부는
사용자를 대상으로 촬영된 생체 이미지를 입력받는 생체 입력부; 를 포함하며
제어부는
증강현실 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 생체인식 부호를 할당하며,
생체 입력부로부터 사용자 생체 이미지를 수신하여 사용자의 얼굴 및 신체를 감지하고 감지된 얼굴 및 신체정보에서 표정 또는 모션을 인식하며 다수의 작업 단계 중에서 인식된 표정 또는 모션에 대응되는 생체인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 생체 인식부;
를 포함하는 것을 특징으로 하는 원격 가이던스 장치. - 제 1 항에 있어서, 입력부는
실시간으로 작업현장을 촬영한 현재상황 영상을 획득하는 영상 입력부; 를 포함하며,
제어부는
증강현실에 기반하여 현재영상에서 객체를 인식하고, 인식된 객체의 움직임을 트래킹하며, 트래킹되는 실제객체에 대해 증강현실 기반 작업 가이던스 정보에 해당하는 가상객체를 결합하여 렌더링하거나, 가상객체를 렌더링한 후 이를 실제객체에 결합하여 증강현실 매뉴얼을 생성하는 영상 인식부;
를 포함하는 것을 특징으로 하는 원격 가이던스 장치. - 제 8 항에 있어서, 원격 가이던스 장치는
원격 서버와 네트워크 연결되어 입력부를 통해 획득된 현재영상을 원격 서버에 전송하여 공유하고 원격 가이던스 장치의 증강현실 기반 영상분석을 통해 인식된 객체정보를 원격 서버에 전송하며 원격 서버로부터 기계학습을 통해 인식된 객체정보를 수신하는 통신부; 를 더 포함하며,
영상 인식부는
증강현실 기반 객체의 윤곽선 인식결과에 통신부로부터 수신된 원격 서버의 기계학습 기반 객체 인식결과를 반영하여 증강현실 기반 객체의 윤곽선 인식 시에 파악되지 못한 객체를 인식하는 것을 특징으로 하는 원격 가이던스 장치. - 제 1 항에 있어서, 원격 가이던스 장치는
작업대상에 구비된 프로세스 마커와 근거리 무선통신이 가능한 통신부; 를 더 포함하며,
제어부는
통신부로부터 수신된 무선신호에 의해 프로세스 마커를 인식하고 인식된 프로세스 마커에 기록된 작업 단계를 파악하며 파악된 작업 단계 중에 사용자 조작에 의해 사용자가 원하는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 무선신호 인식부;
를 포함하는 것을 특징으로 하는 원격 가이던스 장치. - 사용자 단말에 구비된 원격 가이던스 장치를 이용한 원격 가이던스 방법에 있어서, 원격 가이던스 장치가:
작업자의 현장상황을 촬영한 현재영상을 획득하여 현재영상에서 작업대상을 인식하고 인식된 작업대상을 트래킹하는 단계;
트래킹된 작업대상에 대해 작업자의 작업을 가이드하기 위한 작업 매뉴얼을 획득하는 단계;
트래킹된 작업대상을 포함한 현재영상에, 수신된 가상의 작업 매뉴얼을 정합하여 증강현실 매뉴얼을 제공하는 단계; 및
사용자 조작신호를 수신하여 사용자 조작을 인식하고 증강현실 매뉴얼을 구성하는 다수의 작업 단계 중에서 해당 작업 단계 화면을 제공하는 단계;
를 포함하는 것을 특징으로 하는 원격 가이던스 제공 방법. - 제 11 항에 있어서, 원격 가이던스 제공 방법은
다수의 작업 단계로 구성된 증강현실 매뉴얼을 대상으로 단계 상태를 파악할 수 있는 프로세스 마커를 화면에 표시하는 단계; 를 더 포함하며,
프로세스 마커는 증강현실 매뉴얼 별 식별자 정보와, 증강현실 매뉴얼 내 각 작업 단계 별 식별자 정보와, 사용자가 원하는 작업 단계로의 접근을 위해 현재 작업 단계를 기준으로 적어도 하나의 작업 단계 식별자에 할당되는 마커 정보를 포함하는 것을 특징으로 하는 원격 가이던스 제공 방법. - 제 12 항에 있어서, 해당 작업 단계 화면을 제공하는 단계는
화면에 표시된 프로세스 마커를 대상으로 사용자로부터 터치 신호를 입력받아 사용자 터치를 인식하고 증강현실 매뉴얼을 구성하는 다수의 작업 단계 중에서 인식된 터치에 대응되는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 것을 특징으로 하는 원격 가이던스 제공 방법. - 제 11 항에 있어서, 원격 가이던스 제공 방법은
증강현실 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 음성인식 부호를 할당하는 단계; 를 더 포함하며,
해당 작업 단계 화면을 제공하는 단계는
사용자로부터 음성신호를 입력받아 사용자 음성을 인식하고 다수의 작업 단계 중에서 인식된 음성에 대응되는 음성인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 것을 특징으로 하는 원격 가이던스 제공 방법. - 제 11 항에 있어서, 원격 가이던스 제공 방법은
증강현실 매뉴얼을 구성하는 작업 단계들에 식별자 정보와 위치정보를 가지는 생체인식 부호를 할당하는 단계; 를 더 포함하며,
해당 작업 단계 화면을 제공하는 단계는
사용자를 대상으로 촬영된 생체 이미지를 입력받아 사용자의 얼굴 및 신체를 감지하고 감지된 얼굴 및 신체정보에서 표정 및 모션을 인식하며 다수의 작업 단계 중에서 인식된 표정 또는 모션에 대응되는 생체인식 부호가 할당된 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 것을 특징으로 하는 원격 가이던스 제공 방법. - 제 11 항에 있어서, 원격 가이던스 제공 방법은
작업대상에 구비된 프로세스 마커와 근거리 무선통신하는 단계; 및
무선통신을 통해 수신된 무선신호에 의해 프로세스 마커를 인식하고 인식된 프로세스 마커에 기록된 작업 단계를 파악하며 파악된 작업 단계 중에 사용자 조작에 의해 사용자가 원하는 작업 단계로 접근하여 해당 작업 단계 화면을 제공하는 단계;
를 더 포함하는 것을 특징으로 하는 원격 가이던스 제공방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180148755A KR102132330B1 (ko) | 2018-11-27 | 2018-11-27 | 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180148755A KR102132330B1 (ko) | 2018-11-27 | 2018-11-27 | 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200068075A true KR20200068075A (ko) | 2020-06-15 |
| KR102132330B1 KR102132330B1 (ko) | 2020-07-09 |
Family
ID=71081448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180148755A KR102132330B1 (ko) | 2018-11-27 | 2018-11-27 | 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102132330B1 (ko) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529125A (zh) * | 2020-11-13 | 2021-03-19 | 贵州电网有限责任公司 | 基于ar的机房作业实现方法 |
| CN113985820A (zh) * | 2021-08-19 | 2022-01-28 | 中核武汉核电运行技术股份有限公司 | 一种基于增强现实技术的核电厂远程指导系统和方法 |
| CN114385291A (zh) * | 2021-12-29 | 2022-04-22 | 南京财经大学 | 一种基于外挂透明显示屏的标准工作流程引导方法及装置 |
| CN114489324A (zh) * | 2021-12-28 | 2022-05-13 | 北京亮亮视野科技有限公司 | 一种信息采集方法、装置、电子设备及存储介质 |
| KR20220076398A (ko) * | 2020-11-30 | 2022-06-08 | 서울대학교산학협력단 | Ar장치를 위한 객체 인식 처리 장치 및 방법 |
| WO2022145655A1 (ko) * | 2020-12-29 | 2022-07-07 | 주식회사 딥파인 | 증강현실시스템 |
| KR20220096211A (ko) * | 2020-12-30 | 2022-07-07 | 주식회사 스팀도서관 | 스마트 체험 교육 공간 제공 방법 및 이를 이용하는 시스템 |
| KR20220106000A (ko) * | 2021-01-21 | 2022-07-28 | 주식회사 증강지능 | 튜터링을 위해 혼합현실 컨텐츠를 제공하는 인공지능 챗봇 시스템 |
| CN115064023A (zh) * | 2022-05-06 | 2022-09-16 | 中国人民解放军陆军防化学院 | 基于ar眼镜的便携式终端教学训练系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100834904B1 (ko) * | 2006-12-08 | 2008-06-03 | 한국전자통신연구원 | 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법 |
| KR20110007714A (ko) * | 2009-07-17 | 2011-01-25 | (주) 티아이에스 | 불량인식 시스템의 학습방법 |
| KR20130067450A (ko) * | 2011-12-14 | 2013-06-24 | 한국전자통신연구원 | 현장적용형 증강현실 기반 작업 가이드용 모듈 일체형 안전모 장치 및 이를 이용한 응용 서비스 제공방법 |
-
2018
- 2018-11-27 KR KR1020180148755A patent/KR102132330B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100834904B1 (ko) * | 2006-12-08 | 2008-06-03 | 한국전자통신연구원 | 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법 |
| KR20110007714A (ko) * | 2009-07-17 | 2011-01-25 | (주) 티아이에스 | 불량인식 시스템의 학습방법 |
| KR20130067450A (ko) * | 2011-12-14 | 2013-06-24 | 한국전자통신연구원 | 현장적용형 증강현실 기반 작업 가이드용 모듈 일체형 안전모 장치 및 이를 이용한 응용 서비스 제공방법 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529125A (zh) * | 2020-11-13 | 2021-03-19 | 贵州电网有限责任公司 | 基于ar的机房作业实现方法 |
| KR20220076398A (ko) * | 2020-11-30 | 2022-06-08 | 서울대학교산학협력단 | Ar장치를 위한 객체 인식 처리 장치 및 방법 |
| WO2022145655A1 (ko) * | 2020-12-29 | 2022-07-07 | 주식회사 딥파인 | 증강현실시스템 |
| KR20220095265A (ko) * | 2020-12-29 | 2022-07-07 | 주식회사 딥파인 | 증강현실시스템 |
| KR20220096211A (ko) * | 2020-12-30 | 2022-07-07 | 주식회사 스팀도서관 | 스마트 체험 교육 공간 제공 방법 및 이를 이용하는 시스템 |
| KR20220106000A (ko) * | 2021-01-21 | 2022-07-28 | 주식회사 증강지능 | 튜터링을 위해 혼합현실 컨텐츠를 제공하는 인공지능 챗봇 시스템 |
| CN113985820A (zh) * | 2021-08-19 | 2022-01-28 | 中核武汉核电运行技术股份有限公司 | 一种基于增强现实技术的核电厂远程指导系统和方法 |
| CN113985820B (zh) * | 2021-08-19 | 2023-10-20 | 中核武汉核电运行技术股份有限公司 | 一种基于增强现实技术的核电厂远程指导系统和方法 |
| CN114489324A (zh) * | 2021-12-28 | 2022-05-13 | 北京亮亮视野科技有限公司 | 一种信息采集方法、装置、电子设备及存储介质 |
| CN114385291A (zh) * | 2021-12-29 | 2022-04-22 | 南京财经大学 | 一种基于外挂透明显示屏的标准工作流程引导方法及装置 |
| CN115064023A (zh) * | 2022-05-06 | 2022-09-16 | 中国人民解放军陆军防化学院 | 基于ar眼镜的便携式终端教学训练系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102132330B1 (ko) | 2020-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102132330B1 (ko) | 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법 | |
| KR102031670B1 (ko) | 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법 | |
| KR102439337B1 (ko) | 증강현실 공유 기반 다자참여 원격 협업 시스템 및 그 방법 | |
| JP5122517B2 (ja) | ポインティングデバイスに基づくユーザインターフェイスシステム | |
| KR20190076770A (ko) | 증강현실 기반 조립 가이드 시스템 | |
| US11900708B2 (en) | Neural network-based recognition of trade workers present on industrial sites | |
| JP2015204615A (ja) | 機器と移動デバイスとの間でインタラクトする方法及びシステム | |
| US20170277559A1 (en) | Classifying work processes | |
| CN111105506A (zh) | 一种基于混合现实的实时监控方法及装置 | |
| US20170083083A1 (en) | Image processing virtual reality controller system and method | |
| CN116243802B (zh) | 一种虚拟世界物理化系统 | |
| Chen et al. | Predictive distant operation and virtual control of computer numerical control machines | |
| CN115100563A (zh) | 一种基于视频分析的生产过程交互与监测智能场景 | |
| JP7282186B2 (ja) | 状況認識監視 | |
| TWI732392B (zh) | 工廠管理系統及控制系統 | |
| KR20210121609A (ko) | 원격지원 장치 및 그 방법 | |
| KR102367965B1 (ko) | 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법 | |
| CN111660294B (zh) | 一种液压重载机械臂增强现实操控系统 | |
| EP3745332B1 (en) | Systems, device and method of managing a building automation environment | |
| US20140214185A1 (en) | Somatosensory Household Electricity Control Equipment and System Thereof | |
| US20210247758A1 (en) | Teleoperation with a wearable sensor system | |
| KR20240039628A (ko) | 증강현실 기반 원격제어 시스템 및 그 방법 | |
| KR102221898B1 (ko) | 가이드 도구 기반의 가상 객체 시각화 방법 | |
| CN113495162A (zh) | 自动光学检测设备的控制系统 | |
| KR20230028702A (ko) | 비대면 전문가 협업 증강현실 기반 원격 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |