KR102367965B1 - 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법 - Google Patents

인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법 Download PDF

Info

Publication number
KR102367965B1
KR102367965B1 KR1020190151319A KR20190151319A KR102367965B1 KR 102367965 B1 KR102367965 B1 KR 102367965B1 KR 1020190151319 A KR1020190151319 A KR 1020190151319A KR 20190151319 A KR20190151319 A KR 20190151319A KR 102367965 B1 KR102367965 B1 KR 102367965B1
Authority
KR
South Korea
Prior art keywords
user interaction
augmented reality
expert
operator
worker
Prior art date
Application number
KR1020190151319A
Other languages
English (en)
Other versions
KR20210062989A (ko
Inventor
민 장
오주병
홍승곤
Original Assignee
주식회사 코이노
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코이노 filed Critical 주식회사 코이노
Priority to KR1020190151319A priority Critical patent/KR102367965B1/ko
Publication of KR20210062989A publication Critical patent/KR20210062989A/ko
Application granted granted Critical
Publication of KR102367965B1 publication Critical patent/KR102367965B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법이 개시된다. 일 실시 예에 따른 증강현실 기반 원격 가이던스 시스템 및 그 방법은 증강현실 기반 원격 가이드를 진행하는 동안에 인공지능 모니터링 및 사용자 인터랙션 기능을 포함하는 추가적 인지인자를 제공하여 작업자의 조작 오류를 낮추도록 한다.

Description

인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법 {Augmented reality based remote guidance system using cognitive factors and method thereof}
본 발명은 영상분석 및 원격제어 기술에 관한 것이다.
장치의 제어, 원격수리, 유지관리 등의 작업을 하기 위해서는 수년간의 경험이 필요하고, 숙련자라 할지라도 신규 장치 도입 시 이를 숙지하는데 오랜 시간이 소요된다. 또한, 아무리 숙련자라 할지라도 모든 작업 절차를 숙지하고 있을 수가 없고, 언제 어떤 작업 요구가 발생할지 예측하기가 어렵다. 이에 따라, 작업자들은 작업을 위한 매뉴얼을 항상 휴대하여, 작업 업무를 수행하여 왔다.
이러한 문제는 비단 산업현장에만 한정되는 것은 아니다. 예를 들어, 가정집에서 냉장고가 고장난 경우 소비자는 스스로 고칠 수 없는 경우가 대부분이어서, 별도의 전문가를 불러 수리해야 하는 경우가 많다. 이때, 문제 해결까지 시간, 비용 등이 많이 소요되어 비효율적이다.
일 실시 예에 따라, 복잡한 구조의 장치일지라도 또는 숙련된 작업자가 아닐지라도 쉽고 빠르게 작업할 수 있도록 하고 작업자의 조작 오류를 낮출 수 있는 증강현실 기반 원격 가이던스 시스템 및 그 방법을 제안한다.
일 실시 예에 따른 증강현실 기반 원격 가이던스 시스템은, 작업현장에서 작업자가 소지하는 작업자 단말을 포함하며, 작업자 단말은 작업대상에 대한 실시간 촬영영상을 획득하는 데이터 획득부와, 촬영영상에서 객체를 인식하는 객체 인식부와, 인식된 객체를 포함한 촬영영상에 작업을 돕기 위한 가상의 증강현실 매뉴얼을 결합하여 증강현실 가이드 화면을 생성하는 증강현실 처리부와, 증강현실 가이드 화면에서 작업자의 장치 조작에 따른 동작을 모니터링하여 작업자의 조작이 증강현실 매뉴얼과 부합하는지 여부를 판단하는 모니터링부와, 작업자 조작의 부합 여부에 따라 사용자 인터랙션을 발생하여 사용자에게 전달하는 사용자 인터랙션부를 포함한다.
객체 인식부는 증강현실 가이드 화면에서 촬영영상 내 실제 객체와 동일한 형태의 증강현실 매뉴얼 내 가상 객체를 추가로 인식할 수 있고, 모니터링부는 촬영영상 내 실제 객체와 증강현실 매뉴얼 내 가상 객체의 위치 및 상태를 비교할 수 있다.
모니터링부는 촬영영상 내 실제 객체와 증강현실 매뉴얼 내 가상 객체의 위치가 일치하는지 여부를 판단하고, 사용자 인터랙션부는 객체 간 위치가 불일치하면 촬영영상 내 실제 객체의 위치를 증강현실 매뉴얼 내 가상 객체의 위치와 일치 시키도록 하기 위한 사용자 인터랙션을 발생하고, 일치 하면 일치 했음을 확인해 주는 사용자 인터랙션을 발생할 수 있다.
모니터링부는 촬영영상 내 실제 객체와 증강현실 매뉴얼 내 가상 객체의 상태가 일치하는지 여부를 판단하고, 사용자 인터랙션부는 객체 간 상태가 불일치하면 작업자의 조작 오류로 판단하여 작업을 수정하도록 하기 위한 사용자 인터랙션을 발생하고, 일치하면 일치 했음을 확인해 주는 사용자 인터랙션을 발생할 수 있다.
사용자 인터랙션부는 작업자 조작의 부합 여부에 따라 작업자 단말을 통해 햅틱 피드백을 발생할 수 있다.
증강현실 기반 원격 가이던스 시스템은 작업자에 착용되어, 인가된 제어신호에 의해 작업자가 증강현실 매뉴얼에 맞게 작업하도록 유도하는 사용자 인터랙션을 발생하는 작업자 웨어러블 기기를 더 포함할 수 있으며, 사용자 인터랙션부는 사용자 인터랙션을 발생 시키는 제어신호를 작업자 웨어러블 기기에 인가할 수 있다.
증강현실 기반 원격 가이던스 시스템은 작업자 단말과 증강현실 매뉴얼을 공유하며 증강현실 매뉴얼을 기반으로 작업자의 작업에 대한 기술 지원을 제공하는 적어도 하나의 전문가 단말과, 전문가에 착용되는 전문가 웨어러블 기기를 더 포함할 수 있으며, 사용자 인터랙션부는 전문가 웨어러블 기기의 사용자 인터랙션에 따른 기술 지원에 맞추어 작업자 웨어러블 기기에 동일한 사용자 인터랙션을 발생함에 따라 작업자의 작업을 가이드할 수 있다.
전문가 단말은 전문가의 동작에 따라 전문가 웨어러블 기기에 사용자 인터랙션이 발생하면 발생한 사용자 인터랙션에 대응하는 정보를 작업자 단말에 전송하고, 사용자 인터랙션부는 수신된 정보를 작업자 웨어러블 기기에 전달하여 작업자 웨어러블 기기가 정보에 대응하는 사용자 인터랙션을 발생하도록 할 수 있다.
각 전문가 단말은 증강현실 매뉴얼을 공유하여 전문가 간 협업을 통해 작업자 단말에 기술을 지원할 수 있다.
증강현실 기반 원격 가이던스 시스템은, 제1 전문가의 왼손에 착용한 제1 전문가 웨어러블 기기를 통해 제1 사용자 인터랙션이 발생하면, 발생한 제1 사용자 인터랙션에 대응하는 제1 정보를 작업자 단말에 전송하는 제1 전문가 단말과, 제2 전문가의 오른손에 착용한 제2 전문가 웨어러블 기기를 통해 제2 사용자 인터랙션이 발생하면, 발생한 제2 사용자 인터랙션에 대응하는 제2 정보를 작업자 단말에 전송하는 제2 전문가 단말을 포함할 수 있으며, 사용자 인터랙션부는 작업자의 왼손에 착용한 웨어러블 기기에는 제1 정보를 전달하여 제1 정보에 대응하는 제1 사용자 인터랙션을 발생하도록 하고, 작업자의 오른손에 착용한 웨어러블 기기에는 제2 정보를 전달하여 제2 정보에 대응하는 제2 사용자 인터랙션을 발생하도록 할 수 있다.
일 실시 예에 따른 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법에 따르면, 작업자의 장치 조작에 대한 동작을 인공지능 모니터링을 통해 인지할 수 있으며, 햅틱 피드백과 같은 사용자 인터랙션 인지인자를 사용자에게 전달함에 따라 작업자가 증강현실 매뉴얼에 따라 장치 조작을 정상적으로 수행하고 있는지에 대한 인지를 도울 수 있다.
작업현장의 장치를 조작하는 절차를 증강현실 매뉴얼로 제공 받아 작업하는 증강현실 기반 원격 가이던스 환경에서 작업자가 전문가의 도움을 받아야 되는 상황이 발생하면 전문가들과 증강현실 매뉴얼을 공유하여 실시간으로 기술 지원 서비스를 제공받을 수 있다. 증강현실 기반 원격 가이던스 환경에서 전문가들의 다자참여를 통해 기존의 단순한 원격지원에서 벗어나 증강현실 기능을 최대로 활용하여 기술 지원을 할 수 있다. 예를 들어, 다수의 전문가가 증강현실을 기반으로 증강현실 매뉴얼을 공유하고 공유된 증강현실 매뉴얼을 이용하여 작업자를 기술 지원할 수 있으므로 증강현실 사용 효과를 극대화할 수 있다.
증강현실 공유 환경에서 전문가 웨어러블 기기의 사용자 인터랙션에 따른 기술 지원에 맞추어 작업자 웨어러블 기기에 사용자 인터랙션을 발생함에 따라 작업자의 작업을 가이드함에 따라 작업자가 쉽고 빠르게 작업할 수 있고 작업자의 조작 오류를 낮출 수 있다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 원격 가이던스 환경에서의 작업자 단말 화면을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 증강현실 기반 원격 가이던스 시스템의 구성을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 작업자 단말의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 전문가의 기술 지원을 제공하기 위한 증강현실 공유 환경을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 증강현실 가이드 화면에서의 인공지능 모니터링 예를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 객체 인식을 위해 사용되는 인공지능 기반 기계학습 원리를 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 인공지능 모니터링 결과에 따라 발생하는 사용자 인터랙션을 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 증강현실 공유 기반 전문가 간 협업을 통한 기술 지원 시 사용자 인터랙션을 적용하는 예를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 원격 가이던스 환경에서의 작업자 단말 화면을 도시한 도면이다.
도 1을 참조하면, 증강현실(Augmented Reality: AR, 이하 'AR'이라 칭함) 기반 원격 가이던스(Remote Guidance)는 작업자가 작업현장을 실시간 촬영한 영상에 가상의 AR 매뉴얼(Manual)을 결합하여 AR 가이드 화면을 제공함에 따라, 작업자가 AR 매뉴얼을 따라 스스로 작업할 수 있도록 가이드 하는 서비스를 의미한다. AR 매뉴얼은 작업자가 장치를 조작하기 위해 작업단계 정보를 제공하는 가상의 AR 콘텐츠이다. 예를 들어, 텍스트 형태의 작업순서, 작업대상과 동일한 형태의 이미지, 화살표나 숫자, 색상, 영상 등으로 다양하게 표현될 수 있다.
AR 가이드 화면 예를 들면, 작업현장에서 전력반 내 파워서플라이의 전력공급에 문제가 발생하였다고 가정했을 때, 작업자 단말(2)의 화면에는 "전력반의 파워서플라이의 파워가 역치값을 넘었으므로 파워를 줄여야 한다" 라는 경고 메시지와 같은 상태정보(102)가 표시된다. 그리고 문제가 발생한 전력반 커버를 대상으로 블록 형태 등의 식별자와 같은 식별정보(100)를 화면에 표시하여 작업자에게 전력반 커버가 작업대상임을 인식시킨다. 식별정보(100)는 AR 매뉴얼에 따라 그 대상이 변경될 수 있다.
AR 가이드 화면 예를 들면, 작업현장에서 전력반 내 파워서플라이의 전력공급에 문제가 발생하였다고 가정했을 때, 작업자 단말(2)의 화면에는 "전력반의 파워서플라이의 파워가 역치값을 넘었으므로 파워를 줄여야 한다" 라는 경고 메시지와 같은 상태정보(102)가 표시된다. 그리고 문제가 발생한 전력반 커버를 대상으로 블록 형태 등의 식별자와 같은 식별정보(100)를 화면에 표시하여 작업자에게 전력반 커버가 작업대상임을 인식시킨다. 식별정보(100)는 AR 매뉴얼에 따라 그 대상이 변경될 수 있다.
또한, 화면에는 AR 매뉴얼(104)이 함께 표시된다. 예를 들어, "1. 전력반 커버를 연다. 2. 브레이커를 내린다. 3. 파워서플라이를 교체한다. 4. 브레이커를 올린다."와 같이 작업순서에 따라 미리 설정된 AR 매뉴얼이 화면에 표시된다. "1. 전력반 커버를 연다."에서는 촬영영상 내 전력반 커버의 손잡이가 점선 등으로 식별 가능하게 표시될 수 있다. "2. 브레이커를 내린다."에서는 촬영영상 내 브레이커가 점선 등으로 식별 가능하게 표시될 수 있다. " 3. 파워서플라이를 교체한다."에서는 촬영영상 내 파워서플라이가 점선 등으로 식별 가능하게 표시될 수 있다. 도 1에서 AR 매뉴얼(104)은 텍스트 형태로 도시하고 있으나, 텍스트뿐만 아니라 이미지, 영상 등의 다양한 포맷으로 제공될 수 있는 콘텐츠이다.
작업자는 AR 기반 원격 가이던스를 통해 장치에 대해 숙련된 전문가의 도움 없이도, 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있다. 장치는 작업현장에 설치된 장비, 기계, 설비 등을 포함하며, 하나의 장치를 구성하는 부품, 모듈 등을 포함할 수 있다. 작업은 제어, 원격수리, 정비, 시스템 유지보수, 조정, 조작 등을 포함한다. 예를 들어, 작업은 문제가 발생한 장치에 대한 정비나, 문제가 발생할 가능성이 있는 장치에 대해 문제 발생 이전에 이를 조치하는 것일 수 있다.
작업현장은 공장(스마트 팩토리)이나 빌딩(스마트 빌딩)과 같은 산업현장이 될 수도 있으며, 가정집(스마트 홈)이 될 수도 있다. 산업현장을 예로 들면, 공장 내 에어컨, 환기, 공조기, 팬, 보일러, 냉각탑, 펌프, 온/습도센서, 냉동기, 조명기기, 전력기기, 화재 시스템을 대상으로 AR 기반 원격 가이던스를 제공할 수 있다. 원격 서버(3)를 통해 건물 전체의 상황을 종합적으로 제어 및 감시하면서 기계설비, 조명, 전력, 출입통제, 방재, 주차관리, 시설관리가 가능하며, 모니터링 중에 작업이 필요한 경우 이를 작업자에게 알리며, 작업자는 AR 기반 원격 가이던스 정보를 이용하여 전문가의 도움 없이도 원활하게 작업을 수행할 수 있다.
AR 기반 원격 가이던스는 가정 환경에서 운용될 수 있다. 예를 들어, 원격 서버(1)를 통해 가정 내 TV, 에어컨, 냉장고 같은 가전제품이나 수도, 전기, 냉난방과 같은 에너지 소비장치나, 도어락, 감시 카메라 등과 같은 보안기기나, 고가의 자동차와 전기 자동차 등의 기기를 모니터링 및 제어하면서, 원격으로 조정 가능하다. 또한, 해당 가정기기에 문제가 발생한 경우, 소비자가 작업자 단말(2)만 가지고 있으면 문제 해결을 위한 AR 기반 원격 가이던스를 제공받을 수 있으므로 쉽게 기기의 문제를 해결할 수 있다. 이 경우, 소비자는 소비자 센터에 연락하여 전문가를 부르거나 출장 비용을 별도로 부담할 필요도 없으며, 시간 낭비도 방지할 수 있다. 또한, 스마트 글래스(smart glass)와 같은 기존의 별도의 하드웨어가 필요한 몰입형 디스플레이가 없어도 무방하고 결합하여 사용도 가능하다.
스마트 기기, 스마트 빌딩, 스마트 팩토리 등에서 사용하는 다수의 IoT 기기들을 대상으로 AR 기반 원격 가이던스를 제공할 수 있다. IoT 기기는 디지털 사이니지(digital signage), 스마트 TV, 스마트 워치, 스마트 CE, 드론(drone) 등일 수 있다. 다른 실시 예에 따른 증강현실 기반 원격 가이던스 시스템(1)은 IoT 센싱 능력이 없는 IoT 시대 이전에 제작된 레거시 기기(legacy device)를 대상으로 AR 기반 원격 가이던스를 제공할 수도 있다. 예를 들어, 디바이스에 내장 또는 장착되는 IoT 센서가 없어서 디바이스와 그 주변환경의 정보를 센싱할 수 없는 레거시 기기를 대상으로도 작업자 단말(2)을 이용한 AR 기반 원격 가이던스를 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 증강현실 기반 원격 가이던스 시스템의 구성을 도시한 도면이다.
도 2를 참조하면, AR 기반 원격 가이던스 시스템(1)은 작업자 단말(2), 원격 서버(3) 및 전문가 단말(4)을 포함하며, 작업자 웨어러블 기기(7) 및 전문가 웨어러블 기기(8)를 더 포함할 수 있다.
작업자 단말(2)은 작업현장에서 작업하는 작업자(6)가 소지하고 있는 사용자 단말이다. 작업자 단말(2)은 작업현장의 촬영영상을 획득하며, 획득된 촬영영상에 가상의 AR 매뉴얼을 결합하여 화면에 표시한다. 작업자 단말(2)은 AR 기반 객체인식을 통해 작업대상의 윤곽을 인식하고 원격 서버(3)로부터 수신된 기계학습 기반 객체인식 결과를 수신하여 부품 및 모듈을 추가로 인식할 수 있다. 작업자 단말(2)이 원격 서버(3)와 연결되는 경우, 작업자 단말(2)은 원격 서버(3)로부터 수신된 제어명령을 수행하는 에이전트(Agent)가 된다. 작업자 단말(2)은 원격 가이던스를 위해 앱(App)을 실행할 수 있다. 이때, 서로 상이한 OS, 예를 들어, 안드로이드, iOS, 윈도우 등 각종 OS를 모두 지원할 수 있는 형태를 가진다.
원격 서버(3)는 작업현장에 위치한 장치를 모니터링하며 작업이 필요한 장치를 대상으로 AR 기반 원격 가이던스를 수행한다. 작업자 단말(2)을 통해 제공되는 AR 매뉴얼을 통해 작업자(6)가 문제를 해결하지 못하여 전문가의 도움을 받아야 하는 상황이 발생할 수 있다. 이 경우, 작업자 단말(2)은 원격 서버(3)를 통해 전문가 단말(4)과 연결되어, 전문가로부터 기술 지원을 제공받을 수 있다. 이를 위해, 원격 서버(3)는 작업자 단말(2) 및 전문가 단말(4)에 공통의 AR 매뉴얼을 제공하고 전문가 단말(4)로부터 기술 지원을 위한 전문가 명령을 수신하면 수신된 명령에 따라 작업자 단말(2)을 원격 제어한다.
전문가 단말(4)은 원격에서 작업자(6)에게 기술 지원을 하기 위한 전문가가 소지하고 있는 단말로서, 다수 개가 다자참여가 가능하다. 전문가는 각 분야의 전문가뿐만 아니라, 제조 설비사의 기술 엔지니어를 포함한다. 각 전문가 단말(4-1, 4-2, …, 4-n) 간에 협업하여 작업자 단말(2)에 대한 스마트 원격지원이 가능하다. 예를 들어, 전문가 단말 #1(4-1)은 작업자 단말(2) 및 호 연결된 다른 전문가 단말 #2(4-2)과 각각 AR 매뉴얼을 공유하고, AR 매뉴얼을 기반으로 작업자(6)의 작업에 대한 기술 지원을 제공한다.
장치 조작 등을 교육하거나 원격에 있는 장치를 조작할 때 AR 매뉴얼을 다운로드 받아 이를 작업자 단말(2)의 AR 가이드 화면에 제공하고, AR 가이드 화면에서 작업순서에 따라 제공되는 AR 매뉴얼을 보면서 작업을 진행하는 경우, 복잡한 조작일수록 정확한 전달이 어려울 수 있다. 예를 들어, 10개의 버튼이 있는 경우, 순서대로 왼쪽에서 4번째, 오른쪽에서 2번째, 마지막으로 왼쪽에서 5번째를 클릭해야 하는 경우이다. 다른 예로, 금고 다이얼 형태의 장치를 대상으로 왼쪽으로 90도, 오른쪽으로 60도, 다시 왼쪽으로 360도로 다이얼을 회전해야 하는 경우이다. 복잡한 조작이 필요한 경우, AR 매뉴얼을 손 모양이나 도구 모양으로 제시할 수 있다. 그러나 다수의 유사한 중복 형태의 조작이 있을 경우 효과적 전달이 어렵고 조작 오류가 발생할 가능성이 높다.
일 실시 예에 따른 AR 기반 원격 가이던스는, 전술한 조작 오류를 방지하기 위해 AR 기반 원격 가이드를 진행하는 동안 인공지능(Artificial Intelligence, AI, 이하 'AI'라 칭함) 모니터링 및 사용자 인터랙션(user interaction) 기능을 포함하는 추가적 인지인자를 제공하여 조작 오류를 낮추도록 한다. AI 모니터링은 AR 가이드 화면에서 작업자(6)의 조작에 따른 동작을 모니터링하여 작업자(6)의 조작이 AR 매뉴얼과 부합하는지 여부를 인지하는 것이다. 사용자 인터랙션 기능은 AI 모니터링을 통한 작업자(6) 조작의 부합 여부에 따라 외부로 사용자 인터랙션을 발생하여 작업자(6)가 장치 조작을 정상적으로 수행하고 있는지에 대한 인지하도록 하는 것이다. 사용자 인터랙션은 햅틱 피드백(haptic feedback)일 수 있다. 작업자(6)의 장치 조작에 대한 동작을 AI 모니터링을 통해 인지할 수 있으며, 햅틱 등의 사용자 인터랙션을 통해 작업자(6)가 AR 매뉴얼에 따라 장치 조작을 정상적으로 수행하고 있는지에 대한 인지를 돕는다. 예를 들어, AR 가이드 화면의 소정의 작업단계에서, 촬영영상을 통해 들어오는 객체가 증강현실 매뉴얼 내 대응하는 가상 객체와 상태가 맞춰지는지 AI 모니터링을 통해 인지한다. 이때, 맞춰지지 않았을 경우 작업자 단말(2)에 햅틱 피드백을 발생시켜 작업자(6)가 다시 촬영영상을 통해 들어오는 객체의 상태가 AR 매뉴얼 내 가상 객체와 정확히 상태가 맞추도록 유도한다.
순서에 따라 약속된 햅틱 동작으로 1. 길게 2. 짧게 3. 강하게 4. 보통 등의 신호와 함께 진동 횟수 등으로 처리할 수 있다.
사용자 인터랙션 예를 들면, AI로 작업자(6)가 조작하는 위치를 판별하여, 틀릴 경우 강한 햅틱 반응과 경고음 또는 소리 등으로 경고 메시지를 출력한다. 예를 들어, 10개의 버튼 케이스 같은 경우 작업자(6)가 조작을 잘못했을 경우 AI로 판별하여 작업자(6)가 동작을 수정할 수 있도록 가이드 한다.
일 실시 예에 따른 AR 기반 원격 가이던스 시스템(1)은 원격 가이던스 환경에서 기존의 단순한 원격지원에서 벗어나, 전문가들(5-1, 5-2, …, 5-n)의 다자참여를 통해 AR 기능을 최대로 활용하여 기술 지원을 할 수 있도록 한다. 예를 들어, 다수의 전문가가 AR을 기반으로 AR 매뉴얼을 공유하고 공유된 AR 매뉴얼을 이용하여 작업자(6)를 기술 지원할 수 있으므로 AR 사용 효과를 극대화할 수 있다.
작업현장에서 장치에 대한 작업이 필요하여 원격지원을 받는 경우, 작업자(6)가 자신의 작업자 단말(2)에 제공되는 AR 매뉴얼에 따라 작업을 진행하게 된다. 그런데 작업 도중에 작업자(6)가 전문가의 도움을 받아야 되는 상황이 발생할 수 있다. 이때 전문가, 예를 들어 기술 엔지니어의 1차적인 기술창구의 지원을 받아야 한다.
일 실시 예에 따른 AR 기반 원격 가이던스 시스템(1)은 작업자(6) 및 전문가(5-1, 5-2, …, 5-n) 간, 전문가들(5-1, 5-2, …, 5-n) 간에 AR 매뉴얼을 공유한다(sharing). 작업자(6) 및 전문가(5-1, 5-2, …, 5-n) 간 AR 기반 원격 가이던스 예를 들면, 1차 기술창구의 기술 엔지니어는 작업자(6)의 상황을 청취한 후 잘못된 부분을 파악하고, 다수의 작업단계로 구성되는 AR 매뉴얼의 특정 위치로 되돌린 후 잘못된 부분부터 진행하면서 AR 기반 원격 가이던스를 진행할 수 있다. 이때 주석도구(Annotation Tool), 지도도구(Direction Tool) 등을 함께 제공하여 상세한 원격 가이던스를 진행할 수 있다.
상황에 따라 전문가(5-1, 5-2, …, 5-n) 간에 상호 호 연결을 통해 연락을 주고 받으며, AR 매뉴얼을 공유할 수 있다. 또한, 다수의 전문가(5-1, 5-2, …, 5-n)가 동시에 참여 가능하여 원격 협업을 통해 원격 가이던스를 제공할 수 있다. 전문가(5-1, 5-2, …, 5-n)가 작업자(6)에게 AR 영상과 함께 음성 등을 제공하는 원격 가이던스를 통해 심도 높은 기술 지원도 가능하다.
AR 공유(sharing) 기반으로 AR 매뉴얼에 따라 진행을 하다가 도움을 받아야 되는 상황이 발생하는 경우, 작업자(6)가 작업자 웨어러블 기기(7)를 착용하고, 전문가(예를 들어, 제조설비사의 1차 기술 지원 엔지니어)도 전문가 웨어러블 기기(8)를 착용했을 경우, 햅틱 피드백과 같은 사용자 인터랙션을 연결시켜 작업자(6)가 조작해야 하는 손가락의 위치까지 지정하여 정확한 동작을 전달할 수 있다.
상황에 따라 전문가 #1(5-1)과 전문가 #2(5-2)가 상호 연락을 주고 받으며 AR 매뉴얼을 공유할 수 있다. 이때, 오른손은 전문가 #1(5-1)이, 왼손은 전문가 #2(5-2)가 각각 사용자 동작(예를 들어, 터치 동작) 등에 대한 사용자 인터랙션(예를 들어, 햅틱 피드백)으로 신호 또는 정보를 전달할 수 있어, 정확하고 심도 높은 기술지원이 가능하다.
전술한 구성요소들은 네트워크를 통해 통신할 수 있으며, 네트워크는 근거리 통신망(Local Area Network: LAN), 광역 통신망(Wide Area Network: WAN) 또는 부가가치 통신망(Value Added Network: VAN) 등과 같은 유선 네트워크나, 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 작업자 단말의 구성을 도시한 도면이다.
도 2 및 도 3을 참조하면, 작업자 단말(2)은 데이터 획득부(20), 입력부(21), 제어부(22), 출력부(23), 통신부(24) 및 저장부(25)를 포함한다.
데이터 획득부(20)는 작업현장에서 작업자가 작업대상을 바라보는 현재시점을 기준으로 실시간으로 촬영한 촬영영상을 획득한다. 데이터 획득부(20)는 카메라로부터 촬영영상을 획득할 수 있다. 데이터 획득부(20)는 획득된 촬영 영상을 제어부(22)에 전달한다. 데이터 획득부(20)는 작업자 단말(2) 내 설치된 앱(App)을 통해 원격 가이던스를 이용할 수 있고, 이 경우 앱 카메라를 통해 실시간 촬영영상을 획득할 수 있다. 작업자가 AR 기반 원격 가이던스를 이용하는 동안에 실시간으로 촬영영상이 들어온다.
입력부(21)는 사용자 조작신호를 입력 받는다. 사용자 조작신호는 사용자의 화면 터치 신호, 키(key) 입력신호, 음성신호 및 생체 신호 등이 있다. 입력부(21)는 입력 받은 사용자 조작신호를 제어부(22)에 전달한다.
출력부(23)는 제어부(22)를 통해 처리된 정보를 AR 가이드 화면에 출력한다. 출력되는 정보는 촬영영상 내 실제 객체와 AR 매뉴얼 내 가상 객체가 있다. AR 매뉴얼은 작업대상인 실제 객체와 동일한 형태의 가상 객체를 촬영영상에 결합하여 작업자의 작업을 가이드할 수 있다. 이때, 작업자가 AR 매뉴얼 내 가상 객체에 촬영영상 내 실제 객체의 위치를 맞추고, AR 매뉴얼 내 가상 객체와 상태가 동일해지도록 촬영영상 내 실제 객체의 상태를 조작하는 동작을 통해 쉽게 작업을 수행할 수 있다. 출력의 예로는 화면에 영상을 표시할 수 있고, 스피커를 통해 음성을 출력할 수도 있다.
출력부(23)를 통해 표시되는 가상객체는 작업대상을 식별하기 위한 식별자 정보도 있다. 예를 들어, 화살표, 선, 블록 등의 식별자를 화면에 표시한다. 이때, 작업대상은 AR 매뉴얼에 맞게 변경될 수 있다. 실시간으로 촬영되는 실제화면은 계속 움직이므로 식별자 역시 움직이는 작업대상에 맞게 이동한다. 출력부(23)는 작업대상의 위치를 알려줄 수도 있다. 예를 들어, 손 모양 등으로 작업이 필요한 부품을 가리킨다.
출력부(23)는 작업대상의 제어 상태, 고장 상태, 동작 상태, 시간정보, 장치 내 작업이 필요한 제어 파라미터 등 장치에 관한 각종 상태정보를 표시할 수 있다. 이때, 작업대상의 품번, 수명주기, 최근 교체 내역, 고장 내역 등을 포함하는 세부설명이 화면에 표시될 수 있다. 제어 파라미터의 예를 들면, 장치가 공기 조화기인 경우, 제어 파라미터는 목표 온도(또는 설정 온도), 상한 온도, 하한 온도, 풍량, 운전, 정지 여부 등이 될 수 있다. 장치가 조명 설비인 경우, 제어 파라미터는 조명 밝기 등이 될 수 있다. 출력부(23)는 작업이 필요한 장치를 대상으로 자동으로 상태정보를 표시할 수 있지만, 작업자의 요청에 따라 상태정보를 표시할 수도 있다. 예를 들어, 작업자가 화면 내에서 소정의 장치를 선택하면, 선택된 장치에 대한 각종 상태정보를 화면에 표시할 수 있다.
출력부(23)는 순차적인 AR 매뉴얼을 알려주기 위한 가상객체를 화면에 표시할 수 있다. 이때, AR 매뉴얼에 맞게 작업이 필요한 장치 또는 장치 내 부품을 출력부(23)를 통해 함께 작업자에 알려줄 수 있다.
출력부(23)는 작업에 필요한 도구를 알려주기 위한 가상객체를 화면에 표시할 수 있다. 작업도구는 예를 들어, 망치, 드라이버, 손 등이 있다. 출력부(23)는 다수의 작업단계로 구성된 AR 매뉴얼을 대상으로 단계 상태를 파악할 수 있도록 하는 프로세스 마커를 화면에 표시할 수 있다. 프로세스 마커는 AR 매뉴얼 별 식별자 정보와, AR 매뉴얼 내 각 작업단계 별 식별자 정보와, 사용자가 원하는 작업단계로의 접근을 위해 현재 작업단계를 기준으로 적어도 하나의 작업단계 식별자에 할당되는 마커 정보를 포함한다.
통신부(24)는 원격 서버(3)와 네트워크 연결되어, 유무선 통신을 수행한다. 작업자 단말(2)은 통신부(24)를 통해 원격 서버(3)와 전용의 네트워크를 통해 연결되거나 인터넷 등의 범용 네트워크를 통해 연결될 수 있다.
일 실시 예에 따른 통신부(24)는 원격 서버(3)에 작업 매뉴얼을 요청하여 수신한다. 통신부(24)는 원격 서버(3)로부터 작업명령을 수신함에 따라 작업 가이던스를 시작할 수 있다. 예를 들어, 원격 서버(3)가 작업현장 내 장치들을 모니터링하고 있다가 에러가 발생하거나 에러가 발생할 가능성이 있는 장치를 검출하면 해당 장치에 대한 작업 요청명령을 작업자 단말(2)에 전송하여 작업자에게 알린다.
일 실시 예에 따른 통신부(24)는 데이터 획득부(20)를 통해 획득된 촬영영상을 원격 서버(3)에 전송하여 공유한다. 그리고 객체 인식결과를 원격 서버(3)와 교환할 수 있다. 예를 들어, 작업자 단말(2)의 AR 기반 영상분석을 통한 객체인식 결과를 원격 서버(3)에 전송하며, 원격 서버(3)로부터 AI 기반 객체인식 결과를 수신할 수 있다.
저장부(25)는 각종 데이터를 저장한다. 데이터는 작업현장의 장치들의 고유정보, 위치정보, 장치들의 도면, 작업 매뉴얼 정보, 장치 내 부품정보, 작업 스케줄 정보 등일 수 있다. 이러한 정보는 원격 서버(3)로부터 다운로드 받아 저장될 수도 있고, 입력부(21)를 통해 사용자로부터 입력 받을 수도 있다.
저장부(25)는 하드디스크(Hard Disk), 플래시 메모리(Flash Memory)와 같은 내장형 메모리뿐만 아니라, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC 카드(Multi-Media Card), 또는 메모리 스틱(Memory Stick) 등과 같은 이동 시 메모리로서 작업자 단말(2)의 내부에 구현될 수 있고, 별도의 장치에 구비되어 있을 수도 있다.
제어부(22)는 전술한 각 구성의 동작을 제어한다. 일 실시 예에 따른 제어부(22)는 데이터 획득부(20)를 통해 획득되는 실시간 촬영영상을 대상으로 객체 인식→객체 트래킹→객체 렌더링의 순차적인 프로세스를 반복적으로 수행하면서, 촬영영상에 가상의 AR 매뉴얼을 정합하여 AR 가이드 화면을 생성한다.
일 실시 예에 따른 제어부(22)는 객체 인식부(220), AR 처리부(222), 모니터링부(224), 사용자 인터랙션부(226), 원격제어 처리부(228) 및 디바이스 제어부(229)를 포함한다.
객체 인식부(220)는 AR 가이드 화면에서 촬영영상 내 실제 객체와 AR 매뉴얼 내 가상 객체를 인식한다. AR 처리부(222)는 객체 인식부(220)를 통해 인식된 작업대상을 트래킹 한다. 카메라를 통해 포착된 촬영영상은 고정된 것이 아니라 작업자의 움직임 등으로 인해 계속 움직이므로, AR 처리부(222)는 촬영영상 내에서 인식된 객체의 움직임을 계속 따라가는 작업을 수행한다. 이어서, AR 처리부(222)는 실제 객체 및 가상 객체와의 상호작용을 계산하고 계산결과를 반영하여 작업대상에 대한 작업을 돕기 위한 가상 객체를 촬영영상에 정합한 후 렌더링하거나, 가상 객체를 렌더링한 후 촬영영상에 정합하여 AR 매뉴얼을 생성한다. 이때, 촬영영상에서 가상 객체 위치를 선정하여 배치할 수 있다.
일 실시 예에 따른 객체 인식부(220)는 객체 인식을 위해 AR 기반 영상분석과 AI 기반 기계학습을 이용한다. 영상분석은 획득된 촬영영상 내에서 객체를 인식하는 일반적인 알고리즘을 사용할 수 있다. 예를 들어, 영상 내 점 군 정보(Point Cloud), 깊이 정보, 컬러 정보 등을 이용하여 객체를 인식한다. 영상분석 기반 객체 인식은 이미 공지된 기술이므로 상세한 설명은 생략한다. 이때, 영상 처리, 예를 들어, 영상에 대한 이진화, 에지 블랜딩(edge blending), 마스킹(masking) 등을 처리하여 객체 인식률을 높일 수 있다.
기계학습은 AI에서 사용되는 방식 중 하나로서, 수많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하여 학습시키는 기술이다. 예를 들어, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. 기계학습을 통해 축적된 학습 데이터를 이용하여 영상 내 객체를 인식할 수 있다. 기계학습은 SVM(Support Vector Machines), 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다. 객체 인식부(220)는 이러한 AI 기반 객체 인식과 AR 기반 객체 인식을 상호 보완하여 객체인식의 정확성을 높이고자 한다.
모니터링부(224)는 AR 가이드 화면에서 작업자의 장치 조작에 따른 동작을 모니터링하여 작업자의 조작이 AR 매뉴얼과 부합하는지 여부를 판단하는 AI 모니터링을 수행한다. 사용자 인터랙션부(226)는 모니터링부(224)의 AI 모니터링을 통해 판단된 작업자 조작의 부합 여부에 따라 사용자 인터랙션을 발생하여 사용자에게 전달한다. 사용자 인터랙션의 예로는 햅틱 피드백(haptic feedback)이 있다. 예를 들어, 작업자 단말(2)에 진동을 발생 시킴에 따라, 작업자 단말(2)을 들고 있는 사용자가 조작 오유를 인지할 수 있도록 한다.
일 실시 예에 따른 모니터링부(224)는 소정의 작업단계에 따른 작업자의 조작 이전에, 촬영영상 내 실제 객체와 AR 매뉴얼 내 가상 객체의 위치가 일치하는지 여부를 판단하는 AI 모니터링을 수행한다. 사용자 인터랙션부(226)는 모니터링부(224)의 AI 모니터링을 통해 객체 간 위치가 불일치하면 촬영영상 내 실제 객체의 위치를 증강현실 매뉴얼 내 가상 객체의 위치와 일치 시키도록 하기 위한 사용자 인터랙션을 발생한다. 이에 비해, 일치 하면 일치 했음을 확인해 주는 사용자 인터랙션을 발생한다.
일 실시 예에 따른 모니터링부(224)는 소정의 작업단계에 따른 작업자의 조작 이후, 촬영영상 내 실제 객체와 AR 매뉴얼 내 가상 객체의 상태가 일치하는지 여부를 판단하는 AI 모니터링을 수행한다. 사용자 인터랙션부(226)는 모니터링부(224)의 AI 모니터링을 통해 객체 간 상태가 불일치하면 작업자의 조작 오류로 판단하여 작업을 수정하도록 하기 위한 사용자 인터랙션을 발생한다. 이에 비해, 일치하면 일치 했음을 확인해 주는 사용자 인터랙션을 발생한다.
사용자 인터랙션부(226)는 작업자 조작의 부합 여부에 따라 작업자 단말(2)을 통해 햅틱 피드백을 발생할 수 있다. 작업자가 작업자 웨어러블 기기(7)를 착용한 경우, 작업자 웨어러블 기기(7)를 통해 햅틱 피드백을 발생할 수도 있다. 이를 위해, 사용자 인터랙션부(226)가 사용자 인터랙션을 발생 시키는 제어신호를 작업자 웨어러블 기기(7)에 전송하면, 작업자 웨어러블 기기(7)가 인가된 제어신호에 의해, 작업자가 증강현실 매뉴얼에 맞게 작업하도록 유도하는 사용자 인터랙션을 발생한다.
사용자 인터랙션부(226)는 전문가가 착용한 전문가 웨어러블 기기(8)의 사용자 인터랙션에 따른 기술 지원에 맞추어 작업자 웨어러블 기기(7)에 동일한 사용자 인터랙션을 발생함에 따라 작업자의 작업을 가이드할 수 있다. 예를 들어, 전문가의 동작(예를 들어, 전문가의 왼손 3번째 손가락을 AR 가이드 화면 내 5번째 객체에 터치)에 따라 전문가 웨어러블 기기(8)에 사용자 인터랙션(예를 들어, 햅틱 피드백)이 발생하면, 전문가 단말(4)이 발생한 사용자 인터랙션에 대응하는 정보(예를 들어, 왼손 3번째 손가락 위치정보)를 작업자 단말(2)에 전송한다. 작업자 단말(2)의 사용자 인터랙션부(226)는 통신부(24)를 통해 수신된 정보를 작업자 웨어러블 기기(7)에 전달한다. 그러면, 작업자 웨어러블 기기(7)가 정보(예를 들어, 왼손 3번째 손가락 위치정보)에 대응하는 사용자 인터랙션(예를 들어, 작업자의 왼손 3번째 손가락에 햅틱 피드백)을 발생하게 된다.
전문가 단말들(4-1, 4-2, …, 4-n)은 서로 AR 매뉴얼을 공유하여 전문가 간 협업을 통해 작업자 단말(2)에 기술을 지원할 수 있다. 이 경우, 제1 전문가(5-1)의 왼손에 착용한 전문가 웨어러블 기기 #1(8-1)를 통해 제1 사용자 인터랙션이 발생하면, 발생한 제1 사용자 인터랙션에 대응하는 제1 정보를 작업자 단말(2)에 전송할 수 있다. 유사하게, 제2 전문가(5-2)의 오른손에 착용한 전문가 웨어러블 기기 #2(4-2)를 통해 제2 사용자 인터랙션이 발생하면 발생한 제2 사용자 인터랙션에 대응하는 제2 정보를 작업자 단말(2)에 전송한다. 그러면, 사용자 인터랙션부(226)는 작업자의 왼손에 착용한 웨어러블 기기에는 제1 정보를 전달하여 제1 정보에 대응하는 제1 사용자 인터랙션을 발생하도록 하고, 작업자의 오른손에 착용한 웨어러블 기기에는 제2 정보를 전달하여 제2 정보에 대응하는 제2 사용자 인터랙션을 발생하도록 한다.
원격제어 처리부(228)는 원격 제어 요청 메시지를 생성하여 통신부(23)를 통해 원격 서버(3)에 전송하여 원격제어를 요청한다. 이때, 원격 서버(3)의 제어에 따라 원격으로 AR 가이드 화면을 공유할 수 있다. 원격제어 처리부(228)는 작업자가 자신의 작업자 단말(2)에 제공되는 AR 매뉴얼에 따라 작업을 진행하는 도중에 작업자가 전문가의 도움을 받아야 되는 상황이 발생한 경우, 원격 서버(3)를 통해 전문가 단말(4)에 기술 지원을 요청할 수 있다.
디바이스 제어부(229)는 원격 서버(3)의 원격 제어명령을 처리한다. 원격 제어명령은 전문가 단말(4)로부터 전달 받는 기술 지원을 위한 전문가 명령일 수 있다.
도 4는 본 발명의 일 실시 예에 따른 전문가의 기술 지원을 제공하기 위한 AR 공유 환경을 도시한 도면이다.
도 2 및 도 4를 참조하면, AR 기반 원격 가이던스를 진행하면서 작업현장의 장치를 조작하는 절차를 작업자 단말(2)에 AR 매뉴얼로 제공한다. 작업 도중에 작업자가 작업에 대한 이해도가 떨어지거나 작업이 복잡한 경우 이에 대한 전문가의 기술 지원을 실시간 처리할 수 있다. 작업이 복잡한 경우는 다수의 조작이 필요한 제품인 경우, 단계별 난이도가 높아 처리 및 조작 횟수가 매우 많은 AR 매뉴얼의 단계를 반복하거나 AR 매뉴얼을 반대로 돌려가며 재 조작 시도를 해야 하는 경우 등이 있다.
기술 지원 요청은 작업자가 직접 요청할 수 있고, 원격 서버(3)에서 전문가의 기술 지원 여부를 판단하여 필요 시 전문가에 요청할 수 있다. 원격 서버(3)의 판단을 위해 AR 매뉴얼 동작상태, 작업자 단말(2)의 상태 및 작업자 상태 중 적어도 하나를 이용할 수 있다.
AR 기반 원격 가이던스 환경에서 기존의 단순한 원격지원에서 벗어나, 전문가들의 다자참여를 통해 AR 기능을 최대로 활용하여 기술 지원을 할 수 있다. 예를 들어, 다수의 전문가가 AR 매뉴얼을 공유하고 공유된 AR 매뉴얼을 이용하여 작업자를 기술 지원할 수 있다. 이때, 작업자 및 전문가 간, 전문가들 간에 AR 매뉴얼을 공유할 수 있다.
도 4에 도시된 바와 같이, 작업자 및 전문가 간 AR 공유 예를 들면, 전문가 #1(예를 들어, 1차 기술창구의 기술 엔지니어)(#5-1)은 작업자의 상황을 청취한 후 잘못된 부분을 파악하고, 다수의 작업단계로 구성되는 AR 매뉴얼의 특정 위치로 되돌린 후 잘못된 부분부터 진행하면서 AR 기반 원격 가이던스를 진행할 수 있다. 이때 주석도구(Annotation Tool), 지도도구(Direction Tool) 등을 함께 제공하여 상세한 AR 기반 원격 가이던스를 진행할 수 있다(Annotation Tool & Direction Tool).
상황에 따라 전문가 간에 상호 호 연결을 통해 연락을 주고 받으며, AR 매뉴얼을 공유할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 전문가 #1(5-1)이 전문가 #2(5-2)에 공유를 요청(Sharing request) 하고, 다시 전문가 #2(5-2)가 전문가 #3(5-3)에 공유를 요청할 수 있다.
각 전문가(5-1, 5-2, …, 5-n)는 AR 매뉴얼을 공유하면서, 작업자를 원격 제어할 수 있다(AR sharing & Control). 또한, 다수의 전문가(5-1, 5-2, …, 5-n)가 동시에 참여 가능하여, 원격 협업을 통해 AR 기반 원격 가이던스를 제공할 수 있다. 전문가가 작업자에게 AR 영상과 함께 음성 등을 제공하는 AR 기반 원격 가이던스를 통해 심도 높은 기술 지원도 가능하다.
필요 시 정상적으로 작동하고 있는 사이트(지사 등)의 사외/사내 전문가의 가이드를 따라야 할 경우, 작업자 단말(2)에서 해당 전문가 단말(4)에 AR 매뉴얼을 포함한 AR 가이드 화면을 역방향으로 공유할 수 있다. 이때, 해당 전문가 단말(4)의 전문가 명령에 따라 작업자 단말(2)을 원격 제어할 수 있다(Follow & Check).
도 5는 본 발명의 일 실시 예에 따른 AR 가이드 화면에서의 AI 모니터링 예를 도시한 도면이다.
도 2 및 도 5를 참조하면, 작업자가 작업자 단말(2)의 AR 가이드 화면에서 작업순서에 따라 제공되는 AR 매뉴얼을 보면서 작업을 진행하는 경우, 복잡한 조작일수록 정확한 전달이 어려울 수 있다. 예를 들어, 도 5에 도시된 바와 같이 금고 다이얼 형태의 장치를 대상으로 왼쪽으로 90도, 오른쪽으로 60도, 다시 왼쪽으로 360도로 다이얼을 회전해야 하는 경우 사용자 조작이 복잡하여 조작 오류가 발생할 가능성이 높다.
일 실시 예에 따른 AR 기반 원격 가이던스는, 전술한 조작 오류를 방지하기 위해 AR 기반 원격 가이드를 진행하는 동안 AI 모니터링 및 사용자 인터랙션 기능을 포함하는 추가적 인지인자를 제공하여 조작 오류를 낮추도록 한다. 예를 들어, AR 가이드 화면에, 작업할 대상과 동일한 형태의 가상의 가상 객체를 포함하는 AR 매뉴얼이 제공되는 경우, 촬영영상을 통해 실시간 들어오는 객체와 AR 매뉴얼의 가상 객체를 AI를 통해 인식하고, 인식된 각 객체의 상태(예를 들어, 회전 정도)를 AI를 통해 인식한다. 촬영영상 내 실제 객체와 AR 매뉴얼의 가상 객체의 위치를 작업자가 작업자 단말(2)을 이동 시켜 가면서 맞춘 이후, AR 매뉴얼의 가상 객체(예를 들어, 왼쪽으로 90도 회전하는 장치)에 맞추어 동작(예를 들어, 왼쪽으로 90도 장치 회전)을 수행하면, 작업자 단말(2)은 작업자 동작 수행에 따라 촬영영상 내 실제 객체의 변화된 상태와 가상 객체의 상태(왼쪽으로 90도 회전된 상태)가 일치하는지 여부를 판단한다. 이때, 일치하지 않는 경우 작업자 단말(2)에 햅틱 피드백과 같은 사용자 인터랙션을 발생시켜 작업자가 다시 촬영영상 내 실제 객체의 상태가 가상 객체와 정확히 상태와 맞추도록 유도한다. AI 모니터링을 통해 정확히 객체 간 상태를 맞춘 것으로 판단하면, 작업자 단말(2)에 햅틱 피드백과 같은 사용자 인터랙션을 발생시켜 작업을 정상적으로 수행했음을 알릴 수 있다.
도 6은 본 발명의 일 실시 예에 따른 객체 인식을 위해 사용되는 AI 기반 기계학습 원리를 도시한 도면이다.
도 2 및 도 6을 참조하면, 기계학습(machine learning) 방식은 AI의 한 분야로, 대상 데이터가 이미지(image)일 경우 이미지 라이브러리 등을 확보하고 이를 카테고리화 한 후 콘볼루션 신경망(Convolutional Neural Network: CNN, 이하, 'CNN'이라 칭함)과 같은 인공신경망으로 특징을 추출하고 이를 학습시킴으로써 정확도를 높여가는 방식을 사용한다.
CNN은 특징 추출(feature extraction) 단계와 분류(classification) 단계로 이루어진다. 특징 추출단계는 콘볼루션 계층과 풀링 계층으로 구성된 특징 추출 계층이 복수 개로 이루어진다. 분류 단계는 완전 연결된 하나의 계층을 생성하고 추출된 특징들을 이용하여 결과치를 내는 단계이다.
도 6을 참조하면, 특징 추출 단계에서, 32×32 픽셀 입력 이미지 데이터(Input)를 대상으로 5×5 콘볼루션 필터를 통해 특징을 추출하여 28×28 이미지 4장(C1)을 추출하고, 이를 대상으로 2×2 서브 샘플링(크기를 줄이기 위한 액션)을 수행하여 동일한 4장의 14×14 이미지(S1)를 생성한다. 그리고 다시 5×5 콘볼루션 필터를 통해 특징을 추출하여 10×10 이미지 12장(C2)을 추출하고, 이를 대상으로 2×2 서브 샘플링하여 동일한 12장의 5×5 이미지(S2)를 생성하는 프로세스를 반복한다. 이어서, 분류 단계에서, 완전 연결된 하나의 행렬(n1)을 만들고 이를 신경망에 입력하여 값을 비교한 뒤 결과치(Output)를 얻는다.
도 7은 본 발명의 일 실시 예에 따른 AI 모니터링 결과에 따라 발생하는 사용자 인터랙션을 도시한 도면이다.
도 2 및 도 7을 참조하면, 작업자 단말(2)은 AI 모니터링 결과에 따라 작업자의 조작이 AR 매뉴얼과 부합하는지 여부를 판단하여, 작업자 조작의 부합 여부에 따라 외부로 사용자 인터랙션을 발생한다.
예를 들어, 작업자 단말(2)은 소정의 작업단계에 따른 작업자의 조작 이전에, AI 모니터링을 통해 촬영영상 내 실제 객체와 AR 매뉴얼 내 가상 객체의 위치가 일치하는지 여부를 판단한다. 이때, 객체 간 위치가 불일치하면 촬영영상 내 실제 객체의 위치를 AR 매뉴얼 내 가상 객체의 위치와 일치 시키도록 하기 위한 사용자 인터랙션(예를 들어, 햅틱 피드백)을 발생하고, 일치 하면 일치 했음을 확인해 주는 사용자 인터랙션(예를 들어, 햅틱 피드백)을 발생한다. 일치하지 않은 경우 발생하는 사용자 인터랙션은 일치하는 경우 발생하는 사용자 인터랙션과 강도, 시간 등의 형태가 상이할 수 있다.
다른 예로, 소정의 작업단계에 따른 작업자의 조작 이후, 촬영영상 내 실제 객체와 AR 매뉴얼 내 가상 객체의 상태가 일치하는지 여부를 AI 모니터링을 통해 판단한다. 이때, 객체 간 상태가 불일치하면 작업자의 조작 오류로 판단하여 작업을 수정하도록 하기 위한 사용자 인터랙션(예를 들어, 햅틱 피드백)을 발생하고, 일치하면 일치 했음을 확인해 주는 사용자 인터랙션(예를 들어, 햅틱 피드백)을 발생한다. 일치하지 않은 경우 발생하는 사용자 인터랙션은 일치하는 경우 발생하는 사용자 인터랙션과 강도, 시간 등의 형태가 상이할 수 있다.
도 7에서는 작업자 단말(2)에 사용자 인터랙션을 발생하는 예를 도시하고 있으나, 작업자가 착용하는 웨어러블 기기에 사용자 인터랙션을 발생할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 AR 공유 기반 전문가 간 협업을 통한 기술 지원 시 사용자 인터랙션을 적용하는 예를 도시한 도면이다.
도 2 및 도 8을 참조하면, 전문가 간에 AR 매뉴얼을 공유하고 공유된 AR 매뉴얼을 기반으로 전문가 간 협업을 통해 작업자 단말에 원격으로 기술을 지원할 수 있다.
우선, 작업자 단말(2)은 작업현장의 실시간 촬영영상을 획득하고, 획득된 촬영영상에서 작업대상인 객체(610)를 인식하고, 인식된 객체(610)를 대상으로 가상의 AR 매뉴얼(620)을 생성하여 AR 가이드 화면에 표시한다. 이때, AR 매뉴얼(620)뿐만 아니라, 작업대상에 대한 식별자 정보, 위치정보, 상태정보, 작업도구 정보 등을 포함하는 가상의 작업 가이던스 정보를 화면에 더 표시할 수 있다. 식별자 정보는 작업대상을 식별하기 위한 가상객체이다. 예를 들어, 작업대상을 점선이나 블록 등과 같은 표시자로 알려준다. 위치정보는 작업대상의 위치를 알려주기 위한 가상객체이다. 예를 들어, 작업이 필요한 장치나 장치 내 부품의 위치를 가상의 손가락 등으로 알려준다. AR 매뉴얼(620)은 순차적 작업단계를 안내해 주는 가상객체이다. 작업도구 정보는 작업에 필요한 도구를 알려주기 위한 가상객체이다. 예를 들어 드라이버, 망치 등과 같이 작업에 필요한 모든 가상도구를 표시한다.
도 8을 참조하면, 작업자가 작업자 단말(2)의 AR 가이드 화면을 보면서 AR 매뉴얼(620)에 따라 작업을 진행하는 도중에 전문가의 지원이 추가적으로 필요한 경우, 원격 서버(3)는 작업자 요청에 따라 AR 매뉴얼(620)을 전문가 #1(5-1)이 소지한 전문가 단말 #1(4-1)에 전송할 수 있다. 전문가 #2(5-2)와는 작업자 단말(2)의 AR 가이드 화면을 전문가 단말 #2(4-2)에 전송할 수 있다.
전문가는 도움이 필요한 작업자에게 다양한 기술 지원을 제공할 수 있다. 예를 들어, 도 8에 도시된 바와 같이 원격 회의 시에 전문가 #3(5-3)은 전문가 단말 #3(4-3)을 통해 작업자 단말(2)에 음성을 전달할 수 있다. 다른 예로, 전문가 #n(5-n)은 전문가 단말 #n(4-n)을 통해 주석도구(Annotation tool) 또는 지도도구(Direction tool)를 지원할 수 있다. 주석도구(Annotation tool)는 그리기, 줄 긋기, 포인트, 텍스트 등의 도구가 있으며, 도 8에서는 그리기 도구를 도시하고 있다.
도 2 및 도 8을 참조하면, 전문가가 전문가 웨어러블 기기(8)를 착용하고, 작업자가 작업가 웨어러블 기기(7)를 착용한 후, 전문가 및 작업자가 동일한 AR 가이드 화면을 보는 환경에서, 전문가 웨어러블 기기(8) 및 작업가 웨어러블 기기(7)의 사용자 인터랙션을 이용하여 작업자가 전문가의 동작을 따라 작업하도록 기술 지원을 제공할 수 있다.
예를 들어, 전문가가 전문가 웨어러블 기기(8)를 착용한 상태에서, 전문가의 사용자 동작(예를 들어, 작업자의 왼손 두 번째 손가락으로 AR 가이드 화면 내 5번째 버튼 터치)에 따라 전문가 웨어러블 기기(8)가 사용자 인터랙션(예를 들어, 햅틱 피드백)을 발생하면 전문가 단말(4)은 발생한 사용자 인터랙션에 대응하는 정보(예를 들어, 왼손 두 번째 손가락 위치정보)를 전문가 웨어러블 기기(8)로부터 획득한다. 이어서, 전문가 단말(4)은 전문가 웨어러블 기기(8)를 통한 사용자 인터랙션에 대응하는 정보(예를 들어, 왼손 두 번째 손가락 위치정보)를 원격 서버(3)를 거쳐 작업자 단말(2)에 전송한다. 이때, 작업자 단말(2)은 수신된 정보(예를 들어, 왼손 두 번째 손가락 위치정보)를 작업자 웨어러블 기기(7)에 전달하여 작업가 웨어러블 기기(7)가 정보에 대응하는 사용자 인터랙션(예를 들어, 작업자의 왼손 두 번째 손가락에 햅틱 피드백)을 발생하도록 한다.
작업자는 전문가로부터 수신된 정보 및 작업가 웨어러블 기기(7)에서 발생하는 사용자 인터랙션을 통해 정확한 작업 동작(예를 들어, 왼손 두 번째 손가락으로 AR 가이드 화면 내 5번째 버튼 터치)을 인지하여 인지한 작업 동작을 수행할 수 있다.
전문가의 동작을 따라 작업자가 작업하도록 기술을 지원하는 예는 전문가들 간의 협업을 통해서도 수행될 수 있다. 예를 들어, 도 8에 도시된 바와 같이 전문가 #3(5-3)의 오른손(8-2)으로 수행하는 동작에 맞게 작업자의 오른손(7-2)이 동일한 동작을 수행하도록 하고, 전문가 #n(5-n)의 왼손(8-1)으로 수행하는 동작에 맞게 작업자의 왼손(7-1)이 동일한 동작을 수행하도록 기술 지원을 제공할 수 있다.
예를 들어, 전문가 #n(5-n)의 왼손에 착용한 전문가 웨어러블 기기(8-1)를 통한 제1 사용자 인터랙션이 발생하면, 전문가 단말 #n(4-n)은 제1 사용자 인터랙션에 대응하는 제1 정보를 작업자 단말(2)에 전송한다. 마찬가지로, 전문가 #3(5-3)의 오른손에 착용한 전문가 웨어러블 기기(8-2)를 통한 제2 사용자 인터랙션이 발생하면, 전문가 단말 #3(4-3)은 제2 사용자 인터랙션에 대응하는 제2 정보를 작업자 단말(2)에 전송한다. 그러면, 작업자 단말(2)은 작업자의 왼손에 착용한 웨어러블 기기(7-1)에는 제1 정보를 전달하여 제1 정보에 대응하는 제1 사용자 인터랙션을 발생하도록 한다. 작업자의 오른손에 착용한 웨어러블 기기(7-2)에는 제2 정보를 전달하여 제2 정보에 대응하는 제2 사용자 인터랙션을 발생하도록 한다. 이에 따라, 전문가들의 협업에 의해 작업자가 전문가들의 기술 지원을 제공받아 정확하게 작업할 수 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 작업현장에서 작업자가 소지하는 작업자 단말; 을 포함하며,
    상기 작업자 단말은
    작업대상에 대한 실시간 촬영영상을 획득하는 데이터 획득부;
    촬영영상에서 객체를 인식하는 객체 인식부;
    인식된 객체를 포함한 촬영영상에 작업을 돕기 위한 가상의 증강현실 매뉴얼을 결합하여 증강현실 가이드 화면을 생성하는 증강현실 처리부;
    증강현실 가이드 화면에서 작업자의 장치 조작에 따른 동작을 모니터링하여 촬영영상 내 실제 객체를, 촬영영상 내 실제 객체와 정합된 증강현실 매뉴얼 내 작업대상과 동일한 형태의 가상 객체의 위치와 일치하는지를 비교하여 작업자의 조작이 증강현실 매뉴얼과 부합하는지 여부를 전문가를 통한 원격 제어 없이 판단하는 모니터링부; 및
    작업자 조작의 부합 여부에 따라 사용자 인터랙션을 발생하여 사용자에게 전달하되, 실제 객체 및 가상 객체 간 위치가 불일치하면 촬영영상 내 실제 객체의 위치를 증강현실 매뉴얼 내 가상 객체의 위치와 일치시키도록 하기 위한 사용자 인터랙션을 발생하고, 일치하면 일치 했음을 확인해 주는 사용자 인터랙션을 발생하는 사용자 인터랙션부;
    를 포함하는 것을 특징으로 하는 증강현실 기반 원격 가이던스 시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 모니터링부는
    촬영영상 내 실제 객체와 증강현실 매뉴얼 내 가상 객체의 상태가 일치하는지 여부를 판단하고,
    사용자 인터랙션부는
    객체 간 상태가 불일치하면 작업자의 조작 오류로 판단하여 작업을 수정하도록 하기 위한 사용자 인터랙션을 발생하고, 일치하면 일치 했음을 확인해 주는 사용자 인터랙션을 발생하는 것을 특징으로 하는 증강현실 기반 원격 가이던스 시스템.
  5. 제 1 항에 있어서, 사용자 인터랙션부는
    작업자 조작의 부합 여부에 따라 작업자 단말을 통해 햅틱 피드백을 발생하는 것을 특징으로 하는 증강현실 기반 원격 가이던스 시스템.
  6. 제 1 항에 있어서, 증강현실 기반 원격 가이던스 시스템은
    작업자에 착용되어, 인가된 제어신호에 의해 작업자가 증강현실 매뉴얼에 맞게 작업하도록 유도하는 사용자 인터랙션을 발생하는 작업자 웨어러블 기기; 를 더 포함하며,
    사용자 인터랙션부는
    사용자 인터랙션을 발생 시키는 제어신호를 작업자 웨어러블 기기에 인가하는 것을 특징으로 하는 증강현실 기반 원격 가이던스 시스템.
  7. 제 1 항에 있어서, 증강현실 기반 원격 가이던스 시스템은
    작업자 단말과 증강현실 매뉴얼을 공유하며 증강현실 매뉴얼을 기반으로 작업자의 작업에 대한 기술 지원을 제공하는 적어도 하나의 전문가 단말; 및
    전문가에 착용되는 전문가 웨어러블 기기; 를 더 포함하며,
    사용자 인터랙션부는
    전문가 웨어러블 기기의 사용자 인터랙션에 따른 기술 지원에 맞추어 작업자 웨어러블 기기에 동일한 사용자 인터랙션을 발생함에 따라 작업자의 작업을 가이드하는 특징으로 하는 증강현실 기반 원격 가이던스 시스템.
  8. 제 7 항에 있어서, 전문가 단말은
    전문가의 동작에 따라 전문가 웨어러블 기기에 사용자 인터랙션이 발생하면 발생한 사용자 인터랙션에 대응하는 정보를 작업자 단말에 전송하고,
    사용자 인터랙션부는
    수신된 정보를 작업자 웨어러블 기기에 전달하여 작업자 웨어러블 기기가 정보에 대응하는 사용자 인터랙션을 발생하도록 하는 것을 특징으로 하는 증강현실 기반 원격 가이던스 시스템.
  9. 제 7 항에 있어서, 각 전문가 단말은
    증강현실 매뉴얼을 공유하여 전문가 간 협업을 통해 작업자 단말에 기술을 지원하는 것을 특징으로 하는 증강현실 기반 원격 가이던스 시스템.
  10. 제 1 항에 있어서, 증강현실 기반 원격 가이던스 시스템은
    제1 전문가의 왼손에 착용한 제1 전문가 웨어러블 기기를 통해 제1 사용자 인터랙션이 발생하면, 발생한 제1 사용자 인터랙션에 대응하는 제1 정보를 작업자 단말에 전송하는 제1 전문가 단말; 및
    제2 전문가의 오른손에 착용한 제2 전문가 웨어러블 기기를 통해 제2 사용자 인터랙션이 발생하면, 발생한 제2 사용자 인터랙션에 대응하는 제2 정보를 작업자 단말에 전송하는 제2 전문가 단말; 을 포함하며,
    사용자 인터랙션부는
    작업자의 왼손에 착용한 웨어러블 기기에는 제1 정보를 전달하여 제1 정보에 대응하는 제1 사용자 인터랙션을 발생하도록 하고, 작업자의 오른손에 착용한 웨어러블 기기에는 제2 정보를 전달하여 제2 정보에 대응하는 제2 사용자 인터랙션을 발생하도록 하는 것을 특징으로 하는 증강현실 기반 원격 가이던스 시스템.
KR1020190151319A 2019-11-22 2019-11-22 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법 KR102367965B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190151319A KR102367965B1 (ko) 2019-11-22 2019-11-22 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190151319A KR102367965B1 (ko) 2019-11-22 2019-11-22 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210062989A KR20210062989A (ko) 2021-06-01
KR102367965B1 true KR102367965B1 (ko) 2022-02-25

Family

ID=76375876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190151319A KR102367965B1 (ko) 2019-11-22 2019-11-22 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102367965B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101798097B1 (ko) * 2016-08-16 2017-11-16 김영대 동영상 기반 건물 시공 및 유지보수 통합 관리 방법
JP2019086916A (ja) * 2017-11-02 2019-06-06 オリンパス株式会社 作業支援装置、作業支援方法、作業支援プログラム
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100868775B1 (ko) * 2007-04-30 2008-11-13 광주과학기술원 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및그 시스템
KR20100025983A (ko) * 2008-08-28 2010-03-10 경상대학교산학협력단 가상조립 시뮬레이션 시스템
KR102031670B1 (ko) * 2017-11-17 2019-10-14 주식회사 코이노 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101798097B1 (ko) * 2016-08-16 2017-11-16 김영대 동영상 기반 건물 시공 및 유지보수 통합 관리 방법
JP2019086916A (ja) * 2017-11-02 2019-06-06 オリンパス株式会社 作業支援装置、作業支援方法、作業支援プログラム
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템

Also Published As

Publication number Publication date
KR20210062989A (ko) 2021-06-01

Similar Documents

Publication Publication Date Title
KR102031670B1 (ko) 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법
KR102132330B1 (ko) 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법
KR102439337B1 (ko) 증강현실 공유 기반 다자참여 원격 협업 시스템 및 그 방법
EP2966617B1 (en) System comprising image data generating device and portable terminal device
CN108089696B (zh) 用于工业自动化的虚拟现实和增强现实
US11064009B2 (en) Augmented reality-based wiring, commissioning and monitoring of controllers
KR20190076770A (ko) 증강현실 기반 조립 가이드 시스템
CN113703569A (zh) 用于工业自动化的虚拟现实和增强现实的系统和方法
JP2015204615A (ja) 機器と移動デバイスとの間でインタラクトする方法及びシステム
WO2013184629A2 (en) Mobile device for monitoring and controlling facility systems
KR102008367B1 (ko) 인공지능 플래닝을 이용한 자율주행형 이동로봇과 이를 이용한 스마트 실내업무 관리 시스템 및 방법
CN104731441A (zh) 信息处理的方法、以及电子设备
Schmitt et al. Mobile interaction technologies in the factory of the future
CN111105506A (zh) 一种基于混合现实的实时监控方法及装置
CN106233080A (zh) 命令和/或控制装置和系统
CN108700912B (zh) 通过增强现实操作设备的方法和系统
JP2017010261A (ja) 受配電設備の保守用携帯端末、保守用プログラム、保守用サーバ
US20160048311A1 (en) Augmented reality context sensitive control system
KR102367965B1 (ko) 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법
JP2014139745A (ja) 機器管理システム、機器管理装置、機器管理方法及びプログラム
CN113329241A (zh) 空调及用于空调中多媒体播放的方法、装置
KR20210128424A (ko) 상황 인식 모니터링
EP3803224B1 (en) A method of generating for a user augmented reality information related to an hvac component
US20140214185A1 (en) Somatosensory Household Electricity Control Equipment and System Thereof
EP3745332B1 (en) Systems, device and method of managing a building automation environment

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant