KR102439337B1

KR102439337B1 - 증강현실 공유 기반 다자참여 원격 협업 시스템 및 그 방법

Info

Publication number: KR102439337B1
Application number: KR1020190151318A
Authority: KR
Inventors: 민 장; 오주병; 홍승곤
Original assignee: 주식회사 코이노
Priority date: 2019-11-22
Filing date: 2019-11-22
Publication date: 2022-09-01
Also published as: KR20210062988A

Abstract

증강현실 공유 기반 다자참여 원격 협업 시스템 및 그 방법이 개시된다. 일 실시 예에 따른 다자참여 원격 협업 시스템 및 그 방법은, 작업현장의 장치를 조작하는 절차를 증강현실 매뉴얼로 제공받아 작업하는 증강현실 기반 원격 가이던스 환경에서 작업자가 전문가의 도움을 받아야 되는 상황이 발생하면 전문가들과 증강현실 매뉴얼을 공유하여 실시간으로 기술을 지원 받으며, 다자참여 원격 협업을 통해 공동으로 기술을 지원 받을 수 있다.

Description

증강현실 공유 기반 다자참여 원격 협업 시스템 및 그 방법 {Multilateral participation remote collaboration system based on Augmented reality sharing and method thereof}

본 발명은 영상분석 및 원격제어 기술에 관한 것이다.

장치의 제어, 원격수리, 유지관리 등의 작업을 하기 위해서는 수년간의 경험이 필요하고, 숙련자라 할지라도 신규 장치 도입 시 이를 숙지하는데 오랜 시간이 소요된다. 또한, 아무리 숙련자라 할지라도 모든 작업 절차를 숙지하고 있을 수가 없고, 언제 어떤 작업 요구가 발생할지 예측하기가 어렵다. 이에 따라, 작업자들은 작업을 위한 매뉴얼을 항상 휴대하여, 작업 업무를 수행하여 왔다.

이러한 문제는 비단 산업현장에만 한정되는 것은 아니다. 예를 들어, 가정집에서 냉장고가 고장난 경우 소비자는 스스로 고칠 수 없는 경우가 대부분이어서, 별도의 전문가를 불러 수리해야 하는 경우가 많다. 이때, 문제 해결까지 시간, 비용 등이 많이 소요되어 비효율적이다.

일 실시 예에 따라, 복잡한 구조의 장치일지라도 또는 숙련된 작업자가 아닐지라도 쉽고 빠르게 작업할 수 있도록 하고 전문가의 도움이 필요할 때 전문가들의 원격 협업을 통해 기술을 지원 받을 수 있는 증강현실 공유 기반 다자참여 원격 협업 시스템 및 그 방법을 제안한다.

일 실시 예에 따른 증강현실 공유 기반 다자참여 원격 협업 시스템은, 작업자의 현장상황을 실시간 촬영한 영상을 획득하고 획득된 촬영영상에서 작업대상을 인식한 후 인식된 작업대상을 포함한 촬영영상에 증강현실 매뉴얼을 결합하여 출력하는 작업자 단말과, 작업자 단말 및 다른 전문가 단말과 각각 증강현실 매뉴얼을 공유하며 증강현실 매뉴얼을 기반으로 작업자의 작업에 대한 기술 지원을 제공하는 적어도 하나의 전문가 단말과, 작업자 단말 및 각 전문가 단말에 공통의 증강현실 매뉴얼을 제공하고 전문가 단말로부터 기술 지원을 위한 전문가 명령을 수신하면 수신된 명령에 따라 작업자 단말을 원격 제어하는 원격 서버를 포함한다.

원격 서버는, 작업자 단말 및 각 전문가 단말 별 사용위치를 추적하는 상태 추적부와, 작업자 단말로부터 작업자의 사용위치 정보를 수신하여 이를 각 전문가 단말에 전달하며 각 전문가 단말로부터 해당 전문가의 사용위치를 수신하는 네트워크 연결부와, 작업자의 요청에 따라 또는 작업자가 추가로 전문가에 의한 기술 지원이 필요한지 여부를 파악하여 필요한 경우에 전문가 단말에 요청하여 전문가 명령을 수신함에 따라 전문가로부터 원격으로 작업자 단말에 기술을 지원하는 기술 지원부를 포함할 수 있다. 여기서, 작업자 단말의 사용위치는 증강현실 매뉴얼에서 작업자의 현재 작업단계이고, 각 전문가 단말 별 사용위치는 해당 전문가로부터 입력된 전문가 명령일 수 있다.

원격 서버는, 작업자의 작업자 단말 화면을 모니터링하여 증강현실 매뉴얼 동작상태를 파악하는 모니터링부와, 작업자 단말에 대한 실시간 상태정보를 수신하여 작업자 단말 상태를 파악하는 클라이언트 관리부와, 작업자의 작업자 단말 사용정보를 분석하여 작업자 상태를 파악하는 데이터 분석부를 더 포함하며, 기술 지원부는 모니터링부를 통해 파악된 증강현실 매뉴얼 동작상태, 클라이언트 관리부를 통해 파악된 작업자 단말 상태 및 데이터 분석부를 통해 파악된 작업자 상태 중 적어도 하나를 이용하여 전문가의 기술 지원 여부를 판단하고 기술 지원을 요청할 전문가를 선택할 수 있다.

기술 지원부는, 증강현실 매뉴얼 내 소정의 작업단계로 접근하는 작업단계 접근 기술, 작업자 단말 및 전문가 단말 간 증강현실 매뉴얼을 동기화하는 동기화 기술, 증강현실 매뉴얼을 초기화하는 초기화 기술, 주석도구(Annotation tool) 또는 지도도구(Direction tool)을 포함하는 도구를 통해 기술 지원하는 도구 사용 기술, 영상, 채팅 또는 음성으로 기술을 지원하는 기술 중 적어도 하나의 기술을 지원할 수 있다. 여기서, 소정의 작업단계 접근은, 현재 작업단계를 기준으로 역방향으로의 작업단계 이동, 순방향으로의 작업단계 이동, 현재 작업단계의 반복, 처음 작업단계로의 이동 또는 다른 증강현실 매뉴얼로의 이동을 포함할 수 있다.

원격 서버는 다수의 전문가 단말을 통해 다수의 전문가 간 기술 지원 협업을 중계하는 협업 지원부를 포함할 수 있다.

협업 지원부는 다수의 전문가가 동시에 참여 가능한 원격회의 기능을 제공할 수 있으며, 원격회의 시에 각 전문가 단말로부터 증강현실 영상과 함께 음성을 수신하여 이를 작업자 단말에 전달할 수 있다.

협업 지원부는 전문가 명령 우선순위를 사전에 정의하고, 전문가 단말 간 협업 시에 다수의 전문가 단말로부터 전문가 명령을 함께 수신하면 사전에 정의된 명령 우선순위에 따라 전문가 명령을 차례대로 처리할 수 있다.

협업 지원부는 다수의 전문가 단말로부터 전문가 명령을 함께 수신하면 해당하는 전문가 단말끼리 협의하도록 중개할 수 있다.

원격 서버는 작업자 단말의 증강현실 매뉴얼을 포함한 증강현실 가이드 화면을 정상적으로 작동하고 있는 사이트의 전문가 단말에 역 방향으로 공유한 후 해당 전문가 단말의 전문가 명령에 따라 작업자 단말을 원격 제어할 수 있다.

일 실시 예에 따른 증강현실 공유 기반 다자참여 원격 협업 시스템 및 그 방법에 따르면, 작업현장의 장치를 조작하는 절차를 증강현실 매뉴얼로 제공 받아 작업하는 증강현실 기반 원격 가이던스 환경에서 작업자가 전문가의 도움을 받아야 되는 상황이 발생하면 전문가들과 증강현실 매뉴얼을 공유하여 실시간으로 기술 지원 서비스를 제공받을 수 있다.

증강현실 기반 원격 가이던스 환경에서 전문가들의 다자참여를 통해 기존의 단순한 원격지원에서 벗어나 증강현실 기능을 최대로 활용하여 기술 지원을 할 수 있다. 예를 들어, 다수의 전문가가 증강현실을 기반으로 증강현실 매뉴얼을 공유하고 공유된 증강현실 매뉴얼을 이용하여 작업자를 기술 지원할 수 있으므로 증강현실 사용 효과를 극대화할 수 있다.

증강현실 매뉴얼을 공유할 경우 작업자가 전문가들로부터 별도로 재 설명을 받지 않아도 되며, 전문가들 역시 보다 쉽게 잘못된 부분을 파악하고 증강현실 매뉴얼을 이용하여 정확하게 기술 지원을 제공할 수 있다. 작업자는 복잡한 구조의 장치일지라도 또는 숙련된 작업자가 아닐지라도 쉽고 빠르게 작업할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 원격 가이던스 환경에서의 작업자 단말 화면을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 다자참여 원격 협업 시스템의 구성을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 작업자 단말의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 원격 서버의 구성을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 전문가의 기술 지원을 제공하기 위한 증강현실 공유 환경을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 증강현실 공유 기반 다자참여 원격 협업 예를 보여주기 위해 작업자 단말 화면 및 주체 간에 송수신되는 정보를 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 주체 별 사용위치에 기반하여 AR 공유 기반 다자참여 원격 협업 예를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 원격 가이던스 환경에서의 작업자 단말 화면을 도시한 도면이다.

도 1을 참조하면, 증강현실(Augmented Reality: AR, 이하 'AR'이라 칭함) 기반 원격 가이던스(Remote Guidance)는 작업자가 작업현장을 실시간 촬영한 영상에 가상의 AR 매뉴얼(Manual)을 결합하여 AR 가이드 화면을 제공함에 따라, 작업자가 AR 매뉴얼을 따라 스스로 작업할 수 있도록 가이드 하는 서비스를 의미한다. AR 매뉴얼은 작업자가 장치를 조작하기 위해 작업단계 정보를 제공하는 가상의 AR 콘텐츠이다. 예를 들어, 텍스트 형태의 작업순서, 작업대상과 동일한 형태의 이미지, 화살표나 숫자, 색상, 영상 등으로 다양하게 표현될 수 있다.

AR 가이드 화면 예를 들면, 작업현장에서 전력반 내 파워서플라이의 전력공급에 문제가 발생하였다고 가정했을 때, 작업자 단말(2)의 화면에는 "전력반의 파워서플라이의 파워가 역치값을 넘었으므로 파워를 줄여야 한다" 라는 경고 메시지와 같은 상태정보(102)가 표시된다. 그리고 문제가 발생한 전력반 커버를 대상으로 블록 형태 등의 식별자와 같은 식별정보(100)를 화면에 표시하여 작업자에게 전력반 커버가 작업대상임을 인식시킨다. 식별정보(100)는 AR 매뉴얼에 따라 그 대상이 변경될 수 있다.

또한, 화면에는 AR 매뉴얼(104)이 함께 표시된다. 예를 들어, "1. 전력반 커버를 연다. 2. 브레이커를 내린다. 3. 파워서플라이를 교체한다. 4. 브레이커를 올린다."와 같이 작업순서에 따라 미리 설정된 AR 매뉴얼이 화면에 표시된다. "1. 전력반 커버를 연다."에서는 촬영영상 내 전력반 커버의 손잡이가 점선 등으로 식별 가능하게 표시될 수 있다. "2. 브레이커를 내린다."에서는 촬영영상 내 브레이커가 점선 등으로 식별 가능하게 표시될 수 있다. " 3. 파워서플라이를 교체한다."에서는 촬영영상 내 파워서플라이가 점선 등으로 식별 가능하게 표시될 수 있다. 도 1에서 AR 매뉴얼(104)은 텍스트 형태로 도시하고 있으나, 텍스트뿐만 아니라 이미지, 영상 등의 다양한 포맷으로 제공될 수 있는 콘텐츠이다.

작업자는 AR 기반 원격 가이던스를 통해 장치에 대해 숙련된 전문가의 도움 없이도, 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있다. 장치는 작업현장에 설치된 장비, 기계, 설비 등을 포함하며, 하나의 장치를 구성하는 부품, 모듈 등을 포함할 수 있다. 작업은 제어, 원격수리, 정비, 시스템 유지보수, 조정, 조작 등을 포함한다. 예를 들어, 작업은 문제가 발생한 장치에 대한 정비나, 문제가 발생할 가능성이 있는 장치에 대해 문제 발생 이전에 이를 조치하는 것일 수 있다.

작업현장은 공장(스마트 팩토리)이나 빌딩(스마트 빌딩)과 같은 산업현장이 될 수도 있으며, 가정집(스마트 홈)이 될 수도 있다. 산업현장을 예로 들면, 공장 내 에어컨, 환기, 공조기, 팬, 보일러, 냉각탑, 펌프, 온/습도센서, 냉동기, 조명기기, 전력기기, 화재 시스템을 대상으로 AR 기반 원격 가이던스를 제공할 수 있다. 원격 서버(3)를 통해 건물 전체의 상황을 종합적으로 제어 및 감시하면서 기계설비, 조명, 전력, 출입통제, 방재, 주차관리, 시설관리가 가능하며, 모니터링 중에 작업이 필요한 경우 이를 작업자에게 알리며, 작업자는 AR 기반 원격 가이던스 정보를 이용하여 전문가의 도움 없이도 원활하게 작업을 수행할 수 있다.

AR 기반 원격 가이던스는 가정 환경에서 운용될 수 있다. 예를 들어, 원격 서버(1)를 통해 가정 내 TV, 에어컨, 냉장고 같은 가전제품이나 수도, 전기, 냉난방과 같은 에너지 소비장치나, 도어락, 감시 카메라 등과 같은 보안기기나, 고가의 자동차와 전기 자동차 등의 기기를 모니터링 및 제어하면서, 원격으로 조정 가능하다. 또한, 해당 가정기기에 문제가 발생한 경우, 소비자가 작업자 단말(2)만 가지고 있으면 문제 해결을 위한 AR 기반 원격 가이던스를 제공받을 수 있으므로 쉽게 기기의 문제를 해결할 수 있다. 이 경우, 소비자는 소비자 센터에 연락하여 전문가를 부르거나 출장 비용을 별도로 부담할 필요도 없으며, 시간 낭비도 방지할 수 있다. 또한, 스마트 글래스(smart glass)와 같은 기존의 별도의 하드웨어가 필요한 몰입형 디스플레이가 없어도 무방하고 결합하여 사용도 가능하다.

스마트 기기, 스마트 빌딩, 스마트 팩토리 등에서 사용하는 다수의 IoT 기기들을 대상으로 AR 기반 원격 가이던스를 제공할 수 있다. IoT 기기는 디지털 사이니지(digital signage), 스마트 TV, 스마트 워치, 스마트 CE, 드론(drone) 등일 수 있다. 다른 실시 예에 따른 다자참여 원격 협업 시스템(1)은 IoT 센싱 능력이 없는 IoT 시대 이전에 제작된 레거시 기기(legacy device)를 대상으로 AR 기반 원격 가이던스를 제공할 수도 있다. 예를 들어, 디바이스에 내장 또는 장착되는 IoT 센서가 없어서 디바이스와 그 주변환경의 정보를 센싱할 수 없는 레거시 기기를 대상으로도 작업자 단말(2)을 이용한 AR 기반 원격 가이던스를 제공할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 다자참여 원격 협업 시스템의 구성을 도시한 도면이다.

도 2를 참조하면, 다자참여 원격 협업 시스템(1)은 작업자 단말(2), 원격 서버(3) 및 전문가 단말(4)을 포함한다.

작업자 단말(2)은 작업현장에서 작업하는 작업자가 소지하고 있는 사용자 단말이다. 작업자 단말(2)은 작업현장의 촬영영상을 획득하며, 획득된 촬영영상에 가상의 AR 매뉴얼을 결합하여 화면에 표시한다. 작업자 단말(2)은 AR 기반 객체인식을 통해 작업대상의 윤곽을 인식하고 원격 서버(3)로부터 수신된 기계학습 기반 객체인식 결과를 수신하여 부품 및 모듈을 추가로 인식할 수 있다. 작업자 단말(2)이 원격 서버(3)와 연결되는 경우, 작업자 단말(2)은 원격 서버(3)로부터 수신된 제어명령을 수행하는 에이전트(Agent)가 된다. 작업자 단말(2)은 원격 가이던스를 위해 앱(App)을 실행할 수 있다. 이때, 서로 상이한 OS, 예를 들어, 안드로이드, iOS, 윈도우 등 각종 OS를 모두 지원할 수 있는 형태를 가진다.

원격 서버(3)는 작업현장에 위치한 장치를 모니터링하며 작업이 필요한 장치를 대상으로 AR 기반 원격 가이던스를 수행한다. 작업자 단말(2)을 통해 제공되는 AR 매뉴얼을 통해 작업자가 문제를 해결하지 못하여 전문가의 도움을 받아야 하는 상황이 발생할 수 있다. 이 경우, 작업자 단말(2)은 원격 서버(3)를 통해 전문가 단말(4)과 연결되어, 전문가로부터 기술 지원을 제공받을 수 있다. 이를 위해, 원격 서버(3)는 작업자 단말(2) 및 전문가 단말(4)에 공통의 AR 매뉴얼을 제공하고 전문가 단말(4)로부터 기술 지원을 위한 전문가 명령을 수신하면 수신된 명령에 따라 작업자 단말(2)을 원격 제어한다.

전문가 단말(4)은 원격에서 작업자에게 기술 지원을 하기 위한 전문가가 소지하고 있는 단말로서, 다수 개가 다자참여가 가능하다. 전문가는 각 분야의 전문가뿐만 아니라, 제조 설비사의 기술 엔지니어를 포함한다. 각 전문가 단말(4-1, 4-2, …, 4-n) 간에 협업하여 작업자 단말(2)에 대한 스마트 원격지원이 가능하다. 예를 들어, 소정의 전문가 단말은 작업자 단말(2) 및 호 연결된 다른 전문가 단말과 각각 AR 매뉴얼을 공유하고, AR 매뉴얼을 기반으로 작업자의 작업에 대한 기술 지원을 제공한다.

일 실시 예에 따른 다자참여 원격 협업 시스템(1)은 원격 가이던스 환경에서 기존의 단순한 원격지원에서 벗어나, 전문가들의 다자참여를 통해 AR 기능을 최대로 활용하여 기술 지원을 할 수 있도록 한다. 예를 들어, 다수의 전문가가 AR을 기반으로 AR 매뉴얼을 공유하고 공유된 AR 매뉴얼을 이용하여 작업자를 기술 지원할 수 있으므로 AR 사용 효과를 극대화할 수 있다.

작업현장에서 장치에 대한 작업이 필요하여 원격지원을 받는 경우, 작업자가 자신의 작업자 단말(2)에 제공되는 AR 매뉴얼에 따라 작업을 진행하게 된다. 그런데 작업 도중에 작업자가 전문가의 도움을 받아야 되는 상황이 발생할 수 있다. 이때 전문가, 예를 들어 기술 엔지니어의 1차적인 기술창구의 지원을 받아야 한다.

일반적으로 작업자가 전문가의 도움을 받을 때, 작업자가 원격으로 AR 가이드와는 별도로 전문가로부터 작업 문제 해결을 위한 재 설명을 들어야 한다. 이 경우, 작업 효율성이 떨어지게 된다. 특히, 작업자가 기술 교육생이나 현장 사용자 교육환경의 경우에는 더욱 효용성이 떨어진다.

일 실시 예에 따른 다자참여 원격 협업 시스템(1)은 작업자 및 전문가 간, 전문가들 간에 AR 매뉴얼을 공유(sharing) 하여 전술한 문제를 쉽게 처리할 수 있다.

작업자 및 전문가 간 AR 기반 원격 가이던스 예를 들면, 1차 기술창구의 기술 엔지니어는 작업자의 상황을 청취한 후 잘못된 부분을 파악하고, 다수의 작업단계로 구성되는 AR 매뉴얼의 특정 위치로 되돌린 후 잘못된 부분부터 진행하면서 AR 기반 원격 가이던스를 진행할 수 있다. 이때 주석도구(Annotation Tool), 지도도구(Direction Tool) 등을 함께 제공하여 상세한 원격 가이던스를 진행할 수 있다.

상황에 따라 전문가 간에 상호 호 연결을 통해 연락을 주고 받으며, AR 매뉴얼을 공유할 수 있다. 또한, 다수의 전문가가 동시에 참여 가능하여 원격 협업을 통해 원격 가이던스를 제공할 수 있다. 전문가가 작업자에게 AR 영상과 함께 음성 등을 제공하는 원격 가이던스를 통해 심도 높은 기술 지원도 가능하다.

필요 시 정상적으로 작동하고 있는 사이트(지사 등)의 사외/사내 전문가의 가이드를 따라야 할 경우, 작업자 단말(2)에서 해당 전문가 단말(4)에 AR 매뉴얼을 포함한 AR 가이드 화면을 역방향으로 공유할 수 있다. 이때, 해당 전문가 단말(4)의 전문가 명령에 따라 작업자 단말(2)을 원격 제어할 수 있다.

전술한 구성요소들은 네트워크를 통해 통신할 수 있으며, 네트워크는 근거리 통신망(Local Area Network: LAN), 광역 통신망(Wide Area Network: WAN) 또는 부가가치 통신망(Value Added Network: VAN) 등과 같은 유선 네트워크나, 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 작업자 단말의 구성을 도시한 도면이다.

도 2 및 도 3을 참조하면, 작업자 단말(2)은 데이터 획득부(20), 입력부(21), 제어부(22), 출력부(23), 통신부(24) 및 저장부(25)를 포함한다.

데이터 획득부(20)는 작업현장에서 작업자가 작업대상을 바라보는 현재시점을 기준으로 실시간으로 촬영한 촬영영상을 획득한다. 데이터 획득부(20)는 카메라로부터 촬영영상을 획득할 수 있다. 데이터 획득부(20)는 획득된 촬영 영상을 제어부(22)에 전달한다. 데이터 획득부(20)는 작업자 단말(2) 내 설치된 앱(App)을 통해 원격 가이던스를 이용할 수 있고, 이 경우 앱 카메라를 통해 실시간 촬영영상을 획득할 수 있다. 작업자가 AR 기반 원격 가이던스를 이용하는 동안에 실시간으로 촬영영상이 들어온다.

입력부(21)는 사용자 조작신호를 입력 받는다. 사용자 조작신호는 사용자의 화면 터치 신호, 키(key) 입력신호, 음성신호 및 생체 신호 등이 있다. 입력부(21)는 입력 받은 사용자 조작신호를 제어부(22)에 전달한다.

출력부(23)는 제어부(22)를 통해 처리된 정보를 AR 가이드 화면에 출력한다. 출력되는 정보는 촬영영상 내 실제 객체와 AR 매뉴얼 내 가상 객체가 있다. AR 매뉴얼은 작업대상인 실제 객체와 동일한 형태의 가상 객체를 촬영영상에 결합하여 작업자의 작업을 가이드할 수 있다. 이때, 작업자가 AR 매뉴얼 내 가상 객체에 촬영영상 내 실제 객체의 위치를 맞추고, AR 매뉴얼 내 가상 객체와 상태가 동일해지도록 촬영영상 내 실제 객체의 상태를 조작하는 동작을 통해 쉽게 작업을 수행할 수 있다. 출력의 예로는 화면에 영상을 표시할 수 있고, 스피커를 통해 음성을 출력할 수도 있다.

출력부(23)를 통해 표시되는 가상객체는 작업대상을 식별하기 위한 식별자 정보도 있다. 예를 들어, 화살표, 선, 블록 등의 식별자를 화면에 표시한다. 이때, 작업대상은 AR 매뉴얼에 맞게 변경될 수 있다. 실시간으로 촬영되는 실제화면은 계속 움직이므로 식별자 역시 움직이는 작업대상에 맞게 이동한다. 출력부(23)는 작업대상의 위치를 알려줄 수도 있다. 예를 들어, 손 모양 등으로 작업이 필요한 부품을 가리킨다.

출력부(23)는 작업대상의 제어 상태, 고장 상태, 동작 상태, 시간정보, 장치 내 작업이 필요한 제어 파라미터 등 장치에 관한 각종 상태정보를 표시할 수 있다. 이때, 작업대상의 품번, 수명주기, 최근 교체 내역, 고장 내역 등을 포함하는 세부설명이 화면에 표시될 수 있다. 제어 파라미터의 예를 들면, 장치가 공기 조화기인 경우, 제어 파라미터는 목표 온도(또는 설정 온도), 상한 온도, 하한 온도, 풍량, 운전, 정지 여부 등이 될 수 있다. 장치가 조명 설비인 경우, 제어 파라미터는 조명 밝기 등이 될 수 있다. 출력부(23)는 작업이 필요한 장치를 대상으로 자동으로 상태정보를 표시할 수 있지만, 작업자의 요청에 따라 상태정보를 표시할 수도 있다. 예를 들어, 작업자가 화면 내에서 소정의 장치를 선택하면, 선택된 장치에 대한 각종 상태정보를 화면에 표시할 수 있다.

출력부(23)는 순차적인 AR 매뉴얼을 알려주기 위한 가상객체를 화면에 표시할 수 있다. 이때, AR 매뉴얼에 맞게 작업이 필요한 장치 또는 장치 내 부품을 출력부(23)를 통해 함께 작업자에 알려줄 수 있다.

출력부(23)는 작업에 필요한 도구를 알려주기 위한 가상객체를 화면에 표시할 수 있다. 작업도구는 예를 들어, 망치, 드라이버, 손 등이 있다. 출력부(23)는 다수의 작업단계로 구성된 AR 매뉴얼을 대상으로 단계 상태를 파악할 수 있도록 하는 프로세스 마커를 화면에 표시할 수 있다. 프로세스 마커는 AR 매뉴얼 별 식별자 정보와, AR 매뉴얼 내 각 작업단계 별 식별자 정보와, 사용자가 원하는 작업단계로의 접근을 위해 현재 작업단계를 기준으로 적어도 하나의 작업단계 식별자에 할당되는 마커 정보를 포함한다.

통신부(24)는 원격 서버(3)와 네트워크 연결되어, 유무선 통신을 수행한다. 작업자 단말(2)은 통신부(24)를 통해 원격 서버(3)와 전용의 네트워크를 통해 연결되거나 인터넷 등의 범용 네트워크를 통해 연결될 수 있다.

일 실시 예에 따른 통신부(24)는 원격 서버(3)에 작업 매뉴얼을 요청하여 수신한다. 통신부(24)는 원격 서버(3)로부터 작업명령을 수신함에 따라 작업 가이던스를 시작할 수 있다. 예를 들어, 원격 서버(3)가 작업현장 내 장치들을 모니터링하고 있다가 에러가 발생하거나 에러가 발생할 가능성이 있는 장치를 검출하면 해당 장치에 대한 작업 요청명령을 작업자 단말(2)에 전송하여 작업자에게 알린다.

일 실시 예에 따른 통신부(24)는 데이터 획득부(20)를 통해 획득된 촬영영상을 원격 서버(3)에 전송하여 공유한다. 그리고 객체 인식결과를 원격 서버(3)와 교환할 수 있다. 예를 들어, 작업자 단말(2)의 AR 기반 영상분석을 통한 객체인식 결과를 원격 서버(3)에 전송하며, 원격 서버(3)로부터 AI 기반 객체인식 결과를 수신할 수 있다.

저장부(25)는 각종 데이터를 저장한다. 데이터는 작업현장의 장치들의 고유정보, 위치정보, 장치들의 도면, 작업 매뉴얼 정보, 장치 내 부품정보, 작업 스케줄 정보 등일 수 있다. 이러한 정보는 원격 서버(3)로부터 다운로드 받아 저장될 수도 있고, 입력부(21)를 통해 사용자로부터 입력 받을 수도 있다.

저장부(25)는 하드디스크(Hard Disk), 플래시 메모리(Flash Memory)와 같은 내장형 메모리뿐만 아니라, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC 카드(Multi-Media Card), 또는 메모리 스틱(Memory Stick) 등과 같은 이동 시 메모리로서 작업자 단말(2)의 내부에 구현될 수 있고, 별도의 장치에 구비되어 있을 수도 있다.

제어부(22)는 전술한 각 구성의 동작을 제어한다. 일 실시 예에 따른 제어부(22)는 데이터 획득부(20)를 통해 획득된 촬영영상을 대상으로 객체 인식→객체 트래킹→객체 렌더링의 순차적인 프로세스를 반복적으로 수행하여 촬영영상에 AR 매뉴얼을 연동시킨다.

일 실시 예에 따른 제어부(22)는 영상 인식부(220), 트래킹부(222) 및 렌더링부(224)를 포함한다.

영상 인식부(220)는 촬영영상에서 AR 및 인공지능(Artificial Intelligence: AI, 이하 'AI'라 칭함)에 기반하여 작업대상을 인식한다. 트래킹부(222)는 영상 인식부(220)를 통해 인식된 작업대상을 트래킹 한다. 카메라를 통해 포착된 촬영영상은 고정된 것이 아니라 작업자의 움직임 등으로 인해 계속 움직이므로, 트래킹부(222)는 촬영영상 내에서 인식된 객체의 움직임을 계속 따라가는 작업을 수행한다. 렌더링부(224)는 실제 객체 및 가상 객체와의 상호작용을 계산하고 계산결과를 반영하여 작업대상에 대한 작업을 돕기 위한 가상 객체를 촬영영상에 정합한 후 렌더링하거나, 가상 객체를 렌더링한 후 촬영영상에 정합하여 AR 매뉴얼을 생성한다. 이때, 촬영영상에서 가상 객체 위치를 선정하여 배치할 수 있다.

일 실시 예에 따른 영상 인식부(220)는 객체 인식을 위해 AR 기반 영상분석과 AI 기반 기계학습을 이용한다. 영상분석은 획득된 촬영영상 내에서 객체를 인식하는 일반적인 알고리즘을 사용할 수 있다. 예를 들어, 영상 내 점 군 정보(Point Cloud), 깊이 정보, 컬러 정보 등을 이용하여 객체를 인식한다. 영상분석 기반 객체 인식은 이미 공지된 기술이므로 상세한 설명은 생략한다. 이때, 영상 처리, 예를 들어, 영상에 대한 이진화, 에지 블랜딩(edge blending), 마스킹(masking) 등을 처리하여 객체 인식률을 높일 수 있다.

기계학습은 AI에서 사용되는 방식 중 하나로서, 수많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하여 학습시키는 기술이다. 예를 들어, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. 기계학습을 통해 축적된 학습 데이터를 이용하여 영상 내 객체를 인식할 수 있다. 기계학습은 SVM(Support Vector Machines), 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다.

영상 인식부(220)는 이러한 AI 기반 객체 인식을 AR 기반 영상분석의 보조수단으로 활용함에 따라 객체인식의 정확성을 높이고자 한다. 예를 들어, 영상 인식부(220)는 작업자 단말(2)을 통한 AR 기반 객체 인식결과에, 작업자 단말(2)을 통한 AI 기반 객체 인식결과 또는 통신부(24)를 통해 수신된 원격 서버(3)의 AI 기반 객체 인식결과를 반영하여 객체 인식 정확도를 높인다.

원격제어 처리부(226)는 원격 제어 요청 메시지를 생성하여 통신부(23)를 통해 원격 서버(3)에 전송하여 원격제어를 요청한다. 이때, 원격 서버(3)의 제어에 따라 원격으로 AR 가이드 화면을 공유할 수 있다. 원격제어 처리부(226)는 작업자가 자신의 작업자 단말(2)에 제공되는 AR 매뉴얼에 따라 작업을 진행하는 도중에 작업자가 전문가의 도움을 받아야 되는 상황이 발생한 경우, 원격 서버(3)를 통해 전문가 단말(4)에 기술 지원을 요청할 수 있다.

디바이스 제어부(228)는 원격 서버(3)의 원격 제어명령을 처리한다. 원격 제어명령은 전문가 단말(4)로부터 전달 받는 기술 지원을 위한 전문가 명령일 수 있다.

도 4는 본 발명의 일 실시 예에 따른 원격 서버의 구성을 도시한 도면이다.

도 2 및 도 4를 참조하면, 원격 서버(3)는 객체 인식부(300), 매뉴얼 제공부(302), 상태 추적부(304), 기술 지원부(306), 협업 지원부(308), 액티비티 관리부(310), 네트워크 연결부(312), 모니터링부(314), 클라이언트 관리부(316), 데이터 분석부(318) 및 프로토콜 처리부(320)를 포함한다. 원격 서버(3)는 원격 제어를 위해 필요한 정보들을 저장한 데이터베이스를 구축하여 연결될 수 있다.

객체 인식부(300)는 네트워크 연결부(312)를 통해 작업자 단말(2)로부터 수신된 촬영영상을 대상으로 학습 데이터에 기반하여 기계학습을 통해 객체를 인식한다. 기계학습 기반 객체인식 결과는 네트워크 연결부(312)를 통해 작업자 단말(2)에 전달된다.

상태 추적부(304)는 작업자 단말(2) 및 전문가 단말(4)의 사용위치를 추적한다. 작업자 단말(2)의 사용위치는 AR 매뉴얼에서 작업자의 현재 작업단계이다. 전문가 단말(4)의 사용위치는 해당 전문가로부터 입력된 전문가 명령이다.

네트워크 연결부(312)는 네트워크의 종류와 관계없이 네트워크 연결의 항상성을 유지한다. 일 실시 예에 따른 네트워크 연결부(312)는 작업자의 작업자 단말(2)과 전문가의 전문가 단말(4)과 정보를 송수신한다. 예를 들어, 네트워크 연결부(312)는 작업자 단말(2)로부터 촬영영상을 수신하여 공유하고, 작업자 단말(2)의 AR에 기반한 영상분석을 통해 인식된 객체정보를 수신하며, 기계학습 기반 객체 인식결과를 작업자 단말(2)에 전송한다. 또한, 전문가 단말(4)에 AR 매뉴얼을 공유한다. 네트워크 연결부(312)는 작업자 단말(2)로부터 원격제어 요청을 수신하면 작업자 단말(2)의 화면을 공유하며, 원격제어 명령을 네트워크 연결부(312)를 통해 작업자 단말(2)에 전송한다.

일 실시 예에 따른 네트워크 연결부(312)는 작업자 단말(2)로부터 작업자의 사용위치 정보를 수신하여 이를 전문가 단말(4)에 전달하며, 전문가 단말(4)로부터 전문가의 사용위치를 수신한다. 또한, 전문가 단말(4)로부터 작업자에 대한 기술 지원을 위한 전문가 명령을 수신하여 이를 작업자 단말(2)에 전달한다.

일 실시 예에 따른 네트워크 연결부(312)는 작업자 단말(2)의 AR 매뉴얼을 포함한 AR 가이드 화면을 정상적으로 작동하고 있는 사이트의 전문가 단말(4)에 역 방향으로 공유한다. 사이트는 지사 등일 수 있고, 전문가는 사내 또는 사외 전문가이며, 작업자는 전문가의 가이드를 따라 작업을 수행하게 된다.

모니터링부(314)는 작업현장에 있는 작업자의 작업자 단말(2) 화면을 모니터링하여 AR 매뉴얼 동작상태를 파악한다. 이때, AR 매뉴얼이 정상적으로 동작하는지 여부를 확인할 수 있다.

클라이언트 관리부(316)는 클라이언트의 실시간 상태정보를 수신하여 클라이언트의 상태를 확인한다. 클라이언트가 정상적으로 작동하는지 작동하지 않으면 어떤 문제가 있는지 파악 후 처리한다. 클라이언트는 작업자 단말(2), 작업자 단말(2)에서 실행되는 앱, 작업현장 내 각종 장치일 수 있다. 일 실시 예에 따른 클라이언트 관리부(316)는 작업현장 내 장치들을 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 해당 장치에 대한 에러를 처리하기 위한 작업 명령을 생성한다. 생성된 작업 명령은 네트워크 연결부(312)를 통해 작업자의 작업자 단말(2)에 전송된다.

데이터 분석부(318)는 작업자의 작업자 단말(2)에 대한 사용정보를 분석하여 작업자 상태를 파악한다. 예를 들어, 작업자가 작업자 단말(2)을 사용한 정보로부터 앱 사용빈도 및 작업자의 작업에 대한 숙달 여부를 알 수 있다.

기술 지원부(306)는 작업자의 요청에 따라 또는 작업자가 추가로 전문가에 의한 기술 지원이 필요한지 여부를 파악하여 필요한 경우에 전문가 단말(4)에 요청하여 전문가로부터 원격으로 작업자 단말(2)에 기술을 지원한다. 기술 지원부(306)가 지원하는 기술은, AR 매뉴얼 내 소정의 작업단계로 접근하는 작업단계 접근 기술, 작업자 단말(2) 및 전문가 단말(4) 간 AR 매뉴얼을 동기화하는 동기화 기술, AR 매뉴얼을 초기화하는 초기화 기술, 주석도구(Annotation tool) 또는 지도도구(Direction tool)을 포함하는 도구를 통해 기술 지원하는 도구 사용 기술, 영상, 채팅 또는 음성으로 기술을 지원하는 기술 등이 있다. 이때, 소정의 작업단계 접근은, 현재 작업단계를 기준으로 역방향으로의 작업단계 이동, 순방향으로의 작업단계 이동, 현재 작업단계의 반복, 처음 작업단계로의 이동 또는 다른 증강현실 매뉴얼로의 이동을 포함할 수 있다.

일 실시 예에 따른 기술 지원부(306)는 모니터링부(314)를 통해 파악된 AR 매뉴얼 동작상태, 클라이언트 관리부(316)를 통해 파악된 작업자 단말 상태 및 데이터 분석부(318)를 통해 파악된 작업자 상태 중 적어도 하나를 이용하여 전문가의 기술 지원 여부를 판단하고 기술 지원을 요청할 전문가를 선택한다.

협업 지원부(308)는 다수의 전문가 단말(4-1, 4-2, …, 4-n)을 통해 다수의 전문가 간 기술 지원 협업을 중계한다. 예를 들어, 협업 지원부(308)는 다수의 전문가가 동시에 참여 가능한 원격회의 기능을 제공한다. 이때, 협업 지원부(308)는 원격회의 시에 각 전문가 단말(4-1, 4-2, …, 4-n)로부터 증강현실 영상과 함께 음성을 수신하여 이를 작업자 단말(2)에 전달할 수 있다.

협업 지원부(308)는 전문가 명령 우선순위를 사전에 정의하고, 전문가 단말(4-1, 4-2, …, 4-n) 간 협업 시에 다수의 전문가 단말(4-1, 4-2, …, 4-n)로부터 전문가 명령을 함께 수신하면 사전에 정의된 명령 우선순위에 따라 전문가 명령을 차례대로 처리할 수 있다. 다른 예로, 협업 지원부(308)는 다수의 전문가 단말(4-1, 4-2, …, 4-n)로부터 전문가 명령을 함께 수신하면, 해당하는 전문가 단말(4-1, 4-2, …, 4-n)끼리 협의를 중개하도록 할 수 있다.

액티비티 관리부(310)는 미리 설정된 시간 단위로 액티비티를 기록하고 전문가 단말(4)의 전문가 명령에 따라 액티비티를 취소하고 리버스(reverse) 할 수 있다.

프로토콜 처리부(320)는 클라이언트의 정상신호를 수신하여 파싱하고 이를 처리하기 위한 통신규약을 구현해주는 소프트웨어 모듈이다.

도 5는 본 발명의 일 실시 예에 따른 전문가의 기술 지원을 제공하기 위한 AR 공유 환경을 도시한 도면이다.

도 2 및 도 5를 참조하면, AR 기반 원격 가이던스를 진행하면서 작업현장의 장치를 조작하는 절차를 작업자 단말(2)에 AR 매뉴얼로 제공한다. 작업 도중에 작업자가 작업에 대한 이해도가 떨어지거나 작업이 복잡한 경우 이에 대한 전문가의 기술 지원을 실시간 처리할 수 있다. 작업이 복잡한 경우는 다수의 조작이 필요한 제품인 경우, 단계별 난이도가 높아 처리 및 조작 횟수가 매우 많은 AR 매뉴얼의 단계를 반복하거나 AR 매뉴얼을 반대로 돌려가며 재 조작 시도를 해야 하는 경우 등이 있다.

기술 지원 요청은 작업자가 직접 요청할 수 있고, 원격 서버(3)에서 전문가의 기술 지원 여부를 판단하여 필요 시 전문가에 요청할 수 있다. 원격 서버(3)의 판단을 위해 AR 매뉴얼 동작상태, 작업자 단말(2)의 상태 및 작업자 상태 중 적어도 하나를 이용할 수 있다.

AR 기반 원격 가이던스 환경에서 기존의 단순한 원격지원에서 벗어나, 전문가들의 다자참여를 통해 AR 기능을 최대로 활용하여 기술 지원을 할 수 있다. 예를 들어, 다수의 전문가가 AR 매뉴얼을 공유하고 공유된 AR 매뉴얼을 이용하여 작업자를 기술 지원할 수 있다. 이때, 작업자 및 전문가 간, 전문가들 간에 AR 매뉴얼을 공유할 수 있다.

도 5에 도시된 바와 같이, 작업자 및 전문가 간 AR 공유 예를 들면, 전문가 #1(예를 들어, 1차 기술창구의 기술 엔지니어)(#5-1)은 작업자의 상황을 청취한 후 잘못된 부분을 파악하고, 다수의 작업단계로 구성되는 AR 매뉴얼의 특정 위치로 되돌린 후 잘못된 부분부터 진행하면서 AR 기반 원격 가이던스를 진행할 수 있다. 이때 주석도구(Annotation Tool), 지도도구(Direction Tool) 등을 함께 제공하여 상세한 AR 기반 원격 가이던스를 진행할 수 있다(Annotation Tool & Direction Tool).

상황에 따라 전문가 간에 상호 호 연결을 통해 연락을 주고 받으며, AR 매뉴얼을 공유할 수 있다. 예를 들어, 도 5에 도시된 바와 같이 전문가 #1(5-1)이 전문가 #2(5-2)에 공유를 요청(Sharing request) 하고, 다시 전문가 #2(5-2)가 전문가 #3(5-3)에 공유를 요청할 수 있다.

각 전문가(5-1, 5-2, …, 5-n)는 AR 매뉴얼을 공유하면서, 작업자를 원격 제어할 수 있다(AR sharing & Control). 또한, 다수의 전문가(5-1, 5-2, …, 5-n)가 동시에 참여 가능하여, 원격 협업을 통해 AR 기반 원격 가이던스를 제공할 수 있다. 전문가가 작업자에게 AR 영상과 함께 음성 등을 제공하는 AR 기반 원격 가이던스를 통해 심도 높은 기술 지원도 가능하다.

필요 시 정상적으로 작동하고 있는 사이트(지사 등)의 사외/사내 전문가의 가이드를 따라야 할 경우, 작업자 단말(2)에서 해당 전문가 단말(4)에 AR 매뉴얼을 포함한 AR 가이드 화면을 역방향으로 공유할 수 있다. 이때, 해당 전문가 단말(4)의 전문가 명령에 따라 작업자 단말(2)을 원격 제어할 수 있다(Follow & Check).

도 6은 본 발명의 일 실시 예에 따른 AR 공유 기반 다자참여 원격 협업 예를 보여주기 위해 작업자 단말 화면 및 주체 간에 송수신되는 정보를 도시한 도면이다.

도 2 및 도 6을 참조하면, 작업자 단말(2)은 작업현장의 촬영영상(600)을 획득하고, 획득된 촬영영상(600)에서 작업대상인 객체(610)를 인식하고, 인식된 객체(610)를 대상으로 가상의 AR 매뉴얼(620)을 생성하여 AR 가이드 화면에 표시한다. 이때, AR 매뉴얼(620)뿐만 아니라, 작업대상에 대한 식별자 정보, 위치정보, 상태정보, 작업도구 정보 등을 포함하는 가상의 작업 가이던스 정보를 화면에 추가로 표시할 수 있다. 식별자 정보는 작업대상을 식별하기 위한 가상객체이다. 예를 들어, 작업대상을 점선이나 블록 등과 같은 표시자로 알려준다. 위치정보는 작업대상의 위치를 알려주기 위한 가상객체이다. 예를 들어, 작업이 필요한 장치나 장치 내 부품의 위치를 가상의 손가락 등으로 알려준다. AR 매뉴얼(620)은 순차적 작업단계를 안내해 주는 가상객체이다. 작업도구 정보는 작업에 필요한 도구를 알려주기 위한 가상객체이다. 예를 들어 드라이버, 망치 등과 같이 작업에 필요한 모든 가상도구를 표시한다.

도 6을 참조하면, 작업자가 작업자 단말(2)의 AR 가이드 화면을 보면서 AR 매뉴얼(620)에 따라 작업을 진행하는 도중에 전문가의 지원이 추가적으로 필요한 경우, 원격 서버(3)는 작업자 요청에 따라 AR 매뉴얼(620)을 전문가 #1(5-1)이 소지한 전문가 단말 #1(4-1)에 전송할 수 있다. 전문가 #2(5-2)와는 작업자 단말(2)의 AR 가이드 화면을 전문가 단말 #2(4-2)에 전송할 수 있다.

전문가는 도움이 필요한 작업자에게 다양한 기술 지원을 제공할 수 있다. 예를 들어, 도 6에 도시된 바와 같이 원격 회의 시에 전문가 #3(5-3)은 전문가 단말 #3(4-3)을 통해 작업자 단말(2)에 음성을 전달할 수 있다. 다른 예로, 전문가 #n(5-n)은 전문가 단말 #n(4-n)을 통해 주석도구(Annotation tool) 또는 지도도구(Direction tool)를 지원할 수 있다. 주석도구(Annotation tool)는 그리기, 줄 긋기, 포인트, 텍스트 등의 도구가 있으며, 도 6에서는 그리기 도구(630)를 도시하고 있다.

도 7은 본 발명의 일 실시 예에 따른 주체 별 사용위치에 기반하여 AR 공유 기반 다자참여 원격 협업 예를 도시한 도면이다.

도 2 및 도 7을 참조하면, 원격 서버(3)는 상태 추적부(Status Tracing Module)(도 4의 304)를 통해 작업자 단말(2) 및 각 전문가 단말(4-1, 4-2, 4-3) 별 사용위치를 추적한다. 작업자 단말(2)의 사용위치는 AR 매뉴얼에서 작업자(User #1001)의 현재 작업단계(예를 들어, U#1001_G#101_#103)이다. 여기서, G#101은 AR 매뉴얼의 일련번호이고, #103은 작업단계 순번이다. 각 전문가 단말 별 사용위치는 해당 전문가로부터 입력된 전문가 명령이다. 예를 들어, 전문가 #1(specialist #2001)의 사용위치는 U#1001_G#101_Sync이고, 전문가 #2(specialist #2002)의 사용위치는 U#1001_G#101_discussion이며, 전문가 #3(specialist #2003)의 사용위치는 U#1001_G#101_Request reset이다. Sync는 동기화 명령을, discussion은 음성회의 명령을, Request reset은 초기화 요청 명령을 각각 의미한다.

원격 서버(3)는 주체 및 사용위치 정보를 매칭하여 저장해 둔다. 예를 들어, U#1001 - #103, S#2001 - #Sync, S#2002 - #discussion, S#2003 - #Request reset과 같이 매칭하여 저장해 둔다. 원격 서버(3)는 작업자(U#1001)의 사용위치 정보(U#1001 - #103)를 각 전문가(S#2001, S#2002, S#2003)에게 전달하고, 각 전문가(S#2001, S#2002, S#2003)로부터 전문가 명령(#Sync, #discussion, #Request reset)을 수신하여 전문가 명령에 따라 작업자 단말(2)을 원격 제어할 수 있다. 전문가 명령은 동기화(#Sync), 음성회의(#discussion), 초기화 요청(#Request reset) 이외에, 작업단계 접근, 도구 사용, 영상 지원, 채팅 지원 등일 수 있다.

다수의 전문가가 다자참여를 통해 원격 협업하는 경우 처리해야 하는 전문가 명령이 다수 개이면, 원격 서버(3)는 사전 설정된 명령 우선순위에 따라 전문가 명령을 차례대로 처리할 수 있다. 또는 전문가끼리 협의를 통해 중개하도록 할 수 있다. 원격 서버(3)는 시간 대 별로 액티비티를 기록해 두고, 전문가에 의해 액티비티를 취소하거나 리버스(reverse) 할 수 있다. 작업자는 AR 가이드 화면을 캡쳐하여 캡쳐된 AR 가이드 화면과 이와 관련된 정보를 전문가에 전달할 수 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

작업자의 현장상황을 실시간 촬영한 영상을 획득하고 획득된 촬영영상에서 작업대상을 인식한 후 인식된 작업대상을 포함한 촬영영상에 증강현실 매뉴얼을 결합하여 출력하는 작업자 단말;
작업자 단말 및 제2 전문가 단말과 각각 증강현실 매뉴얼을 공유하며 증강현실 매뉴얼을 기반으로 작업자의 작업에 대한 기술 지원을 제공하는 제1 전문가 단말;
작업자 단말 및 제1 전문가 단말과 각각 증강현실 매뉴얼을 공유하며 증강현실 매뉴얼을 기반으로 작업자의 작업에 대한 기술 지원을 제공하는 제2 전문가 단말; 및
작업자 단말 및 각 전문가 단말에 공통의 증강현실 매뉴얼을 제공하고 각 전문가 단말로부터 기술 지원을 위한 전문가 명령을 수신하면 수신된 명령에 따라 각 전문가 간 기술 지원 협업을 중계하여 작업자 단말을 원격 제어하는 원격 서버; 를 포함하며,
원격 서버는
작업자 단말 및 각 전문가 단말 별 사용위치를 추적하고,
주체 및 추적된 사용위치 정보를 매칭하여 저장하되, 매칭된 주체 및 사용위치 정보는 작업자-작업자 단말의 사용위치 및 전문가-전문가 단말 별 사용위치를 포함하고, 작업자 단말의 사용위치는 증강현실 매뉴얼에서 작업자의 현재 작업단계이고, 전문가 단말 별 사용위치는 전문가로부터 입력된 전문가 명령이고,
전문가 단말 간 협업 시에 다수의 전문가 단말로부터 전문가 명령을 함께 수신하면, 사전에 정의된 명령 우선순위에 따라 전문가 명령을 차례대로 처리하거나, 해당하는 전문가 단말끼리 협의하도록 중개하고,
시간 대 별로 액티비티를 기록해 두고, 전문가에 의해 액티비티를 취소하거나 리버스(reverse)하게 하는 것을 특징으로 하는 증강현실 공유 기반 다자참여 원격 협업 시스템.
제 1 항에 있어서, 원격 서버는
작업자 단말 및 각 전문가 단말 별 사용위치를 추적하는 상태 추적부;
작업자 단말로부터 작업자의 사용위치 정보를 수신하여 이를 각 전문가 단말에 전달하며 각 전문가 단말로부터 해당 전문가의 사용위치를 수신하는 네트워크 연결부; 및
작업자의 요청에 따라 또는 작업자가 추가로 전문가에 의한 기술 지원이 필요한지 여부를 파악하여 필요한 경우에 전문가 단말에 요청하여 전문가 명령을 수신함에 따라 전문가로부터 원격으로 작업자 단말에 기술을 지원하는 기술 지원부;
를 포함하는 것을 특징으로 하는 증강현실 공유 기반 다자참여 원격 협업 시스템.
제 2 항에 있어서,
작업자 단말의 사용위치는 증강현실 매뉴얼에서 작업자의 현재 작업단계이고, 각 전문가 단말 별 사용위치는 해당 전문가로부터 입력된 전문가 명령인 것을 특징으로 하는 증강현실 공유 기반 다자참여 원격 협업 시스템.
제 2 항에 있어서, 원격 서버는
작업자의 작업자 단말 화면을 모니터링하여 증강현실 매뉴얼 동작상태를 파악하는 모니터링부;
작업자 단말에 대한 실시간 상태정보를 수신하여 작업자 단말 상태를 파악하는 클라이언트 관리부; 및
작업자의 작업자 단말 사용정보를 분석하여 작업자 상태를 파악하는 데이터 분석부; 를 더 포함하며,
기술 지원부는
모니터링부를 통해 파악된 증강현실 매뉴얼 동작상태, 클라이언트 관리부를 통해 파악된 작업자 단말 상태 및 데이터 분석부를 통해 파악된 작업자 상태 중 적어도 하나를 이용하여 전문가의 기술 지원 여부를 판단하고 기술 지원을 요청할 전문가를 선택하는 것을 특징으로 하는 특징으로 하는 증강현실 공유 기반 다자참여 원격 협업 시스템.
제 2 항에 있어서, 기술 지원부는
증강현실 매뉴얼 내 소정의 작업단계로 접근하는 작업단계 접근 기술, 작업자 단말 및 전문가 단말 간 증강현실 매뉴얼을 동기화하는 동기화 기술, 증강현실 매뉴얼을 초기화하는 초기화 기술, 주석도구(Annotation tool) 또는 지도도구(Direction tool)을 포함하는 도구를 통해 기술 지원하는 도구 사용 기술, 영상, 채팅 또는 음성으로 기술을 지원하는 기술 중 적어도 하나의 기술을 지원하는 것을 특징으로 하는 증강현실 공유 기반 다자참여 원격 협업 시스템.
제 5 항에 있어서,
소정의 작업단계 접근은, 현재 작업단계를 기준으로 역방향으로의 작업단계 이동, 순방향으로의 작업단계 이동, 현재 작업단계의 반복, 처음 작업단계로의 이동 또는 다른 증강현실 매뉴얼로의 이동을 포함하는 것을 특징으로 하는 증강현실 공유 기반 다자참여 원격 협업 시스템.
제 1 항에 있어서, 원격 서버는
다수의 전문가 단말을 통해 다수의 전문가 간 기술 지원 협업을 중계하는 협업 지원부;
를 포함하는 것을 특징으로 하는 것을 특징으로 하는 증강현실 공유 기반 다자참여 원격 협업 시스템.
제 7 항에 있어서, 협업 지원부는
다수의 전문가가 동시에 참여 가능한 원격회의 기능을 제공하며,
원격회의 시에 각 전문가 단말로부터 증강현실 영상과 함께 음성을 수신하여 이를 작업자 단말에 전달하는 것을 특징으로 하는 증강현실 공유 기반 다자참여 원격 협업 시스템.
삭제
삭제
제 1 항에 있어서, 원격 서버는
작업자 단말의 증강현실 매뉴얼을 포함한 증강현실 가이드 화면을 정상적으로 작동하고 있는 사이트의 전문가 단말에 역 방향으로 공유한 후 해당 전문가 단말의 전문가 명령에 따라 작업자 단말을 원격 제어하는 것을 특징으로 하는 증강현실 공유 기반 다자참여 원격 협업 시스템.