KR20140108428A - 착용형 디스플레이 기반 원격 협업 장치 및 방법 - Google Patents

착용형 디스플레이 기반 원격 협업 장치 및 방법 Download PDF

Info

Publication number
KR20140108428A
KR20140108428A KR1020130021294A KR20130021294A KR20140108428A KR 20140108428 A KR20140108428 A KR 20140108428A KR 1020130021294 A KR1020130021294 A KR 1020130021294A KR 20130021294 A KR20130021294 A KR 20130021294A KR 20140108428 A KR20140108428 A KR 20140108428A
Authority
KR
South Korea
Prior art keywords
image information
information
unit
acquired
operator
Prior art date
Application number
KR1020130021294A
Other languages
English (en)
Inventor
이기석
조동식
김기홍
김용완
김홍기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130021294A priority Critical patent/KR20140108428A/ko
Priority to US14/077,782 priority patent/US20140241575A1/en
Publication of KR20140108428A publication Critical patent/KR20140108428A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

비전문가인 작업자의 정비 작업시 원격지의 전문가로부터 제공되는 정비 작업 절차 및 방법을 가시화하여 작업자에게 제공하도록 한 착용형 디스플레이 기반 원격 협업 장치 및 방법이 제시된다. 제시된 착용형 디스플레이 기반 원격 협업 장치는 작업자의 현재 시점과 연계된 영상 정보를 취득하는 영상 취득부; 취득한 영상 정보를 근거로 작업자의 위치 및 동작을 인식하는 인식부; 취득한 영상 정보에 포함된 작업 대상에 대응되는 가상 객체를 영상 정보에 정합하고, 조작 정보를 근거로 영상 정보에 정합된 작업 대상의 움직임을 영상 정보에 정합하는 영상 처리부; 및 영상 처리부에서 처리된 영상 정보를 가시화하여 출력하는 가시화부를 포함한다.

Description

착용형 디스플레이 기반 원격 협업 장치 및 방법{APPARATUS AND METHOD FOR REMOTE COLLABORATION BASED ON WEARABLE DISPLAY}
본 발명은 원격지의 전문가와 협업하여 장비를 점검하는 기술에 관한 것으로, 더욱 상세하게는 전문가가 접근하기 힘든 원격지에서 전문가와의 협업을 통해 장비를 점검하여 장비를 효과적으로 운영하는 착용형 디스플레이 기반 원격 협업 장치 및 방법에 대한 것이다.
작업자는 운용중인 장비에 문제가 발생할 경우 정비 매뉴얼을 이용하여 장비의 점검을 수행한다. 이때, 작업자의 장비 점검을 돕기 위해 정비 지원 시스템을 제공한다.
일반적으로 장비의 점검을 위해 제공되는 정비 지원 시스템은 정비 매뉴얼을 휴대 단말에 내장하여 제공한다. 이를 통해, 정비 지원 시스템은 장비가 설치된 현장에 위치한 사용자가 휴대하기 편하고, 정비 매뉴얼의 검색을 용이하게 하여 정비를 지원한다.
정비 지원 시스템은 휴대 단말을 통해 정비 플로우 또는 정비 관련정보를 제공하여 작업자의 장비 점검을 보조할 수도 있다. 정비 지원 시스템(방법)의 일례로는 한국공개특허 제10-2010-0024313호(명칭: 자동차정비지원 방법)가 있다.
하지만, 종래의 정비 지원 시스템은 사용자의 장비 이해도가 부족한 경우 해당 정보를 가시화하여도 작업 진행에 대한 확신이 불가능하기 때문에 그 효과가 제한적이다.
이러한 문제점을 해결하기 위해서, 정비 관련 전문가가 작업자와 함께 정비 지원 시스템을 이용하여 정비를 진행하고 있다.
하지만, 종래의 정비 지원 시스템은 작업자와 별도의 전문가가 동시에 작업을 진행하기 때문에 정비에 소비되는 경비가 증가하고, 상대적으로 적은 수의 전문가가 복수의 정비를 동시에 진행하게 되는 경우 정비의 안정성이 저하되는 문제점이 있다.
또한, 탑승 인원이 제한적이고 접근성이 곤란한 장비 운용 환경(예를 들면, 외양 항해용 선박, 우주선 등)의 경우, 관리자가 작업자와 함께 정비를 수행할 수 없기 때문에 장비에 문제가 생길 경우에 신속한 대처가 어려운 문제점이 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 비전문가인 작업자의 정비 작업시 원격지의 전문가로부터 제공되는 정비 작업 절차 및 방법을 가시화하여 작업자에게 제공하도록 한 착용형 디스플레이 기반 원격 협업 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 장비 운용자가 운용중인 장비의 이상을 감지한 경우 직접 정비를 수행하기 위해 해당 장비의 전문가와 네트워크를 통하여 이미지와 동작, 음성을 통해 상호 협업을 지원하도록 한 착용형 디스플레이 기반 원격 협업 장치 및 방법을 제공하는 것을 다른 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 이기종 멀티코어착용형 디스플레이 기반 원격 협업 장치는, 작업자의 현재 시점과 연계된 영상 정보를 취득하는 영상 취득부; 취득한 영상 정보를 근거로 작업자의 위치 및 동작을 인식하는 인식부; 취득한 영상 정보에 포함된 작업 대상에 대응되는 가상 객체를 영상 정보에 정합하고, 조작 정보를 근거로 영상 정보에 정합된 작업 대상의 움직임을 영상 정보에 정합하는 영상 처리부; 및 영상 처리부에서 처리된 영상 정보를 가시화하여 출력하는 가시화부를 포함한다.
인식부는, GPS 또는 무선 센서 네트워크의 신호에 포함된 위치 정보를 근거로 작업자의 위치를 인식하는 위치 인식모듈을 포함한다.
위치 인식모듈은, GPS 또는 무선 센서 네트워크의 이용이 불가능한 경우, 취득한 영상 정보와 기취득된 작업 환경의 이미지 정보를 근거로 작업자의 위치를 인식한다.
인식부는, 취득한 영상 정보 및 취득한 영상 정보에 포함된 작업 공간의 깊이 정보 중에 적어도 하나를 근거로 작업자의 동작을 인식하는 동작 인식모듈을 포함한다.
영상 처리부는, 인식부에서 인식한 작업자의 위치 및 동작을 근거로 취득한 영상 정보에 포함된 작업 대상에 대응되는 가상 객체를 검출하여 취득한 영상 정보에 정합한다.
영상 처리부는, 조작 정보를 근거로 영상 정보에 정합된 가상 객체를 트랙킹하고, 트랙킹 결과를 가시화부에게 전송한다.
장비의 설계도를 근거로 생성되는 가상 객체들을 저장하는 가상 객체 저장부를 더 포함한다.
취득한 영상 정보를 협업 지원 서버에게로 전송하고, 전송된 영상 정보에 대응되는 조작 정보를 협업 지원 서버로부터 수신하는 통신부를 더 포함한다.
통신부는, 영상 처리부에서 가상 객체가 정합된 영상 정보를 협업 지원 서버에게로 전송한다.
영상 취득부에서 취득한 영상 정보에 포함된 장비, 부품, 작업자의 손 중에 적어도 하나를 포함하는 작업 공간의 깊이 정보를 취득하는 깊이 정보 취득부를 더 포함한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 이기종 멀티코어착용형 디스플레이 기반 원격 협업 방법은, 영상 취득부에 의해, 작업장에 위치한 작업자의 현재 시점과 연계된 영상 정보를 취득하는 단계; 인식부에 의해, 취득한 영상 정보를 근거로 작업자의 위치 및 동작을 인식하는 단계; 영상 처리부에 의해, 취득한 영상 정보에 포함된 작업 대상에 대응되는 가상 객체를 영상 정보에 정합하는 단계; 영상 처리부에 의해, 협업 지원 서버로부터 수신되는 조작 정보를 근거로 가상 객체의 움직임을 영상 정보에 정합하는 단계; 및 가시화부에 의해, 정합 처리된 영상 정보를 가시화하여 출력하는 단계를 포함한다.
작업자의 위치 및 동작을 인식하는 단계에서는, 인식부에 의해, GPS 신호, 무선 센서 네트워크 신호에 포함된 위치 정보를 근거로 작업자의 위치를 인식하거나, 취득한 영상 정보와 기취득된 작업 환경의 이미지 정보를 근거로 작업자의 위치를 인식한다.
작업자의 위치 및 동작을 인식하는 단계에서는, 인식부에 의해, 취득한 영상 정보 및 취득한 영상 정보에 포함된 작업 공간의 깊이 정보 중에 적어도 하나를 근거로 작업자의 동작을 인식한다.
가상 객체를 영상 정보에 정합하는 단계에서는, 영상 처리부에 의해, 인식하는 단계에서 인식한 작업자의 위치 및 동작을 근거로 취득한 영상 정보에 포함된 작업 대상에 대응되는 가상 객체를 검출하여 취득한 영상 정보에 정합한다.
가시화하여 출력하는 단계는, 영상 처리부에 의해, 조작 정보를 근거로 영상 정보에 정합된 가상 객체를 트랙킹하고, 트랙킹 결과를 가시화부에게 전송하는 단계를 포함한다.
깊이 정보 취득부에 의해, 취득한 영상 정보의 깊이 정보를 취득하는 단계를 더 포함한다.
깊이 정보를 취득하는 단계에서는, 깊이 정보 취득부에 의해, 취득한 영상 정보에 포함된 장비, 부품, 작업자의 손 중에 적어도 하나를 포함하는 작업 공간의 깊이 정보를 취득한다.
통신부에 의해, 정합하는 단계에서 정합된 영상 정보를 협업 지원 서버에게로 전송하는 단계를 더 포함한다.
협업 지원 서버에게로 전송하는 단계에서는, 통신부에 의해, 취득한 영상 정보를 협업 지원 서버에게로 전송한다.
통신부에 의해, 협업 지원 서버로부터 전송된 영상 정보에 대응되는 조작 정보를 수신하는 단계를 더 포함한다.
본 발명에 의하면, 착용형 디스플레이 기반 원격 협업 장치 및 방법은 원격지의 전문가로부터 제공되는 정비 작업 절차 및 방법을 가시화하여 작업자에게 제공함으로써, 원격지의 전문가와 정비 현장의 작업자간의 협업을 통해 정비 안정성을 증가시킬 수 있는 효과가 있다.
또한, 착용형 디스플레이 기반 원격 협업 장치 및 방법은 원격지의 전문가로부터 제공되는 정비 작업 절차 및 방법을 가시화하여 작업자에게 제공함으로써, 탑승 인원이 제한적이고 접근성이 곤란한 장비 운용 환경에서도 정확하고 신속한 정비를 수행하여 신속하게 장비 고장에 대처할 수 있는 효과가 있다.
또한, 착용형 디스플레이 기반 원격 협업 장치 및 방법은 원격지의 전문가로부터 제공되는 정비 작업 절차 및 방법을 가시화하여 작업자에게 제공함으로써, 정비 인력을 최소화하여 경비를 절감할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 착용형 디스플레이 기반 원격 협업 시스템의 구성을 설명하기 위한 도면.
2는 본 발명의 실시예에 따른 착용형 디스플레이 기반 원격 협업 장치의 구성을 설명하기 위한 도면.
도 3은 도 2의 인식부를 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 착용형 디스플레이 기반 원격 협업 방법을 설명하기 위한 흐름도.
도 5는 도 4의 인식 단계를 설명하기 위한 흐름도.
도 6은 도 4의 영상 정보에 가상 객체를 정합하는 단계를 설명하기 위한 흐름도.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 본 발명의 실시예에 따른 착용형 디스플레이 기반 원격 협업 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1은 본 발명의 실시예에 따른 착용형 디스플레이 기반 원격 협업 시스템의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 착용형 디스플레이 기반 원격 협업 장치의 구성을 설명하기 위한 도면이고, 도 3은 도 2의 인식부를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 정비 지원 시스템은 착용형 디스플레이 기반 원격 협업 장치(100), 협업 지원 서버(200)를 포함하여 구성되며, 착용형 디스플레이 기반 원격 협업 장치(100) 및 협업 지원 서버(200)는 유무선 네트워크(300)를 통해 연결된다.
착용형 디스플레이 기반 원격 협업 장치(100)는 정비 현장의 작업자(400)가 사용하는 장치로, 착용형 디스플레이 장치(예를 들면, HMD(Head Mounted Display), FMD(Face Mounted Display), EGD(Eye Glasses Display), NED(Near Eye Display) 등)를 포함하여 구성된다. 착용형 디스플레이 기반 원격 협업 장치(100)는 작업자(400)의 시야에 속한 실제 공간에 전문가(500)에 의해 입력되는 정비 방법에 대한 정보를 정합하여 표시한다. 이를 위해, 도 2에 도시된 바와 같이, 착용형 디스플레이 기반 원격 협업 장치(100)는 가상 객체 저장부(110), 영상 취득부(120), 깊이 정보 취득부(130), 인식부(140), 영상 처리부(150), 통신부(160), 가시화부(170)를 포함하여 구성된다.
가상 객체 저장부(110)는 정비 대상 장비의 설계도를 기반으로 생성된 가상 객체를 저장한다. 즉, 가상 객체 저장부(110)는 설계도를 기반으로 3D 데이터 컨버팅을 통해 생성된 3차원의 가상 객체를 저장한다. 이때, 가상 객체 저장부(110)는 장비를 구성하는 각 부품들을 계측 구조화하여 조작할 수 있도록 하기 위해 각 부품별로 생성된 3차원의 가상 객체를 저장한다. 여기서, 가상 객체는 다양한 형태의 3D 데이터 포맷으로 구성될 수 있으며, 대부분의 3D 데이터 포맷이 계층 구조를 지원하므로 호환성이 양호한 표준인 3D 데이터 포맷으로 구성되는 것이 바람직하다. 가상 객체 저장부(110)는 작업자(400)의 작업 환경에 따라 캐쉬로 구성되어 가상 객체의 빠른 입출력이 가능하도록 구성될 수도 있다.
영상 취득부(120)는 착용형 디스플레이 장치에 설치되며, 작업자(400)의 현재 시점과 연계된 영상 정보를 취득한다. 즉, 영상 취득부(120)는 원거리의 전문가(500)와 정비 협업을 위해 공유되거나, 작업자(400)의 움직임 추적에 근거가 되는 영상 정보를 취득한다. 이때, 영상 취득부(120)는 취득한 영상 정보와 가상 객체의 정합을 위해 영상 정보에 포함된 작업 대상(즉, 장비 또는 부품)의 물리적 위치를 검출하기 위해 착용형 디스플레이 장치에 고정 설치된다.
영상 취득부(120)는 취득한 영상 정보를 인식부(140)로 전송한다. 영상 취득부(120)는 통신부(160)를 통해 취득한 영상 정보를 협업 지원 서버(200)에게로 전송한다.
깊이 정보 취득부(130)는 구조광 방식의 깊이 센서로 구성되어, 영상 정보의 깊이 정보를 취득한다. 즉, 깊이 정보 취득부(130)는 작업자(400)가 작업중인 공간의 정보를 더욱 정확하게 취득하기 위해 사용되는 영상 정보의 깊이 정보를 취득한다.
깊이 정보 취득부(130)는 작업 대상 및 작업자(400)의 동작(특히, 손 지시)을 취득할 수 있는 위치(예를 들면, 작업자(400)의 어깨 부분)에서 작업 공간의 센싱을 통해 깊이 정보를 취득한다. 이때, 깊이 정보 취득부(130)는 영상 정보에 포함된 작업 공간(예를 들면, 장비, 부품, 작업자(400)의 손 등)에 대한 깊이 정보를 취득한다.
인식부(140)는 작업자(400)의 위치 및 동작을 인식한다. 즉, 인식부(140)는 실제 정비 작업 환경의 공간적 위치를 파악하여 가상 객체 저장부(110)의 검색 영역을 줄이기 위해 작업자(400)의 위치를 인식한다. 인식부(140)는 작업 대상인 장비, 부품을 인식하기 위해 작업자(400)의 동작을 인식한다. 이를 위해, 도 3에 도시된 바와 같이, 인식부(140)는 위치 인식모듈(142) 및 동작 인식모듈(144)을 포함하여 구성된다.
위치 인식모듈(142)은 GPS, 무선 센서 네트워크(300)를 근거로 작업자(400)의 위치를 인식한다. 즉, 위치 인식모듈(142)은 GPS 신호, 무선 센서 네트워크(300) 신호에 포함된 위치 정보를 근거로 작업자(400)의 위치를 인식한다.
위치 인식모듈(142)은 영상 취득부(120)에서 취득한 영상 정보를 근거로 작업자(400)의 위치를 인식할 수도 있다. 즉, GPS, 무선 센서 네트워크(300)의 이용이 불가능한 경우, 위치 인식 모듈은 취득된 영상 정보를 이용하여 사전에 취득된 작업 환경의 이미지 정보와의 비교하여 위치를 추정하는 방식으로 작업자(400)의 위치를 인식한다.
위치 인식모듈(142)은 위치 인식의 정확도를 높이기 위해 GPS, 무선 센서 네트워크(300)를 이용한 위치 인식 방식과, 영상 정보를 이용한 위치 인식방법을 병합하여 사용할 수도 있다.
동작 인식모듈(144)은 영상 취득부(120)에서 취득한 영상 정보 및 깊이 정보 취득부(130)에서 취득한 깊이 정보를 근거로 작업자(400)의 동작을 인식한다. 즉, 동작 인식모듈(144)은 영상 정보로부터 작업자(400)의 손 위치를 매 프레임마다 검출하여 작업자(400)의 양손을 추적한다. 이때, 동작 인식모듈(144)은 검출의 정확도를 위해 깊이 정보를 이용한다. 즉, 동작 인식모듈(144)은 작업자(400)의 손의 위치에 해당하는 깊이 정보가 일정한 유효 깊이 영역에 위치할 경우에만 동작을 인식하여 동작 인식의 오류를 최소화한다.
영상 처리부(150)는 영상 취득부(120)에서 취득한 영상 정보에 포함된 작업 대상(즉, 장비 또는 부품)에 대응되는 가상 객체를 검출한다. 즉, 영상 처리부(150)는 가상 객체 저장부(110)로부터 영상 정보에 포함된 작업 대상(즉, 장비 또는 부품)에 대응되는 가상 객체를 검출한다. 이때, 영상 처리부(150)는 인식부(140)의 인식결과(즉, 위치 인식 결과, 동작 인식 결과)를 근거로 작업자(400)에 의해 조작되는(선택되는) 작업 대상(즉, 장비 또는 부품)에 해당하는 가상 객체를 검출한다. 영상 처리부(150)는 검출한 가상 객체를 영상 정보에 맵핑한다.
영상 처리부(150)는 통신부(160)를 통해 입력되는 전문가(500)의 조작 정보를 근거로 영상 정보에 맵핑된 가상 객체의 움직임을 영상 정보와 정합한다. 즉, 영상 처리부(150)는 전문가(500)의 조작 정보를 근거로 전문가(500)가 선택한 가상 객체 및 전문가(500)의 움직임을 검출한다. 영상 처리부(150)는 검출한 가상 객체 및 전문가(500)의 움직임을 영상 정보와 정합하여 가시화부(170)에게로 전송한다. 이때, 실제 영상 위에 전문가(500)의 입력정보를 텍스트, 이미지 등으로 표시하기 위한 조작 정보를 통신부(160)를 통해 전송받는 경우, 영상 처리부(150)는 해당 조작 정보를 영상 정보에 정합하여 가시화부(170)에게로 전송할 수도 있다.
영상 처리부(150)는 통신부(160)를 통해 입력되는 전문가(500)의 조작 정보를 근거로 영상 정보에 맵핑된 가상 객체를 트랙킹(Tracking)한다. 즉, 영상 처리부(150)는 전문가(500)의 조작 정보를 근거로 전문가(500)가 선택한 가상 객체를 검출한다. 영상 처리부(150)는 영상 정보에 포함된 컬러 정보 및 특징점 정보를 근거로 검출한 가상 객체를 트랙킹한다. 영상 처리부(150)는 가상 객체의 트랙킹 결과를 가시화부(170)에게로 전송한다. 이를 통해, 작업자(400)의 시야가 변경되는 경우에도 작업의 문맥을 유지하면 가상 객체와 영상 정보를 정합하여 가시화할 수 있다.
통신부(160)는 영상 처리부(150)에서 처리된 영상 정보를 포함하는 정비 정보를 협업 지원 서버(200)에게로 전송한다. 즉, 통신부(160)는 영상 처리부(150)에서 가상 객체와 정합된 영상 정보, 또는 영상 취득부(120)에서 취득한 영상 정보를 포함하는 정비 정보를 협업 지원 서버(200)에게로 전송한다. 여기서, 정비 정보는 영상 정보, 음성, 텍스트, 깊이 정보 등을 포함할 수 있다. 이때, 통신부(160)는 영상 정보의 전송시 트랙픽 증가를 최소화하기 위해 영상 정보를 포함하는 정비 정보를 압축하여 협업 지원 서버(200)에게로 전송한다.
통신부(160)는 협업 지원 서버(200)로부터 조작 정보를 수신한다. 즉, 전문가(500)는 협업 지원 서버(200)를 통해 정비 작업을 위한 가상 객체의 조작 정보를 입력한다. 협업 지원 서버(200)는 입력된 조작 정보를 통신부(160)에게로 전송한다. 그에 따라, 통신부(160)는 수신한 조작 정보를 영상 처리부(150)에게로 전송한다. 여기서, 통신부(160)는 실제 영상 위에 전문가(500)의 입력정보를 텍스트, 이미지 등으로 표시하기 위한 조작 정보를 입력받을 수도 있다.
가시화부(170)는 영상 처리부(150)를 통해 처리된 영상 정보를 출력한다. 즉, 가시화부(170)는 영상 처리부(150)에서 처리된 영상 정보(즉, 가상 객체)를 실제 장비 상에 시각화하여 표시한다. 이를 위해, 가시화부(170)는 투과형 광학계를 활용한 착용형 디스플레이로 구성되며, 작업자(400)의 시야에 속한 실제 공간에 정비 방법에 대한 정보(즉, 가상 객체 및 전문가(500)의 움직임)를 정합하여 표시한다. 여기서, 착용형 디스플레이는 실제 공간에 존재하는 장비의 조작 방법을 관찰하는 상태에서 함께 볼 수 있는 시각적 효과를 제공하기 위해, 단안 혹은 양안식 반투명 안경 형태의 디스플레이로 구성되어 영상을 출력한다.
협업 지원 서버(200)는 착용형 디스플레이 기반 원격 협업 장치(100)로부터 수신한 정비 정보를 출력한다. 즉, 협업 지원 서버(200)는 정비 현장에 위치한 착용형 디스플레이 기반 원격 협업 장치(100)로부터 영상 정보, 음성, 텍스트, 가상 객체 등을 포함하는 정비 정보를 수신한다. 협업 지원 서버(200)는 수신한 정비 정보를 가시화하여 출력한다. 이때, 협업 지원 서버(200)는 가상 객체가 정합되지 않은 영상 정보를 포함하는 정비 정보를 전송받은 경우, 영상 정보에 가상 객체를 정합하여 출력하여 영상에 존재하는 장비를 검출하여 영상 정보에 정합하여 가시화할 수도 있다. 여기서, 협업 지원 서버(200)는 정비 정보에 포함된 영상 정보 및 깊이 정보를 근거로 작업자(400)가 위치한 현장을 3차원 공간으로 재구성하여 전문가(500)에게 제공할 수도 있다.
협업 지원 서버(200)는 전문가(500)로부터 입력되는 조작 정보를 착용형 디스플레이 기반 원격 협업 장치(100)에게로 전송한다. 즉, 협업 지원 서버(200)는 가상 객체 및 전문가(500)의 움직임을 포함하는 조작 정보를 입력받는다. 협업 지원 서버(200)는 입력된 조작 정보를 착용형 디스플레이 기반 원격 협업 장치(100)에게로 전송한다. 여기서, 협업 지원 서버(200)는 전문가(500)에 의한 입력(예를 들면, 마우스, 키보드)으로 생성된 조작 정보를 입력받는다.
이하, 본 발명의 실시예에 따른 착용형 디스플레이 기반 원격 협업 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 4는 본 발명의 실시예에 따른 착용형 디스플레이 기반 원격 협업 방법을 설명하기 위한 흐름도이다. 도 5는 도 4의 인식 단계를 설명하기 위한 흐름도이고, 도 6은 도 4의 영상 정보에 가상 객체를 정합하는 단계를 설명하기 위한 흐름도이다.
영상 취득부(120)는 작업 현장에 위치한 작업자(400)의 현재 시점과 연계된 영상 정보를 취득한다(S100). 영상 취득부(120)는 원거리의 전문가(500)와 정비 협업을 위해 공유되거나, 작업자(400)의 움직임 추적에 근거가 되는 영상 정보를 취득한다. 영상 취득부(120)는 취득한 영상 정보를 인식부(140)로 전송한다.
깊이 정보 취득부(130)는 기취득한 영상 정보의 깊이 정보를 취득한다(S200). 즉, 깊이 정보 취득부(130)는 작업자(400)가 작업중인 공간의 정보를 더욱 정확하게 취득하기 위해 사용되는 영상 정보의 깊이 정보를 취득한다. 이때, 깊이 정보 취득부(130)는 작업 대상 및 작업자(400)의 동작(특히, 손 지시)을 취득할 수 있는 위치(예를 들면, 작업자(400)의 어깨 부분)에서 작업 공간의 센싱을 통해 깊이 정보를 취득한다. 깊이 정보 취득부(130)는 영상 정보에 포함된 작업 공간(예를 들면, 장비, 부품, 작업자(400)의 손 등)에 대한 깊이 정보를 취득한다.
인식부(140)는 작업자(400)의 위치 및 동작을 인식한다(S300). 이를 첨부된 도 5를 참조하여 더욱 상세하게 설명하면 아래와 같다. 작업자(400)의 위치 및 동작을 인식하는 단계는 크게 작업자(400)의 위치 인식 단계 및 작업자(400)의 동작 인식 단계로 구분할 수 있다.
GPS 또는 무선 센서 네트워크(300)의 이용이 가능한 경우(S320; 예), 인식부(140)는 수신되는 GPS 신호, 무선 센서 네트워크(300) 신호에 포함된 위치 정보를 근거로 작업자(400)의 위치를 인식한다(S340).
GPS, 무선 센서 네트워크(300)의 이용이 불가능한 경우, 인식부(140)는 S100 단계에서 취득된 영상 정보를 이용하여 사전에 취득된 작업 환경의 이미지 정보를 근거로 작업자(400)의 위치를 인식한다(S360). 여기서, 인식부(140)는 위치 인식의 정확도를 높이기 위해 GPS, 무선 센서 네트워크(300)를 이용한 위치 인식 방식과, 영상 정보를 이용한 위치 인식방법을 병합하여 사용할 수도 있다.
인식부(140)는 S100 단계에서 취득한 영상 정보 및 S200 단계에서 취득한 깊이 정보를 근거로 작업자(400)의 동작을 인식한다(S380). 즉, 인식부(140)는 영상 정보로부터 작업자(400)의 손 위치를 매 프레임마다 검출하여 작업자(400)의 양손을 추적한다. 이때, 인식부(140)는 검출의 정확도를 위해 깊이 정보를 이용할 수도 있다. 즉, 인식부(140)는 작업자(400)의 손의 위치에 해당하는 깊이 정보가 일정한 유효 깊이 영역에 위치할 경우에만 동작을 인식하여 동작 인식의 오류를 최소화한다.
영상 처리부(150)는 영상 정보, 깊이 정보, 및 인식 결과를 근거로 영상 정보에 가상 객체를 정합한다(S400). 이를 첨부된 도 6을 참조하여 더욱 상세하게 설명하면 아래와 같다.
영상 처리부(150)는 S100 단계에서 취득한 영상 정보에 포함된 작업 대상(즉, 장비 또는 부품)에 대응되는 가상 객체를 가상 객체 저장부(110)로부터 검출한다(S420). 이때, 영상 처리부(150)는 S300 단계의 인식결과(즉, 위치 인식 결과, 동작 인식 결과)를 근거로 작업자(400)에 의해 조작되는(선택되는) 작업 대상(즉, 장비 또는 부품)에 해당하는 가상 객체를 검출한다.
영상 처리부(150)는 검출한 가상 객체를 영상 정보에 정합한다(S440). 죽, 영상 처리부(150)는 검출한 가상 객체를 영상 정보에 포함된 작업 대상의 위치에 맵핑하여 가상 객체를 영상 정보에 정합한다.
영상 처리부(150)는 검출한 가상 객체를 정합한 영상 정보를 통신부(160)에게로 전송한다(S460).
통신부(160)는 영상 정보를 포함하는 정비 정보를 협업 지원 서버(200)에게로 전송하고, 협업 지원 서버(200)로부터 전문가(500)로부터 입력된 조작 정보를 수신한다(S500). 즉, 통신부(160)는 S400 단계에서 가상 객체와 정합된 영상 정보, 또는 영상 취득부(120)에서 취득한 영상 정보를 포함하는 정비 정보를 협업 지원 서버(200)에게로 전송한다. 여기서, 정비 정보는 영상 정보, 음성, 텍스트, 깊이 정보 등을 포함할 수 있다. 이때, 통신부(160)는 영상 정보의 전송시 트랙픽 증가를 최소화하기 위해 영상 정보를 포함하는 정비 정보를 압축하여 협업 지원 서버(200)에게로 전송한다. 그에 따라, 협업 지원 서버(200)는 통신부(160)로부터 수신한 영상 정보를 출력한다. 전문가(500)는 출력된 영상 정보를 근거로 정비 작업을 위한 가상 객체의 조작 정보를 입력한다. 협업 지원 서버(200)는 입력된 조작 정보를 통신부(160)에게로 전송한다. 그에 따라, 통신부(160)는 수신한 조작 정보를 영상 처리부(150)에게로 전송한다. 여기서, 통신부(160)는 실제 영상 위에 전문가(500)의 입력정보를 텍스트, 이미지 등으로 표시하기 위한 조작 정보를 입력받을 수도 있다.
영상 처리부(150)는 조작 정보를 근거로 가상 객체의 움직임을 영상 정보에 정합한다(S600). 영상 처리부(150)는 전문가(500)의 조작 정보를 근거로 전문가(500)가 선택한 가상 객체 및 전문가(500)의 움직임을 검출한다. 영상 처리부(150)는 검출한 가상 객체 및 전문가(500)의 움직임을 영상 정보와 정합하여 가시화부(170)에게로 전송한다. 이때, 실제 영상 위에 전문가(500)의 입력정보를 텍스트, 이미지 등으로 표시하기 위한 조작 정보를 통신부(160)를 통해 전송받는 경우, 영상 처리부(150)는 해당 조작 정보를 영상 정보에 정합하여 가시화부(170)에게로 전송할 수도 있다.
가시화부(170)는 정합된 영상 정보를 가시화하여 출력한다(S700). 즉, 가시화부(170)는 영상 처리부(150)에서 처리된 영상 정보(즉, 가상 객체)를 실제 장비 상에 시각화하여 표시한다. 이때, 가시화부(170)는 작업자(400)의 시야에 속한 실제 공간에 정비 방법에 대한 정보(즉, 가상 객체 및 전문가(500)의 움직임)를 정합하여 표시한다. 여기서, 가시화부(170)는 실제 공간에 존재하는 장비의 조작 방법을 관찰하는 상태에서 함께 볼 수 있는 시각적 효과를 제공한다. 이때, 영상 처리부(150)는 전문가(500)의 조작 정보를 근거로 영상 정보에 맵핑된 가상 객체를 트랙킹할 수도 있다. 즉, 영상 처리부(150)는 전문가(500)의 조작 정보를 근거로 전문가(500)가 선택한 가상 객체를 검출한다. 영상 처리부(150)는 영상 정보에 포함된 컬러 정보 및 특징점 정보를 근거로 검출한 가상 객체를 트랙킹한다. 영상 처리부(150)는 가상 객체의 트랙킹 결과를 가시화부(170)에게로 전송한다. 이를 통해, 작업자(400)의 시야가 변경되는 경우에도 작업의 문맥을 유지하면 가상 객체와 영상 정보를 정합하여 가시화할 수 있다.
상술한 바와 같이, 착용형 디스플레이 기반 원격 협업 장치 및 방법은 원격지의 전문가로부터 제공되는 정비 작업 절차 및 방법을 가시화하여 작업자에게 제공함으로써, 원격지의 전문가와 정비 현장의 작업자간의 협업을 통해 정비 안정성을 증가시킬 수 있는 효과가 있다.
또한, 착용형 디스플레이 기반 원격 협업 장치 및 방법은 원격지의 전문가로부터 제공되는 정비 작업 절차 및 방법을 가시화하여 작업자에게 제공함으로써, 탑승 인원이 제한적이고 접근성이 곤란한 장비 운용 환경에서도 정확하고 신속한 정비를 수행하여 신속하게 장비 고장에 대처할 수 있는 효과가 있다.
또한, 착용형 디스플레이 기반 원격 협업 장치 및 방법은 원격지의 전문가로부터 제공되는 정비 작업 절차 및 방법을 가시화하여 작업자에게 제공함으로써, 정비 인력을 최소화하여 경비를 절감할 수 있는 효과가 있다.
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100: 착용형 디스플레이 기반 원격 협업 장치
110: 가상 객체 저장부 120: 영상 취득부
130: 깊이 정보 취득부 140: 인식부
142: 위치 인식모듈 144: 동작 인식모듈
150: 영상 처리부 160: 통신부
170: 가시화부 200: 협업 지원 서버
300: 네트워크 400: 작업자
500: 전문가

Claims (20)

  1. 작업자의 현재 시점과 연계된 영상 정보를 취득하는 영상 취득부;
    상기 취득한 영상 정보를 근거로 작업자의 위치 및 동작을 인식하는 인식부;
    상기 취득한 영상 정보에 포함된 작업 대상에 대응되는 가상 객체를 상기 영상 정보에 정합하고, 조작 정보를 근거로 상기 영상 정보에 정합된 작업 대상의 움직임을 상기 영상 정보에 정합하는 영상 처리부; 및
    상기 영상 처리부에서 처리된 영상 정보를 가시화하여 출력하는 가시화부를 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  2. 청구항 1에 있어서,
    상기 인식부는,
    GPS 또는 무선 센서 네트워크의 신호에 포함된 위치 정보를 근거로 작업자의 위치를 인식하는 위치 인식모듈을 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  3. 청구항 2에 있어서,
    상기 위치 인식모듈은,
    상기 GPS 또는 무선 센서 네트워크의 이용이 불가능한 경우, 상기 취득한 영상 정보와 기취득된 작업 환경의 이미지 정보를 근거로 작업자의 위치를 인식하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  4. 청구항 1에 있어서,
    상기 인식부는,
    상기 취득한 영상 정보 및 상기 취득한 영상 정보에 포함된 작업 공간의 깊이 정보 중에 적어도 하나를 근거로 작업자의 동작을 인식하는 동작 인식모듈을 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  5. 청구항 1에 있어서,
    상기 영상 처리부는,
    상기 인식부에서 인식한 작업자의 위치 및 동작을 근거로 상기 취득한 영상 정보에 포함된 작업 대상에 대응되는 가상 객체를 검출하여 상기 취득한 영상 정보에 정합하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  6. 청구항 1에 있어서,
    상기 영상 처리부는,
    상기 조작 정보를 근거로 상기 영상 정보에 정합된 가상 객체를 트랙킹하고, 상기 트랙킹 결과를 상기 가시화부에게 전송하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  7. 청구항 1에 있어서,
    장비의 설계도를 근거로 생성되는 가상 객체들을 저장하는 가상 객체 저장부를 더 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  8. 청구항 1에 있어서,
    상기 취득한 영상 정보를 협업 지원 서버에게로 전송하고, 상기 전송된 영상 정보에 대응되는 조작 정보를 상기 협업 지원 서버로부터 수신하는 통신부를 더 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  9. 청구항 8에 있어서,
    상기 통신부는,
    상기 영상 처리부에서 가상 객체가 정합된 영상 정보를 협업 지원 서버에게로 전송하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  10. 청구항 1에 있어서,
    상기 영상 취득부에서 취득한 영상 정보에 포함된 장비, 부품, 작업자의 손 중에 적어도 하나를 포함하는 작업 공간의 깊이 정보를 취득하는 깊이 정보 취득부를 더 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 장치.
  11. 영상 취득부에 의해, 작업장에 위치한 작업자의 현재 시점과 연계된 영상 정보를 취득하는 단계;
    인식부에 의해, 상기 취득한 영상 정보를 근거로 작업자의 위치 및 동작을 인식하는 단계;
    영상 처리부에 의해, 상기 취득한 영상 정보에 포함된 작업 대상에 대응되는 가상 객체를 상기 영상 정보에 정합하는 단계;
    상기 영상 처리부에 의해, 협업 지원 서버로부터 수신되는 조작 정보를 근거로 상기 가상 객체의 움직임을 상기 영상 정보에 정합하는 단계; 및
    가시화부에 의해, 상기 정합 처리된 영상 정보를 가시화하여 출력하는 단계를 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
  12. 청구항 11에 있어서,
    상기 작업자의 위치 및 동작을 인식하는 단계에서는,
    상기 인식부에 의해, GPS 신호, 무선 센서 네트워크 신호에 포함된 위치 정보를 근거로 작업자의 위치를 인식하거나,
    상기 취득한 영상 정보와 기취득된 작업 환경의 이미지 정보를 근거로 작업자의 위치를 인식하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
  13. 청구항 11에 있어서,
    상기 작업자의 위치 및 동작을 인식하는 단계에서는,
    상기 인식부에 의해, 상기 취득한 영상 정보 및 상기 취득한 영상 정보에 포함된 작업 공간의 깊이 정보 중에 적어도 하나를 근거로 작업자의 동작을 인식하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
  14. 청구항 11에 있어서,
    상기 가상 객체를 상기 영상 정보에 정합하는 단계에서는,
    상기 영상 처리부에 의해, 상기 인식하는 단계에서 인식한 작업자의 위치 및 동작을 근거로 상기 취득한 영상 정보에 포함된 작업 대상에 대응되는 가상 객체를 검출하여 상기 취득한 영상 정보에 정합하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
  15. 청구항 11에 있어서,
    상기 가시화하여 출력하는 단계는,
    상기 영상 처리부에 의해, 상기 조작 정보를 근거로 상기 영상 정보에 정합된 가상 객체를 트랙킹하고, 상기 트랙킹 결과를 상기 가시화부에게 전송하는 단계를 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
  16. 청구항 11에 있어서,
    깊이 정보 취득부에 의해, 상기 취득한 영상 정보의 깊이 정보를 취득하는 단계를 더 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
  17. 청구항 16에 있어서,
    상기 깊이 정보를 취득하는 단계에서는,
    상기 깊이 정보 취득부에 의해, 상기 취득한 영상 정보에 포함된 장비, 부품, 작업자의 손 중에 적어도 하나를 포함하는 작업 공간의 깊이 정보를 취득하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
  18. 청구항 11에 있어서,
    통신부에 의해, 상기 정합하는 단계에서 정합된 영상 정보를 상기 협업 지원 서버에게로 전송하는 단계를 더 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
  19. 청구항 18에 있어서,
    상기 협업 지원 서버에게로 전송하는 단계에서는,
    상기 통신부에 의해, 상기 취득한 영상 정보를 상기 협업 지원 서버에게로 전송하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
  20. 청구항 18에 있어서,
    상기 통신부에 의해, 상기 협업 지원 서버로부터 상기 전송된 영상 정보에 대응되는 조작 정보를 수신하는 단계를 더 포함하는 것을 특징으로 하는 착용형 디스플레이 기반 원격 협업 방법.
KR1020130021294A 2013-02-27 2013-02-27 착용형 디스플레이 기반 원격 협업 장치 및 방법 KR20140108428A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130021294A KR20140108428A (ko) 2013-02-27 2013-02-27 착용형 디스플레이 기반 원격 협업 장치 및 방법
US14/077,782 US20140241575A1 (en) 2013-02-27 2013-11-12 Wearable display-based remote collaboration apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021294A KR20140108428A (ko) 2013-02-27 2013-02-27 착용형 디스플레이 기반 원격 협업 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140108428A true KR20140108428A (ko) 2014-09-11

Family

ID=51388195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021294A KR20140108428A (ko) 2013-02-27 2013-02-27 착용형 디스플레이 기반 원격 협업 장치 및 방법

Country Status (2)

Country Link
US (1) US20140241575A1 (ko)
KR (1) KR20140108428A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065348A1 (ko) * 2015-10-15 2017-04-20 한국과학기술원 헤드 마운트 디스플레이를 이용한 협업 방법
KR101977332B1 (ko) * 2018-08-03 2019-05-10 주식회사 버넥트 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
KR102051309B1 (ko) * 2019-06-27 2019-12-03 주식회사 버넥트 지능형 인지기술기반 증강현실시스템
WO2019236127A1 (en) * 2018-06-08 2019-12-12 Halliburton Energy Services, Inc. Virtual real time operation
KR20200027846A (ko) * 2018-09-05 2020-03-13 전남대학교산학협력단 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버
KR102103399B1 (ko) 2018-11-30 2020-04-23 (주)익스트리플 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템 및 그 방법
KR20200072584A (ko) 2018-11-30 2020-06-23 (주)익스트리플 원격협업 시스템 및 그 방법
CN112130572A (zh) * 2020-09-29 2020-12-25 重庆市华驰交通科技有限公司 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145385A4 (en) * 2014-05-22 2018-02-14 Invuity, Inc. Medical device featuring cladded waveguide
TWI533240B (zh) * 2014-12-31 2016-05-11 拓邁科技股份有限公司 資料顯示方法及系統，及相關電腦程式產品
WO2016134535A1 (zh) * 2015-02-28 2016-09-01 罗春晖 一种施工过程控制方法
US20180137369A1 (en) * 2016-11-13 2018-05-17 Pointgrab Ltd. Method and system for automatically managing space related resources
CN113296598A (zh) * 2021-05-20 2021-08-24 东莞市小精灵教育软件有限公司 一种图像处理方法、系统、可穿戴设备及配件与存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816184B1 (en) * 1998-04-30 2004-11-09 Texas Instruments Incorporated Method and apparatus for mapping a location from a video image to a map
EP2499550A1 (en) * 2009-11-10 2012-09-19 Selex Sistemi Integrati S.p.A. Avatar-based virtual collaborative assistance
JP5141672B2 (ja) * 2009-11-30 2013-02-13 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065348A1 (ko) * 2015-10-15 2017-04-20 한국과학기술원 헤드 마운트 디스플레이를 이용한 협업 방법
WO2019236127A1 (en) * 2018-06-08 2019-12-12 Halliburton Energy Services, Inc. Virtual real time operation
GB2585553A (en) * 2018-06-08 2021-01-13 Halliburton Energy Services Inc Virtual real time operation
GB2585553B (en) * 2018-06-08 2023-05-24 Halliburton Energy Services Inc Virtual real time operation
KR101977332B1 (ko) * 2018-08-03 2019-05-10 주식회사 버넥트 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
KR20200027846A (ko) * 2018-09-05 2020-03-13 전남대학교산학협력단 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버
KR102103399B1 (ko) 2018-11-30 2020-04-23 (주)익스트리플 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템 및 그 방법
KR20200072584A (ko) 2018-11-30 2020-06-23 (주)익스트리플 원격협업 시스템 및 그 방법
KR102051309B1 (ko) * 2019-06-27 2019-12-03 주식회사 버넥트 지능형 인지기술기반 증강현실시스템
CN112130572A (zh) * 2020-09-29 2020-12-25 重庆市华驰交通科技有限公司 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统

Also Published As

Publication number Publication date
US20140241575A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
KR20140108428A (ko) 착용형 디스플레이 기반 원격 협업 장치 및 방법
US11151799B2 (en) System and method for monitoring field based augmented reality using digital twin
US11270426B2 (en) Computer aided inspection system and methods
US9746913B2 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
US20180374026A1 (en) Work assistance apparatus, work learning apparatus, and work assistance system
JP6071746B2 (ja) 情報提供装置及び情報提供システム
JP3274290B2 (ja) 映像表示装置及び映像表示システム
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
EP2876624B1 (en) Maintenance assistant system
JP2019514476A (ja) 超音波イメージングプローブの位置決め
US20100239121A1 (en) Method and system for ascertaining the position and orientation of a camera relative to a real object
CN104897091A (zh) 关节臂坐标测量机
KR20130067450A (ko) 현장적용형 증강현실 기반 작업 가이드용 모듈 일체형 안전모 장치 및 이를 이용한 응용 서비스 제공방법
KR102418994B1 (ko) 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법
CN113222184A (zh) 基于增强现实ar的设备巡检系统及方法
CA2983357A1 (en) Method for detecting vibrations of a device and vibration detection system
JP2015102880A (ja) 作業支援システム
CN114747208A (zh) 作业支援服务器、作业支援方法及作业支援系统
JP2023082923A (ja) 作業支援システム、作業対象特定装置および方法
KR20200072535A (ko) 다중-레이어 뷰잉 시스템 및 방법
JP7266422B2 (ja) 注視行動調査システム、及び制御プログラム
US11137600B2 (en) Display device, display control method, and display system
JP7109395B2 (ja) 作業支援システム、作業支援装置、及び作業支援方法
JP2010205030A (ja) 関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム
CN112527100A (zh) 一种基于智能穿戴设备的远程协助方法及装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid