KR102409880B1 - Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법 - Google Patents

Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법 Download PDF

Info

Publication number
KR102409880B1
KR102409880B1 KR1020200143510A KR20200143510A KR102409880B1 KR 102409880 B1 KR102409880 B1 KR 102409880B1 KR 1020200143510 A KR1020200143510 A KR 1020200143510A KR 20200143510 A KR20200143510 A KR 20200143510A KR 102409880 B1 KR102409880 B1 KR 102409880B1
Authority
KR
South Korea
Prior art keywords
hmd
expert
worker
auxiliary camera
screen
Prior art date
Application number
KR1020200143510A
Other languages
English (en)
Other versions
KR20220058122A (ko
Inventor
신정훈
권희주
이유정
Original Assignee
대구가톨릭대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대구가톨릭대학교산학협력단 filed Critical 대구가톨릭대학교산학협력단
Priority to KR1020200143510A priority Critical patent/KR102409880B1/ko
Publication of KR20220058122A publication Critical patent/KR20220058122A/ko
Application granted granted Critical
Publication of KR102409880B1 publication Critical patent/KR102409880B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N5/23206—

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 HMD를 활용한 현장과 원격지의 협업 시스템은 현장에 위치한 작업자가 착용하는 작업자용 HMD, 원격지에 위치한 전문가가 착용하며 상기 작업자용 HMD와 통신하는 하나 이상의 전문가용 HMD, 상기 작업자용 HMD에 마련되어 현장을 촬영하는 메인카메라, 상기 작업자용 HMD에 마련되어 현장을 촬영하고 상기 전문가용 HMD가 원격으로 제어 가능한 하나 이상의 보조카메라, 및 상기 작업자용 HMD는 상기 작업자의 고개움직임을 감지하는 자이로센서를 포함하는 것을 특징으로 한다.
본 발명에 따른 HMD를 활용한 현장과 원격지의 협업 시스템 및 방법은 현장에 위치한 작업자와 원격지에 위치한 적어도 한 명 이상의 전문가가 현장의 서로 다른 지점을 확인할 수 있고, 작업자가 전문가가 현재 보고 있는 지점의 위치를 확인할 수 있어 현장과 원격지의 협업 효율성이 증대되는 효과가 얻어진다.

Description

HMD를 활용한 현장과 원격지의 협업 시스템 및 방법{Collaborative systems and methods for field and remote site using HMD}
본 발명은 현장에 위치한 작업자와 원격지에 위치한 전문가가 HMD(Head Mounted Device)를 착용하고 상호 통신하여 원격지에 있는 전문가가 현장의 상황을 용이하게 파악할 수 있고 전문가가 원격으로 작업자의 카메라를 조정하여 현장과 원격지의 협업의 효율성을 증대시킬 수 있는 HMD를 활용한 현장과 원격지의 협업 시스템 및 방법에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스가 개발되고 있으며, 이러한 웨어러블 디바이스 중 하나인 헤드 마운티드 디바이스(Head Mounted Device)는 사용자가 머리에 착용하여 VR, AR 등의 멀티미디어 컨텐츠 등을 제공받을 수 있는 디바이스이다. 이러한 헤드 마운티드 디바이스(이하, HMD)는 사용자의 머리에 착용되어 사용자가 이동함에 따라 다양한 환경에서 사용자에게 컨텐츠를 제공할 수 있다. 또한 HMD는 투과(See-Through)형과 밀폐(See-Closed)형으로 구분되고 있으며, 투과형 HMD는 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형 HMD는 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
이러한 HMD는 사용자가 착용한 상태에서 건축, 재난, 구조 및 의료 상황 등의 현장에 투입되어 현장의 상황을 원격으로 공유할 수 있도록 활용되고 있다. 예를 들어, 작업 현장 중 화재, 건설, 원전, 화학 공장, 터널 공사, 경찰작전, 군사훈련, 해외파병과 같은 위험지역의 현장에서는 해당 현장의 특성상 현장 인원들 간 또는 현장 인원과 관리자 간의 상호 커뮤니케이션이 매우 중요하게 작용하게 된다.
종래의 HMD를 이용한 현장과 원격지의 협업은 원격지에 위치하는 전문가 또는 관리자가 현장에 위치하고 있는 작업자용 HMD가 촬영하는 지점에만 의존하여 협업이 진행되고 있다. 이러한 HMD 협업 방식의 문제점은 현장에 위치한 작업자의 고개움직임에 따라 원격지의 전문가용 HMD 화면이 움직이게 되기 때문에 협업의 효율성이 떨어지는 문제가 있다.
한국등록특허 제10-2103404호 (2020.04.23. 공고)
없음
본 발명의 목적은 현장에 위치한 작업자가 착용하는 작업자용 HMD와, 상기 작업자용 HMD와 통신하며 원격지에 위치한 전문가가 착용하는 전문가용 HMD를 구비하고, 상기 원격지에 위치한 전문가가 전문가용 HMD를 이용하여 작업자용 HMD의 보조카메라의 시선을 원격으로 조종하여 작업자가 비추는 지점 이외에 전문가가 원하는 지점을 동시에 볼 수 있어 협업의 효율성을 증대시킬 수 있는 HMD를 활용한 현장과 원격지의 협업 시스템 및 방법을 제공함에 있다.
본 발명의 다른 목적은 현장에 위치한 작업자와 원격지에 위치한 전문가가 서로 다른 지점을 보고 있을 경우 작업자용 HMD의 화면에 전문가가 보고 있는 지점의 위치를 표시하여 협업의 효율성을 증대시킬 수 있는 HMD를 활용한 현장과 원격지의 협업 시스템 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 현장의 작업자의 고개움직임에 의해 전문가가 보는 화면이 영향을 받는 것을 최소화하기 위해 전문가의 화면에서 특정 물체를 인식하고 전문가용 HMD의 보조카메라가 이를 추적하도록 하여 작업자의 고개움직임에 의한 영향을 최소화 할 수 있는 HMD를 활용한 현장과 원격지의 협업 시스템 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 현장의 작업자와 원격지의 전문가가 동시에 화면을 조정하는 경우, 보조카메라의 움직임 속도에 작업자의 고개움직임 속도를 가감하여 화면을 보정해 작업자의 고개움직임에 의한 영향을 최소화 할 수 있는 HMD를 활용한 현장과 원격지의 협업 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 HMD를 활용한 현장과 원격지의 협업 시스템은, 현장에 위치한 작업자가 착용하는 작업자용 HMD; 원격지에 위치한 전문가가 착용하며 상기 작업자용 HMD와 통신하는 하나 이상의 전문가용 HMD; 상기 작업자용 HMD에 마련되어 현장을 촬영하는 메인카메라; 상기 작업자용 HMD에 마련되어 현장을 촬영하고, 상기 전문가용 HMD가 원격으로 제어 가능한 하나 이상의 보조카메라; 및 상기 작업자용 HMD는 상기 작업자의 고개움직임을 감지하는 자이로센서를 포함하는 것을 특징으로 한다.
또한 상기 작업자용 HMD는 적어도 하나 이상의 상기 전문가용 HMD와 통신하되, 전문가용 HMD는 각각 하나의 상기 보조카메라를 원격으로 제어하는 것을 특징으로 한다.
또한 상기 전문가용 HMD는 상기 전문가의 고개움직임을 감지하는 자이로센서를 포함하되, 상기 전문가용 HMD는 상기 전문가의 고개움직임으로 상기 보조카메라의 시선을 원격 조종하는 것을 특징으로 한다.
또한 상기 작업자용 HMD는 메인카메라와 보조카메라가 서로 다른 지점을 향하고 있을 경우, 상기 작업자용 HMD는 상기 보조카메라가 보고 있는 위치를 가상현실, 증강현실, 혼합현실 중 어느 하나의 방식으로 표시하는 것을 특징으로 한다.
또한 상기 작업자용 HMD와, 전문가용 HMD는 가속도센서를 더 포함하되, 상기 메인카메라와 보조카메라가 동시에 움직일 경우, 상기 전문가용 HMD의 화면은 보조카메라의 움직임 속도에 작업자용 HMD의 움직임 속도를 가감하여 보정하는 것을 특징으로 한다.
또한 상기 목적을 달성하기 위한 본 발명에 따른 HMD를 활용한 현장과 원격지의 협업 방법은, 현장에 위치한 작업자와 원격지에 위치한 전문가가 HMD를 통해 협업하는 방법으로서, (a) 현장의 작업자용 HMD와 원격지의 전문가용 HMD를 연동하는 단계; (b) 상기 작업자용 HMD의 메인카메라와 보조카메라의 영상신호를 상기 전문가용 HMD에 전송하는 단계; 및 (c) 상기 전문가용 HMD가 상기 작업자용 HMD의 보조카메라를 제어하는 단계를 포함하는 것을 특징으로 한다.
또한 상기 (c) 단계는, 상기 전문가용 HMD가 전문가용 HMD의 움직임 및 방향 정보를 상기 작업자용 HMD에 전송하는 단계와, 상기 작업자용 HMD는 상기 전문가용 HMD의 움직임 및 방향 정보를 기초로 작업자용 화면에 상기 보조카메라의 시선 위치를 표시하는 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 작업자용 HMD의 움직임으로 전문가용 HMD의 화면이 영향을 받는 경우, 상기 전문가용 HMD가 특이점을 추적하는 단계를 더 포함하되, 상기 특이점을 추적하는 단계는, 상기 전문가용 HMD의 화면 내에 존재하는 적어도 하나 이상의 고정된 물체를 인식하는 단계, 상기 인식한 물체 중 상기 전문가용 HMD 화면의 중심에 가장 가까운 물체를 특이점으로 지정하는 단계, 상기 전문가용 HMD 화면에 기준선을 설정하는 단계, 및 상기 전문가용 HMD 화면이 상기 특이점의 좌표를 유지하도록 상기 보조카메라를 제어하는 단계를 포함하는 것을 특징으로 한다.
또한 상기 전문가용 HMD 화면에서 상기 특이점이 상기 기준선을 벗어날 경우, 상기 전문가용 HMD 화면의 중심에서 가장 가까운 고정된 물체를 새로운 특이점으로 지정하는 단계를 포함하는 것을 특징으로 한다.
또한 상기 메인카메라와 보조카메라가 동시에 움직이는 경우, 상기 전문가용 HMD는 보조카메라의 움직임 속도에 메인카메라의 움직임 속도를 가감하여 보조카메라의 움직임을 보정하는 것을 특징으로 한다.
이상과 같은 본 발명은 현장에 위치한 작업자와 원격지에 위치한 적어도 한 명 이상의 전문가가 현장의 서로 다른 지점을 확인할 수 있어 현장과 원격지의 협업의 효율성이 증대되는 효과가 얻어진다.
또한 본 발명은 현장에 위치한 작업자가 원격지에 위치한 전문가가 현재 보고있는 지점의 위치를 확인할 수 있어 현장과 원격지의 협업의 효율성이 증대되는 효과가 얻어진다.
또한 본 발명은 현장에 위치한 작업자가 고개를 움직이더라도 전문가의 화면에서 특정 물체를 인식하고 작업자용 HMD의 보조카메라가 이를 추적하도록 하여 작업자의 고개움직임에 의한 영향을 최소화 할 수 있는 효과가 얻어진다.
또한 본 발명은 현장의 작업자와 원격지의 작업자가 동시에 화면을 조정하는 경우에도 보조카메라의 움직임 속도에 작업자의 고개움직임 속도를 가감하여 화면을 보정하기 때문에 작업자의 고개움직임에 의한 영향을 최소화 할 수 있는 효과가 얻어진다.
도 1은 본 발명의 일실시예에 따른 HMD를 활용한 현장과 원격지의 협업 시스템의 블록도,
도 2는 본 발명의 일실시예에 따른 작업자용 HMD의 블록도,
도 3 및 도 4는 작업자와 전문가가 서로의 HMD를 연동시키는 방법을 나타내는 흐름도,
도 5 및 도 6은 HMD의 화면 표시 방법을 나타내는 흐름도,
도 7 및 도 8은 HMD의 움직임 방향 정보를 활용한 위치 표시를 설명하기 위한 도면,
도 9는 본 발명에 따른 전문가용 HMD(20)의 특이점 알고리즘 방법에 대한 흐름도,
도 10은 본 발명에 따른 특이점 알고리즘에 따른 화면의 제어를 설명하기 위한 흐름도,
도 11은 본 발명에 따른 특이점 알고리즘의 예시를 설명하는 도면, 및
도 12는 본 발명에 따른 작업자용 HMD(10)와 전문가용 HMD(20)가 동시에 카메라를 제어하는 경우를 설명하기 위한 흐름도이다.
이하 첨부한 도면을 참조하여 본 발명의 실시 예를 설명함으로써 본 발명을 설명한다.
각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 HMD를 활용한 현장과 원격지의 협업 시스템의 블록도이고, 도 2는 본 발명의 일실시예에 따른 작업자용 HMD의 블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 HMD를 활용한 현장과 원격지의 협업 시스템은 현장에 위치하는 작업자가 착용하는 작업자용 HMD(10)와, 원격지에 위치하는 전문가가 착용하는 전문가용 HMD(20)로 구성되며, 작업자용 HMD(10)는 제어모듈(100), 카메라모듈(110), 센서모듈(120), 입출력장치(130), 통신모듈(140)을 포함하여 구성할 수 있다.
작업자용 HMD(10)는 건축, 재난, 구조 및 의료 상황 등의 현장에 위치하고 있는 작업자가 착용하는 HMD(Head Mounted Device)로, 현장에서 특정 상황의 영상을 촬영하여 제공할 수 있도록 사용자인 작업자의 머리에 착용하는 장비이다. 작업자용 HMD(10)의 프레임에는 작업자의 양안의 전방에 배치되어 작업자의 시야를 통한 실제 세계가 투과되어 보일 수 있도록 광학계가 구성될 수 있다.
또한, 작업자용 HMD(10)의 카메라모듈(110)은 현장의 상황을 촬영하여 제공할 수 있도록 메인카메라(111)와, 하나 이상의 보조카메라(112)를 구비할 수 있다. 메인카메라(111)는 일예로, 작업자용 HMD(10)의 사용자인 작업자의 시야와 일치하는 영상을 촬영할 수 있도록 프레임의 광학계의 사이에 배치될 수 있다. 또한, 작업자용 HMD(10)는 상기 메인카메라(111)가 촬영한 영상을 작업자에게 최적화된 화면으로 제공할 수 있도록 작업자용 HMD(10) 내부로 영상광을 출력하는 디스플레이(150)를 포함할 수 있다.
보조카메라(112)는 작업자용 HMD(10)의 일측에 마련되는 카메라로서, 방향과 확대/축소를 원격으로 제어할 수 있는 PTZ(Pan-Tilt-Zoom) 카메라로 구현될 수 있다. 본 발명에 있어서 보조카메라(112)는 기본적으로 메인카메라(111)와 같이 작업자의 시선이 향하는 위치를 촬영할 수 있으나, 후술하는 원격지에 위치한 전문가의 전문가용 HMD(20), 또는 별도의 PTZ 컨트롤러에 의해 원격으로 제어될 수 있다.
한편, 작업자용 HMD(10)의 보조카메라(112)는 연결되는 전문가용 HMD(20)의 대수에 따라 보조카메라(112)가 구비된다. 따라서 작업자용 HMD(10)는 전문가용 HMD(20)에 각각 다른 영상을 제공할 수 있다.
제어모듈(100)은 상기 메인카메라(111), 보조카메라(112)로부터 획득한 영상을 후술하는 센서모듈(120)에 의해 획득한 정보와 함께 처리하여 영상을 제공한다. 제어모듈(100)은 영상 처리 장치로서 메모리, 영상 처리부를 포함할 수 있다.
메모리는 메인카메라(111), 및 하나 이상의 보조카메라(112)가 전송하는 영상 데이터를 저장할 수 있다. 메모리는 작업자 또는 전문가에게 제공되는 디스플레이 영상 생성을 위한 모델을 저장할 수 있고, 일정한 기계학습모델을 저장할 수 있다.
영상 처리부는 영상 데이터를 처리할 수 있는 영상 장치이다. 영상 처리부는 메모리에 저장된 기계학습모델에 영상을 입력하여 출력되는 영상에 추가적인 정보를 제공할 수 있도록 영상을 편집할 수 있다.
센서모듈(120)은 작업자용 HMD(10) 내부에 내장된 센서로서, 사용자인 작업자, 및 외부에 제공되는 영상에 추가적인 정보를 제공하기 위한 센서가 마련된다. 센서모듈(120)은 일예로, 자이로센서(121), 가속도센서(122), 시각센서(123)를 포함할 수 있다.
자이로센서(121)는 작업자용 HMD(10)의 3축 방향으로의 움직임, 즉 움직임 방향을 감지하여 감지된 신호를 제어모듈(100)에 제공한다. 가속도센서(122)는 작업자용 HMD(10)의 움직임 속도를 감지하여 감지된 신호를 제어모듈(100)에 제공하며, 시각센서(123)는 상기 메인카메라(111) 및 보조카메라(112)로부터 수집된 영상 데이터에 입력되는 그래픽 신호를 생성한다. 생성된 그래픽 신호는 제어모듈(100)의 영상 처리부에서 영상 데이터와 함께 편집되어 영상에 표시되는 추가 정보를 가상현실, 증강현실, 또는 혼합현실 중 어느 하나로 구현하도록 할 수 있다.
입출력장치(130)는 작업자용 HMD(10)에 외부장치를 추가로 연결할 수 있는 장치로서, 현장에 위치한 작업자를 보조하기 위한 웨어러블 장치가 연결될 수 있으며 일예로 헤드폰, 마이크로폰 등이 연결되어 상기 전문가용 HMD(20)와 통신할 수 있다. 또한, 이러한 입출력장치(130)를 HMD와 연동하여 제어할 수 있도록 입출력 제어장치를 더 포함할 수 있으며, 일예로 음향제어기 또는 음성제어기가 구비될 수 있다.
통신모듈(140)은 작업자용 HMD(10)의 통신을 통해 데이터 및 명령을 수신하거나 전송하는 통신 장치이다. 이러한 통신모듈(140)은 무선 통신(예컨대, Wi-Fi)을 수행하는 통신 장치를 포함할 수 있다.
이와 같이 구성된 작업자용 HMD(10)는 현장에 위치하는 작업자가 착용하고 현장 상황에 대한 영상을 수집하여 외부와 통신이 가능하다.
한편, 전문가용 HMD(20)는 건축, 재난, 구조 및 의료 상황 등의 현장이 아닌 원격지에 위치하고 있는 적어도 한 명 이상의 전문가가 착용하는 HMD(Head Mounted Device)로, 원격지에서 상기 작업자용 HMD(10)로부터 현장의 상황에 대한 영상을 수신하고, 디스플레이를 통해 전문가에게 현장의 상황을 생생하게 전달할 수 있도록 전문가의 머리에 착용하는 장비이다. 전문가용 HMD(20)는 상기 작업자용 HMD(10)로부터 수신한 현장의 영상을 출력하는 디스플레이(150), 제어모듈(100), 센서모듈(120), 입출력장치(130), 및 통신모듈(140)을 포함할 수 있다.
전문가용 HMD(20)의 디스플레이(150)는 현장의 작업자용 HMD(10)의 메인카메라(111) 및 보조카메라(112)로부터 촬영한 영상을 수신하여 표시한다. 이때 전문가용 HMD(20)의 디스플레이(150)는 메인카메라(111)가 촬영한 영상과 보조카메라(112)가 촬영한 영상을 디스플레이(150)에 모두 표시하도록 분할화면 방식으로 영상을 제공할 수 있다.
전문가용 HMD(20)의 제어모듈(100)은 상기 작업자용 HMD(10)로부터 수신한 메인카메라(111) 영상과 보조카메라(112) 영상을 처리하는 영상 처리 장치로서 메모리, 영상 처리부를 포함할 수 있고, 원격으로 작업자용 HMD(10)의 보조카메라(112)를 조작할 수 있는 제어부를 더 포함할 수 있다. 일예로 제어부는 후술하는 전문가용 HMD(20)의 자이로센서(121)의 움직임 방향 정보를 수집하고, 수집한 정보를 기초로 보조카메라(112)의 제어신호를 생성하여 통신모듈(140)을 통해 작업자용 HMD(10)로 송신할 수 있다.
전문가용 HMD(20)의 센서모듈(120)은 상기 작업자용 HMD(10)의 센서모듈(120)과 마찬가지로 자이로센서(121), 가속도센서(122), 시각센서(123)를 포함할 수 있다. 다만, 전문가용 HMD(20)의 센서모듈(120)에서 수집하는 정보는 상기 작업자용 HMD(10)를 원격으로 조종하기 위해 필요한 정보를 수집한다.
자이로센서(121)는 전문가용 HMD(20)의 3축 방향으로의 움직임, 즉 움직임 방향을 감지하여 감지된 신호를 제어모듈(100)에 제공하고, 가속도센서(122)는 전문가용 HMD(20)의 움직임 속도를 감지하여 감지된 신호를 제어모듈(100)로 제공한다. 제어모듈(100)은 수신한 움직임 방향 신호 및 움직임 속도 신호를 기초로 보조카메라(112)의 제어신호를 생성하여 통신모듈(140)을 통해 작업자용 HMD(10)로 송신할 수 있다. 즉, 원격지에 위치한 전문가는 전문가용 HMD(20)를 착용하고 고개움직임을 이용해 현장에 위치한 작업자가 착용한 작업자용 HMD(10)의 보조카메라(112)를 직접 제어할 수 있다.
한편, 전문가용 HMD(20)는 입출력장치(130)를 통해 외부장치를 추가로 연결할 수 있으며, 전문가의 고개움직임이 불가능하거나 미세한 화면의 조종이 필요할 경우 PTZ 컨트롤러 등을 연동시켜 보조카메라(112)를 제어하도록 할 수 있다.
이와 같이 구성된 본 발명에 따른 HMD를 활용한 현장과 원격지의 협업 시스템은 현장에 위치하고 있는 작업자와 원격지에 위치하고 있는 전문가가 각각의 HMD를 착용하고 각각의 HMD를 통해 상호 통신이 가능하도록 하고, 전문가용 HMD(20)가 작업자의 제어와 별개로 작업자용 HMD(10)의 보조카메라(112)를 원격으로 제어하도록 하여 원격지의 전문가가 작업자가 메인카메라(111)를 통해 직접 비추는 지점 이외의 지점을 확인할 수 있어 작업자와 전문가의 협업 효율성을 증가시킬 수 있다.
이하에서는, 작업자용 HMD(10)와, 전문가용 HMD(20)를 활용한 현장과 원격지의 협업 방법에 대해 설명한다. 도 3 및 도 4는 작업자와 전문가가 서로의 HMD를 연동시키는 방법을 나타내는 흐름도이며, 도 5 및 도 6은 HMD의 화면 표시 방법을 나타내는 흐름도, 및 도 7 및 도 8은 HMD의 움직임 방향 정보를 활용한 위치 표시를 설명하기 위한 도면이다.
도 3 내지 도 8를 참조하여, HMD를 활용한 현장과 원격지의 협업 방법은 현장의 작업자용 HMD(10)와 원격지의 전문가용 HMD(20)를 연동하는 단계와, 상기 작업자용 HMD의 메인카메라(111)와 보조카메라의 영상신호를 상기 전문가용 HMD(20)에 전송하는 단계, 및 상기 전문가용 HMD(20)가 상기 작업자용 HMD(10)의 보조카메라(112)를 제어하는 단계를 포함할 수 있다.
먼저, 작업자용 HMD(10)는 현장에서 작업자가 작업자용 HMD(10)를 착용하고 원격지에 위치한 전문가와 통신하기 위해 전문가용 HMD(20)와 연동할 것인지를 판단한다. 작업자가 전문가용 HMD(20)와 연동하지 않고 단독으로 현장에서 작업하고자 하는 경우, 작업자용 HMD(10)의 메인카메라(111)의 영상신호만 작업자용 HMD(10)의 디스플레이(150)에 출력한다. 작업자가 전문가용 HMD(20)와 연동하고자 하는 경우에는, 작업자용 HMD(10)와 전문가용 HMD(20)와 통신설정을 통해 HMD를 연동시키고 작업자용 HMD(10)의 메인카메라(111)와 보조카메라(112)의 영상신호를 전문가용 HMD(20)에 전송한다. 이때 작업자용 HMD(10)가 다수의 전문가용 HMD(20)와 연동하는 경우에는 작업자용 HMD(10)에 마련된 다수의 보조카메라(112)의 각각 정해진 전문가용 HMD(20)에 영상신호를 전송하도록 한다. 즉, 원격지의 전문가용 HMD(20)는 메인카메라(111)의 영상신호와 정해진 보조카메라(112)의 영상신호를 수신하게 된다.
전문가용 HMD(20)는 작업자의 작업자용 HMD(10)로부터 연동요청을 수신하여 통신설정을 하여 작업자용 HMD(10)로부터 메인카메라(111)와 보조카메라(112)의 영상신호를 수신하게 된다. 이때 전문가는 전문가용 HMD(20)가 메인카메라(111)와 보조카메라(112)의 영상을 분할화면을 통해 동시에 볼 지 제어할 수 있다.
전문가용 HMD(20)는 내장된 자이로센서(121)를 통해 전문가의 고개움직임을 감지하여 전문가용 HMD(20)의 움직임 방향 정보를 기초로 보조카메라(112) 제어신호를 생성한 후, 작업자용 HMD(10)로 전송하여 보조카메라(112)를 제어할 수 있다. 또한, 전문가용 HMD(20)는 PTZ 컨트롤러와 같은 별도의 외부 장치를 연결하여 전문가의 고개움직임 이외의 조작으로 보조카메라(112)를 제어할 수도 있다.
한편, 현장에 위치한 작업자는 작업자가 직접 고개움직임을 통해 제어하는 작업자용 HMD(10)의 메인카메라(111)가 촬영한 영상을 볼 수 있으나, 원격지의 전문가가 전문가용 HMD(20)를 통해 직접 제어하는 보조카메라(112)의 영상(즉, 전문가가 보고 있는 영상)은 확인할 수 없어 작업자와 전문가의 상호 소통에 문제가 발생할 수 있다.
따라서, 작업자용 HMD(10)는 원격지에 위치하고 있는 전문가가 메인카메라(111)가 보고 있는 지점(즉, 작업자가 보고 있는 지점)과 다른 지점을 보고 있음을 알려주기 위해 작업자용 HMD(10)의 디스플레이(150)에 보조카메라(112)가 촬영하고 있는 지점(전문가의 화면)의 위치를 표시할 수 있다.
일실시예에 따른 작업자용 HMD(10)의 디스플레이(150)의 보조카메라(112)의 위치 표시는 화살표 방식으로 표시할 수 있으며, 작업자의 화면에서 8방위 기준으로 보조카메라(112)의 시점 방향을 표시할 수 있다. 보조카메라(112)의 위치에 대한 판단은 각각의 HMD의 자이로센서(121)를 이용하여 전문가의 고개움직임과 작업자의 고개움직임에 따른 상대위치를 표시하는 방식으로 구현될 수 있다.
도 9는 본 발명에 따른 전문가용 HMD(20)의 특이점 알고리즘 방법에 대한 흐름도, 도 10은 본 발명에 따른 특이점 알고리즘에 따른 화면의 제어를 설명하기 위한 흐름도이고, 도 11은 본 발명에 따른 특이점 알고리즘의 예시를 설명하는 도면이다.
한편, 현장에 위치한 작업자와 원격지의 위치한 전문가가 상호 통신하는 과정에서, 전문가가 특정 화면을 보기위해 보조카메라(112)를 원격으로 조정하더라도 작업자의 고개움직임에 의해 보조카메라(112)가 비추는 지점이 이동해 전문가의 화면(200)이 영향을 받게된다. 이 경우 전문가용 HMD(20)는 화면 내 존재하는 특정 물체를 특이점으로 지정하고, 특이점이 이동하는 방향만큼 보조카메라(112)를 반대 방향으로 이동시켜 전문가의 화면(200)이 고정되도록 한다.
본 발명의 일실시예에 따른 특이점 알고리즘의 수행 단계는, 전문가용 HMD(20)의 화면 내에 존재하는 적어도 하나 이상의 고정된 물체를 인식하는 단계, 상기 인식한 물체 중 전문가용 HMD(20) 화면의 중심에 가장 가까운 물체를 특이점으로 지정하는 단계, 전문가용 HMD(20) 화면에 기준선(210)을 설정하는 단계, 및 전문가용 HMD(20) 화면이 특이점의 좌표를 유지하도록 보조카메라(112)를 제어하는 단계를 포함할 수 있다.
먼저, 원격지에 위치한 전문가는 전문가의 화면(200)에서 특정 지점을 관찰할 수 있도록 고정하고자 하는 경우, 전문가는 전문가용 HMD(20)를 조작하여 보조카메라(112)를 고정시킨다. 이 경우 전문가가 고개를 움직이더라도 보조카메라(112)가 움직이지 않도록 할 수 있다.
다음으로, 전문가용 HMD(20)가 현재 전문가의 화면(200)에서 나타나는 적어도 하나 이상의 고정된 물체를 인식하고, 인식된 물체들의 좌표를 지정한다. 이때 좌표의 지정은 전문가의 화면(200)의 중앙을 기준으로 X, Y 좌표를 적용할 수 있다. 그 다음, 인식된 물체들 중 전문가의 화면(200)의 중앙, 즉 중앙 좌표와 가장 가까운 위치에 있는 물체를 특이점으로 지정하고, 나머지 인식된 물체들은 대체 특이점으로 지정한다.
다음으로, 전문가용 HMD(20)가 현재 전문가의 화면(200)에서 가장자리를 기준으로 일정한 범위의 기준선(210)을 설정하여 특이점 알고리즘 생성을 종료한다.
이와 같이, 전문가용 HMD(20)가 특정 화면에 대한 특이점을 설정하고, 이후 작업자의 고개움직임으로 보조카메라(112)가 영향을 받게되면, 전문가용 HMD(20)는 보조카메라(112)의 움직임에 따른 특이점이 움직이는 방향과 거리를 수집하고, 특이점이 움직이는 방향과 반대 방향으로 보조카메라(112)가 움직이도록 제어신호를 작업자용 HMD(10)로 전송한다.
한편, 작업자가 고개움직임이 과도하게 움직이면 전문가의 화면(200)에 나타나는 특이점이 화면을 벗어나 보조카메라(112)로 특이점의 위치를 추적하지 못하는 경우가 발생할 수 있다.
도 11은 본 발명에 따른 특이점 알고리즘의 예시를 설명하는 도면이며, 도 11의 (a)는 전문가의 화면(200)에서 다수의 고정된 물체를 인식한 것을 나타낸 것이고, (b)는 전문가의 화면(200)이 움직여 특이점이 이동한 것을 나타낸 것이고, (c)는 특이점이 기준선(210)을 벗어난 경우를 나타낸 것을 설명하기 위한 도면이다.
도 11을 참고하여, 전문가가 전문가 화면(200)을 고정하고자 하는 경우, 전문가용 HMD(20)는 전문가의 화면(200)에서 고정된 물체들을 감지한다. 도 11 (a)에 도시된 바와 같이 고정된 물체 P1, P2, P3가 감지된다면 전문가용 HMD(20)는 P1 물체가 전문가 화면의 중앙과 가장 가깝기 때문에 P1을 특이점으로 설정하고, 나머지 P2, P3는 대체 특이점으로 설정한다.
특이점이 설정된 상태에서, 작업자의 고개움직임에 의해 보조카메라(112)가 이동하면 도 11 (b)에 도시된 바와 같이 전문가의 화면(200)이 이동하여 인식된 물체들의 좌표가 이동하게 되며, 특이점으로 지정된 P1 좌표도 이동하게 된다. 전문가용 HMD(20)는 이동된 P1의 좌표를 이동하여 보조카메라(112)가 움직인 방향과 크기를 인식하고, 보조카메라(112)가 움직인 방향의 반대 방향으로 움직이도록 보조카메라(112)의 제어신호를 작업자용 HMD(20)로 송신한다. 따라서 보조카메라(112)는 특이점 P1을 추적할 수 있다.
한편, 도 11 (c)에 도시된 바와 같이 전문가 화면(200)에서 특이점 P1이 사전 설정한 기준선(210)을 벗어날 만큼 작업자의 고개움직임이 과도하게 이루어지면, 전문가용 HMD(20)는 현재 전문가 화면(200)의 중앙좌표와 가장 가까운 대체 특이점을 새로운 특이점으로 설정하고, 상기한 바와 같은 추적 알고리즘을 실행한다. 이때 전문가용 HMD(20)는 전문가 화면(200)이 움직일 때 마다 고정된 물체를 감지하여 대체 특이점을 지속적으로 감지하는 것이 바람직하다.
도 12는 본 발명에 따른 작업자용 HMD(10)와 전문가용 HMD(20)가 동시에 카메라를 제어하는 경우를 설명하기 위한 흐름도이다.
한편, 현장에 위치한 작업자와 원격지에 위치한 전문가가 협업 과정에서 각각 착용한 작업자용 HMD(10)와 전문가용 HMD(20)를 착용한 상태에서 동시에 고개를 움직이게 되면 원격지에 위치한 전문가는 작업자의 고개움직임에 영향을 받아 원하는데로 보조카메라(112)를 조정하기 어려운 문제점이 있다.
예를 들어, 전문가가 전문가용 HMD(20)를 이용하여 보조카메라(112)를 제어하는 중에 작업자가 고개를 움직이면 메인카메라(111)와 보조카메라(112)가 동시에 움직이게 되는데, 이때 메인카메라(111)와 보조카메라(112)가 움직이는 방향이 동일할 경우, 보조카메라(112)는 전문가가 제어하는 보조카메라(112)의 제어신호보다 더 크게 이동하게 되는 문제가 있고, 반대로 메인카메라(111)와 보조카메라(112)의 움직이는 방향이 다를 경우, 보조카메라(112)는 전문가가 제어하는 보조카메라(112)의 제어신호보다 더 작게 이동하게 된다. 즉, 현장의 작업자가 고개를 움직일 경우 원격지의 전문가는 원하는데로 보조카메라(112)를 제어하기 어려워진다.
따라서 전문가가 보조카메라(112)를 원격으로 조종을 할 때 작업자의 고개움직임에 영향을 최소화하기 위해서, 전문가용 HMD(20)는 현재 전문가가 제어하는 보조카메라(112)의 움직임 방향 및 속도에 작업자용 HMD(20)의 움직임 방향 및 속도를 가감한만큼 보조카메라(112)를 제어하여, 보조카메라(112)가 현장의 작업자의 고개움직임의 영향을 최소화 하도록 할 수 있다.
일실시예에 따라, 전문가용 HMD(20)는 내장된 자이로센서(121)를 통해 전문가의 고개움직임 방향 및 속도를 측정하여 보조카메라(112)의 움직임 방향 및 속도를 알 수 있고, 작업자의 고개움직임 방향 및 속도 또한 자이로센서(121)를 통해 측정된다. 이후, 수집된 정보를 이용해 메인카메라(111)와 보조카메라(112)의 움직이는 방향, 즉 작업자의 고개움직임 방향과 전문가의 고개움직임 방향이 동일할 경우, 전문가용 HMD(20)는 보조카메라(112)의 움직임 속도에 작업자의 고개움직임 속도를 차감한 만큼의 보조카메라(112) 제어신호를 생성하여 보조카메라(112)를 제어하도록 한다.
반대로, 메인카메라(111)와 보조카메라(112)의 움직이는 방향이 다를 경우, 즉 작업자의 고개움직임 방향과 전문가의 고개움직임 방향이 다를 경우, 전문가용 HMD(20)는 보조카메라(112)의 움직임 속도에 작업자의 고개움직임 속도를 더한 만큼의 보조카메라(112) 제어신호를 생성하여 보조카메라(112)를 제어하도록 한다.
한편, 메인카메라(111)와 전문가의 의도에 따른 보조카메라(112)의 움직임이 서로 다를 경우, 전문가용 HMD(20)는 전문가의 고개움직임에 따른 보조카메라(112)의 제어신호를 작업자용 HMD(10)로 송출하고, 상기 보조카메라(112)의 제어신호를 수신한 작업자용 HMD(10)는 수신한 보조카메라(112)의 제어신호와 반대 방향에 해당하는 작업자의 움직임 방향 정보를 추출하여 보조카메라(112)의 제어신호에 반영한다.
예를 들어, 전문가가 보조카메라(112)를 남동쪽 방향으로 제어하고자 전문가용 HMD(20)를 남동쪽 방향으로 움직이면, 전문가용 HMD(20)는 보조카메라(112)의 제어신호를 작업자용 HMD(10)로 송출하고, 작업자용 HMD(10)는 수신한 보조카메라(112)의 제어신호의 움직임 방향이 남동쪽 방향임을 판단하고, 현재 작업자용 HMD(10)의 북서쪽 방향의 움직임 정보를 추출하여 수신한 제어신호에 반영한다.
따라서, 전문가용 HMD(20)는 보조카메라(112) 제어에 있어서 작업자의 고개움직임의 방향 및 속도를 반영할 수 있기 때문에, 현장의 작업자가 고개를 움직이더라도 전문가는 작업자의 고개움직임이 없는 상황과 같이 보조카메라(112)를 제어할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
10 : 작업자용 HMD 20 : 전문가용 HMD
100 : 제어모듈 110 : 카메라모듈
120 : 센서모듈 130 : 입출력장치
140 : 통신모듈

Claims (10)

  1. 현장에 위치한 작업자가 착용하며 상기 작업자의 고개움직임을 감지하는 자이로센서와 가속도센서를 포함하는 작업자용 HMD;
    원격지에 위치한 전문가가 착용하며 상기 작업자용 HMD와 통신하며 상기 전문가의 고개움직임을 감지하는 자이로센서와 가속도센서를 포함하는 하나 이상의 전문가용 HMD;
    상기 작업자용 HMD에 마련되어 현장을 촬영하는 메인카메라;
    상기 작업자용 HMD에 마련되어 현장을 촬영하고, 상기 전문가용 HMD가 원격으로 제어 가능한 하나 이상의 보조카메라; 및
    상기 전문가용 HMD는 상기 전문가의 고개움직임으로 상기 보조카메라의 시선을 원격 조종하고,
    상기 메인카메라와 보조카메라가 동시에 움직일 경우, 상기 전문가용 HMD의 화면은 상기 보조카메라의 움직임 속도에 작업자용 HMD의 움직임 속도를 가감하여 보정하는 것을 특징으로 하는 HMD를 활용한 현장과 원격지의 협업 시스템.
  2. 제1항에 있어서,
    상기 작업자용 HMD는 적어도 하나 이상의 상기 전문가용 HMD와 통신하되, 전문가용 HMD는 각각 하나의 상기 보조카메라를 원격으로 제어하는 것을 특징으로 하는 HMD를 활용한 현장과 원격지의 협업 시스템.
  3. 삭제
  4. 제2항에 있어서,
    상기 작업자용 HMD는 메인카메라와 보조카메라가 서로 다른 지점을 향하고 있을 경우, 상기 작업자용 HMD는 상기 보조카메라가 보고 있는 위치를 가상현실, 증강현실, 혼합현실 중 어느 하나의 방식으로 표시하는 것을 특징으로 하는 HMD를 활용한 현장과 원격지의 협업 시스템.
  5. 삭제
  6. 현장에 위치한 작업자와 원격지에 위치한 전문가가 HMD를 통해 협업하는 방법으로서,
    (a) 현장의 작업자용 HMD와 원격지의 전문가용 HMD를 연동하는 단계;
    (b) 상기 작업자용 HMD의 메인카메라와 보조카메라의 영상신호를 상기 전문가용 HMD에 전송하는 단계; 및
    (c) 상기 전문가용 HMD가 상기 작업자용 HMD의 보조카메라를 제어하는 단계를 포함하되,
    상기 (c) 단계는, 상기 전문가용 HMD가 전문가용 HMD의 움직임 및 방향 정보를 상기 작업자용 HMD에 전송하는 단계와, 상기 작업자용 HMD가 상기 전문가용 HMD의 움직임 및 방향 정보를 기초로 상기 작업자용 HMD 화면에 상기 보조카메라의 시선 위치를 표시하는 단계를 더 포함하는 것을 특징으로 하는 HMD를 활용한 현장과 원격지의 협업 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 작업자용 HMD의 움직임으로 전문가용 HMD의 화면이 영향을 받는 경우, 상기 전문가용 HMD가 특이점을 추적하는 단계를 더 포함하되,
    상기 특이점을 추적하는 단계는, 상기 전문가용 HMD의 화면 내에 존재하는 적어도 하나 이상의 고정된 물체를 인식하는 단계,
    상기 인식한 물체 중 상기 전문가용 HMD 화면의 중심에 가장 가까운 물체를 특이점으로 지정하는 단계,
    상기 전문가용 HMD 화면에 기준선을 설정하는 단계, 및
    상기 전문가용 HMD 화면이 상기 특이점의 좌표를 유지하도록 상기 보조카메라를 제어하는 단계를 포함하는 것을 특징으로 하는 HMD를 활용한 현장과 원격지의 협업 방법.
  9. 제8항에 있어서,
    상기 전문가용 HMD 화면에서 상기 특이점이 상기 기준선을 벗어날 경우, 상기 전문가용 HMD 화면의 중심에서 가장 가까운 고정된 물체를 새로운 특이점으로 지정하는 단계를 포함하는 것을 특징으로 하는 HMD를 활용한 현장과 원격지의 협업 방법.
  10. 제6항에 있어서,
    상기 메인카메라와 보조카메라가 동시에 움직이는 경우, 상기 전문가용 HMD는 보조카메라의 움직임 속도에 메인카메라의 움직임 속도를 가감하여 보조카메라의 움직임을 보정하는 것을 특징으로 하는 HMD를 활용한 현장과 원격지의 협업 방법.
KR1020200143510A 2020-10-30 2020-10-30 Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법 KR102409880B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200143510A KR102409880B1 (ko) 2020-10-30 2020-10-30 Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200143510A KR102409880B1 (ko) 2020-10-30 2020-10-30 Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220058122A KR20220058122A (ko) 2022-05-09
KR102409880B1 true KR102409880B1 (ko) 2022-06-16

Family

ID=81581934

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200143510A KR102409880B1 (ko) 2020-10-30 2020-10-30 Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102409880B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102601819B1 (ko) * 2022-12-19 2023-11-14 주식회사 코탁스 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170044451A (ko) * 2015-10-15 2017-04-25 연세대학교 산학협력단 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법
KR102103404B1 (ko) 2019-05-23 2020-04-23 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치를 이용한 작전상황 공유 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템

Also Published As

Publication number Publication date
KR20220058122A (ko) 2022-05-09

Similar Documents

Publication Publication Date Title
US10579320B2 (en) Display system, display device, information display method, and program
JP6911201B2 (ja) データキャプチャ及び送信のコンプライアンスを強制するための視野（ｆｏｖ）及びキーコードで制限された拡張現実
US10048922B2 (en) System, apparatus, and method for displaying information on a head mounted display
CN107223223B (zh) 一种无人机第一视角飞行的控制方法及系统、智能眼镜
JP3217723B2 (ja) 遠隔通信システム及び遠隔通信方法
US10168798B2 (en) Head mounted display
US7817104B2 (en) Augmented reality apparatus and method
US6611242B1 (en) Information transmission system to transmit work instruction information
US20040189675A1 (en) Augmented reality system and method
JP6590050B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
US20160171780A1 (en) Computer device in form of wearable glasses and user interface thereof
KR20130115094A (ko) 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법
TW201809934A (zh) 遠距作業支援裝置、指示用終端以及現場用終端
KR102409880B1 (ko) Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법
CN113467731A (zh) 显示系统、信息处理装置和显示系统的显示控制方法
KR101910767B1 (ko) 시야확보시스템이 적용된 차량
JP2561561B2 (ja) ロボットハンドの遠隔操作システム
US11094109B2 (en) Data processing
JP2017062650A (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
JP6733401B2 (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
WO2018074262A1 (ja) 通信装置および通信方法、並びにプログラム
WO2012008553A1 (ja) ロボットシステム
JP2018056845A (ja) 作業支援装置、システム、方法及びプログラム
GB2566745A (en) Motion signal generation
Wen et al. Teleyes: A telepresence system based on stereoscopic vision and head motion tracking

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant