KR20230063593A - 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스 - Google Patents

다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스 Download PDF

Info

Publication number
KR20230063593A
KR20230063593A KR1020210148811A KR20210148811A KR20230063593A KR 20230063593 A KR20230063593 A KR 20230063593A KR 1020210148811 A KR1020210148811 A KR 1020210148811A KR 20210148811 A KR20210148811 A KR 20210148811A KR 20230063593 A KR20230063593 A KR 20230063593A
Authority
KR
South Korea
Prior art keywords
remote
laser
collaboration
wearable device
multimedia
Prior art date
Application number
KR1020210148811A
Other languages
English (en)
Inventor
옥승호
Original Assignee
인터텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터텍 주식회사 filed Critical 인터텍 주식회사
Priority to KR1020210148811A priority Critical patent/KR20230063593A/ko
Publication of KR20230063593A publication Critical patent/KR20230063593A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • G02B27/20—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective for imaging minute objects, e.g. light-pointer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스는, 레이저(Laser)를 발사하는 레이저 출력장치; 작업 가이던스(guidance)를 출력하는 적어도 하나 이상의 디스플레이; 적어도 하나 이상의 메모리; 및 적어도 하나 이상의 프로세서; 를 포함하고, 상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 증강현실 및 상기 레이저를 포함하는 다매체를 통해 원격 협업을 지원하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은, 작업 현장에 위치하는 현장 작업자와 상기 작업 현장으로부터 원격에 위치하는 원격 협업자 간 상기 작업 가이던스의 송수신을 지원하는 원격 협업 커뮤니케이션을 실행하고, 상기 원격 협업 커뮤니케이션이 실행되면 상기 현장 작업자의 입력을 기초로 현장 커뮤니케이션 데이터를 생성하고, 상기 생성된 현장 커뮤니케이션 데이터를 상기 원격 협업자의 협업 단말로 송신하고, 상기 현장 커뮤니케이션 데이터를 송신한 협업 단말로부터 상기 원격 협업자의 입력에 기초한 가상 콘텐츠 및 레이저 포인터 제어신호 중 적어도 하나를 포함하는 원격 커뮤니케이션 데이터를 수신하고, 상기 수신된 원격 커뮤니케이션 데이터에 기초한 상기 작업 가이던스를 제공한다.

Description

다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스{A WEARABLE DEVICE THAT SUPPORTS REMOTE COLLABORATION THROUGH MULTIPLE MEDIUM}
본 발명은 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스에 관한 것이다. 보다 상세하게는, 증강현실(Augmented Reality, AR) 및 레이저(Laser)를 포함하는 다매체를 기반으로 원격 협업을 지원하는 웨어러블 디바이스에 관한 것이다.
일반적으로, 산업 현장에는 소정의 목적(예를 들면, 선박(船舶)의 가동 등)을 위한 각종 설비들이 배치되고, 각각의 설비에는 해당하는 담당 작업자가 배치되어 각종 장치, 설비 또는 기기 등의 유지 보수 및 작업을 위한 업무를 수행하여 왔다.
이러한 작업들을 수행함에 있어서, 현장 작업자들은 자신에게 부여된 업무에 대한 숙련도나 전문성과 같은 여건에 따라서 작업 효율성, 안정성 및 업무 달성도에 큰 영향을 받는다.
그러나 소정의 작업에 대한 작업자의 숙련도가 보장되기 위해서는 수년 간의 경험이 필요하며, 숙련자라할지라도 새로운 작업이 도입되는 등의 변화가 발생할 시 이를 숙지하는데 상당한 시간이 소요된다.
또한, 아무리 숙련자라 할지라도 모든 작업의 절차를 숙지하고 있을 수가 없고, 언제 어떤 작업 요구가 발생할지 예측하기가 어렵다.
이에 따라, 종래의 현장 작업자들은, 현장에서의 작업 수행을 보조하기 위한 매뉴얼을 항상 휴대하는 등의 방식으로 작업을 수행하여 왔다.
그러나 위와 같은 유지 보수나 작업에 대한 매뉴얼은, 일반적으로 책으로 제작되어 있거나 2D 이미지로 제작되어 있어, 해결해야하는 문제(예컨대, 특정 장치의 고장)에 대한 해당 페이지를 일일이 찾아야 하고, 매뉴얼이 오래되면 해당 책에서 제시하는 방법이 해결책이 되지 못하는 경우가 빈번하게 발생할 수 있는 등의 문제가 있다.
그리하여 최근에는, 임의의 컴퓨터가 다른 장소에 존재하는 컴퓨터를 용이하게 제어할 수 있는 원격 컴퓨터 제어 기술에 기반하여, 위와 같은 유지 보수 및 작업에 대한 가이던스(guidance)를 원격의 관리자가 현장의 작업자에게 제공하는 원격 커뮤니케이션 기반 작업 방식이 사용되고 있다.
이러한 원격 컴퓨터 제어 기술에 따르면, 임의의 컴퓨터는, 원격 제어의 대상이 되는 컴퓨터로부터 독립적으로 떨어진 장소에서도 용이하게 정보를 처리할 수 있다.
하지만, 종래의 원격 컴퓨터 제어 기술에 기반한 원격 커뮤니케이션 방식은, 작업 현장의 소음이나 진동(예컨대, 선박의 흔들림 등) 등과 같은 열악한 작업 환경적 요인이 존재할 시 원활한 의사소통이 저해되어, 원격 협업을 위한 커뮤니케이션의 사용성 및 효용성이 저하된다는 문제점이 있다.
또한, 최근 들어 증강 현실(AR: Augmented Reality)에 기반한 다양한 기술이 개발됨에 따라서, 종래의 원격 커뮤니케이션 방식에서는 해당하는 산업 분야와 관련된 각종 증강현실 데이터들을 생성하고 이를 이용한 원격 커뮤니케이션을 활발히 수행하고 있다.
그러나 이러한 증강현실 데이터 기반의 원격 커뮤니케이션은, 필요시 되는 데이터 통신량이 상당하여, 작업이 진행되는 현장과 해당 현장에서의 작업을 지시하는 원격 간의 거리나 네트워크 성능 등에 의한 통신 오버헤드에 따른 각종 문제(예컨대, 데이터 송수신 딜레이 및/또는 싱크(sync) 문제 등)가 발생한다는 한계가 있다.
따라서 상술된 바와 같은 문제들을 해결하기 위한 새로운 기술 개발 및 도입이 필요시 되는 상황이다.
KR 2020-0030816 A
본 발명은, 상술된 바와 같은 문제점들을 해결하기 위하여 안출된 것으로서, 증강현실(Augmented Reality, AR) 및 레이저(Laser)를 포함하는 다매체를 기반으로 현장의 작업자와 원격의 협업자 간의 원격 협업 커뮤니케이션을 지원하는 웨어러블 디바이스를 제공하는데 그 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스는, 레이저(Laser)를 발사하는 레이저 출력장치; 작업 가이던스(guidance)를 출력하는 적어도 하나 이상의 디스플레이; 적어도 하나 이상의 메모리; 및 적어도 하나 이상의 프로세서; 를 포함하고, 상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 증강현실 및 상기 레이저를 포함하는 다매체를 통해 원격 협업을 지원하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은, 작업 현장에 위치하는 현장 작업자와 상기 작업 현장으로부터 원격에 위치하는 원격 협업자 간 상기 작업 가이던스의 송수신을 지원하는 원격 협업 커뮤니케이션을 실행하고, 상기 원격 협업 커뮤니케이션이 실행되면 상기 현장 작업자의 입력을 기초로 현장 커뮤니케이션 데이터를 생성하고, 상기 생성된 현장 커뮤니케이션 데이터를 상기 원격 협업자의 협업 단말로 송신하고, 상기 현장 커뮤니케이션 데이터를 송신한 협업 단말로부터 상기 원격 협업자의 입력에 기초한 가상 콘텐츠 및 레이저 포인터 제어신호 중 적어도 하나를 포함하는 원격 커뮤니케이션 데이터를 수신하고, 상기 수신된 원격 커뮤니케이션 데이터에 기초한 상기 작업 가이던스를 제공한다.
이때, 상기 현장 커뮤니케이션 데이터는, 상기 현장 작업자 주변의 물리적 공간을 촬영한 영상인 현장영상을 포함한다.
또한, 상기 원격 커뮤니케이션 데이터는, 상기 가상 콘텐츠, 상기 레이저 포인터 제어신호 및 상기 원격 협업자의 음성, 터치, 버튼 및 제스처 입력 중 적어도 하나를 포함하는 원격 협업자 입력 중 적어도 하나를 포함한다.
또한, 상기 레이저 포인터 제어신호는, 상기 레이저의 포인팅 위치, 크기, 출력 세기, 색상 및 포인팅 모양 중 적어도 하나를 포함하는 레이저 형상을 결정하는 정보이다.
또한, 상기 레이저 포인터 제어신호는, 상기 레이저 형상을 수작업으로 설정하는 레이저 직접조작 입터페이스, 상기 현장영상 내 제1 객체를 지정하여 상기 포인팅 위치를 설정하는 객체 선택 인터페이스, 상기 현장영상을 구성하는 복수의 프레임(frame) 중 하나의 프레임을 선택하여 상기 포인팅 위치를 설정하는 프레임 입력 인터페이스 중 적어도 하나의 인터페이스를 기초로 생성된다.
또한, 상기 프레임 입력 인터페이스는, 상기 원격 협업자의 입력을 기초로 상기 현장영상을 구성하는 복수의 프레임 중 하나의 프레임을 고정 프레임으로 결정하고, 상기 결정된 고정 프레임을 기초로 상기 포인팅 위치의 설정을 보조하는 가상의 객체인 증강 포인팅 객체를 표시하고, 상기 표시된 증강 포인팅 객체의 위치좌표를 조정하는 상기 원격 협업자의 입력을 획득하고, 상기 획득된 원격 협업자의 입력에 따라서 결정된 상기 증강 포인팅 객체의 위치를 상기 포인팅 위치로 결정한다.
또한, 상기 프레임 입력 인터페이스는, 실시간 상기 현장영상 내에서 상기 고정 프레임 내 상기 증강 포인팅 객체의 위치에 대응되는 제1 지점을 검출하고, 상기 검출된 제1 지점의 위치와 현재 레이저 포인팅 위치 간의 변위값을 산출하고, 상기 산출된 변위값을 기초로 상기 포인팅 위치를 결정한다.
또한, 상기 레이저 포인터 제어신호는, 상기 레이저 직접조작 입터페이스, 상기 객체 선택 인터페이스 및 상기 프레임 입력 인터페이스 중 적어도 하나의 인터페이스에 기초한 상기 원격 협업자의 입력에 따른 제1 레이저 포인팅 위치를 상기 레이저가 지속적으로 포인팅하도록 고정하는 포인팅 락(pointing lock) 활성화 여부를 포함한다.
또한, 상기 애플리케이션은, 상기 레이저 포인터 제어신호에 따른 레이저 형상대로 상기 레이저가 발사되도록 상기 레이저 출력장치를 제어한다.
또한, 상기 애플리케이션은, 상기 포인팅 락이 활성화된 레이저 포인터 제어신호이면, 상기 레이저 포인터 제어신호의 상기 제1 레이저 포인팅 위치를 지속적으로 추적하며 포인팅하도록 상기 레이저 출력장치를 제어한다.
또한, 상기 가상 콘텐츠는, 상기 현장영상에 대응하여 생성 및 증강 표시되는 가상의 객체로서, 소정의 영상, 이미지, 텍스트, 드로잉 객체 및 3차원 엔티티(3D entity) 중 적어도 하나를 포함한다.
또한, 상기 애플리케이션은, 상기 가상 콘텐츠를 상기 현장영상 상에 증강 표시하여 상기 작업 가이던스를 제공한다.
또한, 상기 애플리케이션은, 상기 가상 콘텐츠를 상기 레이저의 포인팅 위치에 매칭하여 상기 현장영상 상에 증강 표시해 상기 작업 가이던스를 제공한다.
한편, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스는, 사용자의 머리에 착용 가능한 헬멧형 본체; 상기 헬멧형 본체에 착탈 가능한 스마트 글라스; 및 레이저(Laser)를 발사하는 레이저 출력장치를 포함하고, 상기 스마트 글라스는, 작업 가이던스(guidance)를 증강현실 객체로 출력하는 적어도 하나 이상의 디스플레이; 협업 단말과 무선으로 데이터 통신하는 통신 프로세서; 적어도 하나 이상의 메모리; 및 상기 레이저 출력장치와 디스플레이를 제어하는 적어도 하나 이상의 프로세서; 를 포함하고, 상기 프로세서는, 상기 통신 프로세서를 통해 상기 협업 단말로부터 상기 레이저 출력장치의 제어신호를 수신하여 상기 레이저 출력장치를 제어한다.
이때, 상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 증강현실 및 상기 레이저를 포함하는 다매체를 통해 원격 협업을 지원하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은, 작업 현장에 위치하는 현장 작업자와 상기 작업 현장으로부터 원격에 위치하는 원격 협업자 간 상기 작업 가이던스의 송수신을 지원하는 원격 협업 커뮤니케이션을 실행하고, 상기 원격 협업 커뮤니케이션이 실행되면 상기 현장 작업자의 입력을 기초로 현장 커뮤니케이션 데이터를 생성하고, 상기 생성된 현장 커뮤니케이션 데이터를 상기 원격 협업자의 협업 단말로 송신하고, 상기 현장 커뮤니케이션 데이터를 송신한 협업 단말로부터 상기 원격 협업자의 입력에 기초한 가상 콘텐츠 및 레이저 포인터 제어신호 중 적어도 하나를 포함하는 원격 커뮤니케이션 데이터를 수신하고, 상기 수신된 원격 커뮤니케이션 데이터에 기초한 상기 작업 가이던스를 제공한다.
본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스는, 증강현실 및 레이저를 포함하는 다매체를 기반으로 현장의 작업자와 원격의 협업자(예컨대, 숙련된 전문가 등) 간의 원격 협업 커뮤니케이션을 지원함으로써, 물리적 거리에 관계없이 직관적이고 원활하게 의사소통할 수 있는 원격 커뮤니케이션 환경을 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스는, 다매체 기반의 원격 협업 커뮤니케이션을 지원함으로써, 과도한 소음, 진동(예컨대, 선박의 흔들림 등)이나 낮은 네트워크 성능 등과 같은 열악한 작업 환경 상에서 작업을 수행하더라도, 해당 열악한 작업 환경에 대응하며 극복할 수 있는 최적의 방식을 선택적으로 이용하여 원격 협업 커뮤니케이션을 수행할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스는, 작업 환경에 따른 최적의 방식을 이용하여 원격 협업 커뮤니케이션을 수행하게 함으로써, 원격 협업 커뮤니케이션의 사용성과 효용성을 제고할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스는, 증강현실뿐만 아니라 비교적 필요한 데이터 통신량이 작은 레이저를 이용하여 원격의 협업자와 현장의 작업자 간 작업 가이던스(guidance) 교환을 가능하게 하는 원격 협업 커뮤니케이션을 지원함으로써, 원격 협업 커뮤니케이션에서의 통신 오버헤드 문제(예컨대, 데이터 송수신 딜레이 및/또는 싱크(sync) 문제 등)를 최소화할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스는, 레이저 기반의 원격 협업 커뮤니케이션을 지원함으로써, 보다 쉽고 직관적인 사용자 인터페이스(User Interface, UI)를 이용한 원격 협업 커뮤니케이션을 구현할 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 웨어러블 디바이스를 기반으로 증강현실 환경을 경험하는 개념도이다.
도 3은 본 발명의 실시예에 따른 웨어러블 디바이스의 외형을 나타내는 모습의 일례이다.
도 4는 본 발명의 실시예에 따른 웨어러블 디바이스의 내부 블록도이다.
도 5는 본 발명의 실시예에 따른 모바일 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 6은 본 발명의 실시예에 따른 데스크 탑 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 7은 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 가상 콘텐츠를 획득하는 방법을 설명하기 위한 도면의 일례이다.
도 9 내지 도 12는 본 발명의 실시예에 따른 레이저 포인터 제어신호를 획득하는 방법을 설명하기 위한 도면의 일례들이다.
도 13은 본 발명의 실시예에 따른 가상 콘텐츠 기반의 작업 가이던스를 제공하는 방법을 설명하기 위한 도면의 일례이다.
도 14 및 도 15는 본 발명의 실시예에 따른 포인팅 락(pointing lock)이 활성화된 레이저 포인터 제어신호를 기반으로 작업 가이던스를 제공하는 방법을 설명하기 위한 도면의 일례이다.
도 16은 본 발명의 실시예에 따른 가상 콘텐츠 및 레이저 포인터 제어신호 기반의 작업 가이던스를 제공하는 방법을 설명하기 위한 도면의 일례이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
- 다매체 기반 원격 협업 시스템
본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 시스템(이하, 다매체 기반 원격 협업 시스템)은, 증강현실(Augmented Reality, AR) 및 레이저(Laser)를 포함하는 다매체를 기반으로 원격 협업을 지원하는 다매체 기반 원격 협업 서비스를 제공할 수 있다.
자세히, 실시예에서 다매체 기반 원격 협업 시스템은, 원격 협업자(예컨대, 선박 엔지니어 등)와 현장 작업자(예컨대, 선원(船員) 등)가 소정의 작업 가이던스(guidance)를 포함하는 커뮤니케이션 데이터(Communication data)를 증강현실 및 레이저를 포함하는 다매체를 이용하여 주고받을 수 있는 원격 협업 시스템일 수 있다.
여기서, 실시예에 따른 상기 커뮤니케이션 데이터는, 서로 다른 사용자의 컴퓨팅 디바이스(실시예에서, 현장 작업자의 웨어러블 디바이스 및 원격 협업자의 협업 단말)가 소정의 의사소통을 위하여 네트워크(600)를 통해 주고받는 음성, 영상, 가상 콘텐츠 및/또는 레이저 포인터 제어신호 등을 포함할 수 있다.
또한, 실시예에 따른 상기 증강현실 환경은, 사용자나 커뮤니케이션 상대방 주변의 물리적 공간에 연관된 가상 콘텐츠가 삽입되어 생성된 환경을 의미할 수 있다.
이때, 실시예에 따른 상기 가상 콘텐츠는, 상기 물리적 공간이나 물리적 공간을 촬영한 영상에 대응하여 생성된 가상의 증강 콘텐츠로서, 실시예에서 소정의 작업 가이던스 영상, 이미지, 텍스트, 드로잉 객체 및/또는 3차원 엔티티 등을 포함할 수 있다.
즉, 실시예에서 다매체 기반 원격 협업 시스템은, 일반적인 커뮤니케이션의 의사소통 매개인 음성 및 영상과 더불어 물리적 공간이나 촬영영상에 연관된 가상 콘텐츠를 추가 매개로 통신하여, 증강현실 환경에 기초한 원격 협업 커뮤니케이션을 지원할 수 있다.
또한, 실시예에 따른 상기 레이저는, 빛의 증폭을 이용한 레이저 빔 또는 레이저광을 의미할 수 있으며, 본 발명의 실시예에서는 가시대역의 모든 광을 포괄하는 것일 수 있다.
또한, 실시예에 따른 상기 원격 협업자는, 작업이 진행되는 현장으로부터 원격의 위치에서 해당 현장 작업자의 작업을 지시 및/또는 보조하는 작업 가이던스(guidance)를 증강현실 및/또는 레이저에 기초하여 제공하는 자일 수 있다.
또한, 실시예에 따른 상기 현장 작업자는, 상기 증강현실 및/또는 레이저에 기초한 작업 가이던스를 토대로 작업 현장에서 실제 작업을 수행하는 자일 수 있다.
도 1은 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 시스템의 개념도이다.
도 1을 참조하면, 실시예에서 이러한 다매체 기반 원격 협업 시스템(10)은, 웨어러블 디바이스(100), 협업 단말(400), 원격 협업 서비스 제공서버(500) 및 네트워크(600: Network)를 포함할 수 있다.
이때, 상기 웨어러블 디바이스(100), 협업 단말(400) 및 원격 협업 서비스 제공서버(500)는, 상기 네트워크(600)를 통하여 연결될 수 있다.
여기서, 실시예에 따른 상기 네트워크(600)는, 상기 웨어러블 디바이스(100), 협업 단말(400) 및/또는 원격 협업 서비스 제공서버(500) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
이하, 첨부된 도면을 참조하여 다매체 기반 원격 협업 시스템(10)을 구현하는 웨어러블 디바이스(100), 협업 단말(400) 및 원격 협업 서비스 제공서버(500)에 대해 상세히 설명한다.
- 웨어러블 디바이스(100: Wearable devices)
본 발명의 실시예에 따른 웨어러블 디바이스(100)는, 사용자(실시예에서, 현장 작업자)에게 증강현실 환경을 제공하며, 이러한 증강현실 환경 내에서 음성, 영상, 실제객체와 대응되는 가상 콘텐츠 및/또는 레이저 등을 이용하여 타 사용자(실시예에서, 원격 협업자)와 커뮤니케이션할 수 있는 다매체 기반 원격 협업 서비스를 제공할 수 있다.
즉, 실시예에서 웨어러블 디바이스(100)는, 위와 같은 다매체 기반 원격 협업 서비스를 제공하는 원격 협업 애플리케이션(이하, 애플리케이션)이 설치된 소정의 컴퓨팅 디바이스일 수 있다.
자세히, 실시예에서 웨어러블 디바이스(100)는, 사용자 주변의 물리적 공간을 촬영한 촬영영상을 획득할 수 있다.
또한, 웨어러블 디바이스(100)는, 상기 획득된 촬영영상을 외부의 장치(실시예에서, 협업 단말(400) 및/또는 원격 협업 서비스 제공서버(500) 등)로 제공할 수 있다.
또한, 웨어러블 디바이스(100)는, 상기 촬영영상에 기초한 소정의 가상 콘텐츠 및/또는 레이저 포인터 제어신호를 획득할 수 있다.
또한, 웨어러블 디바이스(100)는, 상기 획득된 가상 콘텐츠가 상기 촬영영상 상에 오버레이된 증강현실 환경을 구현하는 증강영상 및/또는 레이저 포인팅을 제공할 수 있다.
이러한 웨어러블 디바이스(100)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자가 사용하기에 유리할 수 있으며, 이하의 실시예에서는 웨어러블 디바이스(100)를 현장 작업자가 사용하는 컴퓨팅 디바이스로 설명하나 이에 제한되는 것은 아니다.
도 2는 본 발명의 실시예에 따른 웨어러블 디바이스(100)를 기반으로 증강현실 환경을 경험하는 개념도이다.
도 2를 참조하면, 실시예에 따른 웨어러블 디바이스(100)는, 스마트 글래스(smart glasses display)와 같은 웨어러블 타입의 컴퓨팅 디바이스를 포함할 수 있다.
자세히, 실시예에서 웨어러블 디바이스(100)는, 착용되는 동안 사용자가 주변 물리적 공간을 볼 수 있도록 광을 투과하면서 사용자의 시야(30) 상에 가상 콘텐츠(예컨대, 증강현실 객체 등)를 표시하는 글라스를 포함하는 디스플레이 시스템을 포함할 수 있다.
예를 들어, 웨어러블 디바이스(100)는, 사용자의 머리에 장착되는 헬멧형 본체와, 상기 헬멧형 본체에 탈착 가능한 스마트 글라스 형태의 디스플레이 시스템으로 구성될 수 있다.
자세히, 실시예의 웨어러블 디바이스(100)는, 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템에 의해 표시된 가상 콘텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.
예를 들어, 도 2를 참조하면, 웨어러블 디바이스(100)의 애플리케이션(111)은, 주변 물리적 공간(20)에서 실제객체(RO)와 실제객체 내 마커(MK) 등을 이미지 인식할 수 있으며, 인식된 마커(MK)에 대응되는 사용자의 시야(30)에 가상 콘텐츠(VC1)을 표시하도록 제어할 수 있다.
또한, 예시에서 애플리케이션(111)은, 학습된 실제객체를 인식할 수 있으며, 인식된 실제객체의 위치에 대응되는 사용자의 시야(30)에 가상 콘텐츠(VC2)를 표시하도록 제어할 수 있다.
또한, 예시에서 애플리케이션(111)은, 학습된 실제객체나 마커(MK)를 통해 물리적 공간을 인식할 수 있으며, 인식된 공간의 특정 위치에 매칭된 가상 콘텐츠를 사용자의 시야(30)의 대응되도록 표시할 수 있다.
이러한 가상 콘텐츠는, 웨어러블 디바이스(100)에서 사용자의 시야(30)의 일부분에 디스플레이 될 수 있는 이미지 또는 영상과 같은 시각 콘텐츠를 포함할 수 있다.
예를 들어, 가상 콘텐츠는 물리적 공간의 다양한 부분을 오버레이하는 가상객체 이미지들을 포함할 수 있다. 이러한 가상객체 이미지는 2D 이미지 또는 3D 이미지로 렌더링 될 수 있다.
도 3은 본 발명의 실시예에 따른 웨어러블 디바이스(100)의 외형을 나타내는 모습의 일례이고, 도 4는 본 발명의 실시예에 따른 웨어러블 디바이스(100)의 내부 블록도이다.
한편, 도 3 및 4를 참조하면, 실시예에 따른 웨어러블 디바이스(100)는, 애플리케이션(111)을 포함하는 메모리(110), 프로세서 어셈블리(120), 통신 프로세서(130), 인터페이스부(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 또한, 상기 구성요소들은 웨어러블 디바이스(100)의 하우징 내에 포함되도록 구현될 수 있다.
또한, 실시예에서 웨어러블 디바이스(100)는, 레이저 출력장치(190)와 연동하여 다매체 기반 원격 협업 서비스를 제공할 수 있다.
여기서, 실시예에 따른 상기 레이저 출력장치(190)는, 실시예에 따른 레이저를 출력하는 소정의 컴퓨팅 디바이스일 수 있다.
이때, 다시 말하자면 상기 레이저란, 빛의 증폭을 이용한 레이저 빔 또는 레이저광을 의미할 수 있으며, 본 발명의 실시예에서는 가시대역의 모든 광을 포괄하는 것일 수 있다.
실시예에서, 이러한 레이저 출력장치(190)는, 웨어러블 디바이스(100)에 직접 포함되어 구현될 수도 있고, 웨어러블 디바이스(100)에 유/무선으로 탈착 가능한 별도의 장치로서 구현되어 다매체 기반 원격 협업 서비스를 위한 레이저를 제공할 수도 있다.
이하의 설명에서는, 상기 레이저 출력장치(190)가 웨어러블 디바이스(100)에 포함되어 구현되는 것에 기준하여 설명하나 이에 한정되는 것은 아니다.
자세히, 실시예에서 웨어러블 디바이스(100)는, 위와 같은 레이저 출력장치(190)와 연동하여 소정의 작업 가이던스를 제공하기 위한 적어도 하나의 레이저를 출력 및 제어할 수 있다.
따라서 웨어러블 디바이스(100)는, 원격 협업 커뮤니케이션에서의 통신 오버헤드를 최소화(예컨대, 데이터 송수신 딜레이 및/또는 싱크(sync) 문제 최소화 등)하고 보다 직관적인 사용자 인터페이스(User Interface, UI)를 제공할 수 있는 레이저 포인팅 기능 동작을 수행할 수 있다.
보다 자세히, 상기 메모리(110)에는, 애플리케이션(111)이 저장되며, 상기 애플리케이션(111)에는 다매체 기반 원격 협업 서비스를 제공하기 위한 가상 콘텐츠, 이미지 버퍼, 위치 엔진 및/또는 가상 콘텐츠 디스플레이 엔진 등이 포함될 수 있다.
즉, 메모리(110)는 다매체 기반 원격 협업 서비스를 구현하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.
또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다.
예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
프로세서 어셈블리(120)는, 다매체 기반 원격 협업 서비스를 제공하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 애플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.
실시예에서 프로세서 어셈블리(120)는, 증강현실 및 레이저를 포함하는 다매체를 기반으로 원격 협업을 지원하기 위하여 상기 메모리(110)의 애플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.
예를 들어, 프로세서 어셈블리(120)는, 이미지 센서(161)를 기반으로 획득된 영상으로부터 실제객체를 인식할 수 있고, 인식된 실제객체에 소정의 가상 콘텐츠를 매칭한 증강현실 영상을 생성하고 표시하도록 웨어러블 디바이스(100)의 구성요소들을 제어할 수 있다.
이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.
통신 프로세서(130)은, 외부의 컴퓨팅 장치(예컨대, 협업 단말(400) 및/또는 원격 협업 서비스 제공서버(500) 등)와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 프로세서(130)은, 무선 네트워크를 통해 통신할 수 있다.
자세히, 실시예로 통신 프로세서(130)은, 다매체 기반 원격 협업 서비스를 구현하기 위한 가상 콘텐츠 및/또는 레이저 포인터 제어신호 등을 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.
실시예에서 통신 프로세서(130)은, 다매체 기반 원격 협업 서비스와 관련된 각종 커뮤니케이션 데이터(실시예에서, 가상 콘텐츠 및/또는 레이저 포인터 제어신호 등)를 협업 단말(400) 및/또는 원격 협업 서비스 제공서버(500) 등과 송수신할 수 있다.
이러한 통신 프로세서(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.
센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서(165), 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.
이미지 센서(161)는, 웨어러블 디바이스(100) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.
실시예에서 이미지 센서(161)는, 다매체 기반 원격 협업 서비스에 관련된 영상을 촬영하여 획득할 수 있다.
또한, 이미지 센서(161)는, 웨어러블 디바이스(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 웨어러블 디바이스(100)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간을 촬영할 수 있다.
이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서(161)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.
이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.
IMU(163)는 웨어러블 디바이스(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다.
예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어질 수 있다.
또한, 통신 프로세서(130)의 GPS와 같은 위치 통신 프로세서(130)과 연동하여, 웨어러블 디바이스(100) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.
또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.
또한, 일부 구현들에서, 애플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.
오디오 센서(165)는, 웨어러블 디바이스(100) 주변의 소리를 인식할 수 있다.
자세히, 오디오 센서(165)는, 웨어러블 디바이스(100) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.
실시예에서 오디오 센서(165)는 다매체 기반 원격 협업 서비스를 통해 전송할 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.
인터페이스부(140)은, 웨어러블 디바이스(100)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다.
자세히, 인터페이스부(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.
이러한 인터페이스부(140)을 통해 웨어러블 디바이스(100)는, 여러 입출력 장치들과 연결될 수 있다.
예를 들어, 인터페이스부(140)은, 소정의 레이저 출력장치(190)와 연결되어 상기 레이저 출력장치(190)로부터 출사되는 레이저의 방향, 크기, 출력 세기, 색상 및/또는 포인터 모양(예컨대, 삼각형, 사각형 또는 별 모양 등) 등을 제어하게 할 수 있다.
다른 예시로, 인터페이스부(140)는, 소정의 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.
예시적으로, 레이저 출력장치(190) 및/또는 오디오 출력장치가 인터페이스부(140)을 통해 연결되는 것으로 설명하였으나, 웨어러블 디바이스(100) 내부에 설치되는 실시예도 포함될 수 있다.
이러한 인터페이스부(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.
입력 시스템(150)은 다매체 기반 원격 협업 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.
자세히, 입력 시스템(150)은 버튼, 터치 센서 및/또는 사용자 모션 입력을 수신하는 이미지 센서(161) 등을 포함할 수 있다.
또한, 입력 시스템(150)은, 인터페이스부(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.
디스플레이 시스템(170)은, 웨어러블 디바이스(100) 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 가상 콘텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.
이러한 디스플레이 시스템(170)은, 웨어러블 디바이스(100)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이부(171)와, 우안에 대응되는 우측 디스플레이부(172)를 포함할 수 있으며, 좌측 디스플레이부(171)와 우측 디스플레이부(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 콘텐츠로 출력함으로써, 사용자는 가상 콘텐츠를 3차원 이미지로 인식할 수 있다.
실시예에서 디스플레이 시스템(170)은, 다매체 기반 원격 협업 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.
이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
한편, 실시예에 따라서 웨어러블 디바이스(100)는, 후술되는 협업 단말(400) 및/또는 원격 협업 서비스 제공서버(500)에서 수행하는 기능 동작의 적어도 일부를 더 수행할 수도 있다.
- 협업 단말(400: Collaboration terminal)
본 발명의 실시예에 따른 협업 단말(400)은, 다매체 기반 원격 협업 서비스를 제공하는 애플리케이션(211, 311)이 설치된 소정의 컴퓨팅 디바이스일 수 있다.
자세히, 실시예에서 협업 단말(400)은, 웨어러블 디바이스(100)로부터 획득되는 촬영영상을 실시간으로 공유할 수 있다.
또한, 협업 단말(400)은, 상기 공유되는 촬영영상에 기초하여 가상 콘텐츠, 증강영상 및/또는 레이저 포인터 제어신호 등을 포함하는 원격 협업 커뮤니케이션 데이터를 생성하는 인터페이스를 제공할 수 있다.
또한, 협업 단말(400)은, 상기 제공된 인터페이스를 기초로 생성된 원격 협업 커뮤니케이션 데이터(실시예에서, 가상 콘텐츠, 증강영상 및/또는 레이저 포인터 제어신호 등)를 외부의 장치(실시예에서, 웨어러블 디바이스(100) 및/또는 원격 협업 서비스 제공서버(500) 등)로 제공할 수 있다.
이러한 협업 단말(400)은, 작업 현장으로부터 원격에 위치하는 원격 협업자가 사용하는 컴퓨팅 디바이스일 수 있다.
또한, 위와 같은 협업 단말(400)은, 실시예에 따라서 모바일 타입 컴퓨팅 디바이스 및/또는 데스크 탑 타입 컴퓨팅 디바이스를 포함할 수 있다.
1. 모바일 타입 컴퓨팅 디바이스
실시예에서 상기 모바일 타입 컴퓨팅 디바이스(200)는, 애플리케이션(211)이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다.
이러한 모바일 타입 컴퓨팅 디바이스(200)는, 이미지 센서로 주변 물리적 공간의 영상을 캡처하고, 디스플레이 시스템을 통해 캡처된 영상과 물리적 공간에 매칭되어 표시되는 가상 콘텐츠를 표시하여 증강현실 환경을 사용자에게 제공할 수 있다.
예를 들어, 모바일 타입 컴퓨팅 디바이스(200)는, 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC) 등을 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 모바일 타입 컴퓨팅 디바이스(200)의 내부 블록도이다.
도 5를 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(200)는, 메모리(210), 프로세서 어셈블리(220), 통신 프로세서(230), 인터페이스부(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에 포함되도록 구성될 수 있다.
모바일 타입 컴퓨팅 디바이스(200)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 디바이스(100)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 디바이스(100)와의 차이점을 중심으로 설명한다.
이러한 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다.
자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.
예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 모바일 타입 컴퓨팅 디바이스(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 모바일 타입 컴퓨팅 디바이스(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
또한, 센서 시스템(260)은, 이미지 센서(261)를 포함하며, 예시적으로 이미지 센서(261)는 모바일 타입 컴퓨팅 디바이스(200)의 하우징에 일측 면과 타측 면에 배치될 수 있다.
이때, 일측 면의 이미지 센서가 물리적 공간을 향해 배향되어 물리적 공간을 촬영한 영상을 캡처할 수 있으며, 타측 면의 이미지 센서는 사용자 측을 향해 배향되어 사용자 시야, 제스처 등을 촬영할 수 있다.
2. 데스크 탑 타입 컴퓨팅 디바이스
실시예에 따른 데스크 탑 타입 컴퓨팅 디바이스는, 애플리케이션(311)이 설치된 고정형 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 다중 사용자 간의 증강현실 커뮤니케이션 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.
이러한 데스크 탑 타입 컴퓨팅 디바이스는, 타 사용자의 컴퓨팅 디바이스(실시예에서, 현장 작업자의 웨어러블 디바이스(100) 등)에서 주변 물리적 공간을 촬영한 영상을 수신하고, 수신된 영상 및 상기 물리적 공간에 매칭되는 가상 콘텐츠를 생성 및 제공함으로써, 증강현실 환경을 사용자에게 제공할 수 있다.
또한, 위와 같은 데스크 탑 타입 컴퓨팅 디바이스는, 작업 현장으로부터 원격의 위치에서 현장 작업자의 웨어러블 디바이스(100)와 연동하여 소정의 작업 가이던스를 전달하는 원격 협업자가 사용하기에 유리할 수 있으며, 이하의 실시예에서는 협업 단말(400)을 데스크 탑 타입 컴퓨팅 디바이스에 기준하여 설명하나 이제 한정되는 것은 아니다.
도 6은 본 발명의 실시예에 따른 데스크 탑 타입 컴퓨팅 디바이스의 내부 블록도이다.
자세히, 도 6을 참조하면, 예시적인 구현에 따른 데스크 탑 타입 컴퓨팅 디바이스(300)는, 메모리(310), 프로세서 어셈블리(320), 통신 프로세서(330), 유저 인터페이스 시스템(350) 및 입력 시스템(340)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다.
이하, 데스크 탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 디바이스(100)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 디바이스(100)와의 차이점을 중심으로 설명한다.
자세히, 실시예에서 데스크 탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 포함하여 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다.
예시적으로, 데스크 탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 다양한 통신 프로토콜로 마우스(351), 키보드(352), 제스처 입력 컨트롤러, 이미지 센서(361)(예컨대, 카메라) 및 오디오 센서(365) 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다.
또한, 데스크 탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 통해 외부의 출력 시스템(380)과 연결될 수 있으며, 예컨대, 디스플레이 장치(370), 오디오 출력 장치(390) 등에 연결될 수 있다.
한편, 실시예에 따라서 협업 단말(400)은, 다매체 기반 원격 협업 서비스를 제공하는 소정의 서버(Server) 컴퓨팅 디바이스를 더 포함할 수도 있다.
또한, 실시예에 따라서 협업 단말(400)은, 본 발명의 실시예에 따른 웨어러블 디바이스(100) 및/또는 원격 협업 서비스 제공서버(500)에서 수행하는 기능 동작의 적어도 일부를 더 수행할 수도 있다.
- 원격 협업 서비스 제공서버(500: Remote collaboration service providing server)
본 발명의 실시예에 따른 원격 협업 서비스 제공서버(500)는, 다매체 기반 원격 협업 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.
자세히, 실시예에서 원격 협업 서비스 제공서버(500)는, 웨어러블 디바이스(100) 및/또는 협업 단말(400) 등과 같은 외부의 장치에서 다매체 기반 원격 협업 프로세스를 제공하는 일련의 과정이 구동되게 하기 위해 필요한 데이터를, 상기 외부의 장치와 교환함으로써 상기 다매체 기반 원격 협업 서비스를 제공할 수 있다.
보다 상세히, 실시예에서 원격 협업 서비스 제공서버(500)는, 외부의 장치(실시예에서, 웨어러블 디바이스(100) 및/또는 협업 단말(400) 등)에서 애플리케이션(111, 211, 311)이 동작할 수 있는 환경을 제공할 수 있다.
이를 위해, 원격 협업 서비스 제공서버(500)는, 애플리케이션(111, 211, 311)이 동작하기 위한 응용 프로그램, 데이터 및/또는 명령어 등을 포함할 수 있고, 이에 기초한 데이터를 상기 외부의 장치와 송수신할 수 있다.
실시예에서, 원격 협업 서비스 제공서버(500)는, 작업 현장에서 촬영된 촬영영상, 가상 콘텐츠, 음성 데이터 및/또는 레이저 포인터 제어신호 등을 포함하는 커뮤니케이션 데이터를 상기 외부의 장치와 송수신할 수 있다.
또한, 실시예에서 원격 협업 서비스 제공서버(500)는, 웨어러블 디바이스(100), 협업 단말(400) 및/또는 통신 중계기기 등의 사이에서 네트워크(600)를 기반으로 송수신되는 커뮤니케이션 데이터의 교환을 중계할 수도 있다.
또한, 실시예에서 원격 협업 서비스 제공서버(500)는, 실시간 현장 커뮤니케이션 데이터를 생성하여 외부의 장치(예컨대, 협업 단말(400) 등)로 제공할 수 있다.
여기서, 실시예에 따른 상기 현장 커뮤니케이션 데이터란, 작업 현장에 위치하는 현장 작업자의 웨어러블 디바이스(100)에 기반한 사용자 입력을 토대로 생성되어 원격에 위치하는 원격 협업자의 협업 단말(400)로 전달되는 커뮤니케이션 데이터를 의미할 수 있다.
또한, 실시예에서 원격 협업 서비스 제공서버(500)는, 실시간 원격 커뮤니케이션 데이터를 생성하여 외부의 장치(예컨대, 웨어러블 디바이스(100) 등)로 제공할 수 있다.
여기서, 실시예에 따른 상기 원격 커뮤니케이션 데이터란, 원격에 위치하는 원격 협업자의 협업 단말(400)에 기반한 사용자 입력을 토대로 생성되어 작업 현장에 위치하는 현장 작업자의 웨어러블 디바이스(100)로 전달되는 커뮤니케이션 데이터를 의미할 수 있다.
또한, 실시예에서 원격 협업 서비스 제공서버(500)는, 생성된 원격 커뮤니케이션 데이터에 기초한 작업 가이던스(guidance)를 외부의 장치(예컨대, 웨어러블 디바이스(100) 등)로 제공할 수 있다.
여기서, 실시예에 따른 상기 작업 가이던스란, 소정의 작업을 지시 및/또는 보조하기 위한 정보를 제공하는 의사소통 전달 매개체를 의미할 수 있다.
또한, 실시예에서 원격 협업 서비스 제공서버(500)는, 다매체 기반 원격 협업 서비스를 구현하기 위한 각종 응용 프로그램, 명령어 및/또는 데이터 등을 저장하고 관리할 수 있다.
실시예로, 원격 협업 서비스 제공서버(500)는, 적어도 하나의 현장 커뮤니케이션 데이터, 원격 커뮤니케이션 데이터 및/또는 작업 가이던스 등을 저장 및 관리할 수 있다.
한편, 도 1을 더 참조하면, 실시예에서 위와 같은 원격 협업 서비스 제공서버(500)는, 데이터 처리를 위한 적어도 하나 이상의 프로세서 모듈(510: Processor Module)과, 외부의 장치와의 데이터 교환을 위한 적어도 하나 이상의 커뮤니케이션 모듈(520: Communication Module)과, 다매체 기반 원격 협업 서비스의 제공을 위한 각종 응용 프로그램, 데이터 및/또는 명령어들을 저장하는 적어도 하나 이상의 메모리 모듈(530: Memory Module)을 포함하는 소정의 컴퓨팅 장치로 구현될 수 있다.
여기서, 상기 메모리 모듈(530)은, 다매체 기반 원격 협업 서비스를 제공하기 위한 운영체제(OS), 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
또한, 상기 메모리 모듈(530)은, 프로그램 영역과 데이터 영역을 포함할 수 있다.
여기서, 실시예에 따른 프로그램 영역은, 단말을 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 단말(100)의 사용에 따라 발생하는 데이터가 저장될 수 있다.
실시예에서, 이러한 메모리 모듈(530)은, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리 모듈(530)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
또한, 메모리 모듈(530)은, 단말 상에 탈착 가능한 형태의 기록매체일 수 있다.
한편, 상기 프로세서 모듈(510)은, 다매체 기반 원격 협업 서비스를 구현하기 위하여 전술한 각 유닛(unit)의 전반적인 동작을 컨트롤할 수 있다.
이러한 프로세서 모듈(510)은, 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 단말에 적합한 시스템 온 칩(SOC)일 수 있으며, 메모리 모듈(530)에 저장된 운영체제(OS) 및/또는 애플리케이션 프로그램 등을 실행할 수 있고, 단말에 탑재된 각 구성요소들을 제어할 수 있다.
또한, 프로세서 모듈(510)은, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.
또한, 프로세서 모듈(510)은, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
이상의 설명에서는, 본 발명의 실시예에 따른 원격 협업 서비스 제공서버(500)가 상술된 바와 같은 기능 동작을 수행한다고 설명하였으나, 실시예에 따라서 원격 협업 서비스 제공서버(500)에서 수행하는 기능 동작의 적어도 일부를 외부의 장치(예컨대, 웨어러블 디바이스(100) 및/또는 협업 단말(400) 등)에서 수행할 수도 있고, 상기 외부의 장치에서 수행하는 기능 동작의 적어도 일부를 상기 원격 협업 서비스 제공서버(500)에서 더 수행할 수도 있는 등 다양한 실시예가 가능할 수 있다.
- 다매체를 통해 원격 협업을 지원하는 방법
이하, 본 발명의 실시예에 따른 웨어러블 디바이스(100)의 적어도 하나 이상의 프로세서에 의하여 실행되는 애플리케이션(111)이 증강현실(Augmented Reality, AR) 및 레이저(Laser)를 포함하는 다매체를 기반으로 원격 협업을 지원하는 방법을 첨부된 도 7 내지 도 16을 참조하여 상세히 설명한다.
본 발명의 실시예에서 상기 웨어러블 디바이스(100)의 적어도 하나 이상의 프로세서는, 적어도 하나 이상의 메모리(110)에 저장된 적어도 하나 이상의 애플리케이션(111)을 실행하거나 백그라운드 상태로 동작하게 할 수 있다.
이하, 상기 적어도 하나 이상의 프로세서가, 상기 애플리케이션(111)의 명령어를 실행하기 위해 동작하여 상술된 다매체 기반 원격 협업 서비스를 제공하는 방법을 수행하는 것을 상기 애플리케이션(111)이 수행하는 것으로 단축하여 설명한다.
도 7은 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 실시예에서 상기 웨어러블 디바이스(100)의 적어도 하나 이상의 프로세서에 의하여 실행되거나 백그라운드 상태로 동작하는 애플리케이션(111)은, 원격 협업 커뮤니케이션을 실행할 수 있다. (S101)
여기서, 실시예에 따른 상기 원격 협업 커뮤니케이션이란, 원격 협업자(예컨대, 선박 엔지니어 등)와 현장 작업자(예컨대, 선원(船員) 등)가 소정의 작업 가이던스(guidance)를 주고받는 의사소통 프로세스를 의미할 수 있다.
이때, 실시예에 따른 상기 작업 가이던스란, 소정의 작업을 지시 및/또는 보조하기 위한 정보를 제공하는 의사소통 전달 매개체를 의미할 수 있다.
실시예에서, 이러한 원격 협업 커뮤니케이션은, 증강현실 및 레이저를 포함하는 다매체에 기반한 작업 가이던스 송수신을 포함할 수 있다.
자세히, 상기 원격 협업 커뮤니케이션은, 음성, 영상 및/또는 가상 콘텐츠 등에 기초한 증강현실 및 레이저를 포함하는 다매체를 이용하여 원격 협업자와 현장 작업자 간의 작업 가이던스 교환을 지원할 수 있다.
구체적으로, 실시예에서 애플리케이션(111)은, 메모리(110)에 저장된 원격 협업 커뮤니케이션 실행 프로그램을 독출하여 위와 같은 원격 협업 커뮤니케이션을 구동할 수 있고, 이를 통해 다매체 기반 원격 협업 서비스를 제공할 수 있다.
또한, 실시예에서 애플리케이션(111)은, 위와 같이 원격 협업 커뮤니케이션이 실행되면, 실시간 현장 커뮤니케이션 데이터를 생성 및 송신할 수 있다. (S103)
여기서, 실시예에 따른 상기 현장 커뮤니케이션 데이터(이하, 현장 데이터)란, 작업 현장에 위치하는 현장 작업자의 웨어러블 디바이스(100)에 기반한 사용자 입력을 토대로 생성되어 원격에 위치하는 원격 협업자의 협업 단말(400)로 전달되는 커뮤니케이션 데이터를 의미할 수 있다.
실시예에서, 이러한 현장 데이터는, 사용자(실시예에서, 현장 작업자) 주변의 물리적 공간(실시예에서, 현장)을 촬영한 영상인 현장영상 및/또는 현장 작업자 입력(예컨대, 현장 작업자의 음성, 터치, 버튼 및/또는 제스처 입력 등)을 포함할 수 있다.
자세히, 실시예에서 애플리케이션(111)은, 상기 원격 협업 커뮤니케이션이 실행되면 이미지 센서(161)와 연동하여 상기 현장영상을 실시간으로 획득할 수 있다.
또한, 애플리케이션(111)은, 예컨대 오디오 센서(165), 버튼, 터치 센서 및/또는 이미지 센서(161) 등과 같은 입력 시스템(150)과 연동하여 상기 현장 작업자 입력을 실시간 획득할 수 있다.
그리하여 애플리케이션(111)은, 위와 같이 실시간으로 획득된 현장영상 및/또는 현장 작업자 입력에 기초하여 실시간 현장 데이터를 생성할 수 있다.
또한, 애플리케이션(111)은, 상기 생성된 실시간 현장 데이터를 해당 원격 협업자의 협업 단말(400)로 송신하여 제공할 수 있다.
또한, 실시예에서 애플리케이션(111)은, 실시간 원격 커뮤니케이션 데이터를 수신할 수 있다. (S105)
여기서, 실시예에 따른 상기 원격 커뮤니케이션 데이터(이하, 원격 데이터)란, 원격에 위치하는 원격 협업자의 협업 단말(400)에 기반한 사용자 입력을 토대로 생성되어 작업 현장에 위치하는 현장 작업자의 웨어러블 디바이스(100)로 전달되는 커뮤니케이션 데이터를 의미할 수 있다.
실시예에서, 이러한 원격 데이터는, 가상 콘텐츠, 레이저 포인터 제어신호 및/또는 원격 협업자 입력 등을 포함할 수 있다.
여기서, 실시예에 따른 상기 가상 콘텐츠란, 상기 물리적 공간이나 물리적 공간을 촬영한 현장영상에 대응하여 생성 및 증강 표시되는 가상의 증강 콘텐츠로서, 실시예에서 소정의 작업을 가이던스하는 영상, 이미지, 텍스트, 드로잉 객체 및/또는 3차원 엔티티 등을 포함할 수 있다.
또한, 실시예에 따른 상기 레이저 포인터 제어신호란, 상술된 레이저 출력장치(190)로부터 발사되는 레이저의 포인팅 위치, 크기, 출력 세기, 색상 및/또는 포인터 모양(예컨대, 삼각형, 사각형 또는 별 모양 등) 등을 포함하는 레이저 형상을 결정하는 정보일 수 있다.
자세히, 실시예에서 애플리케이션(111)은, 상술된 현장 데이터를 수신 및 공유하는 협업 단말(400)로부터 상기 원격 커뮤니케이션 데이터를 실시간으로 수신할 수 있다.
보다 상세히, 실시예에서 애플리케이션(111)은, 1) 상기 협업 단말(400)로부터 가상 콘텐츠를 수신할 수 있다.
도 8은 본 발명의 실시예에 따른 가상 콘텐츠를 획득하는 방법을 설명하기 위한 도면의 일례이다.
구체적으로, 도 8을 참조하면, 상기 협업 단말(400)은, 상기 원격 협업 커뮤니케이션이 실행되면, 상기 수신된 현장 데이터가 포함하는 현장영상(50) 및/또는 현장 작업자 입력 등에 기초한 원격 협업자의 입력을 토대로 상기 가상 콘텐츠를 생성할 수 있다.
실시예에서, 상기 협업 단말(400)은, 원격 협업자의 입력에 기초하여 상기 현장영상(50) 내 소정의 영역(위치)에 대응되어 소정의 형상으로 구현되는 가상 콘텐츠를 생성할 수 있다.
즉, 실시예에 따른 가상 콘텐츠는, 해당하는 현장영상(50)에 대한 상기 가상 콘텐츠의 위치 정보 및 형상 정보를 포함할 수 있다.
여기서, 실시예에 따른 상기 가상 콘텐츠의 위치 정보는, 상기 가상 콘텐츠가 해당하는 현장영상(50) 상에서 증강 표시되는 영역(위치)의 위치좌표를 나타내는 정보일 수 있다.
또한, 실시예에 따른 상기 가상 콘텐츠의 형상 정보는, 상기 가상 콘텐츠의 형태나 움직임 등과 같은 상태를 나타내는 정보일 수 있다.
자세히, 실시예에서 상기 협업 단말(400)은, 상기 가상 콘텐츠의 위치 정보를 상기 현장영상(50) 내 소정의 객체를 선택하는 원격 협업자의 입력에 기반하여 결정할 수 있다.
보다 상세히, 상기 협업 단말(400)은, 원격 협업자의 입력에 따라서 선택된 상기 현장영상(50) 내 제1 객체(55)가 차지하는 영역(이하, 제1 객체(55) 영역) 내 소정의 지점(위치)에 대한 위치좌표에 기초하여 상기 가상 콘텐츠의 위치 정보를 결정할 수 있다.
예를 들면, 상기 협업 단말(400)은, 제1 현장영상(50) 내 제1 객체(55)(예컨대, 제1 볼트 등)를 선택하는 원격 협업자의 입력을 획득할 수 있고, 상기 원격 협업자의 입력에 의하여 선택된 제1 객체(55) 영역 내 소정의 지점(예컨대, 상기 제1 객체(55) 영역 내 센터 포인트 등)에 대한 위치좌표를 기초로 상기 가상 콘텐츠의 위치 정보를 설정할 수 있다.
또한, 실시예에서 상기 협업 단말(400)은, 원격 협업자의 입력에 기초하여 상기 가상 콘텐츠의 형상 정보를 결정할 수 있다.
실시예로, 상기 협업 단말(400)은, 다양한 형상(실시예에서, 형태 및/또는 움직임(동작) 등)을 가지는 복수의 가상 콘텐츠를 포함하는 가상 콘텐츠 라이브러리를 기 구축하여 메모리(310)에 저장할 수 있다.
또한, 상기 협업 단말(400)은, 상기 가상 콘텐츠 라이브러리가 포함하는 복수의 가상 콘텐츠 중 적어도 하나를 선택하는 원격 협업자의 입력을 획득할 수 있다.
그리고 상기 협업 단말(400)은, 상기 선택된 가상 콘텐츠의 형태 및/또는 움직임에 기반하여 상기 가상 콘텐츠의 형상 정보를 결정할 수 있다.
예를 들면, 상기 협업 단말(400)은, 상기 가상 콘텐츠 라이브러리 내 복수의 가상 콘텐츠 중 선택된 제1 가상 콘텐츠의 형상 정보(예컨대, 소정의 펜치 형태를 가지고 상기 제1 현장영상(50) 내 제1 객체(55)(예컨대, 제1 볼트 등)에 대한 조임 동작을 수행하는 형상 등)를 상기 가상 콘텐츠의 형상 정보로 결정할 수 있다.
또는, 실시예에 따라서 상기 협업 단말(400)은, 원격 협업자의 입력에 기반하여 상기 가상 콘텐츠의 형상 정보를 결정할 수도 있다.
예를 들면, 상기 협업 단말(400)은, 원격 협업자의 드로잉 입력(예컨대, 가상 콘텐츠의 외곽 형태를 드로잉하는 입력 등) 및/또는 드래그 입력(예컨대, 가상 콘텐츠의 움직임을 설정하는 드래그 입력 등) 등에 기반하여 상기 형상 정보를 결정할 수 있다.
또한, 실시예에서 상기 협업 단말(400)은, 위와 같이 결정된 위치 정보 및 형상 정보에 기초하여 상기 가상 콘텐츠를 생성할 수 있다.
즉, 상기 협업 단말(400)은, 상술된 바와 같이 결정된 형상을 가지고 상술된 바와 같이 결정된 위치좌표 상에 증강 표시되는 가상 콘텐츠를 생성할 수 있다.
또한, 실시예에서 상기 협업 단말(400)은, 상기 생성된 가상 콘텐츠를 애플리케이션(111)으로 송신할 수 있다.
그리하여 애플리케이션(111)은, 상기 협업 단말(400)에서 생성된 상기 가상 콘텐츠를 상기 협업 단말(400)로부터 원격 데이터로서 수신할 수 있다.
따라서, 애플리케이션(111)은, 추후 해당 현장영상(50)에 기초하여 원격 협업자의 입력에 따른 위치와 형상을 가지고 생성된 가상 콘텐츠에 기반한 작업 가이던스를 현장 작업자에게 제공할 수 있다.
한편, 실시예에서 애플리케이션(111)은, 2) 상기 협업 단말(400)로부터 레이저 포인터 제어신호를 수신할 수 있다.
자세히, 실시예에서 상기 협업 단말(400)은, 상기 원격 협업 커뮤니케이션이 실행되면, 상기 수신된 현장 데이터가 포함하는 현장영상(50) 및/또는 현장 작업자 입력 등에 기초한 원격 협업자의 입력을 토대로 상기 레이저 포인터 제어신호를 생성할 수 있다.
도 9 내지 도 12는 본 발명의 실시예에 따른 레이저 포인터 제어신호를 획득하는 방법을 설명하기 위한 도면의 일례들이다.
실시예로, 도 9를 참조하면, 상기 협업 단말(400)은, 1] 원격 협업자의 레이저 직접조작 입력을 기초로 레이저 포인터 제어신호를 생성할 수 있다.
여기서, 실시예에 따른 상기 레이저 직접조작 입력이란, 레이저 출력장치(190)로부터 발사되는 레이저(1)의 형상(실시예에서, 레이저(1)의 포인팅 위치, 크기, 출력 세기, 색상 및/또는 포인팅 모양 등)을 실시간 수작업으로 설정하는 사용자(실시예에서, 원격 협업자) 입력을 의미할 수 있다.
자세히, 상기 협업 단말(400)은, 실시예에 따른 레이저 출력장치(190)로부터 발사되는 레이저(1)의 형상을 상기 현장영상(50)에 기초하여 실시간으로 설정할 수 있는 레이저 직접조작 인터페이스(60)를 제공할 수 있다.
또한, 상기 협업 단말(400)은, 상기 제공된 레이저 직접조작 인터페이스(60)에 기초한 원격 협업자의 입력을 상기 레이저 직접조작 입력으로서 획득할 수 있다.
보다 상세히, 실시예로 상기 협업 단말(400)은, 소정의 제1 지점을 가리키는 레이저 포인터를 포함하는 현장영상(50)을 디스플레이 출력할 수 있다.
또한, 상기 협업 단말(400)은, 상기 출력된 현장영상(50) 내 레이저 포인터를 모니터링하며 상기 레이저 포인터의 위치좌표(즉, 레이저 포인팅 위치), 크기, 출력 세기, 색상 및/또는 포인팅 모양 등을 조정하는 레이저 직접조작 입력을 상기 레이저 직접조작 인터페이스(60)를 통하여 획득할 수 있다.
또한, 상기 협업 단말(400)은, 상기 획득된 레이저 직접조작 입력에 따른 레이저 형상대로 상기 레이저 출력장치(190)로부터 발사되는 레이저(1)의 형상을 제어하는 레이저 포인터 제어신호를 생성할 수 있다.
따라서, 상기 협업 단말(400)은, 현장의 레이저 출력장치(190)로부터 발사되는 레이저(1)의 다양한 형상을 원격 협업자가 원하는 대로 정밀하고 소상하게 설정할 수 있다.
이때, 실시예에서 상기 협업 단말(400)은, 상기 레이저 직접조작 입력에 따라서 설정된 레이저 포인팅 위치를 고정하는 포인팅 락(pointing lock)을 수행할 수 있다.
즉, 상기 협업 단말(400)은, 레이저 출력장치(190)가 장착된 웨어러블 디바이스(100)의 위치 이동(예를 들면, 작업 현장의 지반 진동에 의한 흔들림에 따른 웨어러블 디바이스(100)의 위치 이동 등)에 의하여 상기 현장영상(50)이 포함하는 영역이나 객체의 위치 등이 변화하더라도, 상기 레이저 포인팅의 위치가 초기 현장영상(50)에 기초하여 설정된 레이저 포인팅 위치를 그대로 유지하며 지속적으로 가리키도록 고정하는 포인팅 락을 수행할 수 있다.
자세히, 상기 협업 단말(400)은, 상기 레이저 직접조작 인터페이스(60)를 기초로 상기 설정된 레이저 포인팅 위치를 고정시키는 원격 협업자의 락 입력(lock input)을 획득할 수 있다.
또한, 상기 협업 단말(400)은, 상기 락 입력이 획득되면 상기 락 입력이 획득될 시의 레이저 포인팅 위치를 포인팅 고정위치로 결정할 수 있다.
그리하여 상기 협업 단말(400)은, 상기 레이저 직접조작 입력에 따른 레이저 포인팅 위치를 고정시키는 포인팅 락을 수행할 수 있다.
따라서, 상기 협업 단말(400)은, 현장의 레이저 출력장치(190)의 위치가 변경되더라도 상기 레이저 출력장치(190)로부터 발사되는 레이저(1)는 원격 협업자가 수작업으로 설정한 레이저 포인팅 위치를 지속적으로 추적하며 포인팅하게 할 수 있다.
도 10을 참조하면, 다른 실시예로 상기 협업 단말(400)은, 2] 원격 협업자의 포인팅 객체 지정입력을 기초로 레이저 포인터 제어신호를 생성할 수 있다.
여기서, 실시예에 따른 상기 포인팅 객체 지정입력이란, 실시예에 따른 현장영상(50) 내 소정의 객체를 지정하는 사용자(실시예에서, 원격 협업자)의 입력을 의미할 수 있다.
자세히, 상기 협업 단말(400)은, 상기 현장영상(50) 내 소정의 객체를 선택할 수 있는 객체 선택 인터페이스를 제공할 수 있다.
또한, 상기 협업 단말(400)은, 상기 제공된 객체 선택 인터페이스에 기반한 원격 협업자의 입력에 따라서 선택된 제1 객체(55)가 차지하는 영역 내 소정의 지점(위치)에 대한 위치좌표를 검출할 수 있다.
예를 들면, 상기 협업 단말(400)은, 상기 선택된 제1 객체(55)의 센터 포인트(Center Point, CP)에 대한 위치좌표를 상기 현장영상(50)에 기초하여 검출할 수 있다.
또한, 상기 협업 단말(400)은, 위와 같이 검출된 위치좌표를 상기 레이저 포인팅 위치로 결정할 수 있다.
즉, 상기 협업 단말(400)은, 상기 검출된 위치좌표를 상기 레이저 출력장치(190)로부터 발사되는 레이저(1)가 가리키는 포인팅 위치로 결정할 수 있다.
또한, 실시예에서 상기 협업 단말(400)은, 상기 결정된 레이저 포인팅 위치를 가리키도록 상기 레이저 출력장치(190)를 제어하는 레이저 포인터 제어신호를 생성할 수 있다.
따라서, 상기 협업 단말(400)은, 현장의 레이저 출력장치(190)로부터 발사되는 레이저(1)가 원격 협업자가 원하는 객체를 타겟으로 하여 포인팅하게 할 수 있다.
이때, 실시예에서 상기 협업 단말(400)은, 상기 포인팅 객체 지정입력에 따라서 결정된 레이저 포인팅 위치를 고정하는 포인팅 락(pointing lock)을 수행할 수 있다.
즉, 상기 협업 단말(400)은, 레이저 출력장치(190)가 장착된 웨어러블 디바이스(100)의 위치 이동에 의하여 상기 현장영상(50)이 포함하는 영역이나 객체의 위치 등이 변화하더라도, 초기 현장영상(50)을 기초로 위와 같이 결정된 레이저 포인팅 위치가 그대로 유지되도록 고정하는 포인팅 락을 수행할 수 있다.
자세히, 상기 협업 단말(400)은, 상기 객체 선택 인터페이스에 기초하여, 상기 설정된 레이저 포인팅 위치를 고정시키는 락 입력(lock input)을 획득할 수 있다.
또한, 상기 협업 단말(400)은, 상기 락 입력이 획득되면 상기 락 입력이 획득될 시의 레이저 포인팅 위치를 포인팅 고정위치로 결정할 수 있다.
그리하여 상기 협업 단말(400)은, 상기 포인팅 객체 지정입력에 따른 레이저 포인팅 위치를 고정시키는 포인팅 락을 수행할 수 있다.
따라서, 상기 협업 단말(400)은, 현장의 레이저 출력장치(190)의 위치가 변경되더라도 상기 레이저 출력장치(190)로부터 발사되는 레이저(1)는 원격 협업자가 타겟으로 하는 객체를 계속해서 가리키게 할 수 있다.
도 11을 참조하면, 또 다른 실시예로 상기 협업 단말(400)은, 3] 원격 협업자의 고정 프레임(70) 기반 포인팅 위치 지정입력(이하, 고정 프레임(70) 지정입력)을 기초로 레이저 포인터 제어신호를 생성할 수 있다.
여기서, 실시예에 따른 상기 고정 프레임(70)이란, 현장영상(50)을 구성하는 복수의 프레임(frames) 중 사용자(실시예에서, 원격 협업자) 입력에 따라서 선택된 어느 하나의 프레임을 의미할 수 있다.
또한, 실시예에 따른 상기 고정 프레임(70) 지정입력이란, 상기 고정 프레임(70) 상에 증강 표시되는 소정의 객체(이하, 증강 포인팅 객체)에 기초하여 상기 현장영상(50) 내 소정의 지점(위치)를 지정하는 사용자(실시예에서, 원격 협업자)의 입력을 의미할 수 있다.
자세히, 상기 협업 단말(400)은, 상기 고정 프레임(70) 지정입력을 수행할 수 있는 프레임 입력 인터페이스를 제공할 수 있다.
또한, 상기 협업 단말(400)은, 상기 제공된 프레임 입력 인터페이스에 기초한 원격 협업자의 입력에 기반하여 상기 현장영상(50)을 구성하는 복수의 프레임 중 어느 하나의 프레임을 상기 고정 프레임(70)으로 결정할 수 있다.
또한, 상기 협업 단말(400)은, 위와 같이 결정된 고정 프레임(70) 내 소정의 영역(위치) 상에 상기 레이저 출력장치(190)로부터 발사되는 레이저(1)의 포인팅 위치 설정을 보조하는 가상의 객체인 증강 포인팅 객체(2)를 증강 표시할 수 있다.
실시예에서, 상기 협업 단말(400)은, 현재 레이저 포인팅 위치를 나타내는 영역(위치) 상에 상기 증강 포인팅 객체(2)를 표시할 수 있다.
또한, 상기 협업 단말(400)은, 상기 고정 프레임(70) 상의 증강 포인팅 객체(2)를 주시하며 상기 증강 포인팅 객체(2)의 위치좌표를 조정하는 사용자(실시예에서, 원격 협업자) 입력을 상기 프레임 입력 인터페이스를 통하여 획득할 수 있다.
실시예로, 상기 협업 단말(400)은, 상기 프레임 입력 인터페이스를 기초로 상기 증강 포인팅 객체(2)의 x, y 좌표를 조정하는 원격 협업자의 입력을 획득할 수 있다.
이때, 상기 협업 단말(400)은, 상기 프레임 입력 인터페이스에 기초한 원격 협업자의 입력에 따라서 조정된 증강 포인팅 객체(2)의 위치좌표를 고정하는 포인팅 락(pointing lock)을 수행할 수 있다.
즉, 상기 협업 단말(400)은, 고정 프레임(70) 상에서 사용자(실시예에서, 원격 협업자)가 원하는 지점(위치)에 위치하는 증강 포인팅 객체(2)에 대해 포인팅 락을 수행하면, 실시예에 따른 레이저 출력장치(190)로부터 발사되는 레이저(1)가 해당 포인팅 락 지점을 지속적으로 가리키게 하는 포인팅 락을 수행할 수 있다.
자세히, 상기 협업 단말(400)은, 상기 프레임 입력 인터페이스를 기초로 상기 조정된 증강 포인팅 객체(2)의 위치를 고정시키는 락 입력(lock input)을 획득할 수 있고, 상기 락 입력이 획득될 시의 증강 포인팅 객체(2)의 위치좌표를 증강 포인팅 객체(2) 고정위치로 결정할 수 있다.
그리하여 상기 협업 단말(400)은, 상기 고정 프레임(70) 상에 표시된 증강 포인팅 객체(2)의 위치좌표를 고정시킬 수 있고, 따라서 현장의 레이저 출력장치(190)의 위치가 변경되더라도 상기 레이저 출력장치(190)로부터 발사되는 레이저(1)는 원격 협업자가 고정 프레임(70) 상에서 설정한 레이저 포인팅 위치를 지속적으로 추적하며 포인팅하게 할 수 있다.
다시 돌아와서, 도 12를 참조하면, 또한 상기 협업 단말(400)은, 상기 원격 협업자의 입력에 따라서 위치좌표가 조정된 증강 포인팅 객체(2)의 위치좌표(이하, 조정 위치좌표)에 기초하여, 상기 레이저 출력장치(190)로부터 발사되는 레이저(1)를 통해 가리키고자 하는 레이저 포인팅 위치를 결정할 수 있다.
자세히, 실시예에서 상기 협업 단말(400)은, 상기 실시간 현장영상(50)과 상기 고정 프레임(70)을 비교하여 상기 실시간 현장영상(50) 내에서 상기 고정 프레임(70) 내 증강 포인팅 객체(2)의 위치(이하, 타겟 포인팅 위치)에 대응되는 지점(3: 이하, 대응 포인팅 위치)을 검출할 수 있다.
또한, 상기 협업 단말(400)은, 상기 검출된 대응 포인팅 위치(3)와 상기 실시간 현장영상(50)의 현재 레이저 포인팅 위치(4) 간의 변위값(d)을 산출할 수 있다.
예를 들면, 상기 협업 단말(400)은, 제1 현장영상(50) 내 현재 레이저 포인팅 위치(4)의 x, y 위치좌표와 상기 제1 현장영상(50) 내 대응 포인팅 위치(3)의 x, y 위치좌표에 기반하여 상기 현재 레이저 포인팅 위치(4)와 상기 대응 포인팅 위치(3) 간의 변위값(d)을 산출할 수 있다.
또한, 상기 협업 단말(400)은, 상기 산출된 변위값(d)을 기초로 상기 레이저 출력장치(190)로부터 발사되는 레이저(1)를 통해 가리키고자 하는 레이저 포인팅 위치를 결정할 수 있다.
즉, 상기 협업 단말(400)은, 상기 산출된 변위값(d)을 토대로 상기 타겟 포인팅 위치를 상기 레이저 포인팅 위치로서 결정할 수 있다.
그리고 상기 협업 단말(400)은, 위와 같이 결정된 레이저 포인팅 위치를 가리키도록 상기 레이저 출력장치(190)를 제어하는 레이저 포인터 제어신호를 생성할 수 있다.
이와 같이, 상기 협업 단말(400)은, 현장영상(50)의 일 프레임(실시예에서, 고정 프레임(70))을 기초로 작업 지시를 위한 레이저 포인팅을 가능하게 하여, 과도한 진동이나 낮은 네트워크 성능 등으로 인한 통신 오버헤드 문제가 존재하는 등의 작업 환경을 가지는 현장(예컨대, 선박 등)과의 영상 기반 원격 협업 커뮤니케이션을 수행할 시, 해당 영상에 기반한 작업 지시의 정확성을 향상시킬 수 있고, 이를 통해 원격 협업 커뮤니케이션의 성능을 증대시킬 수 있다.
이때, 실시예에 따라서 상기 협업 단말(400)은, 상기 증강 포인팅 객체(2)를 표시하는 고정 프레임(70) 영상과, 상기 증강 포인팅 객체(2)의 위치를 실시간으로 추적하며 가리키는 레이저 포인터를 표시하는 실시간 현장영상(50)을 동시에 디스플레이 출력하여 사용자(실시예에서, 원격 협업자)에게 제공할 수도 있다.
따라서, 상기 협업 단말(400)은, 상술된 고정 프레임(70) 지정입력의 사용성과 편의성을 보다 향상시킬 수 있다.
이상에서는, 효과적인 설명을 위하여 협업 단말(400)에서 레이저 포인터 제어신호를 생성하는 실시예들을 상술된 바와 같이 구분하여 설명하였으나, 실시예에 따라서 상기 실시예들 중 적어도 일부가 상호 유기적으로 결합하여 동작할 수 있는 등 다양한 실시예가 가능할 수 있다.
또한, 실시예에서 상기 협업 단말(400)은, 위와 같이 생성된 레이저 포인터 제어신호를 애플리케이션(111)으로 송신할 수 있다.
그리하여 애플리케이션(111)은, 상기 협업 단말(400)에서 생성된 상기 레이저 포인터 제어신호를 상기 협업 단말(400)로부터 원격 데이터로서 수신할 수 있다.
따라서, 애플리케이션(111)은, 추후 해당 현장영상(50)에 기초한 원격 협업자의 입력에 따른 레이저(1)의 포인팅 위치, 크기, 출력 세기, 색상 및/또는 포인팅 모양 등을 기반으로 현장의 레이저 출력장치(190)로부터 발사되는 레이저(1)의 형상을 제어할 수 있고, 이를 통한 작업 가이던스를 현장 작업자에게 제공할 수 있다.
다른 한편, 실시예에서 애플리케이션(111)은, 3) 상기 협업 단말(400)로부터 원격 협업자 입력을 수신할 수 있다.
자세히, 실시예에서 상기 협업 단말(400)은, 상기 원격 협업 커뮤니케이션이 실행되면, 예컨대 오디오 센서(365), 터치 센서, 이미지 센서(361), 마우스(351) 및/또는 키보드(352) 등과 같은 입력 시스템(340)과 연동하여 상기 원격 협업자 입력을 실시간 획득할 수 있다.
예를 들면, 상기 협업 단말(400)은, 상기 입력 시스템(340)을 기초로 원격 협업자의 음성, 터치, 버튼 및/또는 제스처 입력 등을 포함하는 원격 협업자 입력을 실시간으로 획득할 수 있다.
또한, 상기 협업 단말(400)은, 위와 같이 획득된 원격 협업자 입력을 애플리케이션(111)으로 송신할 수 있다.
그리하여 애플리케이션(111)은, 상기 협업 단말(400)에 기반하여 획득된 상기 원격 협업자 입력을 상기 협업 단말(400)로부터 원격 데이터로서 수신할 수 있다.
따라서, 애플리케이션(111)은, 추후 해당 현장영상(50)에 기초한 원격 협업자의 음성, 터치, 버튼 및/또는 제스처 입력 등을 포함하는 원격 협업자의 각종 입력에 기초한 작업 가이던스를 현장 작업자에게 제공할 수 있다.
즉, 실시예에서 애플리케이션(111)은, 상기 협업 단말(400)에서 상술된 바와 같이 생성 및 획득된 가상 콘텐츠, 레이저 포인터 제어신호 및/또는 원격 협업자 입력을 상기 원격 커뮤니케이션 데이터로서 수신하여, 이에 기초한 각종 작업 가이던스를 제공할 수 있다.
계속하면, 실시예에서 애플리케이션(111)은, 위와 같이 수신된 실시간 원격 커뮤니케이션 데이터에 기초한 작업 가이던스(guidance)를 제공할 수 있다. (S107)
자세히, 실시예에서 애플리케이션(111)은, 위와 같이 원격의 협업 단말(400)로부터 수신된 실시간 원격 커뮤니케이션 데이터를 기반으로, 현장에서의 특정 작업을 지시 및/또는 보조할 수 있는 작업 가이던스를 제공할 수 있다.
여기서, 다시 말하자면, 실시예에 따른 상기 작업 가이던스란, 소정의 작업을 지시 및/또는 보조하기 위한 정보를 제공하는 의사소통 전달 매개체를 의미할 수 있다.
도 13은 본 발명의 실시예에 따른 가상 콘텐츠 기반의 작업 가이던스를 제공하는 방법을 설명하기 위한 도면의 일례이다.
자세히, 도 13을 참조하면, 실시예에서 애플리케이션(111)은, 1) 상기 수신된 가상 콘텐츠(5)에 기초한 작업 가이던스를 제공할 수 있다.
보다 상세히, 애플리케이션(111)은, 상기 수신된 가상 콘텐츠(5)를 상기 현장영상(50) 상에 증강 표시함으로써 구현되는 제1 작업 가이던스를 제공할 수 있다.
실시예에서, 애플리케이션(111)은, 상기 수신된 가상 콘텐츠(5)의 위치 정보 및 형상 정보에 기초하여 상기 현장영상(50) 상에 상기 가상 콘텐츠(5)를 증강 표시할 수 있다.
예를 들면, 애플리케이션(111)은, 상기 가상 콘텐츠(5)의 위치 정보(예컨대, 상기 현장영상(50) 내 제1 볼트가 차지하는 영역 내 소정의 지점 등)가 가리키는 위치좌표 상에 상기 가상 콘텐츠(5)의 형상 정보(예컨대, 소정의 펜치 형태를 가지고 상기 제1 볼트 등에 대한 조임 동작을 수행하는 형상 등)에 따른 가상 콘텐츠(5)를 증강 표시할 수 있다.
이와 같이, 애플리케이션(111)은, 원격 협업자 입력에 따라서 해당하는 현장영상(50) 내 특정 영역(위치)에 특정 형상으로 증강 표시되게 설정된 가상 콘텐츠(5)를 제공함으로써, 원격 협업자가 현장 작업자에게 전달하고자 하는 각종 작업 지시 및/또는 보조 정보(즉, 실시예에서 작업 가이던스)들을 음성이나 텍스트 등과 같은 일차원적 데이터를 이용할 때 보다 이해하기 용이한 형태로 현장 작업자에게 제공할 수 있다.
또한, 애플리케이션(111)은, 원격 협업자와 현장 작업자가 공유하는 현장영상(50)을 기초로 상기 원격 협업자가 지정한 특정 영역(위치) 상에 해당하는 가상 콘텐츠(5)를 표시하여 상기 현장 작업자에게 제공함으로써, 작업 환경 조건에 따라서 현장영상(50)에 심한 흔들림이 있거나 통신 성능 저하에 따른 화질 저하가 발생하는 등 원격 커뮤니케이션 상황이 원활하지 않더라도, 작업 가이던스 제공을 위한 정확한 위치 상에 원격으로부터 수신되는 명확한 정보를 용이하게 표시하여 제공할 수 있다.
한편, 실시예에서 애플리케이션(111)은, 2) 상기 수신된 레이저 포인터 제어신호에 기초한 작업 가이던스를 제공할 수 있다.
자세히, 애플리케이션(111)은, 상기 수신된 레이저 포인터 제어신호를 기초로 해당 웨어러블 디바이스(100)의 레이저 출력장치(190)를 제어함으로써 구현되는 제2 작업 가이던스를 제공할 수 있다.
보다 상세히, 애플리케이션(111)은, 상기 수신된 레이저 포인터 제어신호를 기초로 상술된 레이저 출력장치(190)를 제어하여 상기 레이저 출력장치(190)로부터 발사되는 레이저(1)의 포인팅 위치, 크기, 출력 세기, 색상 및/또는 포인팅 모양 등을 컨트롤할 수 있다.
즉, 애플리케이션(111)은, 상기 수신된 레이저 포인터 제어신호를 기초로 상기 레이저(1)의 형상(실시예에서, 레이저(1)의 포인팅 위치, 크기, 출력 세기, 색상 및/또는 포인팅 모양 등)을 제어함으로써, 원격 협업자가 원하는 레이저 포인팅을 수행할 수 있다.
이와 같이, 애플리케이션(111)은, 통신 오버헤드가 현저히 낮은 레이저 포인터를 이용한 원격 협업 커뮤니케이션을 지원함으로써, 현장 작업자의 웨어러블 디바이스(100)에서 출력되는 현장영상(50)과 상기 현장영상(50)을 네트워크를 통해 수신하여 출력하는 협업 단말(400)에서의 현장영상(50) 간에 필연적으로 발생되는 데이터 송수신 딜레이 및/또는 싱크 문제 등에 의한 작업 가이던스 전송 오류를 최소화할 수 있다.
또한, 이를 통해 애플리케이션(111)은, 보다 쉽고 직관적으로 인지 가능한 작업 지시 및/또는 보조를 수행할 수 있는 레이저 포인터 기반의 원격 협업 커뮤니케이션 인터페이스를 제공할 수 있다.
도 14 및 도 15는 본 발명의 실시예에 따른 포인팅 락(pointing lock)이 활성화된 레이저 포인터 제어신호를 기반으로 작업 가이던스를 제공하는 방법을 설명하기 위한 도면의 일례이다.
이때, 도 14를 참조하면, 실시예에서 애플리케이션(111)은, 상기 레이저 포인터 제어신호에 따라서 레이저 포인팅 위치를 제어할 시 상기 레이저 포인팅 위치에 대한 포인팅 락(pointing lock)이 활성화된 경우, 상기 레이저 출력장치(190)가 장착된 웨어러블 디바이스(100)의 위치 이동(예를 들면, 작업 현장의 지반 진동에 의한 흔들림에 따른 웨어러블 디바이스(100)의 위치 이동 등)이 발생하더라도, 상기 현장영상(50)을 기초로 상기 레이저 포인팅 위치가 가리키던 지점을 지속적으로 자동 트래킹하여 해당 포인팅 락 위치에 대한 레이저 포인팅이 유지되게 고정할 수 있다.
즉, 애플리케이션(111)은, 특정 레이저 포인팅 위치에 고정된 레이저 포인터 제어신호를 기초로 레이저 포인팅을 수행함으로써, 과도한 진동(예컨대, 선박의 흔들림 등)이나 낮은 네트워크 성능 등과 같은 열악한 작업 환경 상에서 원격 협업 커뮤니케이션을 수행하더라도, 작업 가이던스 제공을 위한 정확한 위치를 계속해서 레이저 포인터를 통해 가리키며 의사소통하게 할 수 있다.
더하여, 실시예에서 애플리케이션(111)은, 상기 포인팅 락 위치에 대한 자동 트래킹 시 실시간으로 감지되는 진동량, 위치 변동량 및/또는 현장영상(50) 싱크율에 따라서 상기 레이저 형상을 제어할 수 있다.
자세히, 실시예에서 애플리케이션(111)은, 상기 자동 트래킹을 수행할 때 소정의 센서 시스템(160)과 연동하여, 해당 웨어러블 디바이스(100) 및/또는 레이저 출력장치(190)의 진동량 및/또는 위치 변동량을 획득할 수 있다.
예를 들면, 애플리케이션(111)은, 소정의 진동 센서, 위치 센서, 가속도 센서 및/또는 자이로스코프 센서 등을 이용하여 상기 진동량 및/또는 위치 변동량을 감지할 수 있다.
또한, 실시예에서 애플리케이션(111)은, 상기 자동 트래킹 수행 시 상기 협업 단말(400) 및/또는 네트워크(600)와 연동하여, 웨어러블 디바이스(100)에서 출력되는 자체 현장영상(50)과, 상기 현장영상(50)을 공유하는 협업 단말(400)에서 출력되는 원격 현장영상(50) 간의 싱크율(즉, 실시에에서 현장영상(50) 싱크율)을 획득할 수 있다.
또한, 실시예에서 애플리케이션(111)은, 위와 같이 획득된 진동량, 위치 변동량 및/또는 현장영상(50) 싱크율을 기초로 상기 레이저(1)의 포인팅 위치, 크기, 출력 세기, 색상 및/또는 포인팅 모양 등을 포함하는 레이저 형상을 자동으로 제어할 수 있다.
구체적으로, 애플리케이션(111)은, 소정의 기준 이상의 진동량(즉, 진동량이 소정의 기준 이상으로 큰 경우), 소정의 기준 이상의 위치 변동량(즉, 위치 변동량이 소정의 기준 이상으로 큰 경우) 및/또는 소정의 기준 이하의 현장영상(50) 싱크율(즉, 현장영상(50) 싱크율이 소정의 기준 이하로 낮은 경우)이 감지되는 변동 조건을 충족하면, 상기 레이저 형상을 제어하여 해당 레이저 포인터가 포인팅하는 영역이 상기 포인팅 락 위치를 지속적으로 포함하게 할 수 있다.
자세히, 도 15를 참조하면, 일 실시예로 애플리케이션(111)은, 상기 변동 조건이 충족되면 상기 레이저 포인터의 크기를 증대시키는 자동 제어를 수행할 수 있다.
이때, 애플리케이션(111)은, 상기 레이저 포인터가 가리키는 영역이 상술된 포인팅 락 위치를 계속해서 포함할 수 있도록 상기 레이저 포인터의 크기를 증가시킬 수 있다.
따라서, 애플리케이션(111)은, 별도의 추적을 수행하며 레이저 포인팅 위치를 실시간으로 변경하여 주지 않더라도, 레이저 포인터의 크기를 증가시키는 비교적 적은 처리 비용으로 작업 지시 및/또는 보조를 위한 현장영상(50) 내 타겟 영역(위치)을 지속적으로 포인팅할 수 있다.
도 16은 본 발명의 실시예에 따른 가상 콘텐츠(5) 및 레이저 포인터 제어신호 기반의 작업 가이던스를 제공하는 방법을 설명하기 위한 도면의 일례이다.
다른 한편, 도 16을 참조하면, 실시예에서 애플리케이션(111)은, 3) 상기 수신된 가상 콘텐츠(5) 및 레이저 포인터 제어신호에 기초한 작업 가이던스를 제공할 수 있다.
자세히, 애플리케이션(111)은, 상기 수신된 레이저 포인터 제어신호에 따른 레이저 포인팅 위치를 기반으로 상기 수신된 가상 콘텐츠(5)를 상기 현장영상(50) 상에 표시함으로써 구현되는 제3 작업 가이던스를 제공할 수 있다.
실시예로, 애플리케이션(111)은, 상기 수신된 레이저 포인팅 위치와 상기 수신된 가상 콘텐츠(5)가 차지하는 영역 내 소정의 위치(예컨대, 엣지 포인트 또는 센터 포인트 등)를 매칭하여, 상기 현장영상(50) 상에 상기 가상 콘텐츠(5)를 증강 표시할 수 있다.
예를 들면, 애플리케이션(111)은, 상기 현장영상(50) 내에서 상기 레이저 포인팅 위치를 포함하는 영역에 매칭되는 제1 객체(55)에 대한 작업 가이던스를 제공하는 가상 콘텐츠(5)를, 상기 레이저 포인팅 위치에 매칭하여 증강 표시할 수 있다.
이와 같이, 애플리케이션(111)은, 다양한 의사소통 매체(실시예에서, 가상 콘텐츠(5), 레이저(1), 음성 및/또는 영상 등)를 활용하는 원격 협업 커뮤니케이션을 구현할 수 있고, 이를 통해 물리적 거리에 관계없이 직관적이고 원활하게 의사소통할 수 있는 원격 커뮤니케이션 환경을 제공할 수 있다.
이상, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스(100)는, 증강현실 및 레이저(1)를 포함하는 다매체를 기반으로 현장의 작업자와 원격의 협업자(예컨대, 숙련된 전문가 등) 간의 원격 협업 커뮤니케이션을 지원함으로써, 상호 원격에 위치하는 사용자들이 물리적 거리에 따른 제약없이 직관적으로 원활하게 의사소통할 수 있는 원격 커뮤니케이션 환경을 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스(100)는, 다매체 기반의 원격 협업 커뮤니케이션을 지원함으로써, 과도한 소음, 진동(예컨대, 선박의 흔들림 등)이나 낮은 네트워크 성능 등과 같은 열악한 작업 환경 상에서 작업을 수행하더라도, 해당 열악한 작업 환경에 대응하며 극복할 수 있는 최적의 방식을 선택적으로 이용하여 원격 협업 커뮤니케이션을 수행할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스(100)는, 작업 환경에 따른 최적의 방식을 이용하여 원격 협업 커뮤니케이션을 수행하게 함으로써, 원격 협업 커뮤니케이션의 사용성과 효용성을 제고할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스(100)는, 증강현실뿐만 아니라 비교적 필요한 데이터 통신량이 작은 레이저(1)를 이용하여 원격의 협업자와 현장의 작업자 간 작업 가이던스(guidance) 교환을 가능하게 하는 원격 협업 커뮤니케이션을 지원함으로써, 원격 협업 커뮤니케이션에서의 통신 오버헤드 문제(예컨대, 데이터 송수신 딜레이 및/또는 싱크(sync) 문제 등)를 최소화할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스(100)는, 레이저(1) 기반의 원격 협업 커뮤니케이션을 지원함으로써, 보다 쉽고 직관적인 사용자 인터페이스(User Interface, UI)를 이용한 원격 협업 커뮤니케이션을 구현할 수 있는 효과가 있다.
또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (15)

  1. 레이저(Laser)를 발사하는 레이저 출력장치;
    작업 가이던스(guidance)를 출력하는 적어도 하나 이상의 디스플레이;
    적어도 하나 이상의 메모리; 및
    적어도 하나 이상의 프로세서; 를 포함하고,
    상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 증강현실 및 상기 레이저를 포함하는 다매체를 통해 원격 협업을 지원하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은,
    작업 현장에 위치하는 현장 작업자와 상기 작업 현장으로부터 원격에 위치하는 원격 협업자 간 상기 작업 가이던스의 송수신을 지원하는 원격 협업 커뮤니케이션을 실행하고,
    상기 원격 협업 커뮤니케이션이 실행되면 상기 현장 작업자의 입력을 기초로 현장 커뮤니케이션 데이터를 생성하고,
    상기 생성된 현장 커뮤니케이션 데이터를 상기 원격 협업자의 협업 단말로 송신하고,
    상기 현장 커뮤니케이션 데이터를 송신한 협업 단말로부터 상기 원격 협업자의 입력에 기초한 가상 콘텐츠 및 레이저 포인터 제어신호 중 적어도 하나를 포함하는 원격 커뮤니케이션 데이터를 수신하고,
    상기 수신된 원격 커뮤니케이션 데이터에 기초한 상기 작업 가이던스를 제공하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  2. 제1 항에 있어서,
    상기 현장 커뮤니케이션 데이터는,
    상기 현장 작업자 주변의 물리적 공간을 촬영한 영상인 현장영상을 포함하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  3. 제2 항에 있어서,
    상기 원격 커뮤니케이션 데이터는,
    상기 가상 콘텐츠, 상기 레이저 포인터 제어신호 및 상기 원격 협업자의 음성, 터치, 버튼 및 제스처 입력 중 적어도 하나를 포함하는 원격 협업자 입력 중 적어도 하나를 포함하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  4. 제3 항에 있어서,
    상기 레이저 포인터 제어신호는,
    상기 레이저의 포인팅 위치, 크기, 출력 세기, 색상 및 포인팅 모양 중 적어도 하나를 포함하는 레이저 형상을 결정하는 정보인
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  5. 제4 항에 있어서,
    상기 레이저 포인터 제어신호는,
    상기 레이저 형상을 수작업으로 설정하는 레이저 직접조작 입터페이스, 상기 현장영상 내 제1 객체를 지정하여 상기 포인팅 위치를 설정하는 객체 선택 인터페이스, 상기 현장영상을 구성하는 복수의 프레임(frame) 중 하나의 프레임을 선택하여 상기 포인팅 위치를 설정하는 프레임 입력 인터페이스 중 적어도 하나의 인터페이스를 기초로 생성되는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  6. 제5 항에 있어서,
    상기 프레임 입력 인터페이스는,
    상기 원격 협업자의 입력을 기초로 상기 현장영상을 구성하는 복수의 프레임 중 하나의 프레임을 고정 프레임으로 결정하고,
    상기 결정된 고정 프레임을 기초로 상기 포인팅 위치의 설정을 보조하는 가상의 객체인 증강 포인팅 객체를 표시하고,
    상기 표시된 증강 포인팅 객체의 위치좌표를 조정하는 상기 원격 협업자의 입력을 획득하고,
    상기 획득된 원격 협업자의 입력에 따라서 결정된 상기 증강 포인팅 객체의 위치를 상기 포인팅 위치로 결정하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  7. 제6 항에 있어서,
    상기 프레임 입력 인터페이스는,
    실시간 상기 현장영상 내에서 상기 고정 프레임 내 상기 증강 포인팅 객체의 위치에 대응되는 제1 지점을 검출하고,
    상기 검출된 제1 지점의 위치와 현재 레이저 포인팅 위치 간의 변위값을 산출하고,
    상기 산출된 변위값을 기초로 상기 포인팅 위치를 결정하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  8. 제5 항에 있어서,
    상기 레이저 포인터 제어신호는,
    상기 레이저 직접조작 입터페이스, 상기 객체 선택 인터페이스 및 상기 프레임 입력 인터페이스 중 적어도 하나의 인터페이스에 기초한 상기 원격 협업자의 입력에 따른 제1 레이저 포인팅 위치를 상기 레이저가 지속적으로 포인팅하도록 고정하는 포인팅 락(pointing lock) 활성화 여부를 포함하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  9. 제8 항에 있어서,
    상기 애플리케이션은,
    상기 레이저 포인터 제어신호에 따른 레이저 형상대로 상기 레이저가 발사되도록 상기 레이저 출력장치를 제어하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  10. 제9 항에 있어서,
    상기 애플리케이션은,
    상기 포인팅 락이 활성화된 레이저 포인터 제어신호이면, 상기 레이저 포인터 제어신호의 상기 제1 레이저 포인팅 위치를 지속적으로 추적하며 포인팅하도록 상기 레이저 출력장치를 제어하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  11. 제3 항에 있어서,
    상기 가상 콘텐츠는,
    상기 현장영상에 대응하여 생성 및 증강 표시되는 가상의 객체로서, 소정의 영상, 이미지, 텍스트, 드로잉 객체 및 3차원 엔티티(3D entity) 중 적어도 하나를 포함하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  12. 제11 항에 있어서,
    상기 애플리케이션은,
    상기 가상 콘텐츠를 상기 현장영상 상에 증강 표시하여 상기 작업 가이던스를 제공하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  13. 제4 항에 있어서,
    상기 애플리케이션은,
    상기 가상 콘텐츠를 상기 레이저의 포인팅 위치에 매칭하여 상기 현장영상 상에 증강 표시해 상기 작업 가이던스를 제공하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  14. 사용자의 머리에 착용 가능한 헬멧형 본체;
    상기 헬멧형 본체에 착탈 가능한 스마트 글라스; 및
    레이저(Laser)를 발사하는 레이저 출력장치를 포함하고,
    상기 스마트 글라스는,
    작업 가이던스(guidance)를 증강현실 객체로 출력하는 적어도 하나 이상의 디스플레이;
    협업 단말과 무선으로 데이터 통신하는 통신 프로세서;
    적어도 하나 이상의 메모리; 및
    상기 레이저 출력장치와 디스플레이를 제어하는 적어도 하나 이상의 프로세서; 를 포함하고,
    상기 프로세서는, 상기 통신 프로세서를 통해 상기 협업 단말로부터 상기 레이저 출력장치의 제어신호를 수신하여 상기 레이저 출력장치를 제어하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
  15. 제 14 항에 있어서,
    상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 증강현실 및 상기 레이저를 포함하는 다매체를 통해 원격 협업을 지원하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은,
    작업 현장에 위치하는 현장 작업자와 상기 작업 현장으로부터 원격에 위치하는 원격 협업자 간 상기 작업 가이던스의 송수신을 지원하는 원격 협업 커뮤니케이션을 실행하고,
    상기 원격 협업 커뮤니케이션이 실행되면 상기 현장 작업자의 입력을 기초로 현장 커뮤니케이션 데이터를 생성하고,
    상기 생성된 현장 커뮤니케이션 데이터를 상기 원격 협업자의 협업 단말로 송신하고,
    상기 현장 커뮤니케이션 데이터를 송신한 협업 단말로부터 상기 원격 협업자의 입력에 기초한 가상 콘텐츠 및 레이저 포인터 제어신호 중 적어도 하나를 포함하는 원격 커뮤니케이션 데이터를 수신하고,
    상기 수신된 원격 커뮤니케이션 데이터에 기초한 상기 작업 가이던스를 제공하는
    다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스.
KR1020210148811A 2021-11-02 2021-11-02 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스 KR20230063593A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210148811A KR20230063593A (ko) 2021-11-02 2021-11-02 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210148811A KR20230063593A (ko) 2021-11-02 2021-11-02 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스

Publications (1)

Publication Number Publication Date
KR20230063593A true KR20230063593A (ko) 2023-05-09

Family

ID=86408895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210148811A KR20230063593A (ko) 2021-11-02 2021-11-02 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스

Country Status (1)

Country Link
KR (1) KR20230063593A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200030816A (ko) 2018-09-13 2020-03-23 현대자동차주식회사 스마트 글라스 장치 및 이를 이용한 작업 지시 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200030816A (ko) 2018-09-13 2020-03-23 현대자동차주식회사 스마트 글라스 장치 및 이를 이용한 작업 지시 방법

Similar Documents

Publication Publication Date Title
KR102289389B1 (ko) 가상 오브젝트 방위 및 시각화
US9442290B2 (en) Headset computer operation using vehicle sensor feedback for remote control vehicle
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
EP2845075B1 (en) Headset computer (hsc) as auxiliary display with asr and ht input
US10163266B2 (en) Terminal control method, image generating method, and terminal
JP5784818B2 (ja) 拡張現実システムにおける実世界表面への仮想画像のアンカリング
KR20210085789A (ko) 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
US20160269631A1 (en) Image generation method, system, and apparatus
US20150193977A1 (en) Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
JP2016126365A (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
US11417051B2 (en) Information processing apparatus and information processing method to ensure visibility of shielded virtual objects
KR20160015972A (ko) 웨어러블 디바이스 및 그 제어 방법
JP2019124849A (ja) 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法
KR20240071359A (ko) 원격 협업 방법 및 그 시스템
KR102260193B1 (ko) 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템
KR20230063593A (ko) 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스
US9153043B1 (en) Systems and methods for providing a user interface in a field of view of a media item
KR102428438B1 (ko) 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템
KR20230091889A (ko) 증강 현실 협업 시스템
US20150220506A1 (en) Remote Document Annotation
JP2018067157A (ja) 通信装置およびその制御方法
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
KR102467017B1 (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
KR102262019B1 (ko) 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템
KR102420166B1 (ko) 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal