WO2015008932A1 - 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법 - Google Patents

증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법 Download PDF

Info

Publication number
WO2015008932A1
WO2015008932A1 PCT/KR2014/005079 KR2014005079W WO2015008932A1 WO 2015008932 A1 WO2015008932 A1 WO 2015008932A1 KR 2014005079 W KR2014005079 W KR 2014005079W WO 2015008932 A1 WO2015008932 A1 WO 2015008932A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
digit
log space
interest
unit
Prior art date
Application number
PCT/KR2014/005079
Other languages
English (en)
French (fr)
Inventor
우운택
길경원
하태진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2015008932A1 publication Critical patent/WO2015008932A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Definitions

  • the present invention relates to a digital log space generation technology for remote collaboration, and more particularly, to a digital log space generator for creating an augmented reality-based digital log space that allows users located in remote locations to share information in real time. It relates to a method for creating a digit log space.
  • remote collaboration technology aims to connect users in different places through a network and work together to achieve a common purpose efficiently.
  • Conventional remote collaboration is performed by sharing digital information in front of the screen and having a conversation related to work.
  • remote collaborations can be applied in a variety of areas, such as video conferences and data conference systems, allowing you to engage in business-related conversations with remote business partners or attend web conferences, and to view your learning materials in your own home or office. This can be done by a doctor located remotely for the patient at home.
  • This remote collaboration technology can overcome the spatial limitations of existing collaboration work, and has the advantage of reducing the time and cost required for collaboration.
  • the conventional remote collaboration has a problem that does not guarantee the user's movement as it is made only in front of a fixed camera or screen.
  • the present invention has been proposed to solve the above conventional problems, the purpose of the digit log space generator for remote collaboration in augmented reality according to the present invention is to create a digit log space based on the augmented reality information, the user An object of the present invention is to provide a 3-D interaction capable of guaranteeing the motion of a motion.
  • Another object of the present invention is to acquire an image of a current position, generate an input signal for generating a digit log space, and display shared augmented reality information by an input / output device unit worn on a user's body.
  • Another object is to generate a 3-D collaboration space in any ordinary space, including a digit space processing unit.
  • Another object is to generate a digitlog space in which a physical space and a virtual mirror space of a real world are combined using a digitlog space generator.
  • Another object is to combine a digit log space of a current position and a remote mirror space based on an object of interest using a digit log space combining unit, and share augmented reality information with the combined digit log space.
  • An object of the method for generating a digit log space for remote collaboration in augmented reality is to provide a remote collaboration space combined with the digit log space of the current position and the remote digit log space.
  • the digital space generator for remote collaboration in augmented reality inputs an image photographed at a current location, generates an input signal of an object of interest and space, and displays an augmented reality information for remote collaboration. After modeling the object of interest in the 3D feature map based on the image and the input signal received from the input / output device unit, create a digit space of the current position, using the digit space information generated remotely, And a digit log space managing unit for combining the digit log space and a digit log space managing unit for managing digit log space and object information generated by the digit log space processing unit.
  • a method for generating a digit log space for remote collaboration in augmented reality includes (a) transmitting an input signal of a camera image and an object of interest and a digit log space generation at a current location by using an input / output device; ) After modeling the object of interest in the 3D feature map using the digit log space generation unit, generating a digit log space of the current position and (c) using the digit log space combining unit, the current generated in the step (b) Combining the digit log space of the location and the remote digit log space.
  • the digit log space generator for remote collaboration in augmented reality generates a digit log space based on the augmented reality information, it is possible to effect the 3-D interaction that ensures the user's movement In addition, there is an effect that can perform the remote collaboration work more efficiently.
  • the method of creating a digit log space for remote collaboration in augmented reality provides a remote collaboration space combining a digit log space of a current location and a remote digit log space, thereby ensuring user movement and remotely real time. It has the effect of enabling collaboration.
  • FIG. 1 is a diagram illustrating a concept of generating and combining a digit log space in a digit log space generator for remote collaboration in augmented reality according to the present invention.
  • Figure 2 is a block diagram showing the overall configuration of the digit log space generator for remote collaboration in augmented reality according to the present invention.
  • FIG. 3 is a screen illustrating a digit log space generation and combining embodiment in a digit log space generator for remote collaboration in augmented reality according to the present invention.
  • Figure 4 is a flow chart showing the overall flow of a method for creating a digitlog space for remote collaboration in augmented reality according to the present invention.
  • FIG. 5 is a flow chart showing the detailed flow of the step S20 in the method for creating a digital space for remote collaboration in augmented reality according to the present invention.
  • step S30 is a flow chart showing the detailed flow of step S30 in the method for creating a digit log space for remote collaboration in augmented reality according to the present invention.
  • 7 and 8 are a view showing an experimental process and results showing the error between the creation space and the actual space in the method of creating a digit log space for remote collaboration in augmented reality according to the present invention.
  • FIG. 9 is a view illustrating an embodiment of information sharing of a combined digital space in a digital space generation method for remote collaboration in augmented reality according to the present invention.
  • the digit log space according to the invention is a 3-D collaboration space formed in any ordinary space, physical physical space (Real World) and virtual mirror space (Mirror World) are combined.
  • the real space and the mirror space are bidirectionally connected to share information in a digitized space in real time, thereby enabling remote collaboration.
  • the first digit log space 10 and the second digit log space 20 are respectively generated in two spaces remote from each other.
  • the mirror space corresponding to the real spaces 11 and 21 is generated. (12, 22) are formed.
  • These mirror spaces 12 and 22 are virtual spaces, not physical spaces, with no physical scale, and arbitrary scales are used.
  • first digit log space 10 and the second digit log space 20 may be combined to form a combined digit log space 30, in which the modeled object of interest 32 is used. Is the reference.
  • FIG. 2 is a view showing the overall configuration of the digit log space generator 100 for remote collaboration in augmented reality according to the present invention, the input and output device unit 40, the digit log space processing unit 70 and the digit log The space manager 80 is included.
  • the input / output device unit 40 serves to input an image photographed at a current location, generate an input signal of an object of interest and space, and display augmented reality information for remote collaboration, and according to the present invention.
  • the unit 40 includes a camera / input device 41 and a display device 42.
  • the camera / input device 41 is worn on a user's body, photographs an environment of a current location, generates image information, and generates an input signal for modeling the object of interest and an input signal for forming a space. Do it.
  • the camera / input device 41 is implemented as a head mounted device (HMD) camera worn on a user's head and a small input device that generates an input signal for forming an object of interest and a space.
  • HMD head mounted device
  • the display device 42 is worn on the user's body, checks the creation and coupling state of the digit log space, and displays shared augmented reality information, in the embodiment of the present invention the display device 42 ) Is implemented as an HMD display device worn on the user's eyes.
  • the digit log space processing unit 70 models an object of interest in a 3D feature map based on an image and an input signal received from the input / output device unit 40, and then generates a digit log space of a current location and is generated remotely.
  • the digit log space processing unit 70 is a digit log space generating unit 50 and digit log space combining unit 60 ).
  • the digit log space generation unit 50 generates a digit log space of a current position after modeling an object of interest in a 3D feature map based on an image and an input signal received from the input / output device unit 40.
  • the digit log space generating unit 50 includes an environment restoring unit 51, an object-of-interest modeling unit 52, and a surface generating moving unit 53.
  • the environment restoring unit 51 restores an environment to a 3D feature map based on a structure-from-motion (SFM) method of capturing an image transmitted from the input / output device unit 50 and obtaining a target structure by motion generation.
  • the object-of-interest modeling unit 52 functions to model the object of interest in the 3D feature map and set coordinate and scale information of the object of interest.
  • the surface generating moving unit 53 sets a surface for generating a digit log space, and moves the set surface to form a space as shown in FIG. 3A, and the surface generating moving unit Identification information (ID), coordinates, scale, and pose information of the space generated through the 53 is stored in the digit log space management unit 80.
  • ID Identification information
  • coordinates, scale, and pose information of the space generated through the 53 is stored in the digit log space management unit 80.
  • a reference coordinate system should be set in the object of interest as important reference information for combining with a remote digit log space and obtaining virtual information.
  • a reference coordinate system is generated at the lower left of the object of interest, and is tracked separately from the digit log space formed by a unique coordinate system.
  • the space and the object are preferably managed by a plurality of feature vocabulary trees.
  • the space and the object can be calculated based on the object of interest, and the physical scale of the mirror space can be determined. have.
  • the digit log space combining unit 60 uses the digit log space information generated remotely, and the digit log space and the remote of the current position (b) of FIG. It serves to combine the digit log space, the digit log space combiner 60 according to the present invention includes an object of interest detector 61, the space sharing request unit 62 and the space combiner 63.
  • the object-of-interest detector 61 detects an object of interest that is a reference for combining digits of space, and extracts coordinates and scale information of the object of interest, and the space sharing requester 62 performs the digit-log space.
  • the management unit 80 serves to request sharing of the digit log space and the remote digit log space of the current location.
  • the spatial combiner 63 receives the remote spatial coordinates and the object of interest information to be shared from the digitlog space manager 80 to combine the digit log space of the current location with the remote digit log space based on the object of interest. It also serves to convey shared augmented reality information.
  • the space combining unit 63 may combine at least one or more remote digital spaces, and in some cases, two or more remote digital spaces may be multiplexed.
  • the shared augmented reality information is delivered to the display device 42 in real time, so that the user can check this, and can collaborate.
  • the digit log space management unit 80 manages digit log space, object information and augmented reality information generated by the digit log space processing unit, and by sharing the information of the digit log space management unit 80, real-time remote Collaboration is possible.
  • FIG. 4 is a view showing the entire flow of the method for creating a digit log space for remote collaboration in augmented reality according to the present invention, using the input and output device 40, the image and the object of interest taken at the current location And transmitting an input signal for generating a digit log space to the digit log space generating unit 50 (S10).
  • FIG 5 is a view showing a detailed flow of the step S20, by using the environment restore unit 51, after capturing the current image, performing the step of restoring the environment to the 3D feature map (S21), Using the object-of-interest modeling unit 52, a model of the object of interest is modeled on the 3D feature map to set coordinates and scales of the object of interest (S23).
  • step S27 by using the surface generating moving unit 53, a surface for creating a digit log space is set, and the set surface is moved to form a space (S25), and the space generated in the step S25.
  • the identification information, coordinates, scale, and pose information of the digital space management unit 80 is stored in step S27.
  • step S20 the physical space and the virtual mirror space are bidirectionally connected to any ordinary space.
  • step S30 of combining the digit log space of the current position and the remote digit log space generated in the step S20 using the digit log space combining unit 60 is performed.
  • FIG. 6 is a diagram illustrating a detailed flow of the step S30 according to the present invention, and using the object-of-interest detection unit 61, detecting an object of interest, which is a reference of digit log space combining, (S31). Performing a request for sharing of the digit log space and the remote digit log space at the current location by using the space sharing request unit 62, and using the space combiner 63, The step S35 of combining the digit log space of the current position and the remote digit log space based on the object of interest is performed.
  • step S30 it is possible to form a digit log space combined with the actual space of the current position and the remote mirror space.
  • step S40 of providing the shared augmented reality information using the digit log space management unit 80 is performed, and the augmented reality information shared in the step S40 is performed by the user through the display device 42. Can be checked in real time.
  • FIG. 7 and 8 are diagrams showing an experimental process and results for confirming the performance of the digit log space generator according to the present invention.
  • the scale of the physical real space and the virtual space scale are compared.
  • the yellow box of FIG. 7 is a real space of the present experiment, and generates a coordinate system of a poster, an object of interest, according to a user's input signal, and forms a surface by touching four corner points of a wall according to the user's input signal.
  • the surface is drawn to create a box-like space, and the scale of the generated space is calculated.
  • the scale of the measured real space is 180cm on the x-axis, 170cm on the y-axis, and 90cm on the z-axis.
  • the video see-through HMD has an angle of view of 800 ⁇ 600 pixels, captures 30 image frames per second, and is implemented using OpenCV (Open computer vision library) and OSG (Open scene graph library).
  • FIG. 9 is a view showing an embodiment of the combination of the digit log space according to the present invention, 3D information sharing and vivid communication is possible as a digit log space combined with the digit log space of the current position and the remote digit log space You can see that.
  • the digital log space generation technology for remote collaboration in augmented reality can ensure the movement of the user, and can enjoy the effect of enabling remote collaboration in real time.

Abstract

본 발명은 원격지에 위치한 사용자들이 정보를 실시간으로 공유할 수 있는 증강현실 기반의 디지로그 공간을 생성하는 디지로그 공간 생성기 및 이를 이용한 디지로그 공간 생성 방법에 관한 기술로, 본 발명에 따른 디지로그 공간 생성기는 현재 위치에서 촬영된 이미지를 입력하고, 관심 객체 및 공간의 입력신호를 발생시키고 원격 협업을 위한 증강현실 정보를 표시하는 입출력 장치부, 상기 입출력 장치부에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하고, 원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 결합하는 디지로그 공간 처리부 및 상기 디지로그 공간 처리부에서 생성된 디지로그 공간 및 객체 정보를 관리하는 디지로그 공간 관리부를 포함하는 것을 기술적 특징으로 한다.

Description

증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
본 발명은 원격 협업을 위한 디지로그 공간 생성 기술에 관한 것으로, 더 상세하게는 원격지에 위치한 사용자들이 정보를 실시간으로 공유할 수 있는 증강 현실 기반의 디지로그 공간을 생성하는 디지로그 공간 생성기 및 이를 이용한 디지로그 공간 생성 방법에 관한 것이다.
일반적으로 원격 협업 기술은 네트워크를 통해서 서로 다른 장소에 있는 사용자들이 연결되어, 효율적으로 공통의 목적을 이루기 위해서 함께 일하는 것을 목표로 한다. 종래 원격 협업은 스크린 앞에서 디지털 정보를 공유하면서, 업무와 관련된 대화를 나누는 형태로 이루어진다.
이러한 원격 협업은 다양한 분야에 응용될 수 있는데, 비디오 컨퍼런스나 데이터 컨퍼런스 시스템을 통해 원격의 사업파트너와 업무 관련 대화를 시도하거나 웹 컨퍼런스에 참석할 수 있으며, 각자의 집이나 사무실에서 학습 자료를 보며 학업을 수행하거나 집에 있는 환자에 대해 원격지에 위치한 의사가 진료를 수행할 수 있다.
이러한 원격 협업의 기술은 기존 협업 작업의 공간적인 한계점을 극복할 수 있으며, 협업을 위해 소요되는 시간과 비용을 절감할 수 있는 장점이 있다.
하지만 종래 원격 협업 시, 사용자의 공간적 제약이 발생한다. 예를 들어 2-D 디스플레이 환경에서는 모니터나 디스플레이 장치가 고정된 상태에서 증강현실(AR-augmented reality) 정보를 보여주도록 하며, 2.5-D 디스플레이 환경에서는 휜 스크린이 설치된 고정된 환경에서 협업을 진행하며, 3-D 디스플레이 환경에서는 대한민국 등록특허 공보 제10-0999711호(2010. 12. 08)에 기재된 바와 같이, 다수의 카메라나 뎁스카메라를 사용하여, 원격 협업을 진행한다.
즉, 종래 원격 협업은 고정된 카메라나 스크린 앞에서만 이루어짐에 따라 사용자의 움직임을 보장하지 못하는 문제점이 있다.
따라서 3-D 인터랙션을 가능하게 하고, 사용자의 움직임을 보장해주는 원격 협업 기술이 요구되고 있는 실정이다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기의 목적은 증강현실 정보를 기반으로 디지로그 공간을 생성하여, 사용자의 움직임을 보장한 3-D 인터랙션이 가능하도록 하는 장치를 제공하는데 있다.
다른 목적은, 사용자의 신체에 착용된 입출력 장치부로 현재 위치의 영상을 획득하고, 디지로그 공간 생성을 위한 입력 신호를 발생시키며, 공유되는 증강현실 정보를 표시하는데 있다.
또 다른 목적은, 디지로그 공간 처리부를 포함하여, 임의의 평범한 공간에서 3-D 협업 공간을 생성하는데 있다.
또 다른 목적은, 디지로그 공간 생성부를 이용하여, 실제 세계의 물리적인 공간과 가상의 미러 공간이 결합된 디지로그 공간을 생성하는데 있다.
또 다른 목적은, 디지로그 공간 결합부를 이용하여, 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격의 미러 공간을 결합하고, 결합된 디지로그 공간으로 증강현실 정보를 공유하는데 있다.
본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법의 목적은 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합된 원격 협업 공간을 제공하는데 있다.
본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기는 현재 위치에서 촬영된 이미지를 입력하고, 관심 객체 및 공간의 입력신호를 발생시키고 원격 협업을 위한 증강현실 정보를 표시하는 입출력 장치부, 상기 입출력 장치부에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하고, 원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 결합시키는 디지로그 공간 처리부 및 상기 디지로그 공간 처리부에서 생성된 디지로그 공간 및 객체 정보를 관리하는 디지로그 공간 관리부를 포함하는 것을 특징으로 한다.
본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법은 (a) 입출력 장치부를 이용하여, 현재 위치의 카메라 이미지 및 관심 객체 및 디지로그 공간 생성의 입력신호를 전달하는 단계, (b) 디지로그 공간 생성부를 이용하여, 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 단계 및 (c) 디지로그 공간 결합부를 이용하여, 상기 (b) 단계에서 생성된 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합하는 단계를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기는 증강현실 정보를 기반으로 디지로그 공간을 생성함으로써, 사용자의 움직임을 보장한 3-D 인터랙션이 가능한 효과가 있으며, 나아가 원격 협업 작업을 보다 효율적으로 수행할 수 있는 효과가 있다.
또한, 임의의 평범한 공간에서 3-D 협업 공간을 생성함으로써, 종래 원격 협업 시, 고정된 카메라 및 스크린에 의한 사용자 움직임 제약을 해소할 수 있는 효과가 있다.
또한, 실제 세계의 물리적인 공간과 가상의 미러 공간을 사실적으로 결합시킬 수 있는 디지로그 공간을 생성할 수 있는 효과가 있다.
또한, 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격의 미러 공간을 결합하고, 결합된 디지로그 공간으로 증강현실 정보를 공유함으로써, 원격 협업 공간의 형성의 정확성 및 사실성을 향상시킬 수 있는 효과가 있다.
본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법은 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합된 원격 협업 공간을 제공함으로써, 사용자의 움직임을 보장하고, 실시간으로 원격 협업이 가능하도록 하는 효과가 있다.
도 1은 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기에 있어서, 디지로그 공간의 생성 및 결합 개념을 나타내는 도면.
도 2는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기의 전체 구성을 나타내는 구성도.
도 3은 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기에 있어서, 디지로그 공간 생성 및 결합 실시예를 나타내는 화면.
도 4는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법의 전체 흐름을 나타내는 흐름도.
도 5는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, S20 단계의 상세 흐름을 나타내는 흐름도.
도 6은 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, S30 단계의 상세 흐름을 나타내는 흐름도.
도 7 및 도 8은 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, 생성 공간과 실제 공간의 오차를 나타내는 실험 과정 및 결과를 나타내는 도면.
도 9는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, 결합된 디지로그 공간의 정보 공유를 나타내는 실시예 화면.
이하, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 이를 이용한 디지로그 공간 생성 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
[도 1]은 본 발명에 따른 원격 협업을 위한 디지로그 공간의 생성 개념을 나타내는 도면으로, 본 발명에 따른 디지로그 공간은 임의의 평범한 공간에 형성된 3-D 협업 공간으로, 물리적 실제 공간(Real World)과 가상의 미러 공간(Mirror World)이 결합된 형태로 구성된다.
이러한 실제 공간과 미러 공간은 양방향으로 연결되어, 디지로그 공간에서 정보를 실시간으로 공유하게 되고, 이를 통해 원격 협업을 수행할 수 있는 것이다.
서로 원격에 위치한 두 공간에서 각각 제1디지로그 공간(10) 및 제2디지로그 공간(20)을 생성하는데, 이때 실제 세계에서 공간을 형성 시, 실제 공간(11, 21)과 대응되는 미러 공간(12, 22)이 형성된다. 이러한 미러 공간(12, 22)은 물리적 공간이 아니라 가상의 공간으로 물리적 스케일이 없고, 임의의 스케일이 사용된다.
또한, 본 발명에 있어서, 제1디지로그 공간(10) 및 제2디지로그 공간(20)을 결합하여, 결합된 디지로그 공간(30)을 형성할 수 있는데, 이때 모델링된 관심 객체(32)가 기준이 된다.
[도 2]는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기(100)의 전체 구성을 나타내는 도면으로, 크게 입출력 장치부(40), 디지로그 공간 처리부(70) 및 디지로그 공간 관리부(80)를 포함한다.
상기 입출력 장치부(40)는 현재 위치에서 촬영된 이미지를 입력하고, 관심 객체 및 공간의 입력신호를 발생시키고, 원격 협업을 위한 증강현실 정보를 표시하는 역할을 하며, 본 발명에 따른 상기 입출력 장치부(40)는 카메라/입력장치(41) 및 디스플레이 장치(42)를 포함한다.
상기 카메라/입력장치(41)는 사용자의 신체에 착용되며, 현재 위치의 환경을 촬영하여, 이미지 정보를 생성하며, 상기 관심 객체의 모델링을 위한 입력 신호와 공간 형성을 위한 입력 신호를 발생시키는 역할을 한다. 본 발명의 실시예에서 상기 카메카/입력장치(41)는 사용자의 머리에 착용하는 HMD(Head Mounted Device) 카메라와 관심 객체 및 공간 형성을 위한 입력신호를 발생시키는 소형 인풋 기기로 구현하였다.
상기 디스플레이 장치(42)는 사용자의 신체에 착용되며, 상기 디지로그 공간의 생성 및 결합 상태를 확인하고, 공유되는 증강현실 정보를 표시하는 역할을 하며, 본 발명의 실시예에서 상기 디스플레이 장치(42)는 사용자의 눈에 착용하는 HMD 디스플레이 장치로 구현하였다.
상기 디지로그 공간 처리부(70)는 상기 입출력 장치부(40)에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하고, 원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 결합하는 역할을 하며, 본 발명에 따른 상기 디지로그 공간 처리부(70)는 디지로그 공간 생성부(50) 및 디지로그 공간 결합부(60)를 포함한다.
상기 디지로그 공간 생성부(50)는 상기 입출력 장치부(40)에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 역할을 하며, 본 발명에 있어서, 상기 디지로그 공간 생성부(50)는 환경복원부(51), 관심 객체 모델링부(52) 및 면생성 이동부(53)를 포함한다.
상기 환경복원부(51)는 상기 입출력 장치부(50)에서 전달된 이미지 캡쳐하여, 모션 발생으로 대상 구조를 획득하는 structure-from-motion(SFM) 방법에 기반한 3D 특징맵으로 환경을 복원하는 역할을 하며, 상기 관심 객체 모델링부(52)는 상기 3D 특징맵에서 관심 객체를 모델링하여, 관심 객체의 좌표 및 스케일 정보를 설정하는 역할을 한다.
상기 면생성 이동부(53)는 디지로그 공간 생성을 위한 면을 설정하고, 설정된 상기 면을 이동시켜 [도 3]의 (a)와 같이, 공간을 형성하는 역할을 하며, 상기 면생성 이동부(53)를 통해 생성된 공간의 식별 정보(ID), 좌표, 스케일, 포즈 정보는 상기 디지로그 공간 관리부(80)에 저장된다.
즉, 본 발명에 따른 관심 객체 모델링은 원격의 디지로그 공간과 결합하고 가상의 정보를 가져오기 위한 중요한 기준 정보로 관심 객체에 기준 좌표계를 설정해야 한다. 본 발명의 실시예에서는 관심 객체의 하부 두 지점을 선택 시, 관심 객체의 왼쪽 하부에 기준 좌표계가 생성되도록 하였으며, 이를 통해 고유의 좌표계 시스템으로 형성된 디지로그 공간과 따로 추적된다.
이를 위해 공간과 객체는 다수의 특징 vocabulary 트리로 관리되는 것이 바람직하며, 관심 객체의 물리적 스케일을 입력하면 관심 객체를 기준으로, 공간의 스케일을 산출할 수 있으며, 미러 공간의 물리적 스케일을 판단할 수 있다.
상기 디지로그 공간 결합부(60)는 [도 3]의 (a)와 같이, 원격에서 생성된 디지로그 공간 정보를 이용하여, [도 3]의 (b)와 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하는 역할을 하며, 본 발명에 따른 상기 디지로그 공간 결합부(60)는 관심 객체 감지부(61), 공간 공유 요청부(62) 및 공간결합부(63)를 포함한다.
상기 관심 객체 감지부(61)는 디지로그 공간 결합의 기준이 되는 관심 객체를 감지하여, 관심 객체의 좌표 및 스케일 정보를 추출하는 역할을 하며, 상기 공간 공유 요청부(62)는 상기 디지로그 공간 관리부(80)에 현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 역할을 한다.
상기 공간결합부(63)는 공유될 원격의 공간 좌표 및 관심 객체 정보를 상기 디지로그 공간 관리부(80)로부터 전달받아 상기 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합시키고, 공유되는 증강현실 정보를 전달하는 역할을 한다.
본 발명에 따른 상기 공간결합부(63)를 통해 적어도 하나 이상의 원격 디지로그 공간을 결합할 수 있으며, 경우에 따라 두 개 이상의 원격 디지로그 공간을 다중 결합도 가능하다.
이때, 공유되는 증강현실 정보는 상기 디스플레이 장치(42)에 실시간으로 전달되어, 사용자가 이를 확인하고, 협업 작업을 할 수 있게 된다.
상기 디지로그 공간 관리부(80)는 디지로그 공간 처리부에서 생성된 디지로그 공간, 객체 정보 및 증강현실 정보를 관리하는 역할을 하며, 이러한 상기 디지로그 공간 관리부(80)의 정보를 공유함으로써, 실시간 원격 협업이 가능한 것이다.
[도 4]는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법의 전체 흐름을 나타내는 도면으로, 상기 입출력 장치부(40)를 이용하여, 현재 위치에서 촬영된 이미지와 관심 객체 및 디지로그 공간 생성을 위한 입력신호를 상기 디지로그 공간 생성부(50)에 전달하는 단계(S10)를 수행한다.
다음으로, 상기 디지로그 공간 생성부(50)를 이용하여, 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 단계(S20)를 수행한다.
[도 5]는 상기 S20 단계의 상세 흐름을 나타내는 도면으로, 상기 환경복원부(51)를 이용하여, 현재 이미지를 캡쳐한 후, 3D 특징맵으로 환경을 복원하는 단계(S21)를 수행하고, 상기 관심 객체 모델링부(52)를 이용하여, 3D 특징맵에서 관심 객체를 모델링하여 관심 객체의 좌표 및 스케일을 설정하는 단계(S23)를 수행한다.
다음으로, 상기 면생성 이동부(53)를 이용하여, 디지로그 공간 생성을 위한 면을 설정하고, 설정된 면을 이동시켜 공간을 형성하는 단계(S25)를 수행하고, 상기 S25 단계에서 생성된 공간의 식별정보, 좌표, 스케일, 포즈 정보를 상기 디지로그 공간 관리부(80)에 저장하는 단계(S27)를 수행한다.
이러한 본 발명에 따른 상기 S20 단계를 통해 임의의 평범한 공간에 양방향으로 연결된 물리적 공간과 가상의 미러 공간이 형성된다.
다음으로, 상기 디지로그 공간 결합부(60)를 이용하여, 상기 S20 단계에서 생성된 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합하는 단계(S30)를 수행한다.
[도 6]은 본 발명에 따른 상기 S30 단계의 상세 흐름을 나타내는 도면으로, 상기 관심 객체 감지부(61)를 이용하여, 디지로그 공간 결합의 기준이 되는 관심 객체를 감지하는 단계(S31)를 수행하고, 상기 공간 공유 요청부(62)를 이용하여, 현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 단계(S33)를 수행하며, 상기 공간결합부(63)를 이용하여, 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하는 단계(S35)를 수행한다.
이러한 상기 S30 단계를 통해 현재 위치의 실제 공간과 원격의 미러 공간이 결합된 디지로그 공간을 형성할 수 있는 것이다.
다음으로, 상기 디지로그 공간 관리부(80)를 이용하여, 공유되는 증강현실 정보를 제공하는 단계(S40)를 수행하고, 상기 S40 단계에서 공유되는 증강현실 정보는 상기 디스플레이 장치(42)를 통해 사용자가 실시간으로 확인할 수 있다.
[도 7] 및 [도 8]은 본 발명에 따른 디지로그 공간 생성기의 성능을 확인하기 위한 실험 과정 및 결과를 나타내는 도면으로, 물리적인 실제 공간의 스케일과 가상의 공간 스케일을 비교하였다.
[도 7]의 노란색 박스는 본 실험의 실제 공간으로 사용자의 입력 신호에 따라 관심 객체인 포스터의 좌표계를 생성하고, 사용자의 입력신호에 따라 벽면의 4개 코너점을 터치하여 면을 형성하고, 면을 끌어당겨 박스 모양의 공간을 생성하며, 생성된 공간의 스케일이 산출된다.
측정한 실제 공간의 스케일은 x축으로 180cm, y축으로 170cm, z축으로 90cm이며, 안정적인 공간을 만들기 위해 HMD카메라의 시각에 기준으로 이미지 전체가 들어오도록 하였다. 이때 사용한 비디오 시스루 HMD는 800ㅧ600 픽셀의 화각을 가지고 있으며, 매 초당 30 이미지 프레임을 캡쳐하며, OpenCV(Open computer vision library)와 OSG(Open scene graph library)로 구현하였다.
그 결과 [도 8]의 (a) 에 도시된 바와 같이, 실제 공간(회색 박스)과 모서리점(파란색 점)으로 표시되며, 이때 모서리점은 사용자의 입력 신호를 나타내므로, 실제 공간과 모서리점 간의 거리로 오차를 확인할 수 있다. 측정 결과 x, y 축은 5cm미만의 평균 오차로 정확성이 매우 높은 것을 확인할 수 있다.
[도 9]는 본 발명에 따른 디지로그 공간 결합의 실시예 화면을 나타내는 도면으로, 현재 위치의 디지로그 공간과 원격의 디지로그 공간이 결합된 디지로그 공간으로 3D 정보공유와 생생한 의사소통이 가능한 것을 확인할 수 있다.
이상에서 살펴본 바와 같이, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 기술로 사용자의 움직임을 보장하고, 실시간으로 원격 협업이 가능하도록 하는 효과를 누릴 수 있다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 이를 이용한 디지로그 공간 생성 방법으로 구현할 수 있다.

Claims (12)

  1. 현재 위치에서 촬영된 이미지를 입력하고, 관심 객체 및 공간의 입력신호를 발생시키고 원격 협업을 위한 증강현실 정보를 표시하는 입출력 장치부;
    상기 입출력 장치부에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하고, 원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 결합하는 디지로그 공간 처리부 및
    상기 디지로그 공간 처리부에서 생성된 디지로그 공간 및 객체 정보를 관리하는 디지로그 공간 관리부를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  2. 제1항에 있어서,
    상기 입출력 장치부는,
    사용자의 신체에 착용되며, 현재 위치의 환경을 촬영하여, 이미지 정보를 생성하며, 상기 관심 객체의 모델링을 위한 입력 신호와 공간 형성을 위한 입력 신호를 발생시키는 카메라/입력장치 및
    사용자의 신체에 착용되며, 상기 디지로그 공간의 생성 및 결합 상태를 표시하고, 공유되는 증강현실 정보를 표시하는 디스플레이 장치를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  3. 제1항에 있어서,
    상기 디지로그 공간 처리부는,
    상기 입출력 장치부에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 디지로그 공간 생성부 및
    원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하여, 결합된 디지로그 공간에서 증강현실 정보를 공유하는 디지로그 공간 결합부를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  4. 제3항에 있어서,
    상기 디지로그 공간 생성부는,
    상기 입출력 장치부에서 전달된 이미지 캡쳐하여, 3D 특징맵으로 환경을 복원하는 환경복원부;
    상기 3D 특징맵에서 관심 객체를 모델링하여, 관심 객체의 좌표 및 스케일 정보를 설정하는 관심 객체 모델링부 및
    디지로그 공간 생성을 위한 면을 설정하고, 설정된 상기 면을 이동시켜 공간을 형성하는 면생성 이동부를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  5. 제3항에 있어서,
    상기 디지로그 공간 결합부는,
    디지로그 공간 결합의 기준이 되는 관심 객체를 감지하여, 관심 객체의 좌표 및 스케일 정보를 추출하는 관심 객체 감지부;
    현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 공간 공유 요청부 및
    상기 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하고, 공유되는 증강현실 정보를 전달하는 공간결합부를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  6. 제2항에 있어서,
    상기 카메라/입력장치는,
    사용자의 머리에 착용하는 HMD(Head Mounted Device) 카메라 및
    관심 객체 및 공간 형성을 위한 입력 신호를 발생시키는 소형 인풋 기기를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  7. 제4항에 있어서,
    상기 환경복원부는,
    모션 발생으로 대상 구조를 획득하는 structure-from-motion(SFM) 방법을 기반으로 3D 특징맵 환경을 복원하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  8. (a) 입출력 장치부를 이용하여, 현재 위치에서 촬영된 이미지 및 관심 객체 및 디지로그 공간 생성을 위한 입력신호를 디지로그 공간 생성부에 전달하는 단계;
    (b) 디지로그 공간 생성부를 이용하여, 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 단계 및
    (c) 디지로그 공간 결합부를 이용하여, 상기 (b) 단계에서 생성된 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합하는 단계를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법.
  9. 제8항에 있어서,
    상기 (b) 단계는,
    (b-1) 환경복원부를 이용하여, 현재 위치에서 촬영된 이미지를 캡쳐하여, 3D 특징맵으로 환경을 복원하는 단계;
    (b-2) 관심 객체 모델링부를 이용하여, 3D 특징맵에서 관심 객체를 모델링하여 관심 객체의 좌표 및 스케일을 설정하는 단계 및
    (b-3) 면생성 이동부를 이용하여, 디지로그 공간 생성을 위한 면을 설정하고, 설정된 면을 이동시켜 공간을 형성하는 단계를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법.
  10. 제9항에 있어서,
    상기 (b-3) 단계 이후에,
    (b-4) 상기 (b-3) 단계에서 생성된 공간의 식별정보, 좌표, 스케일, 포즈 정보를 디지로그 공간 관리부에 저장하는 단계를 더 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법.
  11. 제8항에 있어서,
    상기 (c) 단계는,
    (c-1) 관심 객체 감지부를 이용하여, 디지로그 공간 결합의 기준이 되는 관심 객체를 감지하는 단계;
    (c-2) 공간 공유 요청부를 이용하여, 현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 단계 및
    (c-3) 공간결합부를 이용하여, 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하는 단계를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법.
  12. 제11항에 있어서,
    상기 (c-3) 단계 이후에,
    (d) 디지로그 공간 관리부를 이용하여, 공유되는 증강현실 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법.
PCT/KR2014/005079 2013-07-17 2014-06-10 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법 WO2015008932A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0084148 2013-07-17
KR1020130084148A KR101579491B1 (ko) 2013-07-17 2013-07-17 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법

Publications (1)

Publication Number Publication Date
WO2015008932A1 true WO2015008932A1 (ko) 2015-01-22

Family

ID=52346348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/005079 WO2015008932A1 (ko) 2013-07-17 2014-06-10 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법

Country Status (2)

Country Link
KR (1) KR101579491B1 (ko)
WO (1) WO2015008932A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687309B1 (ko) * 2015-04-02 2016-12-28 한국과학기술원 Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치
KR101989184B1 (ko) * 2017-09-04 2019-06-14 주식회사 바이로봇 증강현실 서비스 제공 시스템
KR102103399B1 (ko) * 2018-11-30 2020-04-23 (주)익스트리플 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템 및 그 방법
KR102571086B1 (ko) * 2022-02-14 2023-08-29 주식회사 케이쓰리아이 가상공간을 이용한 다중 사용자 간 협업 지원 방법 및 시스템
KR102593878B1 (ko) * 2022-09-07 2023-10-25 주식회사 크로스랩 다중참여가 가능한 동기화된 증강현실 구현방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087332A (ko) * 2008-02-12 2009-08-17 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR20100042449A (ko) * 2008-10-16 2010-04-26 광주과학기술원 콘텐츠 저작 공간 구축 방법 및 시스템
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973311B (zh) * 2004-03-26 2010-08-25 高桥淳 具有三维视觉指示功能的三维立体数字放大镜系统
KR100999711B1 (ko) 2009-03-09 2010-12-08 광주과학기술원 원격 협업 시스템의 실시간 캘리브레이션 장치 및 실시간 캘리브레이션 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087332A (ko) * 2008-02-12 2009-08-17 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR20100042449A (ko) * 2008-10-16 2010-04-26 광주과학기술원 콘텐츠 저작 공간 구축 방법 및 시스템
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US11707330B2 (en) 2017-01-03 2023-07-25 Mako Surgical Corp. Systems and methods for surgical navigation

Also Published As

Publication number Publication date
KR101579491B1 (ko) 2015-12-23
KR20150009789A (ko) 2015-01-27

Similar Documents

Publication Publication Date Title
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
Kasahara et al. JackIn head: immersive visual telepresence system with omnidirectional wearable camera for remote collaboration
WO2019124726A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2009102138A2 (ko) 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법
CN108334199A (zh) 基于增强现实的移动式多模态交互方法及装置
WO2017065348A1 (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
WO2016000309A1 (zh) 基于穿戴设备的增强现实方法及系统
JP2010217719A (ja) 装着型表示装置、その制御方法及びプログラム
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
Kato et al. A mixed reality 3D conferencing application
CN109982024A (zh) 一种远程协助中视频画面共享标注系统及共享标注方法
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN114140528A (zh) 数据标注方法、装置、计算机设备及存储介质
WO2016182167A1 (ko) 평면 도안 입체화 구현 장치
WO2017099500A1 (ko) 애니메이션 생성 방법 및 애니메이션 생성 장치
WO2011152634A2 (ko) 모니터 기반 증강현실 시스템
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
CN110070622A (zh) 一种基于ar技术的图书馆应用系统及使用方法
Noh et al. An HMD-based Mixed Reality System for Avatar-Mediated Remote Collaboration with Bare-hand Interaction.
CN108475103A (zh) 交互式显示器
WO2015199470A1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US20190378335A1 (en) Viewer position coordination in simulated reality
WO2019103193A1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
Medien Implementation of a low cost marker based infrared optical tracking system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14826421

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14826421

Country of ref document: EP

Kind code of ref document: A1