KR101579491B1 - 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법 - Google Patents

증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법 Download PDF

Info

Publication number
KR101579491B1
KR101579491B1 KR1020130084148A KR20130084148A KR101579491B1 KR 101579491 B1 KR101579491 B1 KR 101579491B1 KR 1020130084148 A KR1020130084148 A KR 1020130084148A KR 20130084148 A KR20130084148 A KR 20130084148A KR 101579491 B1 KR101579491 B1 KR 101579491B1
Authority
KR
South Korea
Prior art keywords
space
digilog
interest
unit
generating
Prior art date
Application number
KR1020130084148A
Other languages
English (en)
Other versions
KR20150009789A (ko
Inventor
우운택
길경원
하태진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130084148A priority Critical patent/KR101579491B1/ko
Priority to PCT/KR2014/005079 priority patent/WO2015008932A1/ko
Publication of KR20150009789A publication Critical patent/KR20150009789A/ko
Application granted granted Critical
Publication of KR101579491B1 publication Critical patent/KR101579491B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

본 발명은 원격지에 위치한 사용자들이 정보를 실시간으로 공유할 수 있는 증강현실 기반의 디지로그 공간을 생성하는 디지로그 공간 생성기 및 이를 이용한 디지로그 공간 생성 방법에 관한 기술로, 본 발명에 따른 디지로그 공간 생성기는 현재 위치에서 촬영된 이미지를 입력하고, 관심 객체 및 공간의 입력신호를 발생시키고 원격 협업을 위한 증강현실 정보를 표시하는 입출력 장치부, 상기 입출력 장치부에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하고, 원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 결합하는 디지로그 공간 처리부 및 상기 디지로그 공간 처리부에서 생성된 디지로그 공간 및 객체 정보를 관리하는 디지로그 공간 관리부를 포함하는 것을 기술적 특징으로 한다.

Description

증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법{Digilog space generator for tele-collaboration in an augmented reality environment and digilog space generation method using the same}
본 발명은 원격 협업을 위한 디지로그 공간 생성 기술에 관한 것으로, 더 상세하게는 원격지에 위치한 사용자들이 정보를 실시간으로 공유할 수 있는 증강 현실 기반의 디지로그 공간을 생성하는 디지로그 공간 생성기 및 이를 이용한 디지로그 공간 생성 방법에 관한 것이다.
일반적으로 원격 협업 기술은 네트워크를 통해서 서로 다른 장소에 있는 사용자들이 연결되어, 효율적으로 공통의 목적을 이루기 위해서 함께 일하는 것을 목표로 한다. 종래 원격 협업은 스크린 앞에서 디지털 정보를 공유하면서, 업무와 관련된 대화를 나누는 형태로 이루어진다.
이러한 원격 협업은 다양한 분야에 응용될 수 있는데, 비디오 컨퍼런스나 데이터 컨퍼런스 시스템을 통해 원격의 사업파트너와 업무 관련 대화를 시도하거나 웹 컨퍼런스에 참석할 수 있으며, 각자의 집이나 사무실에서 학습 자료를 보며 학업을 수행하거나 집에 있는 환자에 대해 원격지에 위치한 의사가 진료를 수행할 수 있다.
이러한 원격 협업의 기술은 기존 협업 작업의 공간적인 한계점을 극복할 수 있으며, 협업을 위해 소요되는 시간과 비용을 절감할 수 있는 장점이 있다.
하지만 종래 원격 협업 시, 사용자의 공간적 제약이 발생한다. 예를 들어 2-D 디스플레이 환경에서는 모니터나 디스플레이 장치가 고정된 상태에서 증강현실(AR-augmented reality) 정보를 보여주도록 하며, 2.5-D 디스플레이 환경에서는 휜 스크린이 설치된 고정된 환경에서 협업을 진행하며, 3-D 디스플레이 환경에서는 대한민국 등록특허 공보 제10-0999711호(2010. 12. 08)에 기재된 바와 같이, 다수의 카메라나 뎁스카메라를 사용하여, 원격 협업을 진행한다.
즉, 종래 원격 협업은 고정된 카메라나 스크린 앞에서만 이루어짐에 따라 사용자의 움직임을 보장하지 못하는 문제점이 있다.
따라서 3-D 인터랙션을 가능하게 하고, 사용자의 움직임을 보장해주는 원격 협업 기술이 요구되고 있는 실정이다.
대한민국 등록특허 공보 10-0999711B1, 2010. 12. 08, 8쪽 내지 9쪽.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기의 목적은 증강현실 정보를 기반으로 디지로그 공간을 생성하여, 사용자의 움직임을 보장한 3-D 인터랙션이 가능하도록 하는 장치를 제공하는데 있다.
다른 목적은, 사용자의 신체에 착용된 입출력 장치부로 현재 위치의 영상을 획득하고, 디지로그 공간 생성을 위한 입력 신호를 발생시키며, 공유되는 증강현실 정보를 표시하는데 있다.
또 다른 목적은, 디지로그 공간 처리부를 포함하여, 임의의 평범한 공간에서 3-D 협업 공간을 생성하는데 있다.
또 다른 목적은, 디지로그 공간 생성부를 이용하여, 실제 세계의 물리적인 공간과 가상의 미러 공간이 결합된 디지로그 공간을 생성하는데 있다.
또 다른 목적은, 디지로그 공간 결합부를 이용하여, 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격의 미러 공간을 결합하고, 결합된 디지로그 공간으로 증강현실 정보를 공유하는데 있다.
본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법의 목적은 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합된 원격 협업 공간을 제공하는데 있다.
본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기는 현재 위치에서 촬영된 이미지를 입력하고, 관심 객체 및 공간의 입력신호를 발생시키고 원격 협업을 위한 증강현실 정보를 표시하는 입출력 장치부, 상기 입출력 장치부에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하고, 원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 결합시키는 디지로그 공간 처리부 및 상기 디지로그 공간 처리부에서 생성된 디지로그 공간 및 객체 정보를 관리하는 디지로그 공간 관리부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기에 있어서, 입출력 장치부는 사용자의 신체에 착용되며, 현재 위치의 환경을 촬영하여, 이미지 정보를 생성하며, 상기 관심 객체의 모델링을 위한 입력 신호와 공간 형성을 위한 입력 신호를 발생시키는 카메라/입력장치 및 사용자의 신체에 착용되며, 상기 디지로그 공간의 생성 및 결합 상태를 표시하고, 공유되는 증강현실 정보를 표시하는 디스플레이 장치를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기에 있어서, 디지로그 공간 처리부는 상기 입출력 장치부에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 디지로그 공간 생성부 및 원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하여, 증강현실 정보를 공유하는 디지로그 공간 결합부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기에 있어서, 디지로그 공간 생성부는 상기 입출력 장치부에서 전달된 이미지 캡쳐하여, 3D 특징맵으로 환경을 복원하는 환경복원부, 상기 3D 특징맵에서 관심 객체를 모델링하여, 관심 객체의 좌표 및 스케일 정보를 설정하는 관심 객체 모델링부 및 디지로그 공간 생성을 위한 면을 설정하고, 설정된 상기 면을 이동시켜 공간을 형성하는 면생성 이동부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기에 있어서, 디지로그 공간 결합부는 디지로그 공간의 기준이 되는 관심 객체를 감지하여, 관심 객체의 좌표 및 스케일을 생성하는 관심 객체 감지부, 현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 공간 공유 요청부 및 상기 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하고, 공유되는 증강현실 정보를 전달하는 공간결합부를 포함하는 것을 특징으로 한다.
본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법은 (a) 입출력 장치부를 이용하여, 현재 위치의 카메라 이미지 및 관심 객체 및 디지로그 공간 생성의 입력신호를 전달하는 단계, (b) 디지로그 공간 생성부를 이용하여, 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 단계 및 (c) 디지로그 공간 결합부를 이용하여, 상기 (b) 단계에서 생성된 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, (b) 단계는 (b-1) 환경복원부를 이용하여, 현재 이미지를 캡쳐한 후, 3D 특징맵으로 환경을 복원하는 단계, (b-2) 관심 객체 모델링부를 이용하여, 3D 특징맵에서 관심 객체를 모델링하여 관심 객체의 좌표 및 스케일을 설정하는 단계 및 (b-3) 면생성 이동부를 이용하여, 디지로그 공간 생성을 위한 면을 설정하고, 설정된 면을 이동시켜 공간을 형성하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, (c) 단계는 (c-1) 관심 객체 감지부를 이용하여, 디지로그 공간의 기준이 되는 관심 객체를 감지하는 단계, (c-2) 공간 공유 요청부를 이용하여, 현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 단계 및 (c-3) 공간결합부를 이용하여, 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법은 (c-3) 단계 이후에, (d) 디지로그 공간 관리부를 이용하여, 공유되는 증강현실 정보를 제공하는 단계를 더 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기는 증강현실 정보를 기반으로 디지로그 공간을 생성함으로써, 사용자의 움직임을 보장한 3-D 인터랙션이 가능한 효과가 있으며, 나아가 원격 협업 작업을 보다 효율적으로 수행할 수 있는 효과가 있다.
또한, 임의의 평범한 공간에서 3-D 협업 공간을 생성함으로써, 종래 원격 협업 시, 고정된 카메라 및 스크린에 의한 사용자 움직임 제약을 해소할 수 있는 효과가 있다.
또한, 실제 세계의 물리적인 공간과 가상의 미러 공간을 사실적으로 결합시킬 수 있는 디지로그 공간을 생성할 수 있는 효과가 있다.
또한, 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격의 미러 공간을 결합하고, 결합된 디지로그 공간으로 증강현실 정보를 공유함으로써, 원격 협업 공간의 형성의 정확성 및 사실성을 향상시킬 수 있는 효과가 있다.
본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법은 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합된 원격 협업 공간을 제공함으로써, 사용자의 움직임을 보장하고, 실시간으로 원격 협업이 가능하도록 하는 효과가 있다.
도 1은 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기에 있어서, 디지로그 공간의 생성 및 결합 개념을 나타내는 도면.
도 2는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기의 전체 구성을 나타내는 구성도.
도 3은 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기에 있어서, 디지로그 공간 생성 및 결합 실시예를 나타내는 화면.
도 4는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법의 전체 흐름을 나타내는 흐름도.
도 5는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, S20 단계의 상세 흐름을 나타내는 흐름도.
도 6은 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, S30 단계의 상세 흐름을 나타내는 흐름도.
도 7 및 도 8은 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, 생성 공간과 실제 공간의 오차를 나타내는 실험 과정 및 결과를 나타내는 도면.
도 9는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법에 있어서, 결합된 디지로그 공간의 정보 공유를 나타내는 실시예 화면.
이하, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 이를 이용한 디지로그 공간 생성 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
[도 1]은 본 발명에 따른 원격 협업을 위한 디지로그 공간의 생성 개념을 나타내는 도면으로, 본 발명에 따른 디지로그 공간은 임의의 평범한 공간에 형성된 3-D 협업 공간으로, 물리적 실제 공간(Real World)과 가상의 미러 공간(Mirror World)이 결합된 형태로 구성된다.
이러한 실제 공간과 미러 공간은 양방향으로 연결되어, 디지로그 공간에서 정보를 실시간으로 공유하게 되고, 이를 통해 원격 협업을 수행할 수 있는 것이다.
서로 원격에 위치한 두 공간에서 각각 제1디지로그 공간(10) 및 제2디지로그 공간(20)을 생성하는데, 이때 실제 세계에서 공간을 형성 시, 실제 공간(11, 21)과 대응되는 미러 공간(12, 22)이 형성된다. 이러한 미러 공간(12, 22)은 물리적 공간이 아니라 가상의 공간으로 물리적 스케일이 없고, 임의의 스케일이 사용된다.
또한, 본 발명에 있어서, 제1디지로그 공간(10) 및 제2디지로그 공간(20)을 결합하여, 결합된 디지로그 공간(30)을 형성할 수 있는데, 이때 모델링된 관심 객체(32)가 기준이 된다.
[도 2]는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기(100)의 전체 구성을 나타내는 도면으로, 크게 입출력 장치부(40), 디지로그 공간 처리부(70) 및 디지로그 공간 관리부(80)를 포함한다.
상기 입출력 장치부(40)는 현재 위치에서 촬영된 이미지를 입력하고, 관심 객체 및 공간의 입력신호를 발생시키고, 원격 협업을 위한 증강현실 정보를 표시하는 역할을 하며, 본 발명에 따른 상기 입출력 장치부(40)는 카메라/입력장치(41) 및 디스플레이 장치(42)를 포함한다.
상기 카메라/입력장치(41)는 사용자의 신체에 착용되며, 현재 위치의 환경을 촬영하여, 이미지 정보를 생성하며, 상기 관심 객체의 모델링을 위한 입력 신호와 공간 형성을 위한 입력 신호를 발생시키는 역할을 한다. 본 발명의 실시예에서 상기 카메카/입력장치(41)는 사용자의 머리에 착용하는 HMD(Head Mounted Device) 카메라와 관심 객체 및 공간 형성을 위한 입력신호를 발생시키는 인풋 기기로 구현하였다.
상기 디스플레이 장치(42)는 사용자의 신체에 착용되며, 상기 디지로그 공간의 생성 및 결합 상태를 확인하고, 공유되는 증강현실 정보를 표시하는 역할을 하며, 본 발명의 실시예에서 상기 디스플레이 장치(42)는 사용자의 눈에 착용하는 HMD 디스플레이 장치로 구현하였다.
상기 디지로그 공간 처리부(70)는 상기 입출력 장치부(40)에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하고, 원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 결합하는 역할을 하며, 본 발명에 따른 상기 디지로그 공간 처리부(70)는 디지로그 공간 생성부(50) 및 디지로그 공간 결합부(60)를 포함한다.
상기 디지로그 공간 생성부(50)는 상기 입출력 장치부(40)에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 역할을 하며, 본 발명에 있어서, 상기 디지로그 공간 생성부(50)는 환경복원부(51), 관심 객체 모델링부(52) 및 면생성 이동부(53)를 포함한다.
상기 환경복원부(51)는 상기 입출력 장치부(50)에서 전달된 이미지 캡쳐하여, 모션 발생으로 대상 구조를 획득하는 structure-from-motion(SFM) 방법에 기반한 3D 특징맵으로 환경을 복원하는 역할을 하며, 상기 관심 객체 모델링부(52)는 상기 3D 특징맵에서 관심 객체를 모델링하여, 관심 객체의 좌표 및 스케일 정보를 설정하는 역할을 한다.
상기 면생성 이동부(53)는 디지로그 공간 생성을 위한 면을 설정하고, 설정된 상기 면을 이동시켜 [도 3]의 (a)와 같이, 공간을 형성하는 역할을 하며, 상기 면생성 이동부(53)를 통해 생성된 공간의 식별 정보(ID), 좌표, 스케일, 포즈 정보는 상기 디지로그 공간 관리부(80)에 저장된다.
즉, 본 발명에 따른 관심 객체 모델링은 원격의 디지로그 공간과 결합하고 가상의 정보를 가져오기 위한 중요한 기준 정보로 관심 객체에 기준 좌표계를 설정해야 한다. 본 발명의 실시예에서는 관심 객체의 하부 두 지점을 선택 시, 관심 객체의 왼쪽 하부에 기준 좌표계가 생성되도록 하였으며, 이를 통해 고유의 좌표계 시스템으로 형성된 디지로그 공간과 따로 추적된다.
이를 위해 공간과 객체는 다수의 특징 vocabulary 트리로 관리되는 것이 바람직하며, 관심 객체의 물리적 스케일을 입력하면 관심 객체를 기준으로, 공간의 스케일을 산출할 수 있으며, 미러 공간의 물리적 스케일을 판단할 수 있다.
상기 디지로그 공간 결합부(60)는 [도 3]의 (a)와 같이, 원격에서 생성된 디지로그 공간 정보를 이용하여, [도 3]의 (b)와 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하는 역할을 하며, 본 발명에 따른 상기 디지로그 공간 결합부(60)는 관심 객체 감지부(61), 공간 공유 요청부(62) 및 공간결합부(63)를 포함한다.
상기 관심 객체 감지부(61)는 디지로그 공간 결합의 기준이 되는 관심 객체를 감지하여, 관심 객체의 좌표 및 스케일 정보를 추출하는 역할을 하며, 상기 공간 공유 요청부(62)는 상기 디지로그 공간 관리부(80)에 현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 역할을 한다.
상기 공간결합부(63)는 공유될 원격의 공간 좌표 및 관심 객체 정보를 상기 디지로그 공간 관리부(80)로부터 전달받아 상기 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합시키고, 공유되는 증강현실 정보를 전달하는 역할을 한다.
본 발명에 따른 상기 공간결합부(63)를 통해 적어도 하나 이상의 원격 디지로그 공간을 결합할 수 있으며, 경우에 따라 두 개 이상의 원격 디지로그 공간을 다중 결합도 가능하다.
이때, 공유되는 증강현실 정보는 상기 디스플레이 장치(42)에 실시간으로 전달되어, 사용자가 이를 확인하고, 협업 작업을 할 수 있게 된다.
상기 디지로그 공간 관리부(80)는 디지로그 공간 처리부에서 생성된 디지로그 공간, 객체 정보 및 증강현실 정보를 관리하는 역할을 하며, 이러한 상기 디지로그 공간 관리부(80)의 정보를 공유함으로써, 실시간 원격 협업이 가능한 것이다.
[도 4]는 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법의 전체 흐름을 나타내는 도면으로, 상기 입출력 장치부(40)를 이용하여, 현재 위치에서 촬영된 이미지와 관심 객체 및 디지로그 공간 생성을 위한 입력신호를 상기 디지로그 공간 생성부(50)에 전달하는 단계(S10)를 수행한다.
다음으로, 상기 디지로그 공간 생성부(50)를 이용하여, 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 단계(S20)를 수행한다.
[도 5]는 상기 S20 단계의 상세 흐름을 나타내는 도면으로, 상기 환경복원부(51)를 이용하여, 현재 이미지를 캡쳐한 후, 3D 특징맵으로 환경을 복원하는 단계(S21)를 수행하고, 상기 관심 객체 모델링부(52)를 이용하여, 3D 특징맵에서 관심 객체를 모델링하여 관심 객체의 좌표 및 스케일을 설정하는 단계(S23)를 수행한다.
다음으로, 상기 면생성 이동부(53)를 이용하여, 디지로그 공간 생성을 위한 면을 설정하고, 설정된 면을 이동시켜 공간을 형성하는 단계(S25)를 수행하고, 상기 S25 단계에서 생성된 공간의 식별정보, 좌표, 스케일, 포즈 정보를 상기 디지로그 공간 관리부(80)에 저장하는 단계(S27)를 수행한다.
이러한 본 발명에 따른 상기 S20 단계를 통해 임의의 평범한 공간에 양방향으로 연결된 물리적 공간과 가상의 미러 공간이 형성된다.
다음으로, 상기 디지로그 공간 결합부(60)를 이용하여, 상기 S20 단계에서 생성된 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합하는 단계(S30)를 수행한다.
[도 6]은 본 발명에 따른 상기 S30 단계의 상세 흐름을 나타내는 도면으로, 상기 관심 객체 감지부(61)를 이용하여, 디지로그 공간 결합의 기준이 되는 관심 객체를 감지하는 단계(S31)를 수행하고, 상기 공간 공유 요청부(62)를 이용하여, 현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 단계(S33)를 수행하며, 상기 공간결합부(63)를 이용하여, 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하는 단계(S35)를 수행한다.
이러한 상기 S30 단계를 통해 현재 위치의 실제 공간과 원격의 미러 공간이 결합된 디지로그 공간을 형성할 수 있는 것이다.
다음으로, 상기 디지로그 공간 관리부(80)를 이용하여, 공유되는 증강현실 정보를 제공하는 단계(S40)를 수행하고, 상기 S40 단계에서 공유되는 증강현실 정보는 상기 디스플레이 장치(42)를 통해 사용자가 실시간으로 확인할 수 있다.
[도 7] 및 [도 8]은 본 발명에 따른 디지로그 공간 생성기의 성능을 확인하기 위한 실험 과정 및 결과를 나타내는 도면으로, 물리적인 실제 공간의 스케일과 가상의 공간 스케일을 비교하였다.
[도 7]의 노란색 박스는 본 실험의 실제 공간으로 사용자의 입력 신호에 따라 관심 객체인 포스터의 좌표계를 생성하고, 사용자의 입력신호에 따라 벽면의 4개 코너점을 터치하여 면을 형성하고, 면을 끌어당겨 박스 모양의 공간을 생성하며, 생성된 공간의 스케일이 산출된다.
측정한 실제 공간의 스케일은 x축으로 180cm, y축으로 170cm, z축으로 90cm이며, 안정적인 공간을 만들기 위해 HMD카메라의 시각에 기준으로 이미지 전체가 들어오도록 하였다. 이때 사용한 비디오 시스루 HMD는 800×600 픽셀의 화각을 가지고 있으며, 매 초당 30 이미지 프레임을 캡쳐하며, OpenCV(Open computer vision library)와 OSG(Open scene graph library)로 구현하였다.
그 결과 [도 8]의 (a) 에 도시된 바와 같이, 실제 공간(회색 박스)과 모서리점(파란색 점)으로 표시되며, 이때 모서리점은 사용자의 입력 신호를 나타내므로, 실제 공간과 모서리점 간의 거리로 오차를 확인할 수 있다. 측정 결과 x, y 축은 5cm미만의 평균 오차로 정확성이 매우 높은 것을 확인할 수 있다.
[도 9]는 본 발명에 따른 디지로그 공간 결합의 실시예 화면을 나타내는 도면으로, 현재 위치의 디지로그 공간과 원격의 디지로그 공간이 결합된 디지로그 공간으로 3D 정보공유와 생생한 의사소통이 가능한 것을 확인할 수 있다.
이상에서 살펴본 바와 같이, 본 발명에 따른 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 기술로 사용자의 움직임을 보장하고, 실시간으로 원격 협업이 가능하도록 하는 효과를 누릴 수 있다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 이를 이용한 디지로그 공간 생성 방법으로 구현할 수 있다.
10 : 제1디지로그 공간 11 : 제1실제 공간
12 : 제1미러 공간 20 : 제2디지로그 공간
21 : 제2실제 공간 22 : 제2미러 공간
30 : 결합된 디지로그 공간 32 : 모델링된 객체
40 : 입출력 장치부 41 : 카메라/입력장치
42 : 디스플레이 장치 50 : 디지로그 공간 생성부
51 : 환경복원부 52 : 관심 객체 모델링부
53 : 면생성 이동부 60 : 디지로그 공간 결합부
61 : 관심 객체 감지부 62 : 공간 공유 요청부
63 : 공간결합부 70 : 디지로그 공간 처리부
80 : 디지로그 공간 관리부 100 : 디지로그 공간 생성기

Claims (12)

  1. 사용자의 신체에 착용되어, 현재 위치에서 촬영한 이미지를 입력하고, 관심 객체 및 공간의 입력신호를 발생시키고 원격 협업을 위한 증강현실 정보를 표시하는 입출력 장치부;
    상기 입출력 장치부에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하고, 원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 결합하는 디지로그 공간 처리부 및
    상기 디지로그 공간 처리부에서 생성된 디지로그 공간 및 객체 정보를 관리하는 디지로그 공간 관리부를 포함하고,
    상기 디지로그 공간 처리부는,
    상기 입출력 장치부에서 전달받은 이미지 및 입력신호를 기반으로 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 디지로그 공간 생성부 및
    원격에서 생성된 디지로그 공간 정보를 이용하여, 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하여, 결합된 디지로그 공간에서 증강현실 정보를 공유하는 디지로그 공간 결합부를 포함하고,
    상기 디지로그 공간 생성부는,
    상기 입출력 장치부에서 전달된 이미지 캡쳐하여, 모션 발생으로 대상 구조를 획득하는 structure-from-motion(SFM) 방법을 기반으로 3D 특징맵 환경을 복원하는 환경복원부;
    상기 3D 특징맵에서 관심 객체를 모델링하여, 관심 객체의 좌표 및 스케일 정보를 설정하는 관심 객체 모델링부 및
    디지로그 공간 생성을 위한 면을 설정하고, 설정된 상기 면을 이동시켜 공간을 형성하는 면생성 이동부를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  2. 제1항에 있어서,
    상기 입출력 장치부는,
    사용자의 신체에 착용되며, 현재 위치의 환경을 촬영하여, 이미지 정보를 생성하며, 상기 관심 객체의 모델링을 위한 입력 신호와 공간 형성을 위한 입력 신호를 발생시키는 카메라/입력장치 및
    사용자의 신체에 착용되며, 상기 디지로그 공간의 생성 및 결합 상태를 표시하고, 공유되는 증강현실 정보를 표시하는 디스플레이 장치를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 디지로그 공간 결합부는,
    디지로그 공간 결합의 기준이 되는 관심 객체를 감지하여, 관심 객체의 좌표 및 스케일 정보를 추출하는 관심 객체 감지부;
    현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 공간 공유 요청부 및
    상기 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하고, 공유되는 증강현실 정보를 전달하는 공간결합부를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  6. 제2항에 있어서,
    상기 카메라/입력장치는,
    사용자의 머리에 착용하는 HMD(Head Mounted Device) 카메라 및
    관심 객체 및 공간 형성을 위한 입력 신호를 발생시키는 인풋 기기를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기.
  7. 삭제
  8. (a) 사용자의 신체에 착용된 입출력 장치부를 이용하여, 현재 위치에서 촬영된 이미지 및 관심 객체 및 디지로그 공간 생성을 위한 입력신호를 디지로그 공간 생성부에 전달하는 단계;
    (b) 디지로그 공간 생성부를 이용하여, 3D 특징맵에서 관심 객체를 모델링 후, 현재 위치의 디지로그 공간을 생성하는 단계 및
    (c) 디지로그 공간 결합부를 이용하여, 상기 (b) 단계에서 생성된 현재 위치의 디지로그 공간과 원격의 디지로그 공간을 결합하는 단계를 포함하고,
    (b) 단계는,
    (b-1) 환경복원부를 이용하여, 현재 위치에서 촬영된 이미지를 캡쳐하여, 모션 발생으로 대상 구조를 획득하는 structure-from-motion(SFM) 방법을 기반으로 3D 특징맵 환경을 복원하는 단계;
    (b-2) 관심 객체 모델링부를 이용하여, 3D 특징맵에서 관심 객체를 모델링하여 관심 객체의 좌표 및 스케일을 설정하는 단계 및
    (b-3) 면생성 이동부를 이용하여, 디지로그 공간 생성을 위한 면을 설정하고, 설정된 면을 이동시켜 공간을 형성하는 단계를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 (b-3) 단계 이후에,
    (b-4) 상기 (b-3) 단계에서 생성된 공간의 식별정보, 좌표, 스케일, 포즈 정보를 디지로그 공간 관리부에 저장하는 단계를 더 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법.
  11. 제8항에 있어서,
    상기 (c) 단계는,
    (c-1) 관심 객체 감지부를 이용하여, 디지로그 공간 결합의 기준이 되는 관심 객체를 감지하는 단계;
    (c-2) 공간 공유 요청부를 이용하여, 현재 위치의 디지로그 공간과 원격 디지로그 공간의 공유를 요청하는 단계 및
    (c-3) 공간결합부를 이용하여, 관심 객체를 기준으로 현재 위치의 디지로그 공간과 원격 디지로그 공간을 결합하는 단계를 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법.
  12. 제11항에 있어서,
    상기 (c-3) 단계 이후에,
    (d) 디지로그 공간 관리부를 이용하여, 공유되는 증강현실 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 증강현실에서의 원격 협업을 위한 디지로그 공간 생성 방법.
KR1020130084148A 2013-07-17 2013-07-17 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법 KR101579491B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130084148A KR101579491B1 (ko) 2013-07-17 2013-07-17 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
PCT/KR2014/005079 WO2015008932A1 (ko) 2013-07-17 2014-06-10 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130084148A KR101579491B1 (ko) 2013-07-17 2013-07-17 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법

Publications (2)

Publication Number Publication Date
KR20150009789A KR20150009789A (ko) 2015-01-27
KR101579491B1 true KR101579491B1 (ko) 2015-12-23

Family

ID=52346348

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130084148A KR101579491B1 (ko) 2013-07-17 2013-07-17 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법

Country Status (2)

Country Link
KR (1) KR101579491B1 (ko)
WO (1) WO2015008932A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687309B1 (ko) * 2015-04-02 2016-12-28 한국과학기술원 Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
KR101989184B1 (ko) * 2017-09-04 2019-06-14 주식회사 바이로봇 증강현실 서비스 제공 시스템
KR102103399B1 (ko) * 2018-11-30 2020-04-23 (주)익스트리플 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템 및 그 방법
KR102571086B1 (ko) * 2022-02-14 2023-08-29 주식회사 케이쓰리아이 가상공간을 이용한 다중 사용자 간 협업 지원 방법 및 시스템
KR102593878B1 (ko) * 2022-09-07 2023-10-25 주식회사 크로스랩 다중참여가 가능한 동기화된 증강현실 구현방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973311B (zh) * 2004-03-26 2010-08-25 高桥淳 具有三维视觉指示功能的三维立体数字放大镜系统
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR101020862B1 (ko) * 2008-10-16 2011-03-09 광주과학기술원 콘텐츠 저작 공간 구축 방법 및 시스템
KR100999711B1 (ko) 2009-03-09 2010-12-08 광주과학기술원 원격 협업 시스템의 실시간 캘리브레이션 장치 및 실시간 캘리브레이션 방법
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법

Also Published As

Publication number Publication date
KR20150009789A (ko) 2015-01-27
WO2015008932A1 (ko) 2015-01-22

Similar Documents

Publication Publication Date Title
Beck et al. Immersive group-to-group telepresence
KR101579491B1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
Kasahara et al. JackIn head: immersive visual telepresence system with omnidirectional wearable camera for remote collaboration
US9654734B1 (en) Virtual conference room
CN104641633B (zh) 用于组合来自多个深度相机的数据的系统和方法
US20130063560A1 (en) Combined stereo camera and stereo display interaction
Kurillo et al. 3D teleimmersion for collaboration and interaction of geographically distributed users
US20020158873A1 (en) Real-time virtual viewpoint in simulated reality environment
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
Zhang et al. Virtualcube: An immersive 3d video communication system
JP2010217719A (ja) 装着型表示装置、その制御方法及びプログラム
JP2020065229A (ja) 映像通信方法、映像通信装置及び映像通信プログラム
KR20170044318A (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
Reimat et al. Cwipc-sxr: Point cloud dynamic human dataset for social xr
Noh et al. An HMD-based Mixed Reality System for Avatar-Mediated Remote Collaboration with Bare-hand Interaction.
Adcock et al. Visualization of off-surface 3D viewpoint locations in spatial augmented reality
WO2015139562A1 (zh) 实现视频会议的方法、合成设备和系统
KR101655159B1 (ko) 사용자의 ３차원 아바타 구현 시스템 및 방법
Palasek et al. A flexible calibration method of multiple Kinects for 3D human reconstruction
Vasudevan et al. A methodology for remote virtual interaction in teleimmersive environments
Ogi et al. Usage of video avatar technology for immersive communication
Kim et al. 3-d virtual studio for natural inter-“acting”
Ishigaki et al. Real-time 3D reconstruction for mixed reality telepresence using multiple depth sensors
KR101850134B1 (ko) 3차원 동작 모델 생성 방법 및 장치
Su et al. Rgb-d camera network calibration and streaming for 3d telepresence in large environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191217

Year of fee payment: 5