KR20220096381A - 증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성 방법 - Google Patents

증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성 방법 Download PDF

Info

Publication number
KR20220096381A
KR20220096381A KR1020200188767A KR20200188767A KR20220096381A KR 20220096381 A KR20220096381 A KR 20220096381A KR 1020200188767 A KR1020200188767 A KR 1020200188767A KR 20200188767 A KR20200188767 A KR 20200188767A KR 20220096381 A KR20220096381 A KR 20220096381A
Authority
KR
South Korea
Prior art keywords
augmented
virtual reality
space
coordinate system
interaction
Prior art date
Application number
KR1020200188767A
Other languages
English (en)
Inventor
이석원
김미진
박병하
정광모
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020200188767A priority Critical patent/KR20220096381A/ko
Publication of KR20220096381A publication Critical patent/KR20220096381A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성 방법이 제공된다. 본 발명의 실시예에서는, 증강 현실과 가상 현실 기기를 혼용할 수 있는 협업 공간을 제시하였으며, 공유 좌표계를 통한 아바타 동작 및 객체, 객체에 대한 상호작용을 동기화하였고, 물리적 공간이 동일한 경우와 다른 경우를 구분하여 협업 공간 생성의 제약을 줄였다. 이에 의해, 증강-가상 현실 기기 혼용에 의한 문제점 해소를 통한 원격 협업이 증가할 수 있으며, 협업 공간 생성 시 공유 좌표계를 통한 실시간성 및 공존감을 향상시킬 수 있게 된다.

Description

증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성 방법{Method for Creating a Cooperating VR-AR Space with Synchronizing Objects and Interactions}
본 발명은 증강/가상현실 관련 기술에 관한 것으로, 더욱 상세하게는 폐쇄형 헤드셋(video see-through)과 광학식 헤드셋(optical see-through)을 이용하여 가상 공간에서 협업할 수 있도록 서로의 좌표계를 정렬하고 표현하는 방법에 관한 것이다.
기존에 연구 혹은 상용화된 원격 협업 공간은 가상 현실과 증강 현실이 분리된 범주에서 협업을 진행한다.
몰입형 가상 현실 협업 시스템의 경우 MeetinVR과 Glue, Immersed, IrisVR 등 상용화된 프로그램이 다수 존재한다. 이 소프트웨어는 헤드셋과 컨트롤러를 사용하여 대화 혹은 가상 객체에 대한 상호작용을 적용한다. 증강 현실 협업 시스템 또한 물리 공간을 이용한 객체 증강 및 협업의 방향으로 연구가 진행중이다.
그러나 위와 같은 상용화된 소프트웨어는 다종의 플랫폼을 지원하지 않는다. 증강 현실과 가상 현실을 혼용하는 협업 공간에 대한 연구는 다수의 사용자가 공동으로 상호작용을 하는 것이 아닌 동작을 공유하는 사용자와 관찰하는 사용자가 구분되는 연구가 많다. 또한, 사용자가 동일한 물리적 공간에 존재하여야 하는 제약이 따르기도 한다.
따라서 다양한 종류의 증강/가상 현실 기기가 참여할 수 있는 하나의 공유 공간의 필요성이 대두되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사용자가 참여하는 증강 현실과 가상 현실 사이를 연결하여 하나의 협업 공간을 생성하는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 증강/가상현실 서비스 방법은, 다수의 증강/가상 현실 기기들이 서버에 연결하는 단계; 증강/가상 현실 기기들이 서버를 통해 협업 공간의 공유 좌표계를 공유하는 단계; 증강/가상 현실 기기들이 상호작용을 동기화하는 단계;를 포함한다.
공유 단계는, 동일한 물리적 공간에 있으며 외부 환경을 인식할 수 있는 증강/가상 현실 기기들이, 물리적 공간을 표현하는 특징자를 공유할 수 있다.
공유 좌표계는, 특징자 추출 함수를 사용하며 서버에 등록된 특징자와 유클리드 거리가 적은 특징자를 가지는 위치에 형성될 수 있다.
공유 단계는, 동일한 물리적 공간에 있으며 외부 환경을 인식할 수 없는 증강/가상 현실 기기들이, 기기에서 지원하는 방법에 따라 사용자의 자세를 추적하여 공유 좌표계를 설정할 수 있다.
상이한 물리적 공간에 있는 증강/가상 현실 기기들은, 기기에서 지원하는 방법에 따라 사용자의 자세를 추적하여 공유 좌표계를 설정하고, 아바타로써 사용자를 표현하여 공유 좌표계에서의 위치 관계를 나타낼 수 있다.
상호작용은, 객체를 생성, 이동 또는 변형하는 것을 포함할 수 있다. 상호작용은, 실시간성 정도에 따라 전송 우선순위를 설정하여 처리할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 증강/가상현실 서비스 시스템은, 다수의 증강/가상 현실 기기들이 연결되는 서버; 서버를 통해, 협업 공간의 공유 좌표계를 공유하고, 상호작용을 동기화하는 증강/가상 현실 기기들;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 증강-가상 현실 기기 혼용에 의한 문제점 해소를 통한 원격 협업이 증가할 수 있으며, 협업 공간 생성 시 공유 좌표계를 통한 실시간성 및 공존감을 향상시킬 수 있게 된다.
도 1. 증강-가상현실 현업공간의 구조도
도 2. 물리적으로 분리된 2개의 공간에서의 협업 공간 구성.
도 3. 도 2에서의 협업 공간 A의 모습.
도 4. 사용자 B의 동작을 사용자 A 공간에 증강된 아바타 B에 적용하는 예시.
도 5. 상호작용의 종류 및 인수
도 6. 실험에 사용된 도시모델 객체(왼쪽)와 전신 행동 아바타(중간), 단순형 아바타(오른쪽)
도 7. 같은 물리적 공간에 존재하는 두 사용자가 협업공간에 접속하여 객체를 생성하고 상호작용을 하는 모습
도 8. 혼합 현실 기기를 이용한 상호작용 모습
도 9. 가상 현실 공간에서 전용 컨트롤러를 이용하여 상호작용하는 모습
도 10. 세 명의 사용자가 분리된 물리 공간에서 협업 공간에 접속한 모습
도 11. 증강 현실 기기로부터 혼합 현실 기기로 상호작용을 전달하였을 때의 지연 속도
도 12. 혼합 현실 기기로부터 증강 현실 기기로 상호작용을 전달하였을 때의 지연 속도
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 공유 공간 구성
증강-가상현실 현업공간인 공유 공간은 도 1과 같이 구성할 수 있다. 공유 공간에 접속한 여러 대의 증강/가상 현실 기기(110,120,130)는 하나의 서버(200)를 통해 정보를 서로 주고받는 서버-클라이언트 형태를 가진다.
이 공유 공간은 도 2와 같이 다른 공간에 위치한 사용자가 같은 공간에서 같은 상호작용하는 것처럼 느껴지도록 공유 좌표계를 형성하고 상호작용을 동기화 하여 하나의 공간처럼 작용하도록 한다.
또한 협업 공간에 참여한 다른 사용자를 아바타로 형상화하고 움직임을 동기화하여 같이 있는 느낌을 높여 준다.
1.1 공유 좌표계의 정의
각 사용자는 협업 공간에 접속하였을 때 서버(200)에 구성된 공유 좌표계를 공유 받아 다른 사용자와 공간을 공유한다. 즉, 공유 좌표계는 협업 공간이 구성되도록 사용자의 공간을 일치시켜주는 좌표가 된다.
이 때 사용자가 서버(200)로부터 제공 받는 공유 좌표계는 사용자의 환경에 따라 분류할 수 있다. 사용자가 같은 물리적 공간에 존재하는 지 여부와 증강 현실 기기(110,120,130)를 사용할 때 외부 환경을 인식할 수 있는 지 여부에 따라 공유 좌표계를 설정하는 방법이 나뉜다. 본 발명의 실시예에서는 사용자의 환경을 세 가지 경우로 나누어 각 상황에서의 공유 좌표계 형성 방법을 제시한다.
1) 물리적 공간이 같으며 외부 환경을 인식할 수 있는 기기
두 사용자가 외부 환경을 인식할 수 있는 기기를 사용할 때, 같은 물리 공간 내에서 같은 객체를 본다면 그 위치는 동일해야 한다. 이는 도 2와 같이 동일한 물리적 위치에 공유 좌표계를 형성하여야 함을 의미한다.
본 발명의 실시예에서는 공유 좌표계를 위치하고자 하는 물리적 공간을 표현하는 특징자(feature descriptor)를 기기 간에 공유함으로써 이를 해결한다. 이 환경 인식 특징자는 Hololens Toolkit에 포함된 추출 함수(SIFT)를 사용하며 서버에 등록된 특징자와 유클리드 거리가 적은 특징자를 가지는 위치에 공유 좌표계를 형성하여 최대한 가까운 물리적 공간에 객체 및 상호작용이 발생하도록 한다.
공간에 처음으로 접속한 기기는 자신이 공유 좌표계를 형성한 특징자를 서버에 업로드하고, 이후에 접속하는 기기는 서버에 등록된 특징자를 다운로드하여 특징자가 일치하는 외부 환경을 찾아 공유 좌표계를 설정한다.
2) 외부 환경을 인식할 수 없는 기기
외부 환경을 인식할 수 없는 기기는 외부 환경에 대한 특징자를 정의할 수 없기 때문에 사용자의 접속 위치에 공유 좌표계를 설정한다.
대부분의 기기는 착용한 사용자의 자세를 추적할 수 있도록 하는 장치가 포함되어 있다. 기기가 지원하는 방법에 따라서 관성 측정 센서(inertial measurement unit)나 기기에 내장된 카메라를 통한 외부 움직임 측정(inside-out tracking)하여 기기)의 이전 자세 대비 변화를 추적할 수 있다.
따라서 접속 직후 자세에서 공유 좌표계를 설정한다면 기기의 자세 추적 정확도만큼 물리적 공간에 위치할 수 있다. 카메라가 없는 가상 현실 헤드셋을 이용하였을 때는 공유 좌표계의 위치를 접속 초기에 바라보고 있는 방향으로 설정한다. 그 후 기기가 지원하는 자세 추적 기능을 사용하여 공유 좌표계 대비 기기의 자세를 추정한다.
만약 기기의 외부 환경을 볼 수 있는 카메라를 장착하고 있을 때는 마커(marker)를 이용하여 초기 공유 좌표계를 설정한다.
도 3은 도 2 에서의 협업 공간 A의 모습으로, 공유 좌표계 A가 정의되어 있으며 객체 O가 좌표계에 pA로 위치하고 있다. 같은 공간에는 사용자 B를 나타내는 아바타 B가 있으며 사용자 B에게 객체 O의 좌표 p를 전송한다.
3) 물리적 공간이 다른 경우의 공유 좌표계
물리적으로 같은 공간에 존재하지 않는다면 외부 환경을 인식할 수 없는 기기를 사용할 때와 같은 방법이 적용된다. 특징자의 인식이 불가능하며 다른 사용자의 모습이 보이지 않기 때문에 동일한 위치에 공유 좌표계를 형성할 필요가 없다.
다만 공유 좌표계가 같은 높이에 위치해야 서로의 작업 통일성이 유지될 것이다. 공유 좌표계의 위치를 구면 좌표계로 다룬다면 현 사용자의 위치를 원점이라고 한다면 좌표계의 위치는 바라보고 있는 방향과 바닥에서의 높이, 2개로 구성될 수 있다.
바라보고 있는 방향은 기기의 초기 자세에서 구할 수 있지만 바닥에서의 높이는 일정한 값으로 정해준다. 이를 테면 서 있는 사람의 눈 높이로 설정하는데, 이는 앞의 두 가지 경우에서도 동일하게 적용될 수 있다. 즉 마커를 해당 높이에 설치하거나 특징자 또한 정해진 높이에서 설정되도록 할 수 있는 것이다.
다른 공간에서 작업할 때 서로의 몰입감을 높여주기 위해 협업하고 있는 상대방의 모습을 아바타(avatar)를 통해 형상화하는데, 상대방이 사용하는 기기에서 지원하는 정도에 따라 몸 전체(full-body) 자세를 동기화하는 전신 행동 아바타와 공유 좌표계 대비 머리의 방향만을 표현해주는 단순형 아바타로 구분할 수 있다.
도 4는 사용자 B의 동작을 사용자 A 공간에 증강된 아바타 B에 적용하는 예시이다. 사용자 B는 전신 행동을 취득하기 위해행동 캡처 장비를 착용하고 있다. 사용자 B의 공유 좌표계에서 바라본 HMD 위치 p는 동일하게 아바타 B가 A의 공유 좌표계에서 p 만큼 떨어지도록 적용되었다.
1.2 공유 좌표계의 사용
공유 좌표계가 정의가 되었다면 접속된 기기 간 정보는 이를 기준으로 기술된다. 예를 들어, 사용자 A가 생성한 객체 O는 사용자 B에게 전송되어 공유 좌표계 상의 같은 위치에 생성된다.
이러한 경우에 사용자 A가 생성한 객체 O의 위치는 공유 프레임에 의해 기술된 값으로 표현된다.
2. 상호작용 동기화
이와 같이 공유 공간을 형성한 후에 사용자는 객체를 생성하거나 이동, 변형 하는 등의 상호작용을 수행할 수 있다. 이는 네트워크를 통해 협업 공간에 접속한 다른 사용자와 동기화되어 같은 상황을 공유할 수 있다.
2.1 상호작용 정의
본 발명의 실시예에서 제시하는 상호작용은 객체에 대한 상호작용과 공간 전체에 대한 상호작용으로 구분된다. 객체에 대한 상호작용은 객체를 생성하거나 이동, 변형, 삭제를 수행하는 것이다.
도시 모델과 이에 관련한 공간정보를 객체를 예로 들면, 사용자는 원하는 위치를 선택하여 도시 모델을 생성할 수 있고, 생성된 도시 모델의 위치를 이동하거나 크기를 조절하고 삭제할 수 있다. 또한 사용자는 도시 모델에 포함된 건물을 선택하여 건물에 대한 정보를 확인할 수 있다. 이러한 객체에 대한 상호작용 정보는 위치 및 상호작용 종류와 함께 서버를 통해 동기화된다.
이와 달리 공간에 대한 상호작용은 객체 전체에 적용된다. 정의한 공간에 대한 상호작용은 두 가지이다. 첫 번째로 공간의 시간대를 변경할 수 있다. 사용자가 공간의 시간대를 변경할 시 가상의 태양 위치가 조절되어 도시 모델에 그림자나 석양 효과가 적용되도록 할 수 있다. 또한 기상 효과를 조절하 여 비나 눈이 내릴 수 있도록 할 수 있다.
상호작용은 정보의 실시간성 정도에 따라 전송 우선순위를 설정한다. 예를 들어, 객체의 생성이나 변형과 같은 정보는 일회적이고 빠른 응답을 필요로 하지 않아 우선순위가 낮다. 반면에 아바타의 움직임은 실시간성이 중요한 정보이므로 다른 정보에 비해 높은 중요도로 처리된다.
2.2 아바타
물리적으로 다른 공간에 있는 사용자는 아바타로 형상화해 서로를 볼 수 있다. 아바타는 사용자가 사용하는 기기에 따라 전신 행동 아바타와 단순형 아바타로 나뉜다.
사용자가 전신 행동 캡처 장비를 사용하는 경우에는 전신 행동 아바타가 형성되어 사용자의 행동을 실시간으로 표현한다. 아바타의 생성 위치는 중신 관절의 위치를 기준으로 하며, 기기의 공유 좌표계 대비 중심 관절의 위치를 타 사용자에게 전송하여 아바타를 생성할 수 있다.
또한 협업 공간에서 사용자의 자세와 동작을 실시간으로 아바타를 통해 확인할 수 있어 공존감을 높인다. 전신 행동 캡처 장비를 사용하지 않는 경우 착용하고 있는 증강/가상 현실 기기의 위치를 사용자의 중심 관절, 즉 머리의 움직임에 반영하여 단순형 아바타의 머리 방향을 협업 공간에서 확인할 수 있다.
2.3 네트워크 구성 및 전송
협업 공간의 네트워크는 하나의 서버와 여러 대의 증강/가상 현실 기기들의 연결을 통해 서버-클라이언트 형태로 구성된다. 서버는 사용자별 인식 번호의 부여 및 전달자(Broadcasting) 역할을 수행한다.
사용자가 서버에 처음으로 접속하면 각 사용자는 고유 인식 번호(user ID)를 부여받는다. 인식 번호는 사용자를 구별하기 위해 사용하며 해당 사용자가 일으킨 상호작용 정보와 함께 서버에 업로드 되어 다른 사용자에게 전달된다. 또한 외부 환경의 특징자 또한 서버에 업로드 하여 접속한 다른 사용자가 동일한 외부 환경을 찾아 공유 좌표계를 형성할 수 있게 해준다.
동기화되는 정보는 {인식 번호, 상호작용 정보} 의 형태로 구성된다. 상호작용 정보는 종류를 표현하는 이벤트 값(Event ID)과 추가 정보를 표현하는 인수(Argument value)로 구성되어 있다. 이벤트는 전달하고자 하는 상호작용의 종류의 수만큼 정의 되어 있어 이에 따라 값이 설정된다. 본 발명의 실시예에서는 객체의 생성 및 변형과 공간에 적용되는 기상 효과 및 아바타의 움직임을 이벤트 값을 설정하여 사용한다. 도 5에는 이벤트와 그에 대한 인수를 나타내었다.
본 발명의 실시예에서는 위와 같은 정보를 하나의 메시지로 구성하여 서버를 통해 모든 사용자가 동일한 메시지를 수신하도록 한다. 각 사용자는 메시지에 포함된 이벤트와 인수를 통해 자신의 협업 공간에 동일하게 표현되도록 함으로써 공간을 동기화한다.
3. 실험 및 결과
본 발명의 실시예에서는 종류가 다른 증강/가상 현실 기기를 착용한 다수의 사용자가 동일한 협업공간에 참여하여 객체를 통한 상호작용을 동기화하는 방법을 보였다. 실험을 통하여 본 발명의 실시예에서 제안한 방법을 실제로 사용하고 확인하였다.
실험은 3가지 종류의 서로 다른 기기를 가진 4명의 사용자가 협업 공간을 형성하여 상호작용을 수행하는 상황으로 구성하였다. 실험에는 1) 혼합현실(Mixed Reality) 기기인 Microsoft의 HoloLens와 2) 가상 현실 HMD 기기인 삼성 오딧세이, 3) 증강 현실 기기인 EPSON의 Moverio를 사용하였다. 각 기기에서 사용하는 어플리케이션은 Unity를 통해 제작되었으며 카메라를 이용한 마커 탐색으로는 Vuforia 라이브러리를 사용하였다. 사용자의 움직임을 아바타에 반영하기 위한 모션 캡처 장비로 Perception neuron을 사용하였다. 이는 다수의 관성 측정 장비(IMU)로 착용자의 자세를 얻을 수 있으며 측정이 상대적으로 간편하다는 장점이 있다.
3.1 실험시 객체 및 상호작용
실험에 사용할 객체와 상호작용은 사전에 설정하여 어플리케이션을 제작하였다. 생성할 객체는 도시 모델이며 실험 참가자는 자신의 물리 공간 내에 존재하는 탁자 위에 객체를 생성하도록 하였다. 이때 혼합현실 기기는 외부 환경을 인식한 후에 실험자가 선택한 위치로 부터 가장 가까운 탁자위에 객체를 생성한다. 실험 참가자는 전신형 혹은 단순형 아바타로서 협업 공간에 참여하여 생성된 도시 모델에 포함된 건물 중 하나를 선택하고 건물을 변형하는 상호작용을 다른 참가자에게 공유하였다. 또한 시간대를 변경하고 비와 눈 등의 기상효과를 일으키는 공간에 대한 상호작용을 협업 공간에 적용했다.
이 실험은 사용자가 같은 물리 공간 내에서 협업 공간에 참여하는 경우와 다른 물리 공간에서 참여하는 경우를 구분하여 서로 다른 실험 환경을 구성하여 진행되었다.
3.2 같은 물리 공간 내에서의 협업 공간
같은 물리 공간 내에서 협업 공간에 참여하는 경우에는 외부 환경을 인식할 수 있는 기기인 Hololens와 Moverio를 사용하여 실험을 진행하였다. 같은 물리 공간에 있는 2명의 참가자가 도 7과 같이 혼합현실 기기를 착용하고 협업 공간에 접속한 뒤, 객체를 생성하여 상호작용을 진행하였다. 도 8은 두 명의 참가자가 객체를 생성하거나 건물을 선택하는 등 다양한 상호작용을 수행하였을 때 상태가 동기화되는 것을 보여준다.
3.3 다른 물리 공간에서 가상 현실 기기를 이용한 협업 공간
다른 물리 공간에서 협업하는 경우에는 3명의 참가자가 서로 분리된 공간에서 각자 가상 현실 기기와 혼한 현실 기기를 이용하여 협업 공간에 접속하는 것으로 실험을 진행하였다. 가상 현실 기기를 통해 접속한 참가자는 각각의 아바타를 통해 협업 공간에 참여한 다른 참가자의 모습을 볼 수 있다. 전신 행동 캡처 장비를 착용한 참가자는 전신 행동 아바타로 표현되며, 그렇지 않은 참가자는 단순형 아바타로 표현되었다(도 9). 이 실험에서도 객체를 생성하여 상호작용을 진행하였고 도 10은 동기화된 상호작용의 모습을 보여준다.
3.4 협업 공간 형성 시의 상호작용 전달
위의 실험을 진행하면서 협업 공간 내 혼합 현실 기기와 증강 현실 기기 간의 상호작용 전달 속도를 측정하였다. 이는 제안한 협업 공간의 실시간성을 보여준다. 전달 속도는 상호작용이 발생하였을 때 타 참가자가 수신하는 데까지 걸리는 지연 속도(latency)로 측정하였다.
도 11은 증강 현실 기기로부터 혼합 현실 기기로 상호작용이 전달되는 데의 지연 속도를 나타낸다. 이는 증강 현실 기기를 착용한 참가자가 일으킨 상호작용이 서버에 업로드되어 혼합 현실 기기로 전달되는 데까지 걸리는 시간을 의미하며, 평균은 약 0.15초 이다. 이는 도 11에 나타난 초반 접속 시간을 포함하는 값이다. 마찬가지로 도 12는 혼합 현실 기기로부터 증강 현실 기기로 상호작용이 전달되는 데까지의 지연 속도를 나타낸다. 지연 속도의 평균은 약 0.13초로 증강 현실 기기로부터 혼합 현실 기기로의 지연 시간 평균과 유사한 값을 가진다.
4. 변형예
본 발명의 실시예에서는 증강/가상 현실 기기의 다양화에 맞춰 다양한 기기를 사용할 수 있는 협업 공간을 구성하고 제안하였다. 본 발명의 실시예에서 제시하는 협업 공간은 모든 사용자가 생성하는 객체와 상호작용을 동기화시켜 실시간 협업을 진행할 수 있게 해준다.
이를 위해 객체와 상호작용의 위치를 물리 공간 내에서 특정할 수 있도록 하는 공유좌표계를 구성하여 각 사용자에게 공유하고 상호작용이 발생할 시에 상대적인 위치를 계산하여 같은 상호작용이 일어나도록 한다.
이러한 공유 좌표계는 동일 물리 공간 존재 여부와 사용자의 기기에 따라 다르게 생성된다. 또한 사용자의 아바타를 전신 행동 아바타 또는 단순형 아바타로 협업 공간에 생성하여 공존감을 높이고, 상호작용을 할 수 있도록 한다. 이러한 상호작용은 객체에 대한 상호작용과 공간에 대한 상호작용으로 나누었고 각 상호작용이 실시간성에 영향을 주는 정도에 따라 우선순위를 적용하여 네트워크를 구성한다.
이 협업 공간은 다양한 기기를 함께 사용할 수 있도록 함으로써 원격 협업을 보다 용이하게 한다. 즉, 원격 회의 또는 스마트 오피스와 같은 원격 협업 과정에서 기기의 차이에 의한 문제를 예방할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110,120,130 : 증강/가상 현실 기기
200 : 서버

Claims (8)

  1. 다수의 증강/가상 현실 기기들이 서버에 연결하는 단계;
    증강/가상 현실 기기들이 서버를 통해 협업 공간의 공유 좌표계를 공유하는 단계;
    증강/가상 현실 기기들이 상호작용을 동기화하는 단계;를 포함하는 것을 특징으로 하는 증강/가상현실 서비스 방법.
  2. 청구항 1에 있어서,
    공유 단계는,
    동일한 물리적 공간에 있으며 외부 환경을 인식할 수 있는 증강/가상 현실 기기들이, 물리적 공간을 표현하는 특징자(feature descriptor)를 공유하는 것을 특징으로 하는 증강/가상현실 서비스 방법.
  3. 청구항 2에 있어서,
    공유 좌표계는,
    특징자 추출 함수를 사용하며 서버에 등록된 특징자와 유클리드 거리가 적은 특징자를 가지는 위치에 형성되는 것을 특징으로 하는 증강/가상현실 서비스 방법.
  4. 청구항 1에 있어서,
    공유 단계는,
    동일한 물리적 공간에 있으며 외부 환경을 인식할 수 없는 증강/가상 현실 기기들이, 기기에서 지원하는 방법에 따라 사용자의 자세를 추적하여 공유 좌표계를 설정하는 것을 특징으로 하는 증강/가상현실 서비스 방법.
  5. 청구항 4에 있어서,
    상이한 물리적 공간에 있는 증강/가상 현실 기기들은, 기기에서 지원하는 방법에 따라 사용자의 자세를 추적하여 공유 좌표계를 설정하고, 아바타로써 사용자를 표현하여 공유 좌표계에서의 위치 관계를 나타내는 것을 특징으로 하는 증강/가상현실 서비스 방법.
  6. 청구항 1에 있어서,
    상호작용은,
    객체를 생성, 이동 또는 변형하는 것을 포함하는 것을 특징으로 하는 증강/가상현실 서비스 방법.
  7. 청구항 6에 있어서,
    상호작용은,
    실시간성 정도에 따라 전송 우선순위를 설정하여 처리하는 것을 특징으로 하는 증강/가상현실 서비스 방법.
  8. 다수의 증강/가상 현실 기기들이 연결되는 서버;
    서버를 통해, 협업 공간의 공유 좌표계를 공유하고, 상호작용을 동기화하는 증강/가상 현실 기기들;를 포함하는 것을 특징으로 하는 증강/가상현실 서비스 시스템.
KR1020200188767A 2020-12-31 2020-12-31 증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성 방법 KR20220096381A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200188767A KR20220096381A (ko) 2020-12-31 2020-12-31 증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200188767A KR20220096381A (ko) 2020-12-31 2020-12-31 증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성 방법

Publications (1)

Publication Number Publication Date
KR20220096381A true KR20220096381A (ko) 2022-07-07

Family

ID=82398580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200188767A KR20220096381A (ko) 2020-12-31 2020-12-31 증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성 방법

Country Status (1)

Country Link
KR (1) KR20220096381A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043512A1 (ko) * 2022-08-22 2024-02-29 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
WO2024060799A1 (zh) * 2022-09-23 2024-03-28 华为云计算技术有限公司 多设备协同方法及客户端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043512A1 (ko) * 2022-08-22 2024-02-29 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
WO2024060799A1 (zh) * 2022-09-23 2024-03-28 华为云计算技术有限公司 多设备协同方法及客户端

Similar Documents

Publication Publication Date Title
CN109874021B (zh) 直播互动方法、装置及系统
EP3754992A1 (en) Immersive interactive remote participation in live entertainment
US20180324229A1 (en) Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
US20190019011A1 (en) Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device
US10013805B2 (en) Control of enhanced communication between remote participants using augmented and virtual reality
US20160225188A1 (en) Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
US20180356885A1 (en) Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
CN112243583B (zh) 多端点混合现实会议
CN105306868B (zh) 视频会议系统及方法
US20210350604A1 (en) Audiovisual presence transitions in a collaborative reality environment
KR20220096381A (ko) 증강-가상현실 간 공간정보 및 상호작용 동기화를 이용한 협업 공간 생성 방법
US20190020699A1 (en) Systems and methods for sharing of audio, video and other media in a collaborative virtual environment
US10848597B1 (en) System and method for managing virtual reality session technical field
CN110427227B (zh) 虚拟场景的生成方法、装置、电子设备及存储介质
KR102395940B1 (ko) 메타버스 기반의 오피스 환경에서 유저영상데이터 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 제어 시스템
WO2018092535A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180331841A1 (en) Systems and methods for bandwidth optimization during multi-user meetings that use virtual environments
US20180336069A1 (en) Systems and methods for a hardware agnostic virtual experience
US11471778B2 (en) System providing a shared environment
Zhang et al. XRmas: Extended Reality Multi-Agency Spaces for a Magical Remote Christmas
US11694438B2 (en) Scalable extended reality video conferencing
US20220078524A1 (en) Method, system, and non-transitory computer-readable recording medium for providing content comprising augmented reality object by using plurality of devices
Izumihara et al. ExLeap: Minimal and highly available telepresence system creating leaping experience
US20230179756A1 (en) Information processing device, information processing method, and program
Oliva et al. The Making of a Newspaper Interview in Virtual Reality: Realistic Avatars, Philosophy, and Sushi