KR20210085929A - 다중 사용자 간의 증강현실 커뮤니케이션 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법은, 메인 관리자 컴퓨팅 디바이스에서 수행하는 다중 사용자 간의 증강현실 커뮤니케이션 방법으로서, 복수의 현장 유저 컴퓨팅 디바이스와 커뮤니케이션 연결을 수행하는 단계; 상기 복수의 현장 유저 컴퓨팅 디바이스로부터 촬영영상을 획득하고 표시하는 단계; 서브 관리자 컴퓨팅 디바이스와 상기 현장 유저 컴퓨팅 디바이스를 매칭하는 서브 관리자-현장 유저 매칭 인터페이스를 제공하는 단계; 및 상기 매칭 인터페이스 따라서 선택된 서브 관리자 컴퓨팅 디바이스와 현장 유저 컴퓨팅 디바이스 사이에서 증강현실 커뮤니케이션이 수행되는 단계를 포함한다.

Description

다중 사용자 간의 증강현실 커뮤니케이션 방법{METHOD FOR AUGMENTED REALITY COMMUNICATION BETWEEN MULTIPLE USERS}

본 발명은 다중 사용자 간의 증강현실(Augmented Reality, AR) 커뮤니케이션 방법에 관한 것이다. 보다 상세하게는, 다중 사용자 간의 증강현실 커뮤니케이션이 병렬적으로 수행되고 실시간으로 공유되는 다중 사용자 간 증강현실 커뮤니케이션 방법에 관한 것이다.

최근 들어, 정보통신 기술(Information　and Communication　Technology, ICT)이 발달함에 따라서, 원거리 데이터 통신망을 매개하여 다양한 분야에 대한 정보를 적어도 하나의 호스트 서버를 통하여 다수의 가입자 측으로 실시간 제공하는 정보제공 기술이 활발하게 개발되고 있다.

또한, 근래에 가상현실(Virtual Reality: VR), 증강현실(Augmented Reality: AR), 혼합현실(Mixed Reality: MR)에 대한 관심이 급상승하고 있는 가운데, 확장현실(eXtended Reality: XR)까지 가세하면서 이용자의 몰입경험(Immersive Experience)을 제공하는 서비스 및 기기 시장이 나날이 발전하고 있다.

이와 같은 추세에 힘입어 최근의 각종 산업 분야에서는, 해당 산업 분야와 관련된 각종 증강현실(AR) 또는 혼합현실(MR) 데이터들을 생성하여 관리하고 있으며, 필요 시 유/무선 네트워크(network)에 기반하여 생성된 데이터를 교환하는 커뮤니케이션을 수행하고 있다.

그러나, 종래의 커뮤니케이션에 있어서는, 각종 증강현실 또는 혼합현실 데이터들을 산업 현장의 작업자들과 관리자들 사이에서 실시간으로 일대다(1:n) 또는 다대다(n:m)의 방식으로 병렬 공유할 수 있는 기술 개발이 미흡한 실정이다.

한편, 일반적으로 산업 공장에는 특정 제품의 생산을 위한 각종 설비들이 배치되고, 각각의 설비에는 해당하는 담당 작업자가 배치되어 제품 생산에 필요한 공정에 따라 작업들을 순차로 수행하게 된다.

이때, 산업 공장 내 현장 설비 파트를 각각 담당하게 되는 작업자들은 자신이 맡은 조립 생산 공정의 숙련도에 따라 작업의 효율성 및 생산성이 크게 영향을 미치게 된다.

특히, 숙련되지 않은 작업자의 경우 자신이 담당하는 설비 파트에서의 공정 조립에 어려움을 겪을 수 있으며, 이는 전체 제품 생산의 생산성의 저하로 이어지게 되는 문제가 있었다.

또한, 숙련자의 경우라도 작업지시 내용이 변경된 경우 이를 바로 인식하지 못하는 문제가 있으며, 특히 변경되는 작업지시 내용이 매번 관리자를 통해 직접 지시됨에 따른 시간적 지연의 문제가 있었다.

특히, 작업자는 작업 공장의 소음 발생과 작업용 헬멧, 방진복 등 다양한 용품을 착용하고 있어, 작업자 간의 의사소통이 어려우며, 이는 생산성을 떨어뜨리는 주요 원인이 되고 있다.

이에 기존의 산업 공장에서는 각 현장 설비 파트에 디스플레이를 부착하고, 출력물을 상시로 출력하여 작업 공정의 상태를 관리하는 방식을 사용하였다.

그러나 산업 공장 내 각 현장 설비 파트의 복잡한 시스템으로 인해 유기적인 공정 관리에는 어려움이 따르는 문제가 있었다.

즉, 산업 공장에서의 점차 복잡한 시스템 증대로 인한 관리의 한계성과,　정보　공유를 위한 문서 작성에 많은 시간이 필요하게 되고, 실시간 공정 작업의 진척상황의 파악이 어려우며, 작업자들 및 관리자 간의 의사소통의 문제와, 추적 관리되지 않는 작업, 작업 공정의 변경 이력에 따른 관리의 한계성이 있었다.

KR 10-1397908 B1

본 발명은, 다수의 사용자 간의 증강현실 커뮤니케이션이 병렬적으로 수행되고 실시간으로 공유되는 다중 사용자 간 증강현실 커뮤니케이션(AR communication) 방법을 제공하는데 그 목적이 있다.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법은, 메인 관리자 컴퓨팅 디바이스에서 수행하는 다중 사용자 간의 증강현실 커뮤니케이션 방법으로서, 복수의 현장 유저 컴퓨팅 디바이스와 커뮤니케이션 연결을 수행하는 단계; 상기 복수의 현장 유저 컴퓨팅 디바이스로부터 촬영영상을 획득하고 표시하는 단계; 서브 관리자 컴퓨팅 디바이스와 상기 현장 유저 컴퓨팅 디바이스를 매칭하는 서브 관리자-현장 유저 매칭 인터페이스를 제공하는 단계; 및 상기 매칭 인터페이스 따라서 선택된 서브 관리자 컴퓨팅 디바이스와 현장 유저 컴퓨팅 디바이스 사이에서 증강현실 커뮤니케이션이 수행되는 단계를 포함한다.

이때, 상기 커뮤니케이션 연결을 수행하는 단계는, 작업 현장의 물리적 공간을 3차원 모델링하여 형상화한 지도인 3차원 사이트 맵에 기반하여 선택된 현장 유저 컴퓨팅 디바이스와 상기 커뮤니케이션 연결을 수행하는 단계를 포함한다.

또한, 상기 3차원 사이트 맵의 일 가상위치에 매칭되는 가상 컨텐츠를 생성하고 커뮤니케이션 데이터로 송신하는 입출력 인터페이스를 제공하는 단계를 더 포함한다.

또한, 상기 3차원 사이트 맵의 일 가상위치에 매칭되는 상기 작업 현장의 실제위치에 대한 소정의 영역에서, 상기 현장 유저 컴퓨팅 디바이스가 감지되면, 상기 감지된 현장 유저 컴퓨팅 디바이스로 상기 가상 컨텐츠를 송신하는 단계를 더 포함한다.

또한, 상기 작업 현장에 위치한 현장 유저의 실제위치에 매칭된 상기 3차원 사이트 맵의 가상위치 상에 현장 유저의 식별정보를 나타내는 가상객체로 표시하는 단계와, 상기 3차원 사이트 맵 상의 가상객체를 선택하여 커뮤니케이션 연결하고자하는 상기 현장 유저 컴퓨팅 디바이스를 선택하는 인터페이스를 제공하는 단계를 더 포함한다.

또한, 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법은, 현장 유저 컴퓨팅 디바이스에서 수행하는 다중 사용자 간의 증강현실 커뮤니케이션 방법으로서, 적어도 한명 이상의 타 현장 유저 컴퓨팅 디바이스 및 메인 관리자 컴퓨팅 디바이스와 다자간 증강현실 커뮤니케이션을 실행하는 단계; 상기 현장 유저 컴퓨팅 디바이스의 현장 물리적 공간 내 위치 및 주변 공간정보를 파악하는 단계; 상기 파악된 공간 내 위치에 기초하여 공간좌표에 매칭된 가상 컨텐츠를 입력하여 증강현실 영상을 생성하고 표시하는 인터페이스를 제공하는 단계; 및 상기 인터페이스를 통해 제 1 공간좌표에 매칭된 제 1 가상 컨텐츠를 생성하고, 생성된 제 1 가상 컨텐츠를 상기 타 현장 유저 컴퓨팅 디바이스 또는 메인 관리자 컴퓨팅 디바이스에 송신하는 단계;를 포함한다.

또한, 상기 타 현장 유저 컴퓨팅 디바이스로부터 제 2 공간좌표에 매칭된 제 2 가상 컨텐츠를 수신하는 단계와, 상기 파악된 주변 공간정보에 기초하여 상기 제 2 공간좌표를 결정하고, 결정된 제 2 공간좌표 상에 상기 제 2 가상 컨텐츠를 오버레이하여 표시하는 단계를 더 포함한다.

본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법은, 다수의 사용자 간의 원격 증강현실 커뮤니케이션(Remote AR communication)을 병렬적으로 수행하고 실시간으로 공유함으로써, 적어도 하나 이상의 원격 관리자가 적어도 하나 이상의 현장 유저와 동시에 데이터 통신을 수행할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법은, 적어도 하나 이상의 원격 관리자가 적어도 하나 이상의 현장 유저와 실시간 병렬 데이터 통신을 수행함으로써, 복수의 현장 유저에 대한 가이던스(guidance)를 일괄 처리하여 제공할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법은, 원격에서 현장에 대한 작업 가이던스를 가상 컨텐츠에 기반해 효과적으로 제공하는 테이블 탑 시스템을 제공함으로써, 가상 컨텐츠를 통한 실감나는 화면을 통해 원격의 현장 유저에게 쉽고 명확한 작업 가이던스를 실시간으로 제공할 수 있고, 이를 통해 작업자가 보다 직관적으로 작업을 수행할 수 있는 효과가 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 시스템의 개념도이다.
도 2 및 3은 본 발명의 실시예에 따른 현장 유저 컴퓨팅 디바이스를 통해 증강현실 환경을 경험하는 개념도이다.
도 4는 본 발명의 실시예에 따른 관리자 컴퓨팅 디바이스를 통하여 가상 컨텐츠를 생성하는 모습의 일례이다.
도 5는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 6은 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 7은 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 8은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 9는 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 실시예에 따른 복수의 현장 유저 컴퓨팅 디바이스와 커뮤니케이션 연결을 수행하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 3차원 사이트 맵의 일례이다.
도 12는 본 발명의 실시예에 따른 증강현실 커뮤니케이션을 제공하는 인터페이스의 일례이다.
도 13은 본 발명의 실시예에 따른 현장 네비게이션 인터페이스를 제공하는 모습의 일례이다.
도 14는 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션이 수행되는 모습을 나타내는 개념도의 일례이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

- 다중 사용자 간의 증강현실 커뮤니케이션 시스템

다중 사용자 간의 증강현실 커뮤니케이션 시스템(이하, “커뮤니케이션 시스템”)은, 적어도 하나 이상의 현장 유저에게 적어도 하나 이상의 원격 관리자가 증강현실 환경 내에서 작업 가이드를 효과적으로 제공하기 위한 다자간 증강현실 커뮤니케이션 시스템이다.

여기서, 증강현실 환경은, 사용자나 커뮤니케이션 상대방 주변의 물리적 공간에 연관된 가상 컨텐츠가 삽입되어 생성된 환경을 의미하며, 증강현실(AR) 환경과 혼합현실 환경(MR)을 포함할 수 있다. 상기 가상 컨텐츠는, 컴퓨팅 디바이스에서 생성된 가상의 컨텐츠로, 라벨, 텍스트 정보, 이미지, 드로잉 객체 및 3 차원 엔티티를 포함하며, 상기 물리적 공간이나 물리적 공간을 촬영한 영상에 대응하여 생성된 증강/혼합 컨텐츠이다.

그리고 증강현실 커뮤니케이션(XR Communication)이란, 상기 가상 컨텐츠를 포함한 실감형 미디어(예컨대, 영상, 음성)에 기반하여 서로 다른 사용자가 컴퓨팅 디바이스를 통해 상호 의사소통을 위한 커뮤니케이션 데이터(Communication data)를 주고받는 활동을 의미한다.

즉, 실시예에 따른 커뮤니케이션 시스템은, 일반적인 커뮤니케이션의 의사소통 매개인 음성 및 화상과 더불어 물리적 공간이나 촬영영상에 연관된 가상 컨텐츠를 추가 매개로 통신하여, 증강현실 환경 내에서 다자간 커뮤니케이션을 지원할 수 있다.

커뮤니케이션 데이터(Communication data)는, 서로 다른 사용자(예컨대, 원격 관리자 및 현장 유저)의 컴퓨팅 디바이스가 네트워크를 통해 주고받는 음성, 영상 및/또는 가상 컨텐츠를 포함할 수 있다. 실시예에서, 커뮤니케이션 데이터는, 컴퓨팅 디바이스 및/또는 서버 등에 의해 네트워크를 기반으로 송수신될 수 있다.

실시예에서, 커뮤니케이션 시스템은, 사용자의 컴퓨팅 디바이스의 통신환경에 따라서 서로 다른 커뮤니케이션 데이터 통신방식을 제공하여, 통신환경에 최적화된 증강현실 커뮤니케이션 환경을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 시스템의 개념도이다.

한편, 도 1을 참조하면, 본 발명의 실시예에서 이러한 커뮤니케이션 시스템은, 컴퓨팅 디바이스(100), 서버 시스템(500) 및 네트워크를 포함할 수 있다.

자세히, 커뮤니케이션 시스템의 컴퓨팅 디바이스(100) 및 서버 시스템(500)은, 네트워크(Network)를 통하여 연결될 수 있다.

여기서, 네트워크는, 컴퓨팅 디바이스(100) 및 서버 시스템(500) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

- 서버 시스템

실시예에서 서버 시스템(500)은, 다중 사용자 간의 증강현실 커뮤니케이션 비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.

자세히, 서버 시스템(500)은, 사용자 컴퓨팅 디바이스(100)들과 통신 중계기 등 사이에서 네트워크 기반으로 송수신되는 커뮤니케이션 데이터의 교환을 중계할 수 있다.

실시예에서, 서버 시스템(500)은, 작업 현장에서 촬영된 촬영영상, 가상 컨텐츠 및/또는 음성 데이터 등을 포함하는 커뮤니케이션 데이터를, 다수의 컴퓨팅 디바이스(100)(관리자 컴퓨팅 디바이스(2000) 및/또는 현장 유저 컴퓨팅 디바이스(1000)) 간에 교환되도록 중계하여 다자 간 커뮤니케이션을 구현할 수 있다.

이러한 서버 시스템(500)은, 데이터 중계 서버, 데이터 가공 서버, 가상 컨텐츠 데이터베이스 및 공간정보 데이터베이스를 포함할 수 있다.

자세히, 데이터 중계 서버는, 데이터 중계를 위한 통신설비 등을 포함할 수 있으며, 유무선 통신 네트워크를 통해 커뮤니케이션 데이터를 컴퓨팅 디바이스(100) 간에 송수신하도록 중계할 수 있다.

예를 들어, 데이터 중계 서버는, 관리자 컴퓨팅 디바이스(2000)와 현장 컴퓨팅 디바이스(100) 간에 송수신되는 커뮤니케이션 데이터를 네트워크 통신속도에 맞추어 제공하는 중계 역할을 수행할 수 있다.

또한, 데이터 가공 서버는, 네트워크 속도에 따라 서로 다르게 커뮤니케이션 데이터를 가공하는 역할을 수행할 수 있다.

또한, 가상 컨텐츠 데이터베이스에는, 증강현실 환경이나, 혼합현실 환경을 구현하기 위한 가상 컨텐츠 데이터가 저장되어 있을 수 있다. 이러한 가상 컨텐츠 데이터베이스는, 상기 가상 컨텐츠를 실제객체(예컨대, 마커)나 공간좌표에 매칭시켜 가상 컨텐츠로 저장할 수 있다.

그리고 가상 컨텐츠 데이터베이스는, 컴퓨팅 디바이스(100) 요청시 상기 컴퓨팅 디바이스(100)의 주변 물리적 공간에 매칭된 가상 컨텐츠를 전달하는 가상 컨텐츠 소스 역할을 수행할 수 있다.

또한, 공간정보 데이터베이스는, 특정 영역의 물리적 공간을 스캔하거나 3차원 공간 모델링하여 물리적 공간에 대한 정보 데이터를 저장할 수 있다. 또한, 물리적 공간 내에 실제객체, 마커 등을 이미지 학습하여 획득된 특징 정보들이 더 저장될 수 있으며, 특징 정보들은 공간 정보와 매칭되어 저장될 수 있다.

즉, 서버 시스템(500)은, 컴퓨팅 디바이스(100)의 주변 물리적 공간에 대한 가상 컨텐츠 데이터와 공간정보 데이터를 함께 송신하여, 상기 컴퓨팅 디바이스(100)를 통해 증강현실 환경 또는 증강현실 환경을 제공할 수 있다.

이러한 서버 시스템(500)은, 적어도 하나 이상의 컴퓨팅 서버, 데이터베이스 서버로 구성될 수 있으며, 데이터 처리를 위한 프로세서들과, 커뮤니케이션 중계 서비스 제공을 위한 명령어들을 저장하는 메모리들을 포함할 수 있다.

- 컴퓨팅 디바이스

본 발명의 실시예에서 컴퓨팅 디바이스(100)는, 사용자에게 증강현실 환경을 제공하며, 이러한 증강현실 환경 내에서 음성, 화상 및 실제객체와 대응된 가상 컨텐츠를 이용하여 타사용자와 커뮤니케이션할 수 있는 증강현실 어플리케이션을 실행할 수 있다.

이하에서는, 설명의 편의를 위하여 컴퓨팅 디바이스(100)를 사용하는 주체, 환경 및/또는 목적에 따라서 그 역할을 구분하여 설명하기로 한다.

실시예에서 컴퓨팅 디바이스(100)는, 원격 관리자에 의해 사용되는 관리자 컴퓨팅 디바이스(2000) 및 작업 현장의 현장 유저에 의해 사용되는 현장 유저 컴퓨팅 디바이스(1000)로 구분될 수 있다.

여기서, 원격 관리자란, 작업이 진행되는 현장으로부터 원격의 위치에서 해당 현장 유저의 작업을 지시 또는 보조하는 작업 가이던스(guidance)를 가상 컨텐츠로 제공하는 자일 수 있다.

본 발명의 실시예에서 원격 관리자는, 현장 작업을 총괄 지휘할 수 있는 메인 관리자와 상기 메인 관리자의 지휘 아래에서 현장 작업을 지휘할 수 있는 서브 관리자를 포함할 수 있다.

자세히, 메인 관리자는, 적어도 하나 이상의 서브 관리자 및 적어도 하나 이상의 현장 유저를 관리할 수 있으며, 서브 관리자는, 상기 메인 관리자의 관리를 받으며 적어도 하나 이상의 현장 유저를 관리할 수 있다.

또한, 현장 유저란, 작업 현장에서 수신된 작업 가이던스를 통해 제공된 증강현실 환경을 기반으로 실제 작업을 수행하는 자일 수 있다.

이때, 관리자 컴퓨팅 디바이스(2000)는, 메인 관리자 컴퓨팅 디바이스 및 서브 관리자 컴퓨팅 디바이스를 포함할 수 있다.

자세히, 메인 관리자 컴퓨팅 디바이스는, 작업 현장으로부터 원격에 위치하는 메인 관리자의 컴퓨팅 디바이스(100)로서, 네트워크를 기반으로 서브 관리자 컴퓨팅 디바이스 및/또는 현장 유저 컴퓨팅 디바이스(1000)와 데이터를 송수신할 수 있다.

또한, 서브 관리자 컴퓨팅 디바이스는, 작업 현장으로부터 원격에 위치하는 서브 관리자의 컴퓨팅 디바이스(100)로서, 네트워크를 기반으로 메인 관리자 컴퓨팅 디바이스 및/또는 현장 유저 컴퓨팅 디바이스(1000)와 데이터를 송수신할 수 있다.

이하의 설명에서는, 메인 및/또는 서브 관리자 컴퓨팅 디바이스(관리자 컴퓨팅 디바이스(2000))가 현장 유저의 현장 컴퓨팅 디바이스(100)로부터 수신된 촬영영상에 기초한 증강현실 환경을 제공하고, 제공된 증강현실 인터페이스 환경 내에서 메인 관리자 입력에 따라 현장 유저에게 의사를 전달하기 위해 커뮤니케이션 데이터를 생성하는 원격 관리자의 컴퓨팅 디바이스(100)임을 기준으로 설명한다.

도 2 및 3은 본 발명의 실시예에 따른 현장 유저 컴퓨팅 디바이스(1000)를 통해 증강현실 환경을 경험하는 개념도이다.

보다 상세히, 도 2 및 3을 참조하면, 본 발명의 실시예에서 현장 유저 컴퓨팅 디바이스(1000)의 증강현실 어플리케이션은, 사용자 주변의 물리적 공간을 촬영한 촬영영상을 관리자 컴퓨팅 디바이스(2000)로 송신할 수 있다.

또한, 현장 유저 컴퓨팅 디바이스(1000)의 증강현실 어플리케이션은, 관리자 컴퓨팅 디바이스(2000)로부터 상기 촬영영상을 기반으로 생성되는 가상 컨텐츠를 획득할 수 있다.

그리고 현장 유저 컴퓨팅 디바이스(1000)의 증강현실 어플리케이션은, 상기 촬영영상에 가상 컨텐츠가 오버레이된 증강현실 환경을 제공하는 증강영상을 제공할 수 있다.

실시예에서, 증강현실 환경을 제공하는 증강영상은, 가상 컨텐츠(라벨, 텍스트 정보, 이미지, 드로잉 객체, 3 차원 엔티티 및 매뉴얼 등) 및/또는 음성 데이터 등을 포함할 수 있다.

이러한 증강현실 어플리케이션을 제공하는 현장 유저 컴퓨팅 디바이스(1000)는, 실시예에 따라서 웨어러블 타입 또는 모바일 타입의 컴퓨팅 디바이스로 구현될 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.

도 4는 본 발명의 실시예에 따른 관리자 컴퓨팅 디바이스(2000)를 통하여 가상 컨텐츠를 생성하는 모습의 일례이다.

또한, 도 4을 참조하면, 본 발명의 실시예에서 관리자 컴퓨팅 디바이스(2000)의 증강현실 어플리케이션은, 복수의 현장 유저 컴퓨팅 디바이스(1000)로부터 획득되는 촬영영상을 실시간으로 공유할 수 있다.

또한, 관리자 컴퓨팅 디바이스(2000)의 증강현실 어플리케이션은, 공유되는 촬영영상에 기초하여 증강영상을 생성하는 인터페이스를 제공할 수 있다.

그리고 관리자 컴퓨팅 디바이스(2000)의 증강현실 어플리케이션은, 제공된 인터페이스에 기반하여 생성된 증강영상을 현장 유저 컴퓨팅 디바이스(1000)로 송신하여, 상기 촬영영상에 기초한 증강현실 환경을 제공할 수 있다.

이러한 증강현실 어플리케이션을 제공하는 관리자 컴퓨팅 디바이스(2000)는, 실시예에 따라서 데스크 탑 또는 테이블 탑 타입의 컴퓨팅 디바이스로 구현될 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.

한편, 위와 같은 컴퓨팅 디바이스(100)는, 증강현실 어플리케이션이 설치된 다양한 타입(예컨대, 웨어러블 타입, 모바일 타입, 데스크 탑 타입 또는 테이블 탑 타입)의 컴퓨팅 디바이스(100)를 포함할 수 있다.

1. 웨어러블 타입의 컴퓨팅 디바이스(101, 102)

도 2는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스(101, 102)를 통해 증강현실 환경을 경험하는 개념도이고, 도 5는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스(101, 102)의 내부 블록도이다.

본 발명의 실시예에서 웨어러블 타입의 컴퓨팅 디바이스(101, 102)는, 현장 유저 컴퓨팅 디바이스(1000)로 사용될 수 있다.

실시예에 따른 컴퓨팅 디바이스(101, 102)는, 스마트 글래스(smart glasses display)나 헤드 마운티드 디스플레이(HMD)와 같은 웨어러블 타입의 컴퓨팅 디바이스(101, 102)를 포함할 수 있다.

스마트 글라스 타입의 컴퓨팅 디바이스(101)는, 착용되는 동안 사용자가 주변 물리적 공간을 볼 수 있도록 광을 투과하면서 사용자의 시야 상에 가상 컨텐츠(예컨대, 가상객체 이미지)를 표시하는 글라스를 포함하는 디스플레이 시스템을 포함할 수 있다.

자세히, 실시예의 컴퓨팅 디바이스(101)는, 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.

예를 들어, 도 2를 참조하면, 컴퓨팅 디바이스(101)의 증강현실 어플리케이션은, 주변 물리적 공간(20)에서 실제객체(RO)와 실제객체 내 마커(MK) 등을 이미지 인식할 수 있으며, 인식된 마커(MK)에 대응되는 사용자의 시야에 가상 컨텐츠(VC1)을 표시하도록 제어할 수 있다.

또한, 증강현실 어플리케이션은, 학습된 실제객체를 인식할 수 있으며, 인식된 실제객체의 위치에 대응되는 사용자의 시야에 가상 컨텐츠(VC2)를 표시하도록 제어할 수 있다.

또한, 증강현실 어플리케이션은, 학습된 실제객체나 마커(MK)를 통해 물리적 공간을 인식할 수 있으며, 인식된 공간의 특정 위치에 매칭된 가상 컨텐츠를 사용자의 시야의 대응되도록 표시할 수 있다.

이러한 가상 컨텐츠는 컴퓨팅 디바이스(101)에서 사용자 시야의 일부분에 디스플레이 될 수 있는 이미지 또는 영상과 같은 시각 컨텐츠를 포함할 수 있다. 예를 들어, 가상 컨텐츠는 물리적 공간의 다양한 부분을 오버레이하는 가상객체 이미지들을 포함할 수 있다. 이러한 가상객체 이미지는 2D 이미지 또는 3D 이미지로 렌더링 될 수 있다.

헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(102)는, 디스플레이 시스템에 의해서만, 디스플레이된 이미지를 볼 수 있도록 주변 물리적 공간에 대한 광을 차단할 수 있다. 이러한 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(102)는, 3차원 장면을 인식시키기 위해 좌안과 우안 디스플레이 각각에 시차에 오프셋을 둔 서로 다른 이미지를 출력함으로써, 3차원 영상을 출력할 수 있다.

그리고 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(102) 또한, 주변 물리적 공간을 촬영한 영상 및 상기 촬영한 영상을 기초로 생성된 가상 컨텐츠를 3차원 영상으로 출력함으로써, 증강현실 환경을 제공할 수 있다.

이하에서는, 이러한 웨어러블 타입 디바이스 중 스마트 글라스 타입의 컴퓨팅 디바이스(101)를 중심으로 구체적인 구성요소를 설명하기로 한다.

도 5를 참조하면, 예시적인 구현에 따른 컴퓨팅 디바이스(101)는, 증강현실 어플리케이션을 포함하는 메모리(1000), 프로세서 어셈블리(2000), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 또한, 상기 구성요소들은 컴퓨팅 디바이스(101)의 하우징 내에 포함되도록 구현될 수 있다.

메모리(1000)에는, 증강현실 어플리케이션(111)이 저장되며, 증강현실 어플리케이션(111)에는 증강현실 환경을 제공하기 위한 가상 컨텐츠, 이미지 버퍼, 위치 엔진, 가상 컨텐츠 디스플레이 엔진 등이 포함될 수 있다. 즉, 메모리(1000)는 증강현실 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.

실시예에서 증강현실 어플리케이션(111)은, 증강현실 환경에 기초하여 커뮤니케이션을 수행하기 위한 커뮤니케이션 어플리케이션을 포함할 수 있다. 커뮤니케이션 어플리케이션은, 다중 사용자 간의 증강현실 커뮤니케이션 서비스를 제공하기 위한 각종 어플리케이션, 엔진, 데이터 및 명령어를 포함할 수 있다.

또한, 메모리(1000)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(1000)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(1000)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.

프로세서 어셈블리(2000)는, 증강현실 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(1000)에 저장된 증강현실 어플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.

실시예에서 프로세서 어셈블리(2000)는, 다중 사용자 간의 증강현실 커뮤니케이션 서비스를 제공하기 위하여 메모리(1000)의 증강현실 어플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.

예를 들어, 프로세서 어셈블리(2000)는, 이미지 센서를 기반으로 획득된 영상으로부터 실제객체를 인식할 수 있고, 인식된 실제객체에 가상 컨텐츠를 매칭한 증강현실 영상을 생성하고 표시하도록 컴퓨팅 디바이스(101)의 구성요소들을 제어할 수 있다.

이러한 프로세서 어셈블리(2000)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(2000)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.

통신 모듈(130)은, 다른 컴퓨팅 장치(예컨대, 서버 시스템(500))와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.

자세히, 통신 모듈(130)은, 증강현실 환경을 구현하기 위한 가상 컨텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.

실시예에서 통신 모듈(130)은, 다중 사용자 간의 증강현실 커뮤니케이션 서비스와 관련된 커뮤니케이션 데이터를 서버 시스템(500) 및/또는 다른 컴퓨팅 디바이스(100)와 송수신할 수 있다.

이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.

센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.

이미지 센서(161)는, 컴퓨팅 디바이스(101) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.

실시예에서 이미지 센서(161)는, 다중 사용자 간의 증강현실 커뮤니케이션 서비스에 관련된 영상을 촬영하여 획득할 수 있다.

또한, 이미지 센서(161)는, 컴퓨팅 디바이스(101)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 컴퓨팅 디바이스(101)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간을 촬영할 수 있다.

이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서(161)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.

또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.

이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.

IMU(163)는 컴퓨팅 디바이스(101)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 컴퓨팅 디바이스(101) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.

또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.

또한, 일부 구현들에서, 증강현실 어플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.

오디오 센서(165)는, 컴퓨팅 디바이스(101) 주변의 소리를 인식할 수 있다.

자세히, 오디오 센서(165)는, 컴퓨팅 디바이스(101) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.

실시예에서 오디오 센서(165)는 증강현실 커뮤니케이션 서비스를 통해 전송할 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.

인터페이스 모듈(140)은, 컴퓨팅 디바이스(101)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.

이러한 인터페이스 모듈(140)을 통해 컴퓨팅 디바이스(101)는, 여러 입출력 장치들과 연결될 수 있다.

예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.

예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 컴퓨팅 디바이스(101) 내부에 설치되는 실시예도 포함될 수 있다.

이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.

입력 시스템(150)은 다중 사용자 간의 증강현실 커뮤니케이션 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.

자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.

또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.

디스플레이 시스템(170)은, 컴퓨팅 디바이스(101) 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.

이러한 디스플레이 시스템(170)은, 컴퓨팅 디바이스(101)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이(171)와, 우안에 대응되는 우측 디스플레이(172)를 포함할 수 있으며, 좌측 디스플레이(171)와 우측 디스플레이(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 컨텐츠로 출력함으로써, 사용자는 가상 컨텐츠를 3차원 이미지로 인식할 수 있다.

실시예에서 디스플레이 시스템(170)은, 다중 사용자 간의 증강현실 커뮤니케이션 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.

이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이러한 웨어러블 타입 컴퓨팅 디바이스(101)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자가 사용하기에 유리할 수 있다.

2. 모바일 타입 컴퓨팅 디바이스(200)

도 3은 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스(200)를 통해 증강현실 환경을 경험하는 개념도이고, 도 6은 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스(200)의 내부 블록도이다.

본 발명의 실시예에서 모바일 타입 컴퓨팅 디바이스(200)는, 현장 유저 컴퓨팅 디바이스(1000)로 사용될 수 있다.

다른 예시에서 컴퓨팅 디바이스(200)는, 증강현실 어플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다. 이러한 모바일 타입 컴퓨팅 디바이스(200)는, 이미지 센서로 주변 물리적 공간의 영상을 캡처하고, 디스플레이 시스템을 통해 캡처된 영상과 물리적 공간에 매칭되어 표시되는 가상 컨텐츠를 표시하여 증강현실 환경을 사용자에게 제공할 수 있다.

예를 들어, 컴퓨팅 디바이스(200)는 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC), 등이 포함될 수 있다.

도 3을 참조하면, 모바일 타입 컴퓨팅 디바이스(200)의 증강현실 어플리케이션은, 주변 물리적 공간(20)에서 실제객체(RO)와 마커(MK) 등을 이미지 캡처하고 디스플레이 시스템을 제어하여 표시할 수 있다. 또한, 증강현실 어플리케이션은, 인식된 마커(MK)에 대응되는 위치에 가상 컨텐츠(VC1)을 표시하도록 제어할 수 있다. 또한, 증강현실 어플리케이션은, 특정 실제객체를 학습하여 인식할 수 있으며, 인식된 특정 실제객체의 위치에 대응되는 사용자의 시야에 가상 컨텐츠(VC2)를 표시하도록 제어할 수 있다.

도 6을 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(200)는, 메모리(210), 프로세서 어셈블리(220), 통신 모듈(230), 인터페이스 모듈(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(200)의 하우징 내에 포함되도록 구성될 수 있다.

모바일 타입 컴퓨팅 디바이스(200)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(101)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 타입 컴퓨팅 디바이스(101)와의 차이점을 중심으로 설명한다.

이러한 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다.

자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.

예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 컴퓨팅 디바이스(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 컴퓨팅 디바이스(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

또한, 센서 시스템(260)은, 이미지 센서(261)를 포함하며, 예시적으로 이미지 센서(261)는 컴퓨팅 디바이스(200)의 하우징에 일측 면과 타측 면에 배치될 수 있다.

이때, 일측 면의 이미지 센서가 물리적 공간을 향해 배향되어 물리적 공간을 촬영한 영상을 캡처할 수 있으며, 타측 면의 이미지 센서는 사용자 측을 향해 배향되어 사용자 시야, 제스처 등을 촬영할 수 있다.

이러한 모바일 타입 컴퓨팅 디바이스(200)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자에게 적합할 수 있다.

3. 데스크 탑 타입 컴퓨팅 디바이스(300)

도 7은 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스(300)의 내부 블록도이다.

데스크 탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(101)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 타입 컴퓨팅 디바이스(101)와의 차이점을 중심으로 설명한다.

도 7을 참조하면, 다른 예시에서 컴퓨팅 디바이스(300)는, 증강현실 어플리케이션(311)이 설치된 고정형 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 다중 사용자 간의 증강현실 커뮤니케이션 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 타 사용자의 컴퓨팅 디바이스(300)에서 주변 물리적 공간을 촬영한 영상을 수신하고, 수신된 영상 및 상기 물리적 공간에 매칭된 가상 컨텐츠를 증강하여 표시함으로써, 증강현실 환경을 사용자에게 제공할 수 있다.

또한, 데스크 탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 포함하여, 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다.

예시적으로, 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 다양한 통신 프로토콜로 마우스(351), 키보드(352), 제스처 입력 컨트롤러, 이미지 센서(361)(예컨대, 카메라) 및 오디오 센서(365) 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다.

또한, 데스크 탑 타입의 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 통해 외부 출력 장치와 연결될 수 있으며, 예컨대, 디스플레이 장치(370), 오디오 출력 장치 등에 연결될 수 있다.

또한, 본 발명의 실시예에서 데스크 탑 타입의 컴퓨팅 디바이스(300)는, 관리자 컴퓨팅 디바이스(2000)(메인 관리자 컴퓨팅 디바이스 및/또는 서브 관리자 컴퓨팅 디바이스)로 사용될 수 있다.

예시적인 구현으로, 데스크 탑 컴퓨팅 디바이스(300)의 증강현실 어플리케이션(311)은, 디스플레이 장치(370)를 통해 타유저의 컴퓨팅 디바이스(300)의 영상을 획득하여 출력할 수 있으며, 상기 영상에 대응한 사용자 입력을 수신하고 수신된 사용자 입력에 따라 영상에 대응되는 가상 컨텐츠를 생성할 수 있다.

또한, 증강현실 어플리케이션(311)은, 영상의 물리적 공간 내 센서 시스템(260)이나 기 매칭된 가상 컨텐츠 소스로부터 데이터를 수신하고, 수신된 데이터를 영상과 매칭된 가상 컨텐츠로 생성할 수 있다.

또한, 증강현실 어플리케이션(311)은, 이와 같이 생성된 가상 컨텐츠를 디스플레이 장치에서 출력되는 영상에 오버레이하여 출력함으로써, 사용자에게 증강현실 환경을 제공할 수 있다.

또한, 증강현실 어플리케이션(311)은, 통신 모듈(330)을 통해 생성된 가상 컨텐츠를 커뮤니케이션 데이터로 송신하여, 음성, 화상과 더불어 물리적 공간에 대응된 가상 컨텐츠를 의사소통을 위한 매개로 활용할 수 있다.

예시적인 구현에 따른 데스크 탑 타입 컴퓨팅 디바이스(300)는, 메모리(310), 프로세서 어셈블리(320), 통신 모듈(330), 유저 인터페이스 시스템(350) 및 입력 시스템(340)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다.

데스크 탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(300)의 구성요소에 대한 설명으로 대체하기로 한다.

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 현장 작업자의 컴퓨팅 디바이스(1000)와 연동하여 원격으로 지시나 필요한 정보를 전달하는 원격 관지라가 사용하기 유리할 수 있다.

4. 테이블 탑 타입 컴퓨팅 디바이스(400)

예시적 구현에 따르면 테이블 탑 타입의 컴퓨팅 디바이스(400)는, 기존 데스크 탑 타입의 컴퓨팅 디바이스(300)와 다른 새로운 형상과 구조의 테이블 탑(Tabletop) 형상으로 구현될 수 있고, 이러한 경우 테이블 탑 내에 포함된 시스템을 통해 증강현실 환경을 제공할 수 있다.

본 발명의 실시예에서 테이블 탑 타입의 컴퓨팅 디바이스(400)는, 서브 관리자 컴퓨팅 디바이스로 사용될 수 있다.

테이블 탑 타입 컴퓨팅 디바이스(400)의 상기 구성요소에 대한 설명 중 중복되는 내용은 데스크 탑 타입 컴퓨팅 디바이스(300)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 데스크 탑 타입 컴퓨팅 디바이스(300)와의 차이점을 중심으로 설명한다.

도 4는 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스(400)를 통해 증강현실 커뮤니케이션을 경험하는 개념도이고, 도 8은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스(400)의 내부 블록도이다.

테이블 탑(Tabletop) 타입 컴퓨팅 디바이스(400)란, 원격 관리자가 현장 작업자의 컴퓨팅 디바이스(1000)로부터 수신되는 영상을 용이하게 확인하고, 해당 영상에 표시되는 객체에 대한 작업 가이던스를 가상 컨텐츠를 기반으로 수월하게 입력하는 인터페이스 시스템을 제공하는 장치일 수 있다.

즉, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 타 유저의 컴퓨팅 디바이스(100)로부터 획득되는 영상 상에, 현재 위치에서 획득되는 영상의 실재객체를 기반으로 생성되는 가상 컨텐츠를 표시한 증강/혼합현실 영상을 생성 및 제공하는 시스템일 수 있다.

도 4 및 도 8을 참조하면, 예시적인 테이블 탑 타입 컴퓨팅 디바이스(400)는, 메모리(410), 프로세서 어셈블리(420), 통신 모듈(430), 인터페이스 모듈(440), 입력 시스템(450), 센서 시스템(460) 및 디스플레이 시스템(470)을 포함할 수 있다.

이러한 구성요소들은 컴퓨팅 디바이스(400)의 하우징 내에 포함되도록 구성될 수 있다. 테이블 탑 타입 컴퓨팅 디바이스(400)의 상기 구성요소에 대한 설명 중 중복되는 내용은 상기 기술한 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 차이점을 중심으로 설명한다.

도 4를 보면, 예시의 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470)을 통해 타 컴퓨팅 디바이스(100)에서 촬영된 촬영영상과, 상기 촬영영상에 연관된 가상 컨텐츠를 출력하여 증강현실 환경을 사용자에게 제공할 수 있다.

또한, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470)의 디스플레이(471) 상에 터치 센서(473)를 통해 촬영영상에 대한 사용자의 포인팅, 드래그 등의 터치 입력을 받는 입출력 인터페이스를 제공할 수 있다.

또한, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470) 상에 배치된 센서 시스템(460)(예컨대, 이미지 센서(461))를 통해 사용자의 손(LH, RH)의 제스처 입력을 받을 수 있으며, 가이드 도구(Guide tool, GT)에 따른 동작 입력을 받을 수 있다. 이러한 제스처 입력과 가이드 도구의 동작 입력 또한 디스플레이(471)에 촬영영상에 대응하여 입력될 수 있으며, 컴퓨팅 디바이스(300)는 촬영영상에 표시된 실제객체 이미지에 매칭하여 상기 사용자 입력을 감지할 수 있다.

즉, 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스(400)의 증강현실 어플리케이션(411)은, 센서 시스템(460)을 통해 획득된 사용자 입력 기반으로 가상 컨텐츠를 시각화하여 제공하는 서비스를 구현하기 위한 일련의 프로세스를 실행할 수 있다. 이때, 사용자 입력은 디스플레이에 표시된 촬영영상에 대응하여 수행되기 때문에, 입출력 인터페이스를 함께 제공함으로써, 사용자는 좀더 직관적으로 촬영영상에 대한 사용자 입력이 가능할 수 있다.

- 다중 사용자 간의 증강현실 커뮤니케이션 방법

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법에 대해 상세히 설명하고자 한다.

이하에 실시예에서는, 메인 관리자 컴퓨팅 디바이스(이하, “메인 디바이스”)를 데스크 탑 타입 컴퓨팅 디바이스(300)에 기준하여 설명하고, 서브 관리자 컴퓨팅 디바이스(이하, “서브 디바이스”)를 테이블 탑 타입 컴퓨팅 디바이스(400)에 기준하여 설명한다.

또한, 현장 유저 컴퓨팅 디바이스(1000)(이하, “현장 디바이스”)를 모바일 타입 컴퓨팅 디바이스(200)에 기준하여 설명하나, 이에 한정되는 것은 아니다.

도 9는 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, 본 발명의 실시예예서 메인 디바이스는, 증강현실 기반의 증강현실 커뮤니케이션을 수행하기 위한 증강현실 어플리케이션(311)을 실행할 수 있다.

실행된 메인 디바이스의 증강현실 어플리케이션(311)은, 복수의 현장 디바이스(1000)와 커뮤니케이션 연결을 수행할 수 있다. (S101)

자세히, 실시예로 증강현실 어플리케이션(311)은, 복수의 현장 디바이스(1000) 와 커뮤니케이션 연결하는 연동 인터페이스를 제공할 수 있다.

그리고 증강현실 어플리케이션(311)은, 제공된 연동 인터페이스를 기반으로 현장 디바이스(1000)로부터 증강현실 커뮤니케이션을 요청하는 요청 신호를 수신할 수 있고, 반대로 현장 디바이스(1000)로부터 수신된 요청 신호에 대한 수락 신호를 생성하여 송신할 수 있다.

이때, 증강현실 어플리케이션(311)은, 요청 신호에 대한 수락 신호가 생성되어 현장 디바이스(1000)로 송신된 경우, 해당 현장 디바이스(1000)와의 커뮤니케이션 연결을 수행할 수 있다.

다른 실시예로, 증강현실 어플리케이션(311)은, 연동 인터페이스를 기반으로 적어도 하나 이상의 현장 유저를 검색할 수 있는 현장 유저 검색 인터페이스를 제공할 수 있고, 제공된 현장 유저 검색 인터페이스에 기초하여 커뮤니케이션 연결을 수행할 수 있다.

도 10은 본 발명의 실시예에 따른 복수의 현장 유저 컴퓨팅 디바이스(1000)와 커뮤니케이션 연결을 수행하는 방법을 설명하기 위한 도면이다.

자세히, 도 10을 참조하면, 증강현실 어플리케이션(311)은, 현장 유저 검색 인터페이스를 통하여 현장 유저정보를 검색할 수 있다.

여기서, 현장 유저정보란, 현장 유저의 이름, 전문분야, 작업 위치, 활성화 여부(커뮤니케이션 연결이 가능한 상태인지 여부에 대한 정보) 및/또는 커뮤니케이션 연결 상태(몇 명의 관리자와 커뮤니케이션 연결이 되어 가이드를 제공받고 있는지에 대한 정보) 등을 포함하는 정보일 수 있다.

실시예에서, 증강현실 어플리케이션(311)은, 현장 유저 검색 인터페이스의 검색창에 유저 이름 또는 유저 식별코드(예컨대, 유저에게 부여된 관리번호 또는 전화번호 등)를 입력하여 검색을 수행할 수 있다.

또한, 증강현실 어플리케이션(311)은, 검색된 적어도 하나 이상의 현장 유저정보 중 적어도 하나를 선택하여 해당 현장 유저의 현장 디바이스(1000)로 커뮤니케이션 요청 신호를 송신할 수 있다.

그리고 증강현실 어플리케이션(311)은, 요청 신호를 송신한 현장 디바이스(1000)로부터 수락 신호를 수신하면, 해당 현장 디바이스(1000)와의 커뮤니케이션 연결을 수행할 수 있다.

이때, 증강현실 어플리케이션(311)은, 적어도 하나 이상의 현장 유저 디바이스와 커뮤니케이션 연결을 수행할 수 있고, 연결된 현장 유저 디바이스들과의 커뮤니케이션을 병렬적으로 동시에 수행할 수 있다.

이와 같은, 본 발명의 실시예에서 증강현실 어플리케이션(311)은, 다수의 사용자 간의 원격 증강현실 커뮤니케이션(Remote AR communication)을 병렬적으로 수행하고 실시간으로 공유하여, 적어도 하나 이상의 원격 관리자가 적어도 하나 이상의 현장 유저와 동시에 데이터 통신을 수행하게 할 수 있다.

또 다른 실시예에서, 증강현실 어플리케이션(311)은, 현장의 물리적 공간을 3차원 모델링하여 형상화한 지도인 3차원 사이트 맵에 기반하여 커뮤니케이션 연결을 수행할 수 있다.

도 11은 본 발명의 실시예에 따른 3차원 사이트 맵의 일례이다.

자세히, 도 11을 참조하면, 증강현실 어플리케이션(311)은, 3차원 스캐너 및 카메라를 이용하여 작업 현장의 물리적 공간을 스캔해 3차원 모델링을 수행할 수 있고, 이를 통해 3차원 사이트 맵을 생성할 수 있다.

즉, 실시예에서 3차원 사이트 맵이란, 작업 현장의 물리적 공간을 3차원 모델링하여 생성한 지도일 수 있다.

이때, 증강현실 어플리케이션(311)은, 현장 디바이스(1000)에서 지속적으로 획득되는 촬영영상을 기초로, 생성된 3차원 사이트 맵을 업데이트할 수 있다.

예를 들면, 증강현실 어플리케이션(311)은, SLAM(Simultaneous localization and mapping) 기술을 이용하여 현장 디바이스(1000)에서 촬영된 영상을 3차원 사이트 맵에 지속적으로 정합할 수 있고, 이를 통해 3차원 사이트 맵을 업데이트할 수 있다.

또한, 증강현실 어플리케이션(311)은, 생성된 3차원 사이트 맵을 디스플레이를 통하여 출력할 수 있다.

이때, 증강현실 어플리케이션(311)은, 현장 디바이스(1000)로부터 획득되는 촬영영상 및/또는 위치 정보를 기반으로, 해당 현장 디바이스(1000)에 매칭되는 현장 유저의 실제위치에 매칭된 3차원 사이트 맵 상에서 가상위치에 상기 현장 유저의 현장 유저정보를 가상객체(예컨대, 현장 유저를 표시하는 가상 아이콘 등)로 표시할 수 있다.

여기서, 현장 디바이스(1000)로부터 획득되는 위치 정보는, GPS(Global Positioning System), 비콘(beacon) 및/또는 위치 센서 등을 통하여 획득될 수 있다.

또한, 증강현실 어플리케이션(311)은, 표시된 가상객체에 대한 선택 입력을 감지하면, 해당 가상객체에 매칭되는 현장 유저의 현장 유저정보를 보다 상세히 확인하거나, 상기 현장 유저에게 커뮤니케이션 연결을 요청할 수 있는 버튼(button)을 제공할 수 있다.

이와 같이, 본 발명의 실시예에서 증강현실 어플리케이션(311)은, 3차원 사이트 맵을 기반으로 현장 디바이스(1000)와 커뮤니케이션 연결을 수행할 수 있게 하여, 관리자가 특정 상황(예컨대, 특정 위치에서의 작업이 필요한 상황 등)에 가장 적합한 현장 유저를 신속하게 파악하여 커뮤니케이션 연결을 요청하게 할 수 있다.

또한, 복수의 현장 디바이스(1000)와 커뮤니케이션 연결을 수행한 증강현실 어플리케이션(311)은, 복수의 현장 디바이스(1000)로부터 촬영된 영상인 기초 촬영영상을 수신하여 실시간으로 표시할 수 있다. (S103)

자세히, 증강현실 어플리케이션(311)은, 복수의 현장 디바이스(1000)로부터 복수의 기초 촬영영상을 수신할 수 있고, 수신된 촬영영상들을 디스플레이 화면의 구분된 소정의 영역(제 1 영역, 제 2 영역, … 제 n(n=1, 2, 3, …) 영역)으로 각각 표시할 수 있다.

보다 상세히, 증강현실 어플리케이션(311)은, 적어도 하나 이상의 현장 디바이스(1000)와 증강현실 커뮤니케이션을 수행하기 위한 증강현실 커뮤니케이션 인터페이스를 제공할 수 있다.

자세히, 증강현실 어플리케이션(311)은, 디스플레이 화면을 소정의 영역으로 구분할 수 있다.

또한, 증강현실 어플리케이션(311)은, 구분된 소정의 영역 각각에 복수의 현장 디바이스(1000)로부터 수신된 기초 촬영영상 각각을 출력할 수 있다.

즉, 증강현실 어플리케이션(311)은, 디스플레이 화면을 소정의 영역으로 구분하고, 각 영역에 복수의 촬영영상 각각을 배정하여 표시함으로써, 복수의 촬영영상을 효과적으로 일괄 확인하게 할 수 있다.

또한, 실시예에 따른 증강현실 어플리케이션(311)은, 적어도 하나 이상의 현장 디바이스(1000)와 증강현실 커뮤니케이션을 수행할 수 있다. (S105)

도 12는 본 발명의 실시예에 따른 증강현실 커뮤니케이션을 제공하는 인터페이스의 일례이다.

자세히, 도 12를 참조하면, 증강현실 어플리케이션(311)은, 적어도 하나 이상의 현장 디바이스(1000)와 증강현실 커뮤니케이션을 수행하게 할 수 있는 증강현실 커뮤니케이션 인터페이스를 제공할 수 있다. 사용자는 제공된 인터페이스를 통하여 커뮤니케이션 연결이 수행된 복수의 현장 디바이스(1000) 중 적어도 하나의 현장 디바이스(1000)를 선택할 수 있다.

예를 들면, 증강현실 어플리케이션(311)은, 증강현실 커뮤니케이션 인터페이스를 통하여 소정의 영역 상에 각각 표시된 복수의 기초 촬영영상 중, 적어도 하나 이상을 선택하는 사용자 입력을 감지할 수 있다. 그리고 증강현실 어플리케이션(311)은, 감지된 사용자 입력에 기반하여 선택된 적어도 하나 이상의 촬영영상에 매칭되는 현장 디바이스(1000)와 증강현실 커뮤니케이션을 실행할 수 있다.

이때, 증강현실 어플리케이션(311)은, 복수의 촬영영상이 선택된 경우, 선택된 복수의 촬영영상 각각에 매칭되는 현장 디바이스(1000)들과 병렬적으로 동시에 증강현실 커뮤니케이션(예컨대, 음성 데이터 교환, 가상 컨텐츠 공유 등)을 수행할 수 있다.

여기서, 증강현실 어플리케이션(311)은, 가상 컨텐츠에 기반한 증강현실 커뮤니케이션을 수행하는 경우에는, 하나의 촬영영상 즉, 단일 현장 디바이스(1000)를 선택할 수 있다.

자세히, 증강현실 어플리케이션(311)은, 가상 컨텐츠를 포함하는 커뮤니케이션 데이터를 교환하는 경우, 증강현실 커뮤니케이션 인터페이스를 통하여 하나의 기초 촬영영상을 선택할 수 있다.

또한, 증강현실 어플리케이션(311)은, 선택된 촬영영상에 대한 가상 컨텐츠를 생성하는 인터페이스를 제공할 수 있다.

그리고 증강현실 어플리케이션(311)은, 제공된 인터페이스를 기반으로 메인 관리자의 입력에 따라서 해당 촬영영상에 대한 가상 컨텐츠를 생성할 수 있다.

또한, 증강현실 어플리케이션(311)은, 생성된 가상 컨텐츠를 포함하는 커뮤니케이션 데이터를 생성할 수 있고, 생성된 가상 컨텐츠를 포함하는 커뮤니케이션 데이터를 해당 촬영영상에 매칭되는 현장 디바이스(1000)로 송신하여 표시할 수 있다.

이와 같이, 증강현실 어플리케이션(311)은, 교환되는 커뮤니케이션 데이터의 형태에 따라서 최적화된 방식으로 증강현실 커뮤니케이션을 수행할 수 있고, 이를 통해 증강현실 커뮤니케이션의 퀄리티를 향상시킬 수 있다.

또한, 실시예에 따른 증강현실 어플리케이션(311)은, 3차원 사이트 맵에 기초하여, 복수의 현장 디바이스(1000)로부터 획득된 촬영영상에 포함되는 영역 밖 현장의 물리적 공간에 매칭되는 가상 컨텐츠를 생성할 수 있다.

일반적으로, 작업 현장에서는 예기치 못한 이상 상황이 현장 어디에서도 빈번하게 발생할 수 있다. 이러한 이상 상황이 발생한 경우, 관리자는 상황에 따라서 적어도 하나 이상의 현장 유저가 이상 상황이 발생한 위치로 이동하여 작업을 수행하도록 하는 가이던스를 송신하고자 할 수 있다.

도 13은 본 발명의 실시예에 따른 현장 네비게이션 인터페이스를 제공하는 모습의 일례이다.

예시적 실시예에 따른 증강현실 어플리케이션(311)은, 먼저 증강현실 커뮤니케이션 인터페이스를 통하여 3차원 사이트 맵을 출력할 수 있다.

또한, 증강현실 어플리케이션(311)은, 출력된 3차원 사이트 맵 상에서 문제가 발생한 이상 위치를 지정하고, 적어도 하나 이상의 현장 유저를 선택하여 해당 이상 위치로 안내할 수 있는 현장 네비게이션 인터페이스를 제공할 수 있다.

자세히, 증강현실 어플리케이션(311)은, 3차원 사이트 맵 상의 특정 지점에 대한 사용자(메인 관리자)의 입력을 기반으로, 이상 위치를 나타내는 포인팅 위치를 결정할 수 있다. 예를 들어, 증강현실 어플리케이션(311)은, 3차원 사이트 맵에서 사용자가 선택한 특정 지점에 대한 가상 좌표를 실제 현장의 물리적 공간에 대응되는 실제 좌표로 변환함으로써, 가상의 3차원 사이트 맵의 사용자 입력에 따른 현장 물리적 공간의 실제위치를 지정하는 인터페이스를 제공할 수 있다. 즉, 사용자는 3차원 사이트 맵의 가상 좌표에 대한 포인팅 입력을 통해, 현장 유저가 이동할 실제 물리적 공간의 위치를 지정할 수 있다.

또한, 증강현실 어플리케이션(311)은, 3차원 사이트 맵 상에 가상객체를 통하여 표시된 복수의 현장 유저 중, 적어도 하나 이상의 현장 유저를 선택하는 사용자 입력에 기반하여, 상기 포인팅 위치로의 경로 안내를 제공할 적어도 하나 이상의 현장 디바이스(1000)를 결정할 수 있다.

즉, 증강현실 어플리케이션(311)은, 3차원 사이트 맵 상에 표시된 복수의 현장 유저 중 적어도 하나 이상을 선택하는 사용자 입력을 획득할 수 있고, 획득된 사용자 입력에 기반하여 선택된 현장 유저에 매칭되는 현장 디바이스(1000)를 검출할 수 있다.

또한, 증강현실 어플리케이션(311)은, 결정된 포인팅 위치에 도달하기 위한 각 유저별 최적 경로를 탐색할 수 있다.

자세히, 증강현실 어플리케이션(311)은, 3차원 사이트 맵의 가상 공간에서 현장 유저의 실제위치에 매칭된 제 1 가상좌표로부터 상기 포인팅 위치의 제 2 가상좌표로 이동하는 가상 경로를 설계할 수 있다.

예를 들면, 증강현실 어플리케이션(311)은, 깊이우선탐색(DFS, Depth First Search) 알고리즘, 다익스트라(Dijkstra) 알고리즘 및/또는 A*(A star) 알고리즘 등을 이용하여, 포인팅 위치에 도달하기 위한 각 유저별 최적의 가상 경로를 획득할 수 있다.

그리고 증강현실 어플리케이션(311)은, 탐색된 각 유저별 가상 경로를 기반으로, 각 유저의 위치에서부터 포인팅 위치까지의 이동 경로를 안내하는 가상 컨텐츠를 생성할 수 있다.

실시예로, 증강현실 어플리케이션(311)은, 각 유저의 현장 디바이스(1000)를 통해 촬영된 영상 상에 탐색된 각 유저별 가상 경로를 가상객체(예컨대, 포인팅 위치로의 방향을 나타내는 화살표 등)를 기반으로 표시하는 증강현실 네비게이션 가상 컨텐츠 생성할 수 있다.

예를 들면, 증강현실 어플리케이션(311)은, 3차원 사이트 맵에 기초하여 제 1 현장 유저의 가상위치에서 포인팅 위치에 도달할 수 있는 최적 경로인 제 1 가상 경로를 생성할 수 있다.

그리고 증강현실 어플리케이션(311)은, 현장 유저가 제 1 가상 경로를 따라서 이동하도록 안내하는 제 1 증강현실 네비게이션 가상 컨텐츠를 생성할 수 있다.

이와 같은 방식으로 증강현실 어플리케이션(311)은, 3차원 사이트 맵에 기초하여 제 n(n=2, 3, …) 현장 유저의 각각의 가상위치에서 포인팅 위치에 도달할 수 있는 최적 경로인 제 n 가상 경로를 따른 제 n 증강현실 네비게이션 가상 컨텐츠를 생성할 수 있다.

그리고 증강현실 어플리케이션(311)은, 생성된 각각의 가상 컨텐츠를 각 유저별로 매칭되는 현장 디바이스(1000)로 송신하여 표시할 수 있다.

이와 같이, 증강현실 어플리케이션(311)은, 3차원 사이트 맵과 현장 네비게이션 인터페이스에 기반한 한 번의 워크플로를 통하여, 복수의 현장 유저별로 서로 다른 네비게이션 컨텐츠를 일괄 제공함으로써, 이상 상황이 발생한 경우에 신속한 대응을 수행하게 할 수 있고, 각각의 현장 유저와 일일이 커뮤니케이션을 수행하지 않고도 한 번에 복수의 현장 유저에 대한 가이던스를 제공할 수 있다.

또한, 본 발명의 실시예에 따른 증강현실 어플리케이션(311)은, 3차원 사이트 맵을 기반으로 현장 유저에게 작업 가이던스를 제공하는 입출력 인터페이스를 제공할 수 있다.

여기서, 실시예에 따른 작업 가이던스란, 현장 유저의 작업이 필요한 위치 및/또는 설비를 지정하고, 작업할 정보를 제공하는 가상 컨텐츠일 수 있다.

자세히, 증강현실 어플리케이션(311)은, 3차원 사이트 맵의 가이던스 입출력 인터페이스에 기반한 사용자 입력을 기초로 작업 가이던스 정보를 획득할 수 있다.

또한, 증강현실 어플리케이션(311)은, 획득된 작업 가이던스 정보를 기반으로 3차원 사이트 맵 상에 작업 가이던스를 나타내는 가상 컨텐츠를 생성하여 출력할 수 있다.

예를 들면, 증강현실 어플리케이션(311)은, 3차원 사이트 맵의 제 1 가상위치 또는 제 1 가상객체를 선택하고, 선택된 제 1 가상위치 또는 제 1 가상객체에 대하여 수행되어야 할 작업을 기술한 사용자 입력을 획득할 수 있다. 그리고 증강현실 어플리케이션(311)은, 획득된 사용자 입력을 기반으로 3차원 사이트 맵 상에 제 1 가상위치 또는 제 1 가상객체에 대한 작업 가이던스를 제공하는 가상 컨텐츠를 생성 및 표시할 수 있다.

이때, 증강현실 어플리케이션(311)은, 현장센서 시스템에 기초하여, 3차원 사이트 맵의 가상위치 또는 가상객체에 대해 생성된 가상 컨텐츠를, 현장의 물리적 공간의 실제위치 또는 실제객체에 매칭할 수 있다.

여기서, 현장센서 시스템이란, 현장의 물리적 공간에 대한 다양한 정보(예컨대, 환경, 기계설비, 현장 유저의 정보)를 감지하여 측정하는 다양한 센서들을 포함할 수 있다.

예를 들면, 현장센서 시스템은, 현장에 배치된 온도 센서, 습도 센서, 압력 센서, 유량 센서, 자기 센서, 광 센서, 음향 센서, 이미지 센서, 전류 센서 및 가스 센서 중 적어도 하나 이상의 센서를 포함할 수 있다.

실시예에서, 이러한 현장센서 시스템은, 측위센서 시스템, 카메라 시스템, 장치센서 시스템 및 게이트 웨이를 포함할 수 있다.

또한, 증강현실 어플리케이션(311)은, 현장센서 시스템에 기반하여, 작업 가이던스를 제공하는 가상 컨텐츠에 매칭된 실제위치 또는 실제객체에 현장 유저가 접근하는 경우, 해당 현장 유저의 현장 디바이스(1000)로 상기 가상 컨텐츠를 제공할 수 있다.

자세히, 증강현실 어플리케이션(311)은, 상기 실제위치 또는 실제객체 주변의 소정의 영역(예컨대, 실제위치 또는 실제객체 주변의 3m 영역 이내 등)에서 현장 디바이스(1000)가 감지되는 경우, 해당 현장 디바이스(1000)로 상기 실제위치 또는 실제객체에 매칭된 가상 컨텐츠를 송신할 수 있다.

이때, 상기 실제위치 또는 실제객체에 대한 작업 가이던스를 제공하는 가상 컨텐츠를 수신한 현장 디바이스(1000)의 증강현실 어플리케이션은, 수신된 가상 컨텐츠를 기반으로 작업 가이던스를 가상객체를 통하여 표시할 수 있다.

예를 들면, 현장 디바이스(1000)의 증강현실 어플리케이션은, 수신된 작업 가이던스 가상 컨텐츠에 기초하여, 메인 관리자가 지정한 작업 위치를 점, 선 및/또는 화살표 등으로 표시하는 가상객체를 출력할 수 있다.

또한, 증강현실 어플리케이션(311)은, 상기 실제위치 또는 실제객체 주변의 소정의 영역에서 복수의 현장 디바이스(1000)가 감지되는 경우, 복수의 현장 디바이스(1000) 각각으로 상기 실제위치 또는 실제객체에 매칭된 가상 컨텐츠를 일괄 송신할 수 있다.

즉, 증강현실 어플리케이션(311)은, 작업 가이던스 가상 컨텐츠에 매칭된 실제위치 또는 실제객체에 대한 지정 작업을 다수의 현장 유저가 수행하게 할 수 있다.

이때, 상기 실제위치 또는 실제객체에 대한 작업 가이던스를 제공하는 가상 컨텐츠를 수신한 복수의 현장 디바이스(1000)의 증강현실 어플리케이션은, 다중 사용자(현장 유저)가 참여하는 협엽 작업인 경우, 가상 컨텐츠를 표시하는 증강영상에서의 타 사용자(타 현장 유저)의 모습을 3차원 휴먼 모델(아바타)의 형태로 표시할 수 있다.

예를 들면, 제 1 및 2 현장 디바이스가 작업 가이던스 가상 컨텐츠를 수신한 경우, 제 1 현장 디바이스 증강영상에서의 제 2 현장 유저는 3차원 휴먼 모델로 표시될 수 있고, 제 2 현장 디바이스 증강영상에서의 제 1 현장 유저도 3차원 휴먼 모델로 표시될 수 있다.

이와 같이, 증강현실 어플리케이션(311)은, 3차원 사이트 맵에 기반하여 작업 현장의 실제위치 또는 실제객체에 매칭되는 작업 가이던스를 생성하고, 생성된 작업 가이던스를 해당 실제위치 또는 실제객체에 근접하게 위치한 적어도 하나 이상의 현장 디바이스(1000)로 제공함으로써, 3차원 물리적 공간에 대한 작업 지시를 쉽고 명확하게 전달할 수 있고, 주변 현장 유저들의 신속한 대응을 유도할 수 있다.

또한, 증강현실 어플리케이션(311)은, 현장센서 시스템에 기초하여, 현장의 실제위치 또는 실제객체(예컨대, 기계설비)에 대한 현장 유저의 작업이력을 감지하면, 감지된 작업이력 정보(예컨대, 현장 유저의 작업과정을 텍스트를 포함하는 작업이력 정보 등)를 상기 실제위치 또는 실제객체에 대응되는 3차원 사이트 맵의 가상위치 또는 가상객체에 매칭하여 저장할 수 있다.

예를 들어, 증강현실 어플리케이션(311)은, 제 1 현장 디바이스로부터 제 1 현장 유저에 의해 입력된 작업이력 정보를 수신할 수 있다. 또한, 작업이력 정보를 수신한 증강현실 어플리케이션(311)은, 현장 유저의 위치 또는 현장 유저가 선택한 실제객체에 대응되는 3차원 사이트 맵의 가상위치 또는 가상객체에 매칭하여 작업이력 정보를 저장할 수 있다.

이후, 증강현실 어플리케이션(311)은, 메인 관리자의 입력에 따라서 작업이력 확인 및 관리 기능을 실행할 수 있고, 3차원 사이트 맵의 가상위치 또는 가상객체에 매칭된 작업이력 정보 또는 현장 유저에 매칭된 작업이력 정보를 표시하여 확인시킬 수 있다.

이와 같이, 증강현실 어플리케이션(311)은, 3차원 사이트 맵을 기초로 현장 유저 및 실제위치 또는 실제객체에 대한 작업이력 정보를 저장하고 관리할 수 있는 인터페이스를 제공할 수 있다.

또한, 본 발명의 실시예에서 메인 디바이스의 증강현실 어플리케이션(311)은, 서브 관리자-현장 유저 매칭 인터페이스를 제공할 수 있다. (S107)

여기서, 서브 관리자-현장 유저 매칭 인터페이스란, 메인 관리자가 적어도 하나 이상의 서브 관리자의 서브 디바이스 중 어느 하나와, 적어도 하나 이상의 현장 유저의 현장 디바이스(1000)를 지정하여 상호 간의 커뮤니케이션 연결이 수행되도록 매칭하는 인터페이스일 수 있다.

자세히, 메인 디바이스의 증강현실 어플리케이션(311)은, 증강현실 커뮤니케이션 인터페이스를 통하여, 해당 메인 디바이스와 커뮤니케이션 연결이 되어 있는 적어도 하나 이상의 서브 관리자에 대한 서브 관리자 정보를 표시할 수 있다.

여기서, 서브 관리자 정보란, 서브 관리자의 이름, 전문분야, 활성화 여부(커뮤니케이션 연결이 가능한 상태인지 여부에 대한 정보) 및/또는 커뮤니케이션 연결 상태(몇 명의 현장 유저와 커뮤니케이션 연결이 되어 가이드를 제공하고 있는지에 대한 정보) 등을 포함하는 정보일 수 있다.

예를 들면, 증강현실 어플리케이션(311)은, 증강현실 커뮤니케이션 인터페이스의 일 영역 상에 서브 관리자 정보를 리스트로 표시할 수 있다.

또한, 증강현실 어플리케이션(311)은, 증강현실 커뮤니케이션 인터페이스를 통해 표시된 서브 관리자에게 적어도 하나 이상의 현장 유저를 배정하여, 해당 서브 관리자의 서브 디바이스와 배정된 현장 유저의 현장 디바이스(1000)가 커뮤니케이션 연결되도록 설정하는 서브 관리자-현장 유저 매칭 인터페이스를 제공할 수 있다.

예를 들면, 증강현실 어플리케이션(311)은, 증강현실 커뮤니케이션 인터페이스를 통해 표시된 적어도 하나 이상의 기초 촬영영상 중, 어느 하나 이상을 선택하는 사용자 입력을 감지할 수 있다.

그리고 증강현실 어플리케이션(311)은, 감지된 사용자 입력을 기반으로 선택된 촬영영상에 매칭되는 현장 디바이스(1000)를 검출할 수 있다.

또한, 증강현실 어플리케이션(311)은, 증강현실 커뮤니케이션 인터페이스를 통해 출력된 서브 관리자 리스트에 포함되는 적어도 하나 이상의 서브 관리자 중, 어느 하나를 선택하는 사용자 입력을 감지할 수 있다.

그리고 증강현실 어플리케이션(311)은, 감지된 사용자 입력을 기초로 선택된 서브 관리자에 매칭되는 서브 디바이스를 검출할 수 있다.

또한, 증강현실 어플리케이션(311)은, 검출된 적어도 하나 이상의 현장 디바이스(1000)와 서브 디바이스를 매칭하여 커뮤니케이션 연결이 수행되게 할 수 있다.

즉, 증강현실 어플리케이션(311)은, 적어도 하나 이상의 서브 관리자와, 적어도 하나 이상의 현장 유저 간의 증강현실에 기반한 커뮤니케이션 연결을 가능하게 함으로써, 다자 간 증강현실 커뮤니케이션 환경에서 1: n(n=1,2,3, …), 1:n:m(m=1,2,3,…) 또는 n:m:x(x=1,2,3,…) 등의 통신을 가능하게 할 수 있고, 이를 통해 다수의 현장 작업에 대한 관리를 효율적으로 분산시키고 체계적으로 관리하게 할 수 있다.

또한, 증강현실 어플리케이션(311)은, 서브 관리자-현장 유저 매칭 인터페이스에 기반하여 서브 관리자와 현장 유저가 매칭되면, 특정 서브 관리자와 매칭된 현장 유저와의 커뮤니케이션 연결을 종료할 수 있다.

또는, 실시예에서 따라서 증강현실 어플리케이션(311)은, 서브 관리자와 현장 유저가 매칭되어 증강현실 커뮤니케이션을 수행하는 경우, 서브 관리자와 현장 유저 사이의 커뮤니케이션 데이터를 출력할 수 있다. (S109)

도 14는 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션이 수행되는 모습을 나타내는 개념도의 일례이다.

자세히, 도 14를 참조하면, 먼저 현장 디바이스(1000)와 커뮤니케이션 연결된 서브 디바이스(122)의 증강현실 어플리케이션(311)(이하, 서브 증강현실 어플리케이션(311))은, 연결된 현장 디바이스(1000)로부터 촬영된 기초 촬영영상에 대한 가상 컨텐츠를 생성할 수 있다.

이때, 가상 컨텐츠를 생성하는 서브 디바이스(122)는, 테이블 탑 타입 컴퓨팅 디바이스(400)로 구현되어 현장 디바이스(1000)로부터 획득된 촬영영상에 대한 가상 컨텐츠를 생성 및 표시할 수 있다.

또한, 서브 증강현실 어플리케이션(311)은, 현장 디바이스(1000)로부터 획득된 기초 촬영영상에 대하여 생성된 가상 컨텐츠를, 해당 현장 디바이스(1000)로 송신할 수 있다.

이때, 본 발명의 실시예에서는, 서브 증강현실 어플리케이션(311)으로부터 생성된 가상 컨텐츠가 현장 디바이스(1000)로 송신되면, 해당 가상 컨텐츠를 수신한 현장 디바이스(1000)의 영상뿐만 아니라, 해당 현장 디바이스(1000)의 기초 촬영영상을 수신하여 표시하고 있는 메인 디바이스(121)의 상기 기초 촬영영상에서도, 상기 서브 증강현실 어플리케이션(311)으로부터 생성된 가상 컨텐츠를 포함하는 커뮤니케이션 데이터가 오버레이되어 증강영상으로 표시될 수 있다.

즉, 실시예에서 메인 디바이스(121)의 증강현실 어플리케이션(311)은, 서브 디바이스(122)가 현장 디바이스(1000)와의 증강현실 커뮤니케이션을 통하여 기초 촬영영상에 대한 가상 컨텐츠를 생성해 현장 디바이스(1000)로 송신하면, 상기 송신되는 가상 컨텐츠를 현장 디바이스(1000) 또는 서브 디바이스(122)로부터 획득할 수 있고, 이를 기반으로 메인 디바이스(121)에서 출력되고 있는 해당 현장 디바이스(1000)의 기초 촬영영상에도 서브 디바이스(122)로부터 생성된 가상 컨텐츠를 포함하는 커뮤니케이션 데이터가 오버레이되어 증강영상으로 표시되게 할 수 있다.

또한, 메인 디바이스(121)의 증강현실 어플리케이션(311)은, 서브 디바이스(122)로부터 생성된 가상 컨텐츠가 오버레이되어 표시되는 증강영상에 대한 사용자 입력을 감지하면, 해당 증강영상에 대한 기타 커뮤니케이션 데이터(예컨대, 서브 디바이스(122)로부터 현장 디바이스(1000)로 송신되는 음성 데이터 등)를 제공할 수 있다.

이와 같이, 본 발명의 실시예에서 증강현실 어플리케이션(311)은, 서브 관리자와 현장 유저 사이의 커뮤니케이션 데이터를 제공함으로써, 다중으로 수행되는 서브 관리자-현장 유저 간의 증강현실 커뮤니케이션을 보다 편리하게 효율적으로 관제하게 할 수 있다.

이상, 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법은, 다수의 사용자 간의 원격 증강현실 커뮤니케이션(Remote AR communication)을 병렬적으로 수행하고 실시간으로 공유함으로써, 적어도 하나 이상의 원격 관리자가 적어도 하나 이상의 현장 유저와 동시에 데이터 통신을 수행할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법은, 적어도 하나 이상의 원격 관리자가 적어도 하나 이상의 현장 유저와 실시간 병렬 데이터 통신을 수행함으로써, 복수의 현장 유저에 대한 가이던스(guidance)를 일괄 처리하여 제공할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 다중 사용자 간의 증강현실 커뮤니케이션 방법은, 원격에서 현장에 대한 작업 가이던스를 가상 컨텐츠에 기반해 효과적으로 제공하는 테이블 탑 시스템을 제공함으로써, 가상 컨텐츠를 통한 실감나는 화면을 통해 원격의 현장 유저에게 쉽고 명확한 작업 가이던스를 실시간으로 제공할 수 있고, 이를 통해 작업자가 보다 직관적으로 작업을 수행할 수 있는 효과가 있다.

또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (7)

1. 메인 관리자 컴퓨팅 디바이스에서 수행하는 다중 사용자 간의 증강현실 커뮤니케이션 방법으로서,
   복수의 현장 유저 컴퓨팅 디바이스와 커뮤니케이션 연결을 수행하는 단계;
   상기 복수의 현장 유저 컴퓨팅 디바이스로부터 촬영영상을 획득하고 표시하는 단계;
   서브 관리자 컴퓨팅 디바이스와 상기 현장 유저 컴퓨팅 디바이스를 매칭하는 서브 관리자-현장 유저 매칭 인터페이스를 제공하는 단계; 및
   상기 매칭 인터페이스 따라서 선택된 서브 관리자 컴퓨팅 디바이스와 현장 유저 컴퓨팅 디바이스 사이에서 증강현실 커뮤니케이션이 수행되는 단계를 포함하는
   다중 사용자 간의 증강현실 커뮤니케이션 방법.
2. 제 1 항에 있어서,
   상기 커뮤니케이션 연결을 수행하는 단계는,
   작업 현장의 물리적 공간을 3차원 모델링하여 형상화한 지도인 3차원 사이트 맵에 기반하여 선택된 현장 유저 컴퓨팅 디바이스와 상기 커뮤니케이션 연결을 수행하는 단계를 포함하는
   다중 사용자 간의 증강현실 커뮤니케이션 방법.
3. 제 2 항에 있어서,
   상기 3차원 사이트 맵의 일 가상위치에 매칭되는 가상 컨텐츠를 생성하고 커뮤니케이션 데이터로 송신하는 입출력 인터페이스를 제공하는 단계를 더 포함하는
   다중 사용자 간의 증강현실 커뮤니케이션 방법.
4. 제 3 항에 있어서,
   상기 3차원 사이트 맵의 일 가상위치에 매칭되는 상기 작업 현장의 실제위치에 대한 소정의 영역에서, 상기 현장 유저 컴퓨팅 디바이스가 감지되면, 상기 감지된 현장 유저 컴퓨팅 디바이스로 상기 가상 컨텐츠를 송신하는 단계를 더 포함하는
   다중 사용자 간의 증강현실 커뮤니케이션 방법.
5. 제 2 항에 있어서,
   상기 작업 현장에 위치한 현장 유저의 실제위치에 매칭된 상기 3차원 사이트 맵의 가상위치 상에 현장 유저의 식별정보를 나타내는 가상객체로 표시하는 단계와,
   상기 3차원 사이트 맵 상의 가상객체를 선택하여 커뮤니케이션 연결하고자하는 상기 현장 유저 컴퓨팅 디바이스를 선택하는 인터페이스를 제공하는 단계를 더 포함하는
   다중 사용자 간의 증강현실 커뮤니케이션 방법.
6. 현장 유저 컴퓨팅 디바이스에서 수행하는 다중 사용자 간의 증강현실 커뮤니케이션 방법으로서,
   적어도 한명 이상의 타 현장 유저 컴퓨팅 디바이스 및 메인 관리자 컴퓨팅 디바이스와 다자간 증강현실 커뮤니케이션을 실행하는 단계;
   상기 현장 유저 컴퓨팅 디바이스의 현장 물리적 공간 내 위치 및 주변 공간정보를 파악하는 단계;
   상기 파악된 공간 내 위치에 기초하여 공간좌표에 매칭된 가상 컨텐츠를 입력하여 증강현실 영상을 생성하고 표시하는 인터페이스를 제공하는 단계; 및
   상기 인터페이스를 통해 제 1 공간좌표에 매칭된 제 1 가상 컨텐츠를 생성하고, 생성된 제 1 가상 컨텐츠를 상기 타 현장 유저 컴퓨팅 디바이스 또는 메인 관리자 컴퓨팅 디바이스에 송신하는 단계;를 포함하는
   다중 사용자 간의 증강현실 커뮤니케이션 방법.
7. 제 6 항에 있어서,
   상기 타 현장 유저 컴퓨팅 디바이스로부터 제 2 공간좌표에 매칭된 제 2 가상 컨텐츠를 수신하는 단계와,
   상기 파악된 주변 공간정보에 기초하여 상기 제 2 공간좌표를 결정하고, 결정된 제 2 공간좌표 상에 상기 제 2 가상 컨텐츠를 오버레이하여 표시하는 단계를 더 포함하는
   다중 사용자 간의 증강현실 커뮤니케이션 방법.

Images