KR102630832B1 - 멀티 프레젠스 가능한 확장 현실 서버 - Google Patents

Abstract

본 발명은 멀티 프레젠스 가능한 확장 현실 서버에 관한 것이다. 본 발명의 일 실시 예에 따른 멀티 프레젠스 가능한 확장 현실 서버는 네트워크를 통해 유무선 데이터 통신을 할 수 있도록 제공되는 통신 모듈; 수신된 데이터, 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 프로그램을 저장하는 메모리; 및 상기 메모리에 저장된 프로그램을 실행시키는 제어부를 포함하되, 상기 제어부는, 사용자 단말기로부터 수신된 데이터 또는 상기 메모리에 저장된 데이터를 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 프로그램에 적용시켜 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 데이터를 생성하는 동시적 멀티 프레젠스 구현부를 포함한다.

Description

멀티 프레젠스 가능한 확장 현실 서버{Multi-presence capable Extended Reality Server}

본 발명은 멀티 프레젠스 가능한 확장 현실 서버에 관한 것으로, 보다 상세히 각각의 사용자에게 다른 사용자들의 공간에 대한 존재감을 동시에 느낄 수 있으면서, 다른 사용자들에 대한 빠른 탐색을 효과적으로 할 수 있는 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 제공하는 멀티 프레젠스 가능한 확장 현실 서버에 관한 것이다.

일반적으로 확장 현실(XR) 즉, 실감경제(eXtended Reality)는 가상현실(VR), 증강현실(AR), 혼합현실(MR), 홀로그램(HR) 등 다양한 기술로 현실과 비슷한 가상공간에서 시공간 제약 없이 소통하고 생활할 수 있는 기반을 뜻하는 말로, 실감기술이라고도 한다.

가상 현실은 겉보기에 실제적이거나 물리적인 방식으로 사용자가 상호작용할 수 있는 환경(예컨대, 3D 환경)의 컴퓨터 생성된 시뮬레이션이다. 단일 장치 또는 장치들의 그룹일 수 있는 가상 현실 시스템은 예컨대, 가상 현실 헤드셋 또는 일부 다른 디스플레이 장치 상에서 사용자에게 디스플레이하기 위해 이러한 시뮬레이션을 생성할 수 있다. 시뮬레이션은 실제 환경 또는 가상 환경을 모방하기 위해 이미지, 소리, 햅틱 피드백 및/또는 다른 감각을 포함할 수 있다. 가상 현실이 점점 더 눈에 띄게 됨에 따라, 유용한 애플리케이션의 범위가 빠르게 확대되고 있다. 가상 현실의 가장 보편적인 애플리케이션은 게임이나 다른 상호작용성 컨텐츠를 수반하지만, 다른 애플리케이션 가령 엔터테인먼트나 트레이닝 목적을 위한 시각적 미디어 아이템(예컨대, 사진, 비디오)의 열람이 인접하게 뒤따른다. 가상 현실을 사용하여 실생활의 대화 및 다른 사용자 상호작용을 시뮬레이션 하는 가능성이 또한, 연구되고 있다.

본 발명은 각각의 사용자에게 다른 사용자들의 공간에 대한 존재감을 동시에 느낄 수 있도록 하는 환경을 제공하는 멀티 프레젠스 가능한 확장 현실 서버를 제공하기 위한 것이다.

또한, 본 발명은 다른 사용자들에 대한 빠른 탐색을 효과적으로 할 수 있는 환경을 제공하는 멀티 프레젠스 가능한 확장 현실 서버를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 네트워크를 통해 유무선 데이터 통신을 할 수 있도록 제공되는 통신 모듈; 수신된 데이터, 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 프로그램을 저장하는 메모리; 및 상기 메모리에 저장된 프로그램을 실행시키는 제어부를 포함하되, 상기 제어부는, 사용자 단말기로부터 수신된 데이터 또는 상기 메모리에 저장된 데이터를 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 프로그램에 적용시켜 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 데이터를 생성하는 동시적 멀티 프레젠스 구현부를 포함하는 멀티 프레젠스 가능한 확장 현실 서버가 제공될 수 있다.

또한, 상기 동시적 멀티 프레젠스 구현부는, 카메라를 통해 촬영된 영상을 수신하고, 수신된 영상을 처리하여 프레젠스 영상을 생성하는 텔레 프레젠스부를 포함할 수 있다.

또한, 상기 동시적 멀티 프레젠스 구현부는, 상기 동시적 멀티 프레젠스 구현부는, 공동 프로젝트에 참여하는 사용자들 각각이 위치된 공간을 촬영하여 생성된 프레젠스 영상들이 한 명의 사용자(U)에게 그를 중심으로 그 주의에 배열되는 방식으로 표시되게 하는 멀티 프레젠스 모드를 구현하는 멀티 프레젠스 공간 관리부를 더 포함할 수 있다.

또한, 멀티 프레젠스 공간 관리부는 사용자 단말기(20)를 통해 사용자(U)에게 표시되는 영상의 공간상에 형성된 가상의 스크린인 프레젠스 디스플레이 스크린에 공동 프로젝트에 참여하는 사용자들 각각이 위치된 공간을 촬영하여 생성된 프레젠스 영상들이 표시되게 하여 상기 멀티 프레젠스 모드를 구현할 수 있다.

또한, 멀티 프레젠스 공간 관리부는 사용자의 선택에 따라 상기 프레젠스 디스플레이 스크린에 위치된 프레젠스 영상들 중 특정 영상만이 표시되는 몰입 모드가 되게 할 수 있다.

본 발명의 일 실시 예에 의하면, 각각의 사용자에게 다른 사용자들의 공간에 대한 존재감을 동시에 느낄 수 있도록 하는 환경을 제공하는 멀티 프레젠스 가능한 확장 현실 서버가 제공될 수 있다.

또한, 본 발명의 일 실시 예에 의하면, 다른 사용자들에 대한 빠른 탐색을 효과적으로 할 수 있는 환경을 제공하는 멀티 프레젠스 가능한 확장 현실 서버가 제공될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 확장 현실 시스템을 나타내는 도면이다.
도 2는 도 1의 멀티 프레젠스 가능한 확장 현실 서버를 나타내는 블록도이다.
도 3은 제어부의 구성을 나타내는 블록도이다.
도 4는 동시적 멀티 프레젠스 구현부의 구성을 나타내는 블록도이다.
도 5는 한 명의 사용자에게 공동 프로젝트에 참여하는 사용자가 위치된 공간에 대한 프레젠스 영상이 표시되는 방식을 설명하는 도면이다.
도 6은 한 명의 사용자가가 공동 프로젝트에 참여하는 사용자가 위치된 공간을 인지하게 되는 배열 관계를 설명하는 개념도이다.
도 7은 사용자가 특정 프레젠스 영상을 선택하여 몰입 모드가 된 상태를 설명하는 도면이다.
도 8은 2명의 사용자가 동일한 프레젠스 영상에 대해 몰입 모드가 된 상태를 설명하는 도면이다.
도 9는 몰입 모드에서 사용자에게 표시되는 영상의 일 예를 나타내는 도면이다.
도 10은 적응형 동시성 제어 구현부에 의한 공유 객체의 제어와 관련된 개념의 관계를 나타내는 도면이다.
도 11은 적응형 동시성 제어 구현부의 구성을 나타내는 도면이다.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.

또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.

명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.

도 1은 본 발명의 일 실시 예에 따른 확장 현실 시스템을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 확장 현실 시스템은 멀티 프레젠스 가능한 확장 현실 서버(10) 및 사용자 단말기(20)를 포함한다.

본 발명의 일 실시 예에 따른 확장 현실 시스템은 복수의 사용자가 접속하여 사용하는 경우에 있어서, 각각의 사용자에게 다른 사용자들의 공간에 대한 존재감을 동시에 느낄 수 있으면서, 다른 사용자들에 대한 빠른 탐색, 사용자 본인의 작업 공간들에 대한 정보 공유를 효과적으로 할 수 있는 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 제공한다. 또한, 본 발명의 일 실시 예에 따른 확장 현실 시스템은 복수의 사용자가 공유 객체를 조작할 때 사용자 각각의 조작 사이에 충돌이 발생하는 것을 줄이고 작업 시간을 단축시킬 수 있는 적응형 동시성 제어를 제공한다.

멀티 프레젠스 가능한 확장 현실 서버(10)는 네트워크를 통해 사용자 단말기(20)와 연결된다.

사용자 단말기(20)는 각각이 사용자에게 제공되어, 사용자가 확장 현실의 시각적으로 확인 가능하도록 제공된다. 일 예로, 사용자 단말기(20)는 머리 착용 디스플레이(Head mounted Display, 이하 HMD)를 포함할 수 있다. HMD는 디스플레이 영역이 투명한 상태로 제공되어 현실 공간 상에 가상 이미지 또는 스캔 된 이지미를 출력하거나, 디스플레이영역이 불투명한 상태로 가상 또는 스캔 된 배경에 가상의 이미지 또는 스캔 된 이미지가 출력되게 할 수 있다. 또한, HMD는 디스플레이 영역이 투명한 상태와 불투명한 상태 사이로 전환 가능하게 제공되어, 출력 방식이 변환될 수 있다. 일 예로, HMD는 (주)마이크로소프트사의 마이크로소프트 홀로렌즈, (주)구글사의 구글 글래스 등으로 제공될 수 있다. 또한, 사용자 단말기(20)는 카메라를 더 포함할 수 있다. 카메라는 사용자의 주위 공간을 촬영한다. 카메라는 HMD에 부착된 상태, HMD와 분리된 별개의 장치 등으로 제공될 수 있다. 또한, 사용자 단말기(20)는 웨어러블 센서를 더 포함할 수 있다. 웨어러블 센서는 사용자가 의류, 장갑, 밴드 등과 같이 입거나 피부에 부착하는 방식 등으로 착용되어 사용자의 신체 부위의 위치 또는 사용자의 신체에서 발생하는 전기적 신호 등을 감지하는 방식으로 사용자의 동작을 감지하도록 제공된다. 일 예로, 웨어러블 센서는 Thalmic Labs 사의 마이요(Myo) 등일 수 있다.

네트워크는 단말기들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(network)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않으며, 향후 데이터 송수신과 관련된 기술 발전에 따라 등장하는 새로운 통신 규격, 장치 등을 모두 포함한다.

도 2는 도 1의 멀티 프레젠스 가능한 확장 현실 서버를 나타내는 블록도이다.

도 2를 참조하면, 멀티 프레젠스 가능한 확장 현실 서버(10)는 통신 모듈(11), 메모리(12) 및 제어부(13)를 포함한다.

통신 모듈(11), 메모리(12) 및 제어부(13)는 물리적으로 각각이 분리되어 구현되거나 이 중 하나 이상이 통합되어 구현될 수 있다. 여기서, 제어부(13)는 통신 모듈(11) 및 메모리(12)를 제어할 수 있고, 소정의 프로그램에 따라 통신 모듈(11)을 통해 전달받거나 메모리(12)에 저장된 데이터를 읽어와 처리할 수 있는 프로세서로 이해될 수 있다.

통신 모듈(11)은 네트워크를 통해 유무선 데이터 통신을 할 수 있도록 제공되어, 사용자 단말기(20)와 데이터 송수신을 할 수 있다. 또한, 사용자 단말기(20)가 HMD, 카메라를 포함할 때, 통신 모듈(11)은 HMD, 카메라 각각과 동일 또는 상이한 방식으로 데이터를 송수신 할 수 있도록 제공될 수 있다.

메모리(12)는 수신된 데이터, 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 프로그램, 적응형 동시성 제어를 구현하기 위한 프로그램, 수신된 데이터를 처리하여 생성된 처리 데이터 및 각종 데이터를 저장할 수 있다. 여기에서, 메모리(12)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비 휘발성 저장장치를 통칭하는 것이다.

제어부(13)는 메모리(12)에 저장된 프로그램을 실행시키고, 사용자 단말기(20)로부터 수신된 데이터 또는 메모리(12)에 저장된 데이터를 프로그램에 적용시키고, 사용자 단말기(20)를 통해 표시될 데이터가 사용자 단말기(20)로 송신되게 한다.

도 3은 제어부의 구성을 나타내는 블록도이다.

도 3을 참조하면, 제어부(13)는 동시적 멀티 프레젠스 구현부(130) 및 적응형 동시성 제어 구현부(140)를 포함한다.

동시적 멀티 프레젠스 구현부(130)는 사용자 단말기(20)로부터 수신된 데이터 또는 메모리(12)에 저장된 데이터를 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 프로그램에 적용시켜 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 데이터를 생성하고, 확장 현실 사용환경을 구현하기 위해 사용자 단말기(20)를 통해 표시될 데이터가 사용자 단말기(20)로 송신되게 한다.

적응형 동시성 제어 구현부(140)는 사용자 단말기(20)로부터 수신된 데이터 또는 메모리(12)에 저장된 데이터를 적응형 동시성 제어를 구현하기 위한 프로그램에 적용시켜 적응형 동시성 제어를 구현하기 위한 데이터를 생성하고, 적응형 동시성 제어를 구현하기 위해 사용자 단말기(20)를 통해 표시될 데이터가 사용자 단말기(20)로 송신되게 한다.

도 4는 동시적 멀티 프레젠스 구현부의 구성을 나타내는 블록도이다.

도 4를 참조하면, 동시적 멀티 프레젠스 구현부(130)는 개인 영역 관리부(131), 텔레 프레젠스부(132), 멀티 프레젠스 공간 관리부(133) 및 상호 작용 관리부(134)를 포함한다.

개인 영역 관리부(131)는 각각의 사용자에 대해 개인 작업 공간이 생성되도록 한다. 이 때, 개인 작업 공간은 사용자가 멀티 프레젠스 가능한 확장 현실 서버(10)에 접속한 때, 또는 멀티 프레젠스 가능한 확장 현실 서버(10)에 계정을 생성한 때, 또는 멀티 프레젠스 가능한 확장 현실 서버(10)에 특정한 목적을 갖는 공동 프로젝트가 생성되고 사용자가 해당 공동 프로젝트에 참여하는 때 생성될 수 있다. 개인 작업 공간이 생성되면 사용자는 개인 작업 공간에서 작업을 수행하고, 작업 결과를 개인 작업 공간 내부에 작업 보관 데이터로 저장되게 할 수 있다. 또한, 작업자는 기존에 저장된 작업 보관 데이터를 불러온 후 계속되는 작업을 수행하고 그 결과를 저장하여 작업 보관 데이터를 업데이트 시킬 수 있다. 또한, 작업 보관 데이트는 복수가 생성되고 각각이 개별적으로 생성, 또는 업데이트 가능하게 제공될 수 있다. 또한, 사용자는 작업 보관 데이터에 대해 다른 사용자의 열람, 열람 및 수정 등과 같은 접근 권한을 설정 가능하게 제공될 수 있다. 또한, 작업 보관 데이트가 복수일 때, 각각의 작업 보관 데이트는 접근 권한이 개별적으로 설정, 변경될 수 있다.

개인 영역 관리부(131)는 개인 작업 공간이 가상 현실과 같이 3D 영상의 형태로 HMD 등과 같은 사용자 단말기(20)를 통해 사용자에게 표시되게 할 수 있다. 또한, 개인 영역 관리부(131)는 작업 보관 데이터가 가상 현실의 개인 작업 공간 내의 특정 위치에 위치되는 형태로 HMD 등과 같은 사용자 단말기(20)를 통해 사용자에게 표시되어, 사용자가 작업 보관 데이터를 선택하는 행동을 하면 작업 보관 데이터가 편집 가능한 상태가 되고, 작업 보관 데이터를 내려놓은 행동을 하면 작업 보관 데이터가 저장되게 할 수 있다. 이 때, 사용자의 행동은 카메라, 또는 웨어러블 센서를 통해 감지되어 멀티 프레젠스 가능한 확장 현실 서버(10)로 송신되고, 개인 영역 관리부(131)는 카메라를 통한 영상 또는 웨어러블 센서를 통해 사용자의 행동을 판단할 수 있다. 또한, 개인 작업 공간에서의 작업 보관 데이터는 사용자의 조작에 의해 다른 사용자에게 공유될 수 있다.

텔레 프레젠스부(132)는 카메라를 통해 촬영된 영상을 수신하고, 수신된 영상을 처리하여 생성된 프레젠스 영상을 공동 프로젝트를 수행하는 사용자들에게 송신하여, 공동 프로젝트를 수행하는 사용자 사이에 실시간으로 텔레 프레젠스가 이루어 질 수 있도록 한다. 이 때, 카메라는 사용자가 있는 공간을 다양한 각도에서 촬영한 영상을 제공하고, 텔레 프레젠스부(132)는 이를 처리하여, 사용자에게 HMD 등과 같은 사용자 단말기(20)를 통해 입체 영상 형태로 표시되는 프레젠스 영상을 생성하고, 이를 송신할 수 있다.

도 5는 한 명의 사용자에게 공동 프로젝트에 참여하는 사용자가 위치된 공간에 대한 프레젠스 영상이 표시되는 방식을 설명하는 도면이고, 도 6은 한 명의 사용자가가 공동 프로젝트에 참여하는 사용자가 위치된 공간을 인지하게 되는 배열 관계를 설명하는 개념도이다.

도 5 및 도 6을 참여하면, 멀티 프레젠스 공간 관리부(133)는 공동 프로젝트에 참여하는 사용자들 각각이 위치된 공간을 촬영하여 생성된 프레젠스 영상들이 한 명의 사용자(U)에게 그를 중심으로 그 주의에 배열되는 방식으로 표시되게 하는 멀티 프레젠스 모드가 한다. 구체적으로, 멀티 프레젠스 공간 관리부(133)는 각각의 사용자에게, 해당 사용자(U)를 중심으로 한 둘레 공간에 링 형태의 프레젠스 디스플레이 스크린(PS)이 생성되도록 한다. 이 때, 프레젠스 디스플레이 스크린(PS)은 HMD등과 같은 사용자 단말기(20)를 통해 사용자(U)에게 표시되는 영상의 공간상에 형성된 가상의 스크린이다. 일 예로, 프레젠스 디스플레이 스크린(PS)은 사용자(U)가 위치된 지점을 중심으로 기 설정 반경을 가지고 상하로 기 설정 높이를 갖는 링 형상으로 제공될 수 있다. 그리고 공동 멀티 프레젠스 공간 관리부(133)는 프로젝트에 참여한 사용자들이 위치된 공간을 촬영하여 텔레 프레젠스부(132)에 의해 만들어진 프레젠스 영상(PV1, PV2, PV3, PV4)이 프레젠스 디스플레이 스크린(PS) 상에 배열되게 한다. 이에 따라, 도 6에 도시된 바와 같이, 멀티 프레젠스 모드일 때, 사용자(U)는 프레젠스 디스플레이 스크린(PS)에 표시된 프레젠스 영상(PV1, PV2, PV3, PV4)을 통해 공동 프로젝트에 참여하는 사용자들에 둘러싸이는 형태가 되어, 다른 사용자들의 공간에 대한 존재감을 느낄 수 있게 된다. 이 때, 프레젠스 디스플레이 스크린(PS)에 표시되는 프레젠스 영상(PV1, PV2, PV3, PV4)은 자신을 제외한 다른 사용자의 프레젠스 영상들로 제공되거나, 자신을 포함한 공동 프로젝트에 참여하는 모든 사용자들에 대한 프레젠스 영상들로 제공될 수 있다. 또한, 멀티 프레젠스 공간 관리부(133)는 사용자의 조작에 따라, 프레젠스 디스플레이 스크린(PS)에 표시되는 프레젠스 영상(PV1, PV2, PV3, PV4)의 배열 위치, 크기 등이 변경되게 할 수 있다.

이에 따라, HMD를 착용한 사용자(U)는 자신을 둘러싸고 있는 다른 공동 작업 참여자들의 공간들을 보면서 해당 공간에 있는 정보들을 보고 회의를 수행할 수 있게 된다.

도 7은 사용자가 특정 프레젠스 영상을 선택하여 몰입 모드가 된 상태를 설명하는 도면이고, 도 8은 2명의 사용자가 동일한 프레젠스 영상에 대해 몰입 모드가 된 상태를 설명하는 도면이다.

도 7 및 도 8을 참조하면, 멀티 프레젠스 공간 관리부(133)는 사용자(U)의 조작에 따라, 프레젠스 디스플레이 스크린(PS)에 위치된 프레젠스 영상들(PV1, PV2, PV3, PV4) 중 특정 영상(예를 들어, PV3)만이 표시되는 몰입 모드가 되게 할 수 있다. 몰입 모드가 되면, HMD를 통해 사용자(U)에게 표시되는 영상에는 사용자(U)가 선택한 프레젠스 영상(PV3)만이 표시되며, 나머지 프레젠스 영상들은 표시되지 않게 된다. 이에 따라, 멀티 프레젠스 모드에서 몰입 모드로 변경되면, 도 7에 도시된 바와 같이 프레젠스 디스플레이 스크린(PS)에 표시된 프레젠스 영상들(PV1, PV2, PV3, PV4)에 대응되는 공간에서 자신이 선택한 프레젠스 영상(PV3)에 대응되는 공간으로 입장하는 형태로 인지가 이루어 질 수 있다. 일 예로, 카메라는 사용자가 위치된 공간을 다양한 각도에서 촬영하여, 몰입 모드에서 사용자에게 표시되는 프레젠스 영상(PV3)은 3D 입체 형태일 수 있다. 이 때, 선택되는 프레젠스 영상(PV3)은 다른 사용자의 프레젠스 영상 또는 자신의 프레젠스 영상일 수 있다. 또한, 2명의 사용자(U1, U2)가 동일한 프레젠스 영상(PV3)에 대해 몰입 모드가 되면, 도 8에 도시된 바와 같이 2명은 사용자(U1, U2)는 동일한 공간에 함께 있는 형태로, 동일한 프레젠스 영상(PV3)을 선택한 다른 사용자를 인지할 수 있다. 이 때, 몰입도 향상을 위해, 특정 프레젠스 영상을 몰입 모드로 선택한 사용자가 2명일 때, 각각의 사용자에게 표시되는 프레젠스 영상에는 다른 사용자의 모습이 포함될 수 있다. 즉, 사용자의 모습은 컴퓨터 그래픽을 통해 아바타 형태로 구현되거나, 카메라를 통해 촬영된 영상에서 사용자의 모습을 추출한 후 이를 프레젠스 영상에 합성하는 방식으로 구현될 수 있다.

도 9는 몰입 모드에서 사용자에게 표시되는 영상의 일 예를 나타내는 도면이다.

도 9를 참조하면, 몰입 모드에서 사용자(U)에게 표시되는 영상에는 프레젠스 영상(PV) 및 개인 작업 공간의 영상(WS)이 포함될 수 있다. 이 때, 개인 작업 공간의 영상(WS) 및 프레젠스 영상(PV)은 동일한 사용자의 것일 수 있다(즉, 개인 작업 공간의 영상 및 프레젠스 영상은 동일한 A라는 사용자의 것). 이에 따라, 사용자(U)는 프레젠스 영상(PV)을 선택하여 몰입 모드로 들어가면, 몰입 모드에 의해 특정된 사용자를 방문하여, 해당 사용자의 작업 결과를 함께 살펴보는 형태로 지각이 이루어 질 수 있다. 또한, 사용자(U)는 자신의 프레젠스 영상을 선택한 후, 자신의 개인 작업 공간에서 작업 보간 데이터에 대한 작업을 수행할 수 있다. 일 예로, 몰입 모드 영상이 입체 형태로 제공될 때, 프레젠스 영상(PV)은 전방 영역에 위치되고, 개입 작업 공간의 영상(WS)은 후방 영역에 위치될 수 있다. 또한, 몰입 모드 영상에서 프레젠스 영상(PV) 및 개입 작업 공간의 영상(WS)의 위치, 상호 비율, 크기 등은 사용자에 의해 조절될 수 있다. 또한, 사용자가는 몰입 모드 영상에서 프레젠스 영상(PV) 및 개입 작업 공간의 영상(WS) 중 하나만이 표시되게 할 수 있다.

또한, 사용자(U)의 조작에 따라 몰입 모드에서 멀티 프레젠스 모드가 되면, 사용자(U)는 몰입 모드에 해당되는 공간에서 퇴장한 후, 프레젠스 영상들(PV1, PV2, PV3, PV4)에 둘러 싸인 공간으로 이동하는 형태로 인지가 이루어 질 수 있다.

상호 작용 관리부(134)는 사용자로부터 신호를 수신하여, 해당 신호를 개인 영역 관리부(131) 또는 멀티 프레젠스 공간 관리부(133)에 입력되도록 한다. 예를 들어, 상호 작용 관리부(134)는 카메라로부터 수신되는 영상을 분석하거나, 웨어러블 센서로부터 수신되는 신호를 통해 사용자의 동작을 감지하고, 해당 신호를 처리한 후 개인 영역 관리부(131) 또는 멀티 프레젠스 공간 관리부(133)에 입력되게 할 수 있다. 또한, 상호 작용 관리부(134)는 카메라 또는 웨어러블 센서로부터 특정 신호가 수신되면, 사용자에게 표시되는 가상의 공간에 키보드 등과 같은 입력 수단이 표시되게 한 후, 사용자가 입력 수단을 조작하는 방식으로 신호를 입력 받을 수 있다. 사용자는 상호 작용 관리부(134)로 입력하는 신호를 통해, 멀티 프레젠스 모드와 몰입 모드가 상호 변경되게 하고, 멀티 프레젠스 모드 또는 몰입 모드의 표시 상태를 조작하고, 몰입 모드 상태에서 자신 또는 다른 사용자의 개인 작업 공간의 작업 보관 데이터를 열람, 편집하고, 프레젠스 영상을 열람하고, 프레젠스 영상의 공간에서 이동하거나 특정 작업을 수행하게 된다.

본 발명의 일 실시 예에 따른 동시적 멀티 프레젠스 구현부(130)에 의한 동시적 멀티 프레젠스 방법에 따르면, 사용자는 다른 사용자의 존재를 프레젠스 디스플레이 스크린(PS)을 통해 입체적으로 지각할 수 있게 된다. 또한, 사용자는 프레젠스 디스플레이 스크린(PS)을 통해 특정 프레젠스 영상을 선택하는 방식으로 다른 사용자가 위치된 공간으로 실제 입장하거나 퇴장하는 방식으로 사용할 수 있게 되어, 실제 현실 상의 공간과 유사한 방식으로 다른 사용자를 지각하고 다른 사용자가 협업을 수행할 수 있게 된다.

적응형 동시성 제어 구현부(140)는 하나의 공간에 2인 이상의 사용자가 위치한 상태로, 2인이 작업 대상이 되는 공유 객체에 대해 조작하는 경우, 사용자의 조작에 따른 공유 객체의 상태 변화를 제어한다. 이 때, 하나의 공간에 2인의 사용자가 위치하는 경우는 하나의 개인 작업 공간에 2인이 동시에 몰입 모드가 된 상태, 하나의 프레젠스 영상에 의한 공간에 2인이 동시에 몰입 모드가 된 상태일 수 있다. 또한, 하나의 공간에 2인의 사용자가 위치하는 경우는 하나의 현실 공간에 2인이 위치하는 경우(즉, 하나의 프레젠스 영상을 생성하는 현실 공간에서 실제 2인이 참여하는 경우)일 수 있다. 그리고 공유 객체는 컴퓨터 그래픽에 의해 구현되어, HMD를 통해 사용자에게 표시되는 영상에 표시되는 가상의 물체이다. 사용자들이 공유 객체에 대해 조작을 하는 과정에서 사용자들의 조작에 의한 결과가 서로 달라지는 충돌(conflict) 현상이 발생할 수 있다. 적응형 동시성 제어 구현부(140)는 소유권을 통해 사용자들 사이의 조작을 조절하여 이 같은 충돌 현상이 발생되는 것을 방지한다. 이 때, 소유권은 사용자의 조작이 유효한 것으로 인정되어, 공유 객체의 상태 변경에 반영될 수 있는 권한이다.

일 예로, 공유 객체 조작을 위한 신호 입력은 상체동작 인식을 통한 손을 사용한 MHD 영상의 공유 객체 직접 조작 방법이 사용될 수 있다. 일 예로, 사용자는 MHD를 착용하고 웨어러블 센서를 양팔에 착용할 수 있다. 또한, MHD는 사용자로부터 음성입력을 받거나 사용자가 움직이는 경우 3차원 위치를 추적하고, 사용자 머리의 회전 값 정보를 추출 가능하게 제공될 수 있다. 이에 따라, 사용자는 MHD 영상에 의한 공간 상에서 이동하면서 공유 객체에 대한 다양한 조작을 수행할 수 있다.

도 10은 적응형 동시성 제어 구현부에 의한 공유 객체의 제어와 관련된 개념의 관계를 나타내는 도면이다.

도 10을 참조하면, 공유 객체의 제어와 관련하여, 목표, 세부 목표 및 테스크의 개념이 설정된다.

목표는 사용자의 조작에 의해 공유 객체에 대해 성취하고자 하는 최종적 결과값이다. 예를 들어, 목표는 에어컨 등과 같은 물체는 특정 위치에 설치하는 것 등일 수 있다.

세부 목표는 목표를 달성하기 위해 공유 객체의 상태가 단계적으로 변경되는 과정에서, 동일 또는 유사성을 가지고 공유 객체의 상태를 변경하고자 하는 목표이다. 예를 들어, 목표가 에어컨의 설치인 경우, 세부 목표는 공유 객체인 에어컨의 설치 위치로의 이동(즉, 공유 객체의 목표 위치로 이동), 공유 객체에 부품 조립 또는 부속품 결합하고 공유 객체인 에어컨을 설치 위치에 고정(즉, 공유 객체의 조립), 최종 테스트(즉, 공유 객체 테스트) 등일 수 있다. 세부 목표는 목표의 내용에 따라 설정된다. 또한, 각각의 세부 목표는 순서를 갖도록 설정될 수 있다.

테스크는 각각의 세부 목표를 달성하기 위한 사용자의 행동(즉, 사용자의 조작)으로, 각각의 세부 목표에 따라 설정된다. 예를 들어, 공유 객체인 에어컨의 설치 위치로의 이동에 대응하여 사용자가 공유 객체를 집어 들고 이동하는 조작(즉, 이송 테스크), 공유 객체에 부품 조립 또는 부속품 결합하고 공유 객체인 에어컨을 설치 위치에 고정하는 것에 대응하여, 사용자가 부품 또는 부속품을 집어 들고 공유 객체에 연결하는 조작, 사용자가 에어컨의 위치를 조정하고 에어컨 고정을 위해 볼트, 브라켓 등의 연결하는 조작(즉, 조립 테스크), 최종 테스트에 대응하여 에어컨을 작동시키는 조작(즉, 작동 테스크) 각각이 테스크가 된다. 즉, 테스크는 각각의 세부 목표에 대응하여 1대 1로 매칭되게 할당되고, 각각의 테스크의 내용은 세부 목표의 내용에 대응되게 설정된다.

도 11은 적응형 동시성 제어 구현부의 구성을 나타내는 도면이다.

도 11을 참조하면, 적응형 동시성 제어 구현부(140)는 테스크 분석부(141), 객체 관리부(142), 테스크 관리부(143), 목표 관리부(144) 및 소유권 관리부(145)를 포함한다.

테스크 분석부(141)는 사용자 단말기(20)로부터 수신된 신호를 통해, 사용자가 하고자 하는 테스크 정보를 분석한다.

객체 관리부(142)는 각각의 공유 객체의 상태를 관리한다. 공유 객체의 상태에는 분석된 테스크 정보에 따라 공유 객체에 대해 소유권을 갖는 사용자를 설정하고, 사용자에게 할당된 소유권의 내용을 관리한다.

테스크 관리부(143)는 사용자 단말기(20)로부터 수신된 신호를 통해, 사용자에게 할당된 소유권에 따라 가능한 조작을 공유 객체의 상태 변경에 반영하여, 공유 객체에 대한 테스크가 진행되게 한다.

목표 관리부(144)는 목표에 대해 할당된 세부 목표들에 있어서, 세부 목표의 진행 단계를 관리한다.

소유권 관리부(145)는 현재 진행되고 있는 세부 목표 및 이에 대응하는 테스크의 내용에 따라 각각의 사용자에게 할당된 소유권 정책에 따라 공동 작업의 병행성 제어를 실행하고 해당 결과를 사용자에게 알려준다.

먼저, 세부 목표가 공유 객체의 목표 위치로 이동인 경우의 소유권 할당 및 공유 객체의 상태 변경을 설명한다. 이 경우, 사용자는 공유 객체를 잡고 움직이고, 회전하는 작업을 수행할 수 있다. 먼저 에어컨을 이동하는 과정으로 에어컨을 잡은 모든 사용자가 에어컨의 이동에 참여할 수 있으며, 이때는 소유권에 따른 이동의 제한을 하지 않는다. 단 사용자들의 이동입력에 따라 현실 세계와 유사한 에어컨의 이동을 위한 알고리즘이 필요하다. 2인 이상의 사용자가 공유 객체를 같이 잡은 상태에서 움직이거나 회전하는 경우에는 사용자들에 의한 조작에 따른 공유 객체의 위치나 회전 정보 사이에 충돌 현상이 발생되는 것을 방지기 위해 공유 객체의 이동 및 회전에 대한 동시성 제어는 아래와 같이 이루어 진다. 먼저, 2인 이상의 사용자가 공유 객체를 잡았을 때 먼저 잡은 사용자가 공유 객체에 대해 소유권이 우선권을 가진다. 이에 따라, 공유 객체를 잡은 순서에 따라 우선권을 갖는 사용자가 A, 우선권이 없는 사용자가 B 라고 한다면 다음의 수학식 (1)과 같이 A와 B의 중점인 C를 구한다.

이후 사용자들이 이동할 때는 수학식(2)와 같이 사용자들의 움직임의 변위를 계산하여 중점 C의 위치를 변경한다.

또한, 공유 객체의 회전과 관련하여, 사용자 한 명의 손의 회전 값으로 공유 객체가 회전되는 것으로 할 경우 회전 값의 충돌이 발생한다. 따라서 두 명의 사용자들의 손의 위치에 따른 근사적인 방향 전환을 통한 회전되도록 한다. 이 때, 공유 객체에 대해 우선권을 갖는 사용자(즉, A)에게 방향의 주도권이 있다. 따라서 공유 객체의 중점 C의 회전을 위한 방향 벡터는 수학식 3과 같다.

이후 사용자들이 공유 객체인 에어컨 이동을 완료한 후에는 에어컨을 조립하는 과정이 필요하다. 이때는 에어컨의 미세 이동을 담당하는 사용자와 에어컨에 부속 장치들을 조립하는 사용자가 있게 된다. 이때는 에어컨의 미세 이동을 담당하는 사용자가 독점적으로 소유권을 갖게 된다. 이에 따라 공유 객체인 에어컨의 부품 조립, 부속품 결합을 수행하는 사용자는 소유권을 갖는 사용자의 허락을 얻어 작업을 수행할 수 있게 된다.

조립 완료 후, 에어컨에 대해서 테스트를 하는 과정으로써 에어컨을 작동시켜 테스트를 하면서 위치의 세부 수정을 위한 이동 등의 조정이 수행될 수 있다. 이 경우에는 사용자 중 1인이 소유권을 가지고, 나머지 사용자들은 소유권을 가진 사용자의 허락으로 공유 객체에 대한 조작을 수행할 수 있다.

소유권을 갖는 사용자의 허락은, 음성 인식 기능을 갖는 사용자 단말기(20)를 이용하여 소유권을 갖는 사용자의 음성 신호를 통해 이루어 지거나, 해당 메뉴를 레이캐스팅 방식으로 클릭하는 등의 방법으로 이루어 질 수 있다.

본 발명의 일 실시 예에 따른 적응형 동시성 제어 구현부(140)에 의한 적응형 동시성 제어 방법에 따르면, 세부 목표에 따라 소유권이 사용자에게 할당되는 방법, 세부 목표에 따라 수행되는 테스크의 내용, 사용자의 조작이 공유 객체에 반영되는 방법이 달라지도록 제어된다. 이에 따라, 사용자의 조작 사이에 충돌이 발생되는 것이 방지되면서, 세부 목표로 이루어지는 목표를 완료하기 위해 소요되는 시간이 단축되게 된다.

이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.

10: 멀티 프레젠스 가능한 확장 현실 서버
11: 통신 모듈
12: 메모리
13: 제어부
20: 사용자 단말기
130: 동시적 멀티 프레젠스 구현부
140: 적응형 동시성 제어 구현부

Claims (5)

1. 네트워크를 통해 유무선 데이터 통신을 할 수 있도록 제공되는 통신 모듈;
   수신된 데이터, 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 프로그램을 저장하는 메모리; 및
   상기 메모리에 저장된 프로그램을 실행시키는 제어부를 포함하되,
   상기 제어부는,
   사용자 단말기로부터 수신된 데이터 또는 상기 메모리에 저장된 데이터를 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 프로그램에 적용시켜 동시적 멀티 프레젠스 기능을 갖는 확장 현실 사용환경을 구현하기 위한 데이터를 생성하는 동시적 멀티 프레젠스 구현부를 포함하되,
   상기 동시적 멀티 프레젠스 구현부는,
   각각의 사용자에게 개인 작업 공간을 생성하고, 상기 개인 작업 공간이 사용자 단말기에 표시되도록 하며, 상기 개인 작업 공간 내에서의 작업 결과를 작업 보관 데이터로 저장하는 개인 영역 관리부;
   카메라를 통해 촬영된 영상을 수신하고, 수신된 영상을 처리하여 프레젠스 영상을 생성하는 텔레 프레젠스부; 및
   공동 프로젝트에 참여하는 사용자들 각각이 위치된 공간을 카메라로 촬영하여 생성된 상기 프레젠스 영상들이 한 명의 사용자에게 그를 중심으로 그 주의에 배열되는 방식으로 표시되게 하는 멀티 프레젠스 모드를 구현하는 멀티 프레젠스 공간 관리부를 포함하되,
   상기 멀티 프레젠스 공간 관리부는 사용자 단말기를 통해 사용자에게 표시되는 영상의 공간상에 사용자를 중심으로 링 형태로 형성된 가상의 스크린인 프레젠스 디스플레이 스크린에 공동 프로젝트에 참여하는 사용자들 각각이 위치된 공간을 촬영하여 생성된 프레젠스 영상들이 표시되게 하여 사용자들에 둘러싸이는 형태가 되게 표현하여 상기 멀티 프레젠스 모드를 구형하고,
   상기 멀티 프레젠스 공간 관리부는 사용자의 선택에 따라 상기 프레젠스 디스플레이 스크린에 위치된 프레젠스 영상들 중 특정 프레젠스 영상만 3D 입체 형태로 표시되어 선택된 영상에 대응되는 공간으로 입장하는 형태로 인지가 이루어 지는 몰입 모드를 구현하며,
   2명 이상의 사용자가 동일한 프레젠스 영상을 상기 몰입 모드로 선택할 경우, 각각의 사용자에게 표시되는 영상에는 동일한 사용자의 상기 3D 입체 형태로 표시된 프레젠스 영상과 상기 개인 작업 공간의 영상이 포함되고, 상기 3D 입체 형태로 표시된 프레젠스 영상에는 카메라를 통해 촬영된 영상에서 추출된 다른 사용자의 모습이 추출되어 표시되고,
   상기 제어부는
   사용자 단말기로부터 수신된 신호를 통해, 사용자가 하고자 하는 테스크 정보를 분석하는 테스크 분석부;
   각각의 공유 객체의 상태를 관리하는 객체 관리부; 및
   사용자 단말기로부터 수신된 신호를 통해, 사용자에게 할당된 소유권에 따라 가능한 조작을 상기 공유 객체의 상태 변경에 반영하여, 상기 공유 객체에 대한 테스크가 진행되게 하는 테스크 관리부를 더 포함하고,
   상기 테스크는 상기 공유 객체에 대한 목표를 달성하기 위해 상기 공유 객체의 상태가 단계적으로 변경되는 과정에서, 동일 또는 유사성을 가지고 상기 공유 객체의 상태를 변경하고자 하는 목표인 세부 목표를 달성하기 위한 사용자의 행동이고,
   상기 공유 객체의 상태에는 분석된 테스크 정보에 따라 공유 객체에 대해 소유권을 갖는 사용자를 설정하고, 사용자에게 할당된 소유권의 내용이 관리되며,
   상기 테스크 관리부는 상기 세부 목표에 따라 소유권이 사용자에게 할당되는 방법, 세부 목표에 따라 수행되는 테스크의 내용, 사용자의 조작이 공유객체에 반영되는 방법이 달라지도록 제어를 수행하되,
   상기 세부 목표가 공유 객체를 이동하는 과정인 경우, 공유 객체를 잡은 순서에 따라 우선권을 갖는 사용자 A, 우선권이 없는 사용자 B가 설정된 후, 수학식 1에 따라 A와 B사이의 중점인 C가 구해진 후, 사용자의 이동에 따른 움직임의 변위를 수학식 2에 따라 계산하여 중점 C의 위치를 변경하는 방식으로 공유 객체를 이동시키는 적응형 동시성 제어가 구현 가능한 확장 현실 서버.
   [수학식 1]
   
   [수학식 2]
   
2. 제1항에 있어서,
   상기 동시적 멀티 프레젠스 구현부는,
   사용자로부터 신호를 수신하여, 상기 멀티 프레젠스 공간 관리부에 입력되도록 하는 상호 작용 관리부를 더 포함하는 멀티 프레젠스 가능한 확장 현실 서버.
3. 삭제
4. 제1항에 있어서,
   상기 제어부는,
   하나의 공간에 2인의 사용자가 위치한 상태로, 2인이 작업 대상이 되는 공유 객체에 대해 조작하는 경우, 사용자의 조작에 따른 상기 공유 객체의 상태 변화를 제어하는 적응형 동시성 제어 구현부를 더 포함하는 멀티 프레젠스 가능한 확장 현실 서버.
5. 삭제

Images