KR20230055140A

KR20230055140A - 가상현실(vr) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법

Info

Publication number: KR20230055140A
Application number: KR1020210138494A
Authority: KR
Inventors: 최성우; 김은총
Original assignee: 최성우; 김은총
Priority date: 2021-10-18
Filing date: 2021-10-18
Publication date: 2023-04-25

Abstract

본 발명은 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법에 관한 것으로, 더 자세히 설명하면 실사 촬영 사진으로 메인 서버에 3D 맵과 3D 객체를 제작하여 VR 컨텐츠를 구현하는 World 를 형성 및 수정하고, VR 기기, 모바일 기기, Web 기반 접속 등의 복수 종류의 사용자 단말기로 플랫폼에 접속하여 3D 케릭터를 선택하고, 원하는 World에 입장하여 VR 컨텐츠를 이용하는 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법에 관한 것이다.

Description

가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법{Virtual reality (VR) based multi-party non-face-to-face real-time immersive platform system and operation method}

현대 사회에서 가상현실, 증강현실 등의 단어는 더 이상 낯설지 않으며, 가깝게는 게임이나 네비게이션, 여행 안내 등 일상적으로 이용되기도 하며, 건축물 시뮬레이션, 군사 훈련등 각종 분야에 이용되는 기술이 되었다. 특히 가상 현실(VR)의 경우, 3D로 제작한 맵에서 VR 기기를 통해 접속하여 해당 맵에 구현한 객체와의 상호작용을 통한 교육이나 게임 등에 이용되고 있으며, 이를 응용하고 확장하여 수많은 분야에서 활용되고 있다.

한국등록특허 제10-2109942호(등록일 2020.05.06)는 가상현실을 이용한 공존 직업 체험 제공 방법이 개시되어 있는대, 가상현실을 이용한 공존 직업 체험 제공 방법이 제공되며, 적어도 하나의 사용자 VR 장치 및 감독자 VR 장치 간을 연결하는 단계, 적어도 하나의 사용자 VR 장치에서 선택된 직업체험 가상현실 콘텐츠를 적어도 하나의 VR 장치 및 감독자 VR 장치에서 실시간 공유되도록 스트리밍하는 단계, 직업체험 가상현실 콘텐츠 내의 가상객체 또는 가상 이벤트에 대응하여 인터렉션하는 적어도 하나의 사용자 VR 장치의 입력 데이터를 수집하는 단계, 수집된 입력 데이터와 기 설정된 기준 데이터를 비교하여 적어도 하나의 사용자의 선택된 직업 간의 적합성을 평가하여 피드백 데이터를 적어도 하나의 사용자 VR 장치 및 감독자 VR 장치로 전송하는 단계, 및 감독자 VR 장치 또는 적어도 하나의 사용자 VR 장치에 의해 실시간으로 변경되는 직업체험 가상현실 콘텐츠가 디스플레이되도록 디스플레이 장치로 데이터를 전송하는 공유되도록 하는 단계를 포함한다.

상술한 종래의 기술은 VR 장비를 필수적으로 요구하고, VR 장비가 아닌 단말기를 이용하여 접속할 경우, 감독자라는 역할만을 수행할 수 있다. 또한 VR 컨텐츠를 이용함에 있어서, 불특정 다수가 같은 VR 컨텐츠에 동시접속하는 것에 한계점이 있다.

또다른 종래의 기술로 한국등록특허 제10-2144268호(등록일 2020.08.07)는 드론 촬영을 통해 촬영된 영상을 이용한 3D 맵 제작 장치 및 방법이 개시되어 있는대, 외부에서 획득한 쓰리디(3D, 3 dimension) 매핑(mapping) 데이터(data)를 바탕으로 브이알(VR,Virtual Reality)용 쓰리디 맵을 제작하는 방법 및 장치에 관한 발명으로, 더욱 상세하게는 외부로부터 쓰리디매핑 데이터를 수신한 이후에, 브이알 환경에 적합한 데이터의 구현을 위해 다면체의 간략화 작업 및 정규 객체의 폴리곤 수를 제어하는 일련의 과정을 자동화하여 브이알 용 쓰리디 맵 구현 작업의 효율성을 향상시킨 무인관측 수단에 의해 촬영된 영상을 이용한 브이알 용 쓰리디 맵 제작 장치 및 방법을 제공한다.

상술한 종래의 기술은 드론과 같은 무인 관측 수단을 활용하여 3D 맵을 제작하는대, 이는 공중 촬영이 가능한 드론 장비를 필요로 하고, 3D 맵에 대한 수정이 필요한 경우, 반복적으로 드론 장비를 운용하여야하고, VR 컨텐츠 내에서 상호작용이 가능한 객체를 따로 구분지어 3D 맵을 생성하는 것이 불가능하다는 한계점이 있다.

한국등록특허 제10-2109942호 "가상현실을 이용한 공존 직업 체험 제공 시스템 및 방법" 한국등록특허 제10-2144268호 "무인 관측 수단에 의해 촬영된 영상을 이용한 브이알(VR, Virtual Reality)용 쓰리디 맵 제작 장치 및 방법."

본 발명의 목적은 이러한 문제점을 해결하기 위한 것으로 다양한 종류의 디바이스로 접속 가능하고, 스마트폰 등 뎁스 카메라를 지원하는 촬영장비로 실시간으로 3D 맵을 제작하고 수정하는 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법을 제공하는 것이다.

상술한 과제를 해결하기 위한 수단으로, 본 발명의 한 특징에 따르면, 플랫폼 사용자가 이용하는 사용자 단말기; 플랫폼을 구동하는 메인 서버;를 포함하는 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템을 제공한다.

일 실시예에서, 상기 사용자 단말기는 서버로 부터 로드한 3D 맵과 객체, 케릭터와 음성을 출력하는 출력부; 네트워크와 통신하는 통신부; 사용자의 음성 또는 텍스트 또는 동작을 입력하는 입력부; 단말기 기기에서 플랫폼 접속을 실행하는 애플리케이션; 각 구성을 통제하는 제어부;를 포함하여 구성되는 것을 특징으로한다.

일 실시예에서, 상기 사용자 단말기는 VR HMD, 모바일 기기, Web 접속이 가능한 PC 등 복수 종류의 디바이스인 것을 특징으로한다.

일 실시예에서, 상기 사용자 단말기는 VR HMD 인 경우, 동작 인식부를 추가로 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 메인 서버는 실사 사진 혹은 모델 데이터를 기반으로 3D 객체 또는 맵 또는 케릭터를 생성하는 3D 모델 생성부; 수정되거나 저장된 3D 맵을 구동중인 World에 구현하는 3D 맵 구현부; 생성되거나 저장된 3D 케릭터를 구동중인 World에 구현하는 생성된 3D 케릭터 구현부; 수정되거나 저장된 상호작용 가능한 3D 객체를 구동중인 World에 구현하는 3D 객체 구현부, 각 World를 플랫폼 이용자들에게 제공하고, World 데이터를 수정하거나 접속자 상황을 관리하는 World 관리부; 네트워크와 통신하는 통신부; 3D 맵 데이터와 3D 케릭터 데이터와 3D 객체 데이터 및 사용자들의 계정 정보를 저장하는 저장부; 각 구성부를 통제하는 제어부를 포함하여 구성되는 것을 특징으로 한다.

일 실시예에서, 상기 3D 모델 생성부는 수신한 실사 이미지로부터 텍스처링 데이터를 추출하는 텍스처 추출부; 텍스처 데이터를 3D 이미지로 변환하고 예시 객체에 삽입하는 3D 변환부; 해당 실사 이미지의 시간과 장소를 저장부와 온라인 지리 정보 시스템으로부터 확인하여 위치를 파악하는 시간 및 위치 정보 판단부; 실사 이미지로부터 생성한 객체를 World 에서 사용자들과 상호작용 가능한 3D 객체로 형성하는 객체화부; 각 구성부에 필요한 연산을 실행하고 이미지 데이터의 차이점을 분석하는 연산부;를 포함하는 것을 특징으로 한다.

상술한 과제를 해결하는 수단으로, 본 발명의 다른 한 특징에 따르면,

3D 모델 생성부에서 실사 이미지를 수신하는 단계; 3D 모델 생성부의 텍스처 추출부에서 실사 이미지로부터 텍스처링 데이터를 추출하는 단계; 3D 모델 생성부의 3D 변환부에서 텍스처링 데이터를 기반으로 3D 이미지를 생성하고, 연산부에서 객체의 외면 크기와 볼륨을 계산하는 단계; 3D 모델 생성부의 연산부에서 저장부에 저장되어 있는 예시 객체의 외면에 텍스처링한 데이터를 삽입 하는 단계; 3D 모델 생성부에서 생성된 객체를 해당 위치 정보의 3D 맵에 배치하는 단계; 저장부에 생성된 객체가 배치된 3D 맵 데이터를 저장하는 단계; 3D 맵 구현부가 저장된 3D 맵 데이터를 로드하여 World에 출력하는 단계;를 포함하는 가상현실(VR) 기반의 비대면 실시간 실감형 플랫폼 운용방법을 제공한다.

일 실시예에서, 상술한 방법으로 생성한 3D 맵을 실시간으로 수정하는 방법은, 3D 모델 생성부에서 실사 이미지를 수신하는 단계; 3D 모델 생성부의 텍스처 추출부에서 실사 이미지로부터 텍스처링 데이터를 추출하는 단계; 3D 모델 생성부에서 시간 및 위치 정보 판단부에서 해당 실사 사진의 내용이 새로운 장소인지 기존 3D 맵에 해당하는 사진인지 판단하고, 연산부에서 해당 위치정보의 기존 3D 멥과 추출한 데이터에서 차이점을 분석하는 단계; 3D 모델 생성부의 연산부에서 차이가 있는 텍스처링 데이터를 3D 이미지화 하고, 객체의 외면 크기와 볼륨을 계산하는 단계; 3D 모델 생성부에서 기존 3D 맵과 차이가 있는 객체의 외면에 텍스처링한 데이터에서 추출한 3D 이미지를 삽입하여 수정하거나 추가로 객체를 생성하거나 삭제하는 단계; 3D 모델 생성부에서 수정되거나 생성된 객체를 해당 3D 맵에 배치하는 단계; 저장부에 수정된 3D 맵 데이터를 갱신하는 단계; 3D 맵 구현부로 수정된 3D 맵 데이터를 로드하여 World에 출력하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.

일 실시예에서, 상기 실사 사진은 촬영용 드론 뿐만 아니라 스마트폰 등 뎁스 카메라를 지원하는 촬영 장비로 촬영된 사진인 것을 특징으로 한다.

본 발명의 효과로는, 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법을 제공함으로써, VR HMD 기기와 모바일 기기 뿐만 아니라 Web으로 PC와 같은 기기에서 접속하는 것이 가능하여 VR 관련 장비를 필수적으로 구입하지 않아도 플랫폼의 VR 컨텐츠를 이용하는 것이 가능하다는 것이다.

본 발명에 의하면, 기존의 드론 촬영뿐만 아니라 스마트폰 등 뎁스 카메라를 지원하는 촬영 장치로부터 얻은 실사 이미지를 기반으로 World를 구성하는 3D 맵을 제작하는 것이 가능하여, 드론 장비를 필수적으로 준비할 필요가 없다. 또한 같은 장소의 다른 실사 이미지로 해당 장소를 구현한 World의 3D 맵을 실시간으로 수정하는 것이 가능하여 3D 맵 제작 전문가가 아닌 일반 사용자들도 쉽게 3D 맵 제작에 참여하는 것이 가능하다는 효과도 가진다.

본 발명에 의하면, 일반적으로 화상 영상과 음성으로 이루어진 기존의 비대면 플랫폼 및 이미 제작되어 있는 VR 컨텐츠를 다운받아 출력기기로 출력하는 기존의 VR 프로그램들과 달리, 3D 맵, 3D 객체, 3D 케릭터로 구현되고 동시접속 가능한 Wolrd의 VR 컨텐츠로 실시간으로 변화를 반영하고, 실감성 있으며 안전한 체험을 제공한다는 효과도 가진다. 이를 통하여 교육, 업무, 예술관람과 같은 분야에서 더 효과적인 체험이 가능하는 효과를 가져온다.

도 1은 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템의 개략적인 개념도이다.
도 2는 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템의 사용자 단말기의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템의 메인 서버의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템의 메인 서버의 구성 중 3D 모델 생성부의 구성도이다.
도 5a는 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 운용방법의 실사 사진으로 메타버스 맵을 생성하는 방법의 흐름도이다.
도 5b는 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 운용방법의 실사 사진으로 메타버스 맵을 실시간 수정하는 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 운용방법의 플랫폼 접속 및 이용방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 운용방법의 플랫폼 로그인 단계의 예시도이다.
도 8은 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 운용방법의 My Room 입장 단계의 예시도이다.
도 9는 본 발명의 일 실시예에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 운용방법의 World 입장 단계의 예시도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

본 발명에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템은 도 1에서 도시한 바와 같이, 네트워크로 연결된 사용자 단말기(100)와 메인 서버(200)로 구성된다.

상기 사용자 단말기(100)는 도 1에서 도시한 바와 같이, 모바일 기기, VR HMD, Web 기반 접속이 가능한 기기(주로 PC)등 여러 종류의 멀티 디바이스에서 접속이 가능하며, 하나의 플랫폼을 실시간 동시접속하여 공유하고 상호작용하는 것이 가능하다.

상기 사용자 단말기(100)는 도 2에서 도시한 바와 같이, 사용자에게 영상과 음성을 출력하는 출력부(110); 네트워크와 연결 및 통신을 관리하는 통신부(120); 사용자의 음성 혹은 텍스트를 입력하는 입력부(130); 여러 종류의 멀티 디바이스 중 해당 사용자 단말기(100) 디바이스에 맞는 프로그램으로로 설치되고, 설치된 사용자 단말기(100)에서 플랫폼으로 접속가능하게하는 애플리케이션(140); 각 구성부를 통제하고 제어하는 제어부(150)로 구성된다.

상기 사용자 단말기(100)가 오큘러스 리프트, 오큘러스 퀘스트, HTC VIVE 등의 VR HMD 기기인 경우, 사용자의 동작을 인식 및 입력부로 전달하여 플랫폼 내에서 사용자의 동작을 구현하게하는 동작 인식부를 추가로 포함하며, 풀 바디 트랙킹(Full Body Tracking) 또한 인식하여 플랫폼에 입력하는 것이 가능하다.

상기 사용자 단말기(100)의 출력부(110)가 출력하는 영상은 플랫폼에서 구현된 World의 3D 맵, 3D 케릭터, 3D 객체 등을 포함하고, 음성은 플랫폼에서 구현한 음성과 다른 이용자가 입력한 음성을 포함한다.

상기 메인 서버(200)는 도 3에 도시한 바와 같이, 플랫폼에서 출력되는 3D 맵, 3D 케릭터, 3D 객체를 생성하는 3D 모델 생성부(210); 저장부에 저장된 My Room 및 World의 3D 맵을 구현하여 출력하는 3D 맵 구현부(220); 저장부에 저장된 3D 케릭터를 구현하여 출력하는 3D 케릭터 구현부(230); 저장부에 저장된 My Room 및 World 내의 상호작용 가능한 3D 객체를 구현하여 출력하는 3D 객체 구현부(240); 저장부에 저장된 World를 플랫폼 사용자들에게 제공하고, World 데이터를 수정하거나 접속자 상황을 관리하는 World 관리부(250); 네트워크와 연결 및 통신을 관리하는 통신부(260); 3D 맵 데이터, 3D 케릭터 데이터, 3D 객체 데이터, World 데이터 및 사용자들의 계정 정보 등 플랫폼 이용에 사용되는 데이터와 정보를 저장하는 저장부(270); 각 구성부를 제어하고 통제하는 제어부(280);로 구성된다.

상기 3D 모델 생성부(210)는 도 4에 도시한 바와 같이, 실사 이미지에서 텍스처 데이터를 추출하는 텍스처 추출부(211); 추출한 텍스처 데이터를 3D 이미지로 변환하는 3D 변환부(212); 실사 이미지의 시간과 장소를 저장부와 온라인 지리 정보 시스템으로부터 확인하여 시간과 위치를 파악하는 시간 및 위치 정보 판단부(213); 생성한 3D 객체가 3D 맵의 구성 중 상호작용이 가능한 3D 객체인 경우 이를 구별하여 상호작용이 가능하게 만드는 객체화부(214); 각 구성부에 필요한 연산을 실행하고 같은 위치에 대한 새 실사 이미지를 수신하여 실시간 수정이 필요한 경우, 실사 이미지 데이터의 차이점을 분석하는 연산부(215)를 포함하여 구성된다.

상기 World는 3D 맵, 3D 객체와 이용자의 3D 케릭터가 구현되는 공간으로 World 관리부(250)는 서버 공간에 각각 분리된 복수의 World를 배치하고, 각 구현부(220, 230, 240)가 저장부로부터 데이터를 로드하여 해당 공간에 3D 맵, 3D 객체를 구현하고 플랫폼 사용자가 입장할 경우 사용자의 3D 케릭터를 추가로 구현한다. 예를 들면, 일반적인 교실을 구현한 World가 있다면 해당 World의 3D 맵은 일반적인 교실의 벽, 창문, 바닥과 같은 객체를 배경으로하고 책상, 의자, 책 같은 상호작용 가능한 객체를 포함할 수 있고, 플랫폼 사용자들이 해당 World에 입장하면 사용자들의 3D 케릭터가 추가로 포함될 수 있다. 또한 저장부(270)에서 다른 책, 칠판에 출력되는 교육자료 등 추가적으로 필요한 객체들을 로드하여 World 내에 구현할 수 있다. 또한 실사 사진을 기반으로 현실의 특정 장소를 World로 구현하는 것도 가능하다. 예를 들어, 서초역 역사를 찍은 사진으로부터 서초역 역사를 3D 맵으로 생성하고, 개찰구를 상호작용 가능한 객체로 구현하고, 지하철 객체를 로드하여 배치하는 것이 가능하다. 플랫폼 사용자들은 플랫폼에 로그인하고 이러한 복수의 World 중 원하는 World를 선택하여 입장하는 것으로 VR 컨텐츠를 이용하는 것이 가능하다.

상술한 바와 같은 구성을 가진 본 발명에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법은 기존 VR 컨텐츠들처럼 직접 제작한 3D 맵을 저장부(270)에 저장하였다가 로드하여 사용하는 것이 가능하다. 또한 3D 맵 제작에 사용되던 촬영용 드론 뿐만 아니라 스마트폰 등 뎁스 카메라를 지원하는 촬영 장치로 촬영한 실사 사진으로 3D 맵을 생성하여 플랫폼에서 운용하거나 같은 장소에 대한 다른 사진으로 실시간 수정하여 플랫폼에 적용하는것도 가능하다.

뎁스 카메라로 촬영한 실사 사진으로 부터 3D 맵을 생성하는 과정은 도 5a에 도시한 바와 같이, 스마트폰 등 뎁스 카메라 촬영 장치로 촬영된 실사 사진의 이미지를 메인 서버(200)가 수신하는 단계(S10); 텍스처 추출부(211)에서 수신한 실사 이미지로부터 텍스처링 데이터를 추출하는 단계(S11); 3D 변환부(212)에서 추출한 텍스처링 데이터를 3D 이미지로 변환하여 3D 이미지를 생성하고, 연산부(215)에서 추출한 텍스처링 데이터에서 객체의 외면 크기와 볼륨을 계산하는 단계(S12); 연산부(215)에서 저장부(270)에 저장되어 있는 예시 객체 중 유사한 예시 객체를 로드하여 예시 객체의 외면에 생성한 텍스처링 데이터로부터 생성한 3D 이미지를 삽입하는 단계(S13); 3D 모델 생성부(210)에서 3D 이미지를 삽입하여 생성한 객체를 해당 위치 정보의 3D 맵에 배치하는 단계(S14); 저장부(270)에 생성된 객체들이 배치된 3D 맵 데이터를 저장하는 단계(S15); 3D 맵 구현부(220)가 저장된 3D 맵 데이터를 로드하여 World에 출력하는 단계(S16); 로 이루어진다.

상술한 연산부(215)에서 3D 모델 생성부로 저장부(270)에 저장되어 있는 예시 객체 중 유사한 예시 객체를 로드하여 예시 객체의 외면에 생성한 텍스처링 데이터로부터 생성한 3D 이미지를 삽입하는 단계(S13)를 더 자세히 설명하면, 연산부(215)가 그 이전 단계에서 계산한 텍스처링 데이터에서 계산한 생성할 객체의 크기와 볼륨에서 형태를 파악하여 저장부(270)에 저장되어 있는 예시 객체 중 이와 유사한 예시 객체 혹은 복수의 예시 객체를 조합하여 로드한 후, 생성한 3D 이미지를 예시 객체에 삽입하여 객체를 생성한다. 예를 들면, 교실을 찍은 사진에서 3D 맵을 생성할 경우, 의자의 예시 객체 혹은 몇 개의 직육면체와 사각기둥을 조합하여 로드한 뒤, 교실 의자의 3D 이미지를 예시 객체에 삽입하여 3D 맵의 교실 의자를 만드는 경우이다.

상술한 3D 모델 생성부(210)에서 3D 이미지를 삽입하여 생성한 객체를 해당 위치 정보의 3D 맵에 배치하는 단계(S14)에서 생성한 객체가 해당 3D 맵의 배경 혹은 일반적인 이미지가 아니라 플랫폼 사용자가 상호작용을 필요로 하는 객체라고 연산부(215)가 판단하면 객체화부(214)에서 해당 객체를 상호작용이 가능한 객체로 설정한다. 또한 3D 맵 생성 완료 후 플랫폼 관리자가 이를 수동으로 설정하는 것도 가능하다. 예를 들면, 교실을 찍은 사진에서 3D 맵을 생성하면 벽, 바닥은 배경으로 쓰이지만 의자나 책상, 책은 플랫폼 사용자가 앉거나 잡는게 가능하게 만드는 경우이다.

상술한 3D 모델 생성부(210)에서 3D 이미지를 삽입하여 생성한 객체를 해당위치 3D 맵에 배치하는 단계(S14)에서 실사 사진을 수신할때 시간 정보와 위치 정보를 함께 수신하였거나 혹은 실사 사진 파일에 사진이 촬영된 시간 및 위치 정보가 포함되어 있는 경우, 이를 3D 맵 데이터에 포함한다. 실사 사진 파일에서 시간 및 위치 정보가 없다면 시간 및 위치 판단부(213)에서 저장부(270)에 저장된 시간 및 위치 정보를 포함한 다른 3D 맵과 비교하거나 외부 GIS(지리정보시스템)로부터 데이터를 받아 실사 사진의 위치 정보를 파악한다.

본 발명에 따르면, 상술한 과정으로 생성한 3D 맵을 같은 장소의 다른 사진으로 실시간 수정하여 World에 출력하는 것이 가능하다. 뎁스 카메라로 촬영한 실사 사진으로 3D 맵을 실시간 수정하는 과정은 도 5b에 도시한 바와 같이, 스마트폰 등 뎁스 카메라 촬영 장치로 촬영된 실사 사진의 이미지를 메인 서버(200)가 수신하는 단계(S20); 텍스처 추출부(211)에서 수신한 실사 이미지로부터 텍스처링 데이터를 추출하는 단계(S21); 시간 및 위치 판단부(213)에서 해당 실사 사진이 새로운 장소에 대한 사진인지 기존의 저장된 3D 맵과 같은 장소인지 판단하고, 연산부(215)에서 기존 3D 맵의 데이터와 차이를 분석하는 단계(S22); 3D 변환부(212)에서 추출한 텍스처링 데이터 중 차이가 있는 데이터를 3D 이미지로 변환하여 3D 이미지를 생성하고, 연산부(215)에서 추출한 텍스처링 데이터에서 차이가 있는 객체의 외면 크기와 볼륨을 계산하는 단계(S23); 연산부(215)에서 기존 3D 맵과 차이가 발생한 객체에 택스처링한 데이터에서 추출한 3D 이미지를 삽입하여 수정하거나 예시 객체에 3D 이미지를 삽입하여 새로운 객체를 생성하거나 사라진 객체를 삭제하는 단계(S24); 3D 모델 생성부(210)에서 수정되거나 추가로 생성된 객체를 해당 3D 맵에 반영하는 단계(S25); 저장부(270)에 수정되거나 추가로 생성된 객체들이 배치된 3D 맵 데이터를 저장하는 단계(S26); 3D 맵 구현부(220)가 저장된 3D 맵 데이터를 로드하여 실시간으로 World에 출력하는 단계(S27); 로 이루어진다.

상술한 시간 및 위치 판단부(213)에서 해당 실사 사진이 새로운 장소에 대한 사진인지 기존의 저장된 3D 맵과 같은 장소인지 판단하고, 연산부(215)에서 기존 3D 맵의 데이터와 차이를 분석하는 단계(22);에서 실사 사진을 수신할때 시간 정보와 위치 정보를 함께 수신하였거나 혹은 실사 사진 파일에 사진이 촬영된 시간 및 위치 정보가 포함되어 있다면 해당 시간 및 위치 정보와 일치하는 3D 맵을 로드하여 활용한다. 실사 사진 파일에서 시간 및 위치 정보가 없다면 시간 및 위치 판단부(213)에서 저장부(270)에 저장된 시간 및 위치 정보를 포함한 다른 3D 맵과 비교하거나 외부 GIS(지리정보시스템)로부터 데이터를 받아 실사 사진의 위치 정보를 파악한다.

상술한 연산부(215)에서 기존 3D 맵과 차이가 발생한 객체에 택스처링한 데이터에서 추출한 3D 이미지를 삽입하여 수정하거나 예시 객체에 3D 이미지를 삽입하여 새로운 객체를 생성하거나 사라진 객체를 삭제하는 단계(S24)에서 기존에 있던 객체가 변형된 경우, 변형된 객체의 기존 이미지 대신 새로운 실사 사진에서 추출한 텍스처링 데이터로 생성한 3D 이미지를 삽입한다. 기존의 객체가 사라진 경우, 해당 객체를 삭제하거나 플랫폼 관리자의 설정에 따라 해당 객체를 3D 맵 내에서 은폐 한다. 예를 들어, 교실을 촬영한 사진에서 기존 사진에 있던 의자가 새로운 사진에 없어졌다면 해당 의자를 삭제하거나 은폐한다.(은폐의 경우 상호작용 또한 제거한다.) 의자의 형태나 색이 바뀌었다면, 해당 의자 객체에 새로운 3D 이미지를 삽입하여 변경한다. 새로운 의자가 추가되었다면 3D 맵 생성 과정에서 상술하였듯이, 예시 객체에 이미지를 삽입하여 생성한다.

상술한 저장부(270)에 생성된 객체들이 배치된 3D 맵 데이터를 저장하는 단계(S26)에서 플랫폼 관리자와 사용자의 설정에 따라 기존 3D 맵을 지우고 새롭게 갱신된 3D 맵만 저장부(270)에 저장하는 것이 가능하다.

도 6 내지 도 9는 본 발명에 따른 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼의 사용자가 실제로 사용하는 방법을 설명하는 도면이다. 이는 도 6에 도시한 바와 같이, 사용자 단말기(100)에서 메인 서버(200)에 로그인하는 단계(S30); 사용자 단말기(100)에서 메인 서버(200)의 저장부(270)에 저장된 3D 케릭터 모델을 선택하여 로드하는 단계(S31); 사용자 단말기(100)가 메인 서버(200)의 3D 맵 구현부(220)에서 My Room 3D 맵을 로드하여 My Room 3D 맵을 사용자에게 출력하는 단계(S32); 사용자 단말기(100)가 사용자에게 My Room 3D 맵에서 입장가능한 World를 보여주는 단계(S33); 사용자 단말기(100)가 메인 서버(200)에서 사용자가 입장하려는 World의 3D 맵과 3D 객체, 동시 접속한 다른 사용자의 3D 케릭터를 로드하고 사용자에게 출력하는 단계(S34); 로 이루어진다.

상술한 방법을 더 자세히 설명하면, 먼저 도 7에 도시한 바와 같이, 플랫폼 사용자가 자신이 사용하는 사용자 단말기(100)(Web 기반 기기, 모바일 기기 또는 VR HMD 기기 등)를 통해 플랫폼에 로그인하는 것으로 시작된다. 로그인이 완료되면 도 8에 도시한 바와 같이, 메인 서버(200)의 저장부(270)에 저장되어 있는 3D 케릭터 모델들을 사용자에게 보여준다. 사용자가 원하는 3D 케릭터 모델을 선택하면 My Room으로 입장한다. My Room은 World와 유사하지만 다른 플랫폼 사용자가 입장할 수 없고, 단순한 배경의 3D 맵과 입장 가능한 World를 표시하고 상호작용할 경우(예로, 통과하듯이 걸어 들어가는 경우) 해당 World로 입장하는 Wolrd 포탈 객체로만 구성된다. My Room에서 원하는 World를 선택하는 방법은 두 가지가 있는대, 하나는 상술한 World 포탈을 상호작용하는 것이고, 다른 하나는 플랫폼 사용자 메뉴에서 원하는 World로 이동하기 기능을 활용하는 것이다. 원하는 World를 선택하면 도 9에 도시한 바와 같이, 사용자 단말기(100)가 메인 서버(200)로 부터 World의 데이터를 로드하여 플랫폼 사용자에게 해당 World의 3D 맵과 3D 객체, 동시 접속한 다른 사용자들의 3D 케릭터를 출력하고, 플랫폼 사용자는 해당 Wolrd의 VR 컨텐츠를 이용하게 된다.

상기 VR 컨텐츠는 플랫폼 사용자나 플랫폼 관리자가 사전에 제작한 객체 혹은 3D 객체 구현부(240)에서 3D 객체로 변환한 특정 데이터를 포함한다. 예를 들어, 사전에 플랫폼 사용자나 관리자가 메인 서버(200)에 업로드한 교육자료를 교실 World에서 칠판에 출력시키거나 책과 같은 3D 객체로 형성하여 상호작용시 플랫폼 사용자의 화면에 큰 이미지 혹은 텍스트로 출력시키는 것이 가능하다.

상술한 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼은 여러 분야에서 활용이 가능하다.

제 1 실시예로, 상기 플랫폼은 교육 분야에 활용할 수 있다. 학생들과 교사가 각각 사용자 단말기(100)로 플랫폼에 로그인하고 교사가 지정한 World로 접속하여 사전에 교사가 메인 서버(200)에 업로드 해놓은 교육자료를 함께 공유하면서 수업하는 것이 가능하다. 이때 과목에 따라 각각 다른 World를 사용할 수 있다. 예를 들면, 영어 과목의 경우 비행기나 공원, 레스토랑 등 여러 장소의 World를 이동하며 해당 장소와 관련된 표현들을 체험하며 교육하는 것이 가능하다. 역사 과목의 경우 유적지의 과거 모습과 현재 모습을 구현한 World를 통해 그 시대를 체험하며 학습하는 것이 가능하다. 미술 과목의 경우 3D 객체로 구현된 미술 도구들로 회화나 조각 작품을 제작하는 것이 가능하다. 과학 과목의 경우, 플랫폼의 물리엔진으로 구현되는 물리법칙을 통해 3D 객체로 물리 실험을 체험하는 것이 가능하고, 화학 실험에서도 실제 사용하기 위험한 약품을 안전하게 실험하는 것이 가능하며, 생물의 경우에도 해부 모델을 3D 객체로 만들어 실험하는 것이 가능하다. 또한 이 모든 과정을 다수의 학생이 동시 참여하여 3D 객체를 동시조작하거나 역할 체험을 하는 등 효과적인 비대면 실감형 참여형 수업이 가능하다. 이를 응용하여 비대면 대학 강의나 발표, 실험 등으로 확장 및 활용할 수 있다.

제 2 실시예로, 상기 플랫폼은 회사 실무에 활용하는 것이 가능하다. 정해진 회의실 World로 회의 참석자들이 접속하고, 메인 서버(200)에 업로드한 회의 자료를 3D 객체로 출력하고 공유하여 단순 화상회의보다 더 실감성 있고 효율적인 비대면 회의를 진행하는 것이 가능하다. 또한 상술한 교육분야에서의 활용을 응용하여 직무 시뮬레이션 교육, 현장 체험에도 활용하는 것이 가능하다. 또한 회의의 개념을 확장하여 회사에서 주최하는 컨퍼런스나 신입 사원을 채용하는 면접 등에 활용할 수 있다.

제 3 실시예로, 상기 플랫폼은 비대면 예술 관람에 활용하는 것이 가능하다. 미술관이나 박물관을 VR로 구현하여 웹페이지나 VR 프로그램으로 접속하여 비대면 원격 관람하는 기술은 일반적으로 구현되어 있다. 하지만 상기 플랫폼은 해당 예술관이나 박물관을 구현한 World에서 작품을 3D 객체화 하여 여러 각도로 돌려보는 것이 가능하고, 유물을 경우 3D 객체화 하여 사용하는 등 실제로는 불가능한 방법으로 실감성 있게 관람하는 것이 가능하며, 동시접속한 다른 플랫폼 사용자들과 실시간 음성대화로 의견을 교환하는 것이 가능하다. 예를 들면 국립중앙박물관을 구현한 World로 입장하여 전시되어 있는 안견의 몽유도원도를 뒤집어보거나 고려시대의 월도를 꺼내어 휘둘러 보거나 조선시대에 쓰이던 편종을 직접 울려보며 동시접속한 다른 플랫폼 사용자들과 지식과 느낌을 공유하며 관람하는 것이다. 또한 예술관이나 박물관의 다른 시기에 찍은 실사 사진들로 쉽고 빠르게 시기마다 다른 전시품 변경을 반영하는 것이 가능하다. 또한 상기 제시한 각 실시예를 응용하고 확장하여 더 많은 분야에서 활용하는 것이 가능하다.

상술한 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법은 VR HMD 기기와 모바일 기기 뿐만 아니라 Web으로 PC와 같은 기기에서 접속하는 것이 가능하고, 다양한 종류의 사용자 단말기(100)에서 디바이스간 충돌이나 갈림없이 하나의 World로 접속하고 공유하는 것이 가능하다. 따라서 VR HMD 기기 등 VR 관련 장비를 필수적으로 구입하지 않아도 플랫폼의 VR 컨텐츠를 이용하는 것이 가능하다.

상술한 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법은 기존의 드론 촬영뿐만 아니라 스마트폰 등 뎁스 카메라를 지원하는 촬영 장치로부터 얻은 실사 이미지를 기반으로 World를 구성하는 3D 맵을 제작하는 것이 가능하다. 따라서 3D 맵을 제작하기 위해 드론 장비를 필수적으로 준비할 필요가 없다. 또한 같은 장소의 다른 실사 이미지로 해당 장소를 구현한 World의 3D 맵을 실시간으로 수정하는 것이 가능하여 3D 맵 제작 전문가가 아닌 일반 사용자들도 쉽게 3D 맵 제작에 참여하는 것이 가능하다. 또한 실시간 수정으로 플랫폼 사용자들에게 점점 더 정확한 해당 장소를 구현한 3D 맵을 제공하는 것이 가능하고, 시간에 따른 해당 World의 3D 맵의 변화를 보여주는 것이 가능하다.

상술한 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템 및 운용방법은 일반적으로 화상 영상과 음성으로 이루어진 기존의 비대면 플랫폼 및 이미 제작되어 있는 VR 컨텐츠를 다운받아 출력기기로 출력하는 기존의 VR 프로그램들과 달리, 3D 맵, 3D 객체, 3D 케릭터로 구현되고 동시접속 가능한 Wolrd의 VR 컨텐츠로 실시간으로 변화를 반영하고, 실감성 있으며 안전한 체험을 제공한다. 그리고 이를 통하여 더 효과적인 교육, 업무, 관람 체험이 가능하다.

이상, 본 발명의 실시 예는 상술한 장치 및/또는 운용방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100 : 사용자 단말기
110 : 출력부
120 : 통신부
130 : 입력부
140 : 애플리케이션
150 : 제어부
200 : 메인 서버
210 : 3D 모델 생성부
211 : 텍스처 추출부
212 : 3D 변환부
213 : 시간 및 위치 판단부
214 : 객체화부
215 : 연산부
220 : 3D 맵 구현부
230 : 3D 케릭터 구현부
240 : 3D 객체 구현부
250 : World 관리부
260 : 통신부
270 : 저장부
280 : 제어부

Claims

VR 기반 플랫폼에 있어서,
네트워크로 연결된 사용자 단말기(100)와 메인 서버(200)를 포함하여 구성되며,
상기 사용자 단말기(100)는 서버로 부터 로드한 3D 맵과 객체, 케릭터와 음성을 출력하는 출력부(110);
네트워크와 통신하는 통신부(120);
사용자의 음성 또는 텍스트 또는 동작을 입력하는 입력부(130);
단말기 기기에서 플랫폼 접속을 실행하는 애플리케이션(140);
각 구성을 통제하는 제어부(150)를 포함하여 구성되고,
상기 메인 서버(200)은 실사 사진 혹은 모델 데이터를 기반으로 3D 객체 또는 맵 또는 케릭터를 생성하는 3D 모델 생성부(210);
수정되거나 저장된 3D 맵을 메인 서버(200)에서 구동중인 World에 구현하는 3D 맵 구현부(220);
생성되거나 저장된 3D 케릭터를 메인 서버(200)에서 구동중인 World에 구현하는 생성된 3D 케릭터 구현부(230);
수정되거나 저장된 상호작용 가능한 3D 객체를 메인 서버(200)에서 구동중인 World에 구현하는 3D 객체 구현부(240);
각 World를 플랫폼 이용자들에게 제공하고, World 데이터를 수정하거나 접속자 상황을 관리하는 World 관리부(250);
네트워크와 통신하는 통신부(260);
3D 맵 데이터와 3D 케릭터 데이터와 3D 객체 데이터 및 사용자들의 계정 정보를 저장하는 저장부(270);
각 구성부를 통제하는 제어부(280)를 포함하여 구성되는 것을 특징으로 하는 가상현실(VR) 기반의 비대면 실시간 실감형 플랫폼 시스템
1항에 있어서,
상기 사용자 단말기(100)는 1종 이상의 복수의 종류의 디바이스인 것을 특징으로 하고, 사용자의 동작을 감지하여 인식하는 동작 인식부를 추가로 포함하는 것을 특징으로하는 가상현실(VR) 기반의 다자간 비대면 실시간 실감형 플랫폼 시스템
1항에 있어서,
상기 메인 서버(200)의 3D 모델 생성부(210)는 수신한 실사 이미지로부터 텍스처링 데이터를 추출하는 텍스처 추출부(211);
텍스처 데이터를 3D 이미지로 변환하고 예시 객체에 삽입하는 3D 변환부(212);
해당 실사 이미지의 시간과 장소를 저장부와 온라인 지리 정보 시스템으로부터 확인하여 위치를 파악하는 시간 및 위치 정보 판단부(213);
실사 이미지로부터 생성한 객체를 World 에서 사용자들과 상호작용 가능한 3D 객체로 형성하는 객체화부(214);
각 구성부에 필요한 연산을 실행하고 이미지 데이터의 차이점을 분석하는 연산부(215)를 포함하는 것을 특징으로 하는 가상현실(VR) 기반의 비대면 실시간 실감형 플랫폼 시스템
VR 기반 플랫폼에 있어서,
실사 사진 정보를 기반으로 3D 맵을 생성하는 방법은
3D 모델 생성부(210)에서 실사 이미지를 수신하는 단계(S10);
3D 모델 생성부(210)의 텍스처 추출부(211)에서 실사 이미지로부터 텍스처링 데이터를 추출하는 단계(S11);
3D 모델 생성부(210)의 3D 변환부(212)에서 텍스처링 데이터를 기반으로 3D 이미지를 생성하고, 연산부(215)에서 객체의 외면 크기와 볼륨을 계산하는 단계(S12);
3D 모델 생성부(210)의 연산부(215)에서 저장부(270)에 저장되어 있는 예시 객체의 외면에 텍스처링한 데이터를 삽입 하는 단계(S13);
3D 모델 생성부(210)에서 생성된 객체를 해당 위치 정보의 3D 맵에 배치하는 단계(S14);
저장부(270)에 생성된 객체가 배치된 3D 맵 데이터를 저장하는 단계(S15);
3D 맵 구현부(220)가 저장된 3D 맵 데이터를 로드하여 World에 출력하는 단계(S16);를 포함하여 이루어지는 것을 특징으로하는 가상현실(VR) 기반의 비대면 실시간 실감형 플랫폼 운용방법
4항에 있어서,
상기 3D 맵을 실사 사진으로 실시간 수정하는 방법은
3D 모델 생성부(210)에서 실사 이미지를 수신하는 단계(S20);
3D 모델 생성부(210)의 텍스처 추출부(211)에서 실사 이미지로부터 텍스처링 데이터를 추출하는 단계(S21);
3D 모델 생성부(210)의 시간 및 위치 정보 판단부(213)에서 해당 실사 사진의 내용이 새로운 장소인지 기존 3D 맵에 해당하는 사진인지 판단하고, 연산부(215)에서 해당 위치정보의 기존 3D 멥과 추출한 데이터에서 차이점을 분석하는 단계(S22);
3D 모델 생성부(210)의 연산부(215)에서 차이가 있는 텍스처링 데이터를 3D 이미지화 하고, 객체의 외면 크기와 볼륨을 계산하는 단계(S23);
3D 모델 생성부(210)에서 기존 3D 맵과 차이가 있는 객체의 외면에 텍스처링한 데이터에서 추출한 3D 이미지를 삽입하여 수정하는 단계(S24);
3D 모델 생성부(210)에서 수정되거나 생성된 객체를 해당 3D 맵에 배치하는 단계(S25);
저장부(270)에 수정된 3D 맵 데이터를 갱신하는 단계(S26);
3D 맵 구현부(220)로 수정된 3D 맵 데이터를 로드하여 World에 출력하는 단계(S27); 를 포함하여 이루어지는 것을 특징으로하는 가상현실(VR) 기반의 비대면 실시간 실감형 플랫폼 운용방법
4항에 있어서,
상기 실사 사진은 뎁스 카메라를 지원하는 촬영 장비로 촬영한 사진이고, 2D 이미지와 시간 및 위치 정보를 포함하는 것을 특징으로하는 가상현실(VR) 기반의 비대면 실시간 실감형 플랫폼 운용방법
5항에 있어서,
상기 3D 모델 생성부(210)에서 기존 3D 맵과 차이가 있는 객체의 외면에 텍스처링한 데이터에서 추출한 3D 이미지를 삽입하여 수정하는 단계(S24)는 3D 모델 생성부(210)에서 기존 3D 맵에 없었으나 실사 사진에서 추가된 신규 객체를 예시 객체에 3D 이미지를 삽입하여 새로 생성하는 단계로 변환되는 것을 특징으로 하는 가상현실(VR) 기반의 비대면 실시간 실감형 플랫폼 운용방법
5항에 있어서,
상기 3D 모델 생성부(210)에서 기존 3D 맵과 차이가 있는 객체의 외면에 텍스처링한 데이터에서 추출한 3D 이미지를 삽입하여 수정하는 단계(S24)는 3D 모델 생성부(210)에서 기존 3D 맵에는 있었으나 실사 사진에선 사라진 객체를 해당 3D 맵에서 삭제하는 단계로 변환되는 것을 특징으로 하는 가상현실(VR) 기반의 비대면 실시간 실감형 플랫폼 운용방법