KR102373891B1 - 가상 현실 제어 시스템 및 방법 - Google Patents
가상 현실 제어 시스템 및 방법 Download PDFInfo
- Publication number
- KR102373891B1 KR102373891B1 KR1020200166748A KR20200166748A KR102373891B1 KR 102373891 B1 KR102373891 B1 KR 102373891B1 KR 1020200166748 A KR1020200166748 A KR 1020200166748A KR 20200166748 A KR20200166748 A KR 20200166748A KR 102373891 B1 KR102373891 B1 KR 102373891B1
- Authority
- KR
- South Korea
- Prior art keywords
- player
- character
- face
- face data
- virtual reality
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Educational Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 일 양상에 따르면, 범죄 현장 대응 훈련용 가상 현실 제어 방법에 있어서, 디바이스에서 제1 플레이어의 제1 얼굴 이미지 및 제2 플레이어의 제2 얼굴 이미지를 획득하는 단계; 디바이스에서 제어 장치로 제1 얼굴 이미지 및 제2 얼굴 이미지를 송신하는 단계; 제어 장치에서 제1 얼굴 이미지에 대한 제1 얼굴 특징값을 기초로 제1 얼굴 데이터를 생성하고, 제2 얼굴 이미지에 대한 제2 얼굴 특징값을 기초로 제2 얼굴 데이터를 생성하는 단계; 제어 장치에서 제1 얼굴 데이터 및 제2 얼굴 데이터 생성 후, 제1 플레이어가 착용하는 제1 착용형 디스플레이 장치에서 범죄 현장 대응 훈련용 시나리오 시작 신호를 출력하는 단계; 제1 플레이어가 범죄 현장 출동 접수를 수행하였는지 여부를 판단하는 단계; 출동 접수 수행 단계 이후, 제1 플레이어가 범죄자 캐릭터 및 피해자 캐릭터의 신원확인 및 심문 접수를 수행하였는지 여부를 판단하는 단계; 신원확인 확인 및 심문 접수 단계 이후, 제2 플레이어가 피해자 캐릭터와 범죄자 캐릭터를 분리하는 이벤트를 수행하였는지 여부를 판단하는 단계; 및 피해자 캐릭터 및 범죄자 캐릭터 분리 이벤트 수행 이후, 제1 플레이어가 범죄 사건 종결을 수행하였는지 여부를 판단하는 단계; 를 포함하고, 범죄 현장 대응 훈련용 시나리오 시작 신호는 제2 플레이어에 대한 신원정보 및 상기 제2 얼굴 데이터를 포함하는 가상 현실 제어 방법에 관한 것이다.
Description
본 발명은 가상 현실 제어 시스템 및 방법 관한 것으로, 보다 상세하게는 플레이어의 시나리오 수행 과정에서 가상 현실 내 캐릭터 및 플레이어의 얼굴 데이터를 출력하는 가상 현실 제어 시스템 및 방법에 관한 것이다.
가상 환경에서의 복수의 플레이어는 하나의 가상 현실에서 캐릭터 별 주어진 이벤트를 수행하게 된다. 이러한 이벤트 수행에 있어, 플레이어에게 가상 현실이 보다 현실적으로 구현될 필요가 있다.
하지만, 종래 플레이어에게 제공하는 가상 현실은 가상 현실 이미지 또는 가상 캐릭터에 국한되는 문제점이 있었다.
또한, 가상 현실에서 플레이하는 플레이어와 상관없이 일괄적인 가상 캐릭터를 제공하는 문제점이 있었다.
이를 해결하기 위해 플레이하는 플레이어에 따라, 플레이어의 얼굴 이미지를 출력하여 보다 생동감 있는 가상 현실을 제공할 필요가 있다.
본 발명의 일 과제는 복수의 플레이어에게 미리 저장된 얼굴 데이터를 제공할 수 있는 가상 현실 제어 시스템을 제공하는 것에 있다.
본 발명의 다른 과제는 복수의 플레이어가 범죄 현장 대응 훈련용 시나리오 수행 과정에서 복수의 플레이어 중 다른 플레이어에 대한 얼굴 데이터를 제공할 수 있는 가상 현실 제어 시스템을 제공하는 것에 있다.
본 발명의 다른 과제는 복수의 플레이어의 얼굴 데이터를 생성할 때, 복수의 컨텐츠를 제공하여 상이한 얼굴 특징값을 기초로 하는 얼굴 데이터를 생성할 수 있는 가상 현실 제어 시스템을 제공하는 것에 있다.
본 발명의 또 다른 과제는 범죄 훈련 대응 훈련용 시나리오에서 이벤트 수행 여부에 따라 플레이어의 복수의 얼굴 데이터를 제공할 수 있는 가상 현실 제어 시스템을 제공하는 것에 있다.
본 발명의 일 양상에 따르면, 범죄 현장 대응 훈련용 가상 현실 제어 방법에 있어서, 디바이스에서 제1 플레이어의 제1 얼굴 이미지 및 제2 플레이어의 제2 얼굴 이미지를 획득하는 단계; 디바이스에서 제어 장치로 제1 얼굴 이미지 및 제2 얼굴 이미지를 송신하는 단계; 제어 장치에서 제1 얼굴 이미지에 대한 제1 얼굴 특징값을 기초로 제1 얼굴 데이터를 생성하고, 제2 얼굴 이미지에 대한 제2 얼굴 특징값을 기초로 제2 얼굴 데이터를 생성하는 단계; 제어 장치에서 제1 얼굴 데이터 및 제2 얼굴 데이터 생성 후, 제1 플레이어가 착용하는 제1 착용형 디스플레이 장치에서 범죄 현장 대응 훈련용 시나리오 시작 신호를 출력하는 단계; 제1 플레이어가 범죄 현장 출동 접수를 수행하였는지 여부를 판단하는 단계; 출동 접수 수행 단계 이후, 제1 플레이어가 범죄자 캐릭터 및 피해자 캐릭터의 신원확인 및 심문 접수를 수행하였는지 여부를 판단하는 단계; 신원확인 확인 및 심문 접수 단계 이후, 제2 플레이어가 피해자 캐릭터와 범죄자 캐릭터를 분리하는 이벤트를 수행하였는지 여부를 판단하는 단계; 및 피해자 캐릭터 및 범죄자 캐릭터 분리 이벤트 수행 이후, 제1 플레이어가 범죄 사건 종결을 수행하였는지 여부를 판단하는 단계; 를 포함하고, 범죄 현장 대응 훈련용 시나리오 시작 신호는 제2 플레이어에 대한 신원정보 및 상기 제2 얼굴 데이터를 포함하는 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면, 1 플레이어의 제1 얼굴 이미지와 제2 플레이어의 제2 얼굴 이미지를 획득하는 디바이스; 제1 플레이어가 착용하는 착용형 디스플레이 장치; 및 제1 얼굴 이미지를 기초하여 제1 얼굴 특징값을 추출하고, 제2 얼굴 이미지를 기초하여 제2 얼굴 특징값을 추출하는 제어 장치; 를 포함하되, 제어장치는 제1 얼굴 특징값을 기초로 제1 플레이어에 대한 제1 얼굴 데이터 및 제2 얼굴 특징값을 기초로 제2 플레이어에 대한 제2 얼굴 데이터를 생성하고, 착용형 디스플레이 장치는 상기 제1 플레이어에게 제2 플레이어에 대응되는 제2 캐릭터 및 상기 제2 얼굴 데이터를 출력하는 가상 현실 제어 시스템에 관한 것이다.
본 발명에 의하면, 플레이어는 가상 현실에서 플레이어에 대응하는 캐릭터 및 캐릭터에 대응하는 얼굴 데이터를 제공받을 수 있어 보다 현실 있는 가상 환경을 제공받을 수 있다.
본 발명에 의하면, 플레이어는 범죄 훈련용 시나리오에 관한 가상 현실 시스템을 제공받을 수 있다.
본 발명에 의하면 플레이어는 범죄 훈련용 시나리오에 관한 가상 현실을 제공받은 중에 다른 플레이어의 얼굴 데이터를 제공받을 수 있어 보다 현실감 있는 가상 현실을 제공받을 수 있다.
본 발명에 의하면 플레이어의 범죄 훈련용 시나리오의 이벤트 수행여부에 따라 다른 레이어의 복수의 얼굴 데이터 중 상이한 얼굴 데이터를 제공받을 수 있어, 다른 플레이어의 얼굴 데이터의 출력을 기초로 시나리오의 이벤트 수행 경과를 유추할 수 있다.
도 1은 일 실시예에 따른 가상 현실 제어 시스템을 나타내는 블록도이다.
도 2는 일 실시예에 따른 디텍팅 장치를 나타내는 블록도이다.
도 3는 일 실시예에 따른 제어 장치를 나타내는 블록도이다.
도 4는 일 실시예에 따른 착용형 디스플레이 장치를 나타내는 블록도이다.
도 5는 일 실시예에 따른 가상 현실 제어 시스템 환경을 나타내는 도면이다.
도 6는 일 실시예에 따른 대상체 추적 방법을 나타내는 개략도이다.
도 7은 일 실시예에 따른 가상 현실 제어 시스템에서 디바이스를 통한 얼굴 이미지의 획득을 나타내는 도면이다.
도 8는 일 실시예에 따른 제어 장치에서 얼굴 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 제어 장치에서 얼굴 이미지를 기초로 얼굴 특징값을 추출하는 것을 나타내는 도면이다.
도 10는 일실시예에 따른 얼굴 이미지를 획득하는 것을 나타내는 도면이다.
도 11은 일 실시예에 따른 디바이스에서 컨텐츠에 따른 얼굴 이미지를 캡쳐하는 것을 설명하기 위한 도면이다.
도 12은 일 실시예에 따른 범죄 현장 대응 훈련용 시나리오에 대한 순서도이다.
도 13는 일 실시예에 따른 가상 현실 내에서 구현되는 범죄 현장 출동 접수를 수행하였는지에 관한 시나리오를 설명하는 도면이다.
도 14은 일 실시예에 따른 가상 현실내 범죄 현장에서 플레이어가 범죄 현장을 수색하는 시나리오를 설명하는 도면이다.
도 15는 일 실시예에 따른 가상 현실 내에서 구현되는 범죄자 및 피해자 신원확인 및 심문 수행에 관한 시나리오를 설명하는 도면이다.
도 16는 일 실시예에 따른 범죄자 및 피해자를 분리한 경우 추가 진술을 심문하는 시나리오를 설명하는 도면이다.
도 2는 일 실시예에 따른 디텍팅 장치를 나타내는 블록도이다.
도 3는 일 실시예에 따른 제어 장치를 나타내는 블록도이다.
도 4는 일 실시예에 따른 착용형 디스플레이 장치를 나타내는 블록도이다.
도 5는 일 실시예에 따른 가상 현실 제어 시스템 환경을 나타내는 도면이다.
도 6는 일 실시예에 따른 대상체 추적 방법을 나타내는 개략도이다.
도 7은 일 실시예에 따른 가상 현실 제어 시스템에서 디바이스를 통한 얼굴 이미지의 획득을 나타내는 도면이다.
도 8는 일 실시예에 따른 제어 장치에서 얼굴 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 제어 장치에서 얼굴 이미지를 기초로 얼굴 특징값을 추출하는 것을 나타내는 도면이다.
도 10는 일실시예에 따른 얼굴 이미지를 획득하는 것을 나타내는 도면이다.
도 11은 일 실시예에 따른 디바이스에서 컨텐츠에 따른 얼굴 이미지를 캡쳐하는 것을 설명하기 위한 도면이다.
도 12은 일 실시예에 따른 범죄 현장 대응 훈련용 시나리오에 대한 순서도이다.
도 13는 일 실시예에 따른 가상 현실 내에서 구현되는 범죄 현장 출동 접수를 수행하였는지에 관한 시나리오를 설명하는 도면이다.
도 14은 일 실시예에 따른 가상 현실내 범죄 현장에서 플레이어가 범죄 현장을 수색하는 시나리오를 설명하는 도면이다.
도 15는 일 실시예에 따른 가상 현실 내에서 구현되는 범죄자 및 피해자 신원확인 및 심문 수행에 관한 시나리오를 설명하는 도면이다.
도 16는 일 실시예에 따른 범죄자 및 피해자를 분리한 경우 추가 진술을 심문하는 시나리오를 설명하는 도면이다.
본 발명의 상술한 목적, 특징들 및 장 점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성 요소는 동일한 참조부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
가상 현실은 현실 세계와 달리 프로그램에 의해 생성된 인공적인 환경일 수 있다.
이러한 가상 현실은 통상적으로 프로그램에 의해 현실과 분리된 가상 공간을 생성하여 이에 대한 이미지를 제공하는 VR, 현실 세계를 기반으로 가상의 이미지를 겹쳐 하나의 이미지로 제공하는 AR 및 현실 세계와 가상 환경을 융합하여 가상 공간을 제공하고 이에 대한 이미지를 제공하는 MR로 구분될 수 있다.
이하에서 설명되는 가상 현실을 설명함에 있어서 가상 현실은 앞서 설명된 VR, AR 및 MR 뿐만 아니라 다양한 형태의 가상 공간을 제공하는 환경을 의미할 수 있다.
본 발명의 일 양상에 따르면, 범죄 현장 대응 훈련용 가상 현실 제어 방법에 있어서, 디바이스에서 제1 플레이어의 제1 얼굴 이미지 및 제2 플레이어의 제2 얼굴 이미지를 획득하는 단계; 디바이스에서 제어 장치로 제1 얼굴 이미지 및 제2 얼굴 이미지를 송신하는 단계; 제어 장치에서 제1 얼굴 이미지에 대한 제1 얼굴 특징값을 기초로 제1 얼굴 데이터를 생성하고, 제2 얼굴 이미지에 대한 제2 얼굴 특징값을 기초로 제2 얼굴 데이터를 생성하는 단계; 제어 장치에서 제1 얼굴 데이터 및 제2 얼굴 데이터 생성 후, 제1 플레이어가 착용하는 제1 착용형 디스플레이 장치에서 범죄 현장 대응 훈련용 시나리오 시작 신호를 출력하는 단계; 제1 플레이어가 범죄 현장 출동 접수를 수행하였는지 여부를 판단하는 단계; 출동 접수 수행 단계 이후, 제1 플레이어가 범죄자 캐릭터 및 피해자 캐릭터의 신원확인 및 심문 접수를 수행하였는지 여부를 판단하는 단계; 신원확인 확인 및 심문 접수 단계 이후, 제2 플레이어가 피해자 캐릭터와 범죄자 캐릭터를 분리하는 이벤트를 수행하였는지 여부를 판단하는 단계; 및 피해자 캐릭터 및 범죄자 캐릭터 분리 이벤트 수행 이후, 제1 플레이어가 범죄 사건 종결을 수행하였는지 여부를 판단하는 단계; 를 포함하고, 범죄 현장 대응 훈련용 시나리오 시작 신호는 제2 플레이어에 대한 신원정보 및 상기 제2 얼굴 데이터를 포함하는 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면, 제1 착용형 디스플레이 장치는 제1 플레이어에 대응하는 제1 캐릭터의 제1 위치 정보에 기초한 제1 시야 범위 내의 제2 플레이어에 대응하는 제2 캐릭터가 위치하는 경우, 제2 캐릭터 및 상기 제2 얼굴 데이터를 출력하는 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면, 디바이스에서 제1 플레이어의 제1 얼굴 이미지 및 제2 플레이어의 제2 얼굴 이미지를 획득하는 단계 이전, 디바이스에서 제2 플레이어에게 제1 컨텐츠 및 제2 컨텐츠를 제공하는 단계를 포함하고, 제1 컨텐츠는 제2 플레이어 긍정적 반응을 유도하는 컨텐츠이고, 제2 컨텐츠는 제2 플레이어의 부정적 반응을 유도하는 컨텐츠인 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면, 디바이스는 제1 컨텐츠에 대응되는 제2 플레이어의 제3 얼굴 이미지와 제2 컨텐츠에 대응되는 제2 플레이어의 제4 얼굴 이미지를 획득하고, 제어 장치는 제3 얼굴 이미지에 대한 제3 얼굴 특징값을 기초로 제3 얼굴 데이터 및 제4 얼굴 이미지에 대한 제4 얼굴 특징값을 기초로 제4 얼굴 데이터를 생성하는 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면, 제2 플레이어가 상기 피해자를 범죄자로부터 분리하는 대응을 수행한 경우, 제1 착용형 디스플레이 장치는 제2 얼굴 데이터를 출력하나, 제2 캐릭터는 출력하지 않는 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면, 제2 플레이어가 피해자를 범죄자로부터 분리하는 대응을 수행한 경우, 제2 플레이어가 피해자의 추가 진술 접수를 수행하였는지 여부를 판단하는 단계를 더 포함하고, 제1 착용형 디스플레이 장치는 제1 플레이어에게 피해자의 추가 진술을 출력하는 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면, 제어 장치는 피해자의 추가 진술에 제2 플레이어의 제3 얼굴 데이터 및 상기 제4 얼굴 데이터를 대응시키고, 제1 착용형 디스플레이 장치는 피해자의 추가 진술 및 추가 진술에 대응되는 제2 플레이어의 제3 얼굴 데이터를 출력하는 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면 범죄자 및 피해자의 신원확인 및 심문 접수를 수행하였는지 여부를 판단하는 단계에서, 제1 착용형 디스플레이 장치는 범죄자 캐릭터 및 범죄자 캐릭터에 대응하는 얼굴 데이터를 출력하는 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면, 범죄자 캐릭터에 대응하는 얼굴 데이터는 제2 플레이어의 제3 얼굴 데이터인 가상 현실 제어 방법에 관한 것이다.
본 발명의 다른 양상에 따르면, 1 플레이어의 제1 얼굴 이미지와 제2 플레이어의 제2 얼굴 이미지를 획득하는 디바이스; 제1 플레이어가 착용하는 착용형 디스플레이 장치; 및 제1 얼굴 이미지를 기초하여 제1 얼굴 특징값을 추출하고, 제2 얼굴 이미지를 기초하여 제2 얼굴 특징값을 추출하는 제어 장치; 를 포함하되, 제어장치는 제1 얼굴 특징값을 기초로 제1 플레이어에 대한 제1 얼굴 데이터 및 제2 얼굴 특징값을 기초로 제2 플레이어에 대한 제2 얼굴 데이터를 생성하고, 착용형 디스플레이 장치는 상기 제1 플레이어에게 제2 플레이어에 대응되는 제2 캐릭터 및 상기 제2 얼굴 데이터를 출력하는 가상 현실 제어 시스템에 관한 것이다.
본 발명의 다른 양상에 따르면, 제1 얼굴 특징값은 눈의 시선, 눈 주위 근육 수축여부, 눈썹의 움직임, 눈썹 이동방향, 코의 움직임, 뺨의 움직임, 턱의 움직임, 입술의 이동방향, 입술의 움직임 중 적어도 하나를 포함하는 가상 현실 제어 시스템에 관한 것이다.
본 발명의 다른 양상에 따르면, 디바이스는 제2 플레이어에게 제2 플레이어의 긍정적 반응을 유도하는 제1 컨텐츠 및 제2 플레이어의 부정적 반응을 유도하는 제2 컨텐츠를 제공하고, 제1 컨텐츠에 대응되는 제3 얼굴 이미지 및 제2 컨텐츠에 대응되는 제4 얼굴 이미지를 획득하며, 제어 장치는 제3 얼굴 이미지에 대한 제3 얼굴 특징값을 기초로 제3 얼굴 데이터 및 제4 얼굴 이미지에 대한 제4 얼굴 특징값을 기초로 제4 얼굴 데이터를 생성하는 가상 현실 제어 시스템에 관한 것이다.
이하에서는 도 1을 참조하여 일 실시예에 따른 가상 현실을 제공하기 위한 시스템에 대해서 설명하도록 한다.
도 1은 일 실시예에 따른 가상 현실 제어 시스템을 나타내는 블록도이다.
도 1을 참조하면, 시스템(10)은 디텍팅 장치(100), 제어 장치(200), 착용형 디스플레이 장치(400), 입력 장치(500), 및 디바이스(600)을 포함할 수 있다.
일 실시예에 따르면 디텍팅 장치(100)는 제어 장치(200)와 연결될 수 있다.
디텍팅 장치(100)는 대상체를 추적하여 디텍팅 정보를 획득할 수 있다.
일 실시예에 따른 대상체는 착용형 디스플레이 장치(400)를 통해 출력되는 이미지에 영향을 주는 물체일 수 있다.
예를 들어 대상체는 플레이어의 신체 부위, 착용형 디스플레이 장치(400), 사용자, 입력 장치(500), 상기 사용자 주변에 위치한 물체 및 기준점 또는 특징점을 갖는 물체 중 적어도 하나가 포함될 수 있다.
또한 일 실시예에 따른 추적 대상체의 추적은 실제 환경에서의 대상체의 위치에 대한 정보를 획득하는 것을 의미할 수 있다.
예를 들어 추적 대상체의 추적은 실제 환경에서 대상체의 이동에 따라 변경되는 위치에 대한 정보를 획득할 수 있다. 이러한 대상체에 대한 위치 정보는 획득한 미리 정해진 주기로 획득될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면 디텍팅 장치(100)는 디텍팅 정보를 제어 장치(200)에 제공할 수 있다.
일 실시예에 따르면 제어 장치(200)는 디텍팅 장치(100) 및 착용형 디스플레이 장치(400), 입력 장치(500), 디바이스(600)과 연결될 수 있다.
제어 장치(200)는 연결된 구성으로부터 정보를 획득할 수 있다.
일 실시예에 따르면 제어 장치(200)는 디텍팅 장치(100)으로부터 디텍팅 정보, 디텍팅 장치(100)가 획득한 이미지 정보 및 디텍팅 장치(100)의 상태 정보 중 적어도 하나를 획득할 수 있다.
그 밖에도 제어 장치(200)는 후술할 몇몇 실시예에 따라 다양한 정보를 획득할 수 있다.
일 실시예에 따르면 제어 장치(200)는 연결된 구성을 제어할 수 있다.
일 실시예에 따르면 제어 장치(200)는 착용형 디스플레이 장치(400), 디바이스(600)을 제어할 수 있다.
일 예로 제어 장치(200)는 디바이스(600)에 설치된 어플리케이션의 구동을 제어할 수 있고, 착용형 디스플레이 장치(400)을 제어할 수 있다. 보다 구체적인 예를 들어 제어 장치(200)는 착용형 디스플레이 장치(400)의 시작 및/또는 종료를 제어할 수 있다.
다른 예로 제어 장치(200)는 디텍팅 장치(100)의 동작에 필요한 다양한 설정을 제공할 수 있다.
또한 제어 장치(200)는 디텍팅 정보에 기초하여 가상 환경에서의 대상체 위치를 나타내는 가상 위치 정보를 생성할 수 있다.
일 실시예에 따른 제어 장치(200)의 기능이 상술한 기능으로 한정되는 것은 아니며, 실시예에 따라 다양한 기능을 수행하는 제어 장치(200)가 제공될 수 있다.
또한 일 실시예에 따른 제어 장치(200)가 반드시 하나의 물리적인 구성으로 제공되어야 하는 것은 아니며, 상술한 기능을 세분화하여 각각의 기능을 수행하는 복수의 장치로 제공될 수 있다.
예를 들어 제어 장치(200)는 디텍팅 장치(100)와 연결되어 디텍팅 정보에 기초하여 가상 위치 정보를 획득하는 디텍팅 서버, 시스템에 제공되는 구성 중 적어도 일부에 대한 제어를 수행하는 운영 서버 및 시스템의 각 구성 중 적어도 하나의 구성에서 실행되는 어플리케이션에 대한 인증을 수행하는 라이센스 서버 등으로 세분화되어 각 서버에서 수행될 수 있다.
제어 장치(200)은 미리 설치된 어플리케이션을 통하여 착용형 디스플레이 장치(400)를 통하여 사용자에게 제공될 이미지를 제공할 수 있다.
예를 들어, 사용자에게 제공되는 이미지는 범죄 환경에 대응하는 훈련에 관한 이미지일 수 있으며, 이러한 이미지는 한정되어 해석되지 아니한다.
또한 제어 장치(200)은 착용형 디스플레이 장치(400)를 통해 사용자에게 제공할 음향 정보를 제공할 수 있다.
일 실시예에 따르면, 상기 제어 장치(200)는 미리 설치된 프로그램 및 디텍팅 정보에 기초하여 사용자에게 제공될 이미지를 획득할 수 있다.
또한 제어 장치(200)는 입력 장치(500)로부터 획득한 입력 신호에 기초하여 입력 정보를 획득할 수 있다.
입력 정보는 오브젝트 등에 대한 사용자의 선택 정보, 입력 장치(500)를 통하여 입력된 동작에 대한 정보, 입력 장치(500)의 지향 방향에 대한 지향 정보 등을 포함할 수 있다.
또한 제어 장치(200)는 획득한 입력 정보를 고려하여 사용자에게 제공할 이미지를 획득할 수 있다.
일 실시예에 따르면 제어 장치(200)는 플레이어(P)가 착용 가능한 백팩 PC의 형태로 제공될 수 있다.
일 예로 제어 장치(200)는 가방에 결착된 형태로 제공될 수 있으며, 플레이어(P)가 가방을 맴으로써 제어 장치(200)을 소지하는 형태로 제공될 수 있다.
착용형 디스플레이 장치(400)는 제어 장치(200)와 연결될 수 있다.
착용형 디스플레이 장치(400)는 사용자에게 가상 환경에 대한 이미지를 제공할 수 있다.
착용형 디스플레이 장치(400)는 제어 장치(200)로부터 획득한 가상 이미지를 사용자에게 시각적으로 출력할 수 있다.
또한 착용형 디스플레이 장치(400)는 제어 장치(200)로부터 획득한 음향 정보를 출력할 수 있다.
입력 장치(500)는 가상 환경에 반영할 사용자의 입력에 대한 신호를 획득할 수 있다.
입력 장치(500)는 제어 장치(200)과 연결될 수 있다.
입력 장치(500)는 제어 장치(200)로 사용자의 입력에 대응하는 입력 신호를 제공할 수 있다.
입력 장치(500)는 사용자의 동작에 대응하는 신호를 획득하기 위한 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMIU), 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 등을 포함할 수 있다.
또한 입력 장치(500)는 사용자의 선택에 대한 신호를 획득하기 위한 버튼, 스위치, 조그셔틀 및 휠 등을 포함할 수 있다.
또한 입력 장치(500)는 제어 장치(200)와 유선 통신 및 무선 통신 중 적어도 하나의 통신 방식으로 연결될 수 있다.
또한 입력 장치(500)는 제어 장치(200)와의 통신을 위한 통신 모듈을 포할 수 있다.
디바이스(600)은 제어 장치(200)과 연결될 수 있다.
디바이스(600)은 이미지를 획득할 수 있다.
일 예로 디바이스(600)은 플레이어의 얼굴 이미지를 획득할 수 있다.
일 실시예에 따르면 플레이어의 얼굴 데이터를 획득하기 위한 디바이스(600)이 제공될 수 있으며, 디바이스(600)를 통하여 플레이어의 얼굴 이미지를 획득할 수 있다.
일 실시예에 따르면 디바이스(600)는 모바일 디바이스 및 PC를 포함할 수 있다.
디바이스(600)은 얼굴 이미지를 획득할 수 있는 센서 또는 카메라를 통해 플레이어의 얼굴 이미지를 획득할 수 있다.
일 예로 디바이스(600)가 모바일 디바이스로 제공되는 경우, 모바일 디바이스에 미리 설치된 어플리케이션을 통해 플레이어의 얼굴에 대한 얼굴 이미지를 획득할 수 있다.
일 또 다른 예로 디바이스(600)이 PC로 제공되는 경우, 미리 설치된 프로그램을 통해 플레이어의 얼굴에 대한 얼굴 이미지를 획득할 수 있다.
도 1에는 입력 장치(500)와 디바이스(600)가 연결되는 것으로 도시하였으나 이에 한정되는 것은 아니며 선택에 따라 다양한 연결 형태로 제공될 수 있다.
예를 들어 입력 장치(500)는 제어 장치(200) 및 착용형 디스플레이(400)등의 구성과 연결되어 입력 신호를 제공할 수 있다.
이상에서 설명된 시스템은 설명의 편의를 위한 예시일 뿐 일 실시예에 따른 시스템이 도 1에 도시된 구성 및 연결 관계로 한정되는 것은 아니며 선택에 따라 다양한 형태로 제공될 수 있다.
일 예로 제어 장치(200) 및 착용형 디스플레이 장치(400)는 하나의 구성으로 제공될 수 있으며, 이 경우 제어 장치(200)에서 수행하는 동작이 착용형 디스플레이 장치(400)에서 구현될 수 있다.
다만, 이하에서 다양한 실시예들을 설명함에 있어서 설명의 편의를 위하여 상술한 시스템을 예시로 하여 설명하도록 한다.
이하에서는 도 2를 참조하여 일 실시예에 따른 디텍팅 장치(100)에 대하여 설명하도록 한다.
도 2는 일 실시예에 따른 디텍팅 장치를 나타내는 블록도이다.
도 2를 참조하면, 상기 디텍팅 장치(100)은 발광부(110), 센싱부(120) 및 마커(M)를 포함할 수 있다.
발광부(110)는 상기 대상체 추적을 위해 상기 대상체 또는 그 주변에 신호를 송출할 수 있다.
일 예로, 발광부(110)는 가시광 및 적외선 등의 광 신호를 외부로 발신하는 발광 소자로 제공될 수 있다.
보다 구체적인 예를 들어 발광부는 가시광 LED 및 적외선 LED 등으로 제공될 수 있다.
센싱부(120)는 외부로부터 신호를 획득할 수 있다.
일 예로 센싱부(120)는 발광부(110)가 송출한 신호에 대응하는 신호를 획득할 수 있다.
다른 예로 센싱부(120)는 대상체에 제공되는 마커(M)가 반사한 광에 대한 신호를 획득할 수 있다.
예를 들어 센싱부(120)는 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 등으로 제공될 수 있다.
도 3은 일 실시예에 따른 제어 장치(200)를 나타내는 블록도이다.
도 3을 참조하면, 제어 장치(200)는 서버 통신부(210), 서버 저장부(220), 서버 입력부(230), 서버 제어부(240) 및 서버 디스플레이부(250)를 포함할 수 있다.
서버 통신부(210)는 디텍팅 장치(100), 착용형 디스플레이 장치(400), 디바이스(600) 중 적어도 하나와 연결되어 데이터를 획득하거나 제공할 수 있다.
서버 통신부(210)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 디텍팅 장치(100), 착용형 디스플레이 장치(400), 및 디바이스(600) 중 적어도 하나와 연결될 수 있다.
예를 들어 무선통신은 와이파이(Wi-Fi)망, 3G, LTE망, 5G, 로라(LoRa) 등의 이동통신망, wave(Wireless Access in Vehicular Environment), 비콘, 지그비(zigbee), 블루투스(Bluetooth), BLE(Bluetooth Low Energy) 등을 포함할 수 있다.
또한 유선통신은 트위스트 페어 케이블, 동축케이블 또는 광케이블 등을 포함할 수 있다.
서버 통신부(210)는 유선 통신 및 무선 통신 중 적어도 하나의 통신 방식을 제공하기 위한 통신 모듈로 제공될 수 있다.
서버 저장부(220)는 데이터를 저장할 수 있다.
서버 저장부(220)는 외부로부터 획득한 정보를 저장할 수 있다.
또한 서버 저장부(220)는 제어 장치(200)의 동작에 필요한 정보를 저장할 수 있다.
예를 들어 서버 저장부(220)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, SSD, CD-ROM, DVD-ROM 또는 USB 등으로 제공될 수 있다.
서버 입력부(230)는 사용자의 입력에 대응하는 신호를 획득할 수 있다.
사용자의 입력은 예를 들어 버튼의 누름, 클릭, 터치 및 드래그 등일 수 있다.
서버 입력부(230)는 예를 들어 키보드, 키 패드, 버튼, 조그셔틀 및 휠 등으로 구현될 수 있다.
서버 제어부(240)는 제어 장치(200)의 동작을 총괄할 수 있다.
일 예로 서버 제어부(240)는 제어 장치(200)에 포함된 구성의 동작을 제어할 수 있다.
서버 제어부(240)는 예시적으로 마이크로 프로세서, 마이크로 컨트롤러, DSP, 프로세서, 제어기 기능 수행을 위한 전기적인 유닛 등으로 구현될 수 있다.
또한 서버 제어부(240)는 소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한 소프트웨어 코드는 서버 저장부(220)에 저장되고, 서버 저장부(240) 또는 구성요소 등에 의해 실행될 수 있다.
서버 디스플레이부(250)는 시각적인 정보를 출력할 수 있다.
서버 디스플레이부(250)는 시각적인 정보를 출력하는 모니터, TV, 디스플레이 패널 등으로 제공될 수 있다.
또한 서버 디스플레이부(250)가 터치 스크린으로 제공되는 경우, 서버 디스플레이부(250)는 서버 입력부(230)의 기능을 수행할 수 있다.
도 4는 일 실시예에 따른 착용형 디스플레이 장치(400)를 나타내는 블록도이다.
도 4를 참조하면, 착용형 디스플레이 장치(400)는 착용형 디스플레이 통신부(410), 착용형 디스플레이 저장부(420), 착용형 디스플레이 센서부(430), 착용형 디스플레이 제어부(440) 및 착용형 디스플레이 출력부(450)를 포함할 수 있다.
착용형 디스플레이 통신부(410)는 제어 장치(200)와 연결될 수 있다.
착용형 디스플레이 통신부(410)는 유선통신 및 무선통신 중 적어도 하나의 통신 방식으로 제어 장치(200)와 연결될 수 있다.
착용형 디스플레이 저장부(420)는 데이터를 저장할 수 있다.
착용형 디스플레이 저장부(420)는 착용형 디스플레이 장치(400)의 동작에 필요한 프로그램을 저장할 수 있다.
또한 착용형 디스플레이 저장부(420)는 외부로부터 획득한 정보를 저장할 수 있다.
착용형 디스플레이 센서부(430)는 착용형 디스플레이 장치(400)의 상태 및 사용자의 입력에 대응하는 신호를 획득할 수 있다.
일 실시예에 따른 착용형 디스플레이 센서부(430)는 착용형 디스플레이 동작 센서모듈(431) 및 착용형 디스플레이 음향 센서모듈(432)을 포함할 수 있다.
착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 상태에 대한 신호를 획득할 수 있다.
일 예로 착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 회전에 대한 회전 정보를 획득할 수 있다.
다른 예로 착용형 디스플레이 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 위치 이동에 대한 이동 정보를 획득할 수 있다.
착용형 디스플레이 동작 센서모듈(431)은 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMIU), 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 또는 전자파 센서 등을 포함할 수 있다.
착용형 디스플레이 음향 센서모듈(432)는 외부로부터 유입되는 소리에 대응하는 신호를 획득할 수 있다.
일 예로 착용형 디스플레이 음향 센서모듈(432) 마이크일 수 있다.
상기 착용형 디스플레이 제어부(440)는 착용형 디스플레이 장치(400)의 동작을 총괄할 수 있다.
착용형 디스플레이 화면 출력부(450)는 사용자에게 시각적인 정보를 출력할 수 있다.
일 예로 착용형 디스플레이 화면 출력부 (450)는 가상 환경에 대한 이미지를 출력할 수 있다. 또한 다른 예로 착용형 디스플레이 화면 출력부(450)는 3차원 가상 환경에 대한 이미지를 출력할 수 있다.
착용형 디스플레이 화면 출력부(450)는 액정 디스플레이(LCD), 전자 종이, LED 디스플레이, OLED 디스플레이, 곡면 디스플레이, 스테레오스코피(양안 시차를 이용한 3차원 디스플레이) 등의 이미지 출력 장치로 제공될 수 있다.
착용형 디스플레이 음향 출력부(460)는 청각적인 정보를 출력할 수 있다.
착용형 디스플레이 음향 출력부(460)는 튜너, 재생장치, 앰프, 스피커 등의 음향장치로 제공될 수 있다.
도 5는 일 실시예에 따른 가상 현실 제어 시스템 환경을 나타내는 도면이다.
도 5을 참조하면 분할 공간 정합을 위한 시스템은 적어도 하나의 플레이어(700)이 플레이하는 플레이 공간(PA)이 제공될 수 있다.
플레이 공간(PA)에는 복수의 플레이어가 플레이하는 공간일 수 있다.
또한 플레이 공간(PA)에서 플레이하는 플레이어(700)에는 제어 장치(200), 착용형 디스플레이 장치(400) 및 입력 장치(500)가 제공될 수 있다.
또한 플레이어(700)에게 제공되는 대상체에는 마커(M)가 제공될 수 있다.
일 예로 대상체가 착용형 디스플레이 장치(400) 및 입력 장치(500)인 경우 착용형 디스플레이 장치(400) 및 입력 장치(500)에는 서로 상이한 패턴의 마커(M)가 제공될 수 있다.
또한 플레이 공간(PA)에는 적어도 하나의 디텍팅 장치(100)가 제공될 수 있다.
일 예로 플레이 공간(PA)에는 복수의 디텍팅 장치(100)가 제공될 수도 있다.
이러한 디텍팅 장치(100)는 플레이 공간(PA)의 주변을 둘러 미리 정해진 간격으로 이격 되어 제공될 수 있으며, 임의의 플레이 공간(PA)의 설치될 수 있다.
또한 디텍팅 장치(100)는 지면으로부터 미리 정해진 높이만큼 이격 되어 제공될 수 있다.
또한 디텍팅 장치(100)는 플레이 공간(PA)을 지향하도록 제공될 수 있다.
디텍팅 장치(100)는 미리 설치된 플레임에 고정되어 설치될 수 있다.
일 예로 플레이 공간(PA) 주변에는 디텍팅 장치(100)를 설치하기 위한 프레임이 제공될 수 있다. 또한 디텍팅 장치(100)는 프레임에 고정되어 설치될 수 있다.
디텍팅 장치(100)는 플레이 공간(PA)에 대한 디텍팅 정보를 획득할 수 있다.
디텍팅 장치(100)에 포함된 센싱부(120)는 플레이 공간(PA) 중 적어도 일부에 대한 디텍팅 정보를 획득할 수 있다.
일 예로 디텍팅 장치(100)에 포함된 센싱부(120)는 플레이 공간(PA) 중 센싱부(120)의 센싱 범위에 대한 디텍팅 정보를 획득할 수 있다.
디텍팅 장치(100)는 디텍팅 정보를 제어 장치(200)에 제공할 수 있다.
일 예로 디텍팅 장치(100)는 센싱부(120)가 획득한 디텍팅 정보를 제어 장치 (200)에 제공할 수 있다.
제어 장치(200)는 디텍팅 정보에 기초하여 대상체의 현재 위치 정보를 획득할 수 있다.
플레이 공간(PA)에 복수의 디텍팅 장치(100)가 제공되는 경우 제어 장치(200)는 복수의 디텍팅 장치(100)로부터 디텍팅 정보를 획득할 수 있으며, 획득한 디텍팅 정보들에 기초하여 대상체의 현재 위치 정보를 획득할 수 있다.
또한 제어 장치(200)는 대상체들의 현실 위치 정보(RP)에 기초하여 적어도 하나의 대상체에 대한 가상 위치 정보(VP)를 획득할 수 있다.
일 예로 서버(200)는 플레이들의 현실 세계에서의 현실 위치 정보(RP)에 포함된 좌표에 대응하는 가상 환경에서의 좌표를 캐릭터(C)의 가상 위치 정보(VP)로 획득할 수 있다.
제어 장치(200)는 현실 위치 정보(RP)에 기초하여 가상 위치 정보(VP)를 획득할 수 있다.
제어 장치(200)은 가상 위치 정보(VP)에 기초하여 가상 이미지를 획득할 수 있다.
일 예로 제어 장치(200)는 가상 위치 정보(VP)에 기초하여 가상 환경에서의 캐릭터(C)의 위치인 가상 위치 정보를 획득할 수 있다. 또는 제어 장치(200)는 가상 위치 정보(VP)에 기초하여 가상 환경에서의 가상 카메라의 위치인 가상 위치 정보를 획득할 수 있다.
제어 장치(200)는 가상 위치 정보에 포함된 가상 위치 정보 및 가상 지향 방향에 기초하여 가상 이미지 영역을 획득할 수 있다.
제어 장치(200)는 가상 이미지 영역에 대한 가상 이미지를 획득할 수 있다.
제어 장치(200)는 가상 환경에서 가상 이미지 영역에 대한 가상 이미지를 획득할 수 있다.
제어 장치(200)는 가상 이미지를 착용형 디스플레이 장치(400)로 제공할 수 있다.
착용형 디스플레이 장치(400)는 가상 이미지를 사용자에게 출력할 수 있다.
제어 장치(200)는 가상 위치 정보(VP)를 획득할 수 있으며, 획득한 가상 위치 정보 및 미리 설정된 가상 카메라 위치에 기초하여 가상 이미지를 획득할 수 있다.
또한 입력 장치(500)는 제어 장치(200), 및 착용형 디스플레이 장치(400) 중 적어도 하나와 연결되어 제공될 수 있다.
또한 입력 장치(500)는 적어도 하나의 마커(M)가 제공될 수 있다.
입력 장치(500)는 각각의 플레이어(700)가 소지하도록 제공될 수 있다.
일 예로 플레이어(700)은 입력 장치(500)를 손에 휴대할 수 있다.
일 실시예에 따르면 제어 장치(200)는 디텍팅 장치(100)로부터 획득한 디텍팅 정보에 기초하여 입력 장치(500)의 현실 위치 정보를 획득할 수 있다. 또한 입력 장치(500)의 현실 위치 정보는 플레이 공간(PA) 상에서의 입력 장치의 위치 정보 및 입력 장치(500)의 지향 방향 정보 중 적어도 하나를 포함할 수 있다.
제어 장치(200)는 입력 장치(500)의 현실 위치 정보에 기초하여 가상환경에서 입력 장치에 대응하는 가상 오브젝트의 지향 방향을 판단할 수 있다.
또한 제어 장치(200)는 가상환경에서 입력 장치(500)에 대응하는 가상 오브젝트의 지향 방향이 고려된 가상 이미지를 획득할 수 있다.
제어 장치(200)은 가상환경에서 입력 장치에 대응하는 총이 입력 장치의 지향 방향에 대응하는 방향으로 지향하는 가상 이미지를 획득할 수 있다.
또한 제어 장치(200)는 가상환경에서 입력 장치(500)를 통한 플레이어의 이벤트 발생 명령에 따른 이벤트 발생이 고려된 가상 이미지를 획득할 수 있다.
일 예로 제어 장치(200)는 입력 장치(500)에 제공되는 스위치를 플레이어(700) 누른 경우 가상환경에서 플레이어(700)에 대응하는 캐릭터가 소지한 총을 발사하는 가상 이미지를 획득할 수 있다.
도 6은 일 실시예에 따른 대상체 추적 방법을 나타내는 개략도이다.
도 6을 참조하면 대상체 추적 방법은 외부에 제공되는 센서를 이용하여 대상체에 대한 정보를 획득하고, 획득한 대상체에 대한 정보에 기초하여 대상체의 위치를 판단할 수 있다.
이하에서는 도 6을 참조하여 대상체가 착용형 디스플레이 장치(400)인 경우를 예시적으로 설명하도록 한다.
도 6을 참조하면 대상체는 대상체를 식별하기 위한 마커(M)가 제공될 수 있다.
마커(M)는 대상체에 제공되어 대상체를 식별하여 추적하는 기준을 제공할 수 있다.
대상체를 추적하기 위해서는 대상체와 대상체가 아닌 구성을 식별해야 할 필요가 있으며, 대상체에 마커(M)가 제공됨으로써 대상체임을 식별 가능할 수 있다.
또한 복수의 대상체가 제공되는 경우 각각의 대상체를 식별할 필요가 있으며, 이를 위하여 하나의 대상체에 제공되는 마커(M)는 다른 대상체에 제공되는 마커(M)와 구별 가능하게 제공될 수 있다.
예를 들어 하나의 대상체에 제공되는 마커(M)는 다른 대상체에 제공되는 마커(M)와 상이한 패턴으로 제공될 수 있다.
또한 패턴은 복수의 마커(M)가 상이한 위치에 제공되어 형성되는 패턴 및 하나의 디스플레이 패널 들에 제공되는 광 패턴 등 다양한 의미의 패턴을 포함할 수 있다.
또한 마커(M)는 상기 발광부(110)로부터 송출된 광 신호를 반사하거나 흡수하는 패시브 마커 및 자체적으로 광 신호를 송출할 수 있는 액티브 마커 등으로 제공될 수 있다.
일 예로, 패시브 마커는 광 반사 물질이 부착된 입체 모형, 인식 가능한 코드가 인쇄되어 있는 종이, 반사테이프 등을 포함할 수 있다.
또한 액티브 마커는 LED 모듈, 전파 발생기 등이 포함할 수 있다.
일 실시예에 따르면 대상체에는 적어도 하나의 마커(M)가 제공될 수 있다.
일 예로 시스템이 하나의 대상체에 대해서만 위치를 추적하는 경우에는 대상체에는 하나의 마커(M)만 제공될 수 있다. 또한 시스템이 하나의 대상체에 대해서만 위치를 추적하는 경우라 하더라도 대상체에는 복수의 마커(M)가 제공될 수 있다.
또한 시스템이 복수의 대상체(130)에 대해서 위치를 추적하는 경우, 복수의 대상체 각각을 식별하기 위해서 하나의 대상체에는 복수의 마커(M)가 패턴을 형성하여 제공될 수 있다.
일 예로 시스템에서 위치를 추적하는 대상체가 착용형 디스플레이 장치(400) 및 입력 장치(500)의 두가지로 제공되는 경우 착용형 디스플레이 장치(400)에는 제1 패턴으로 마커(M)가 제공될 수 있다. 또한 입력 장치(500)에는 제2 패턴으로 마커가(130) 제공될 수 있다.
제1 패턴 및 제2 패턴은 서로 상이한 패턴으로, 위치 추적 시 제1 패턴이 검출된 경우 착용형 디스플레이 장치(400)로 식별할 수 있으며, 제2 패턴이 검출된 경우 입력 장치(500)로 식별할 수 있다.
이상에서는 복수의 대상체가 제공되는 경우 복수의 각각을 식별하기 위하여 복수의 대상체 각각에 제공되는 마커(M)들이 패턴을 형성하여 제공되는 것으로 설명하였으나, 이에 한정되는 것은 아니며, 하나의 대상체가 제공되는 경우에도 대상체에 제공되는 마커(M)들이 패턴을 형성하여 제공될 수 있다.
또한 대상체에 제공되는 마커(M)의 패턴은 사용자의 식별에도 사용될 수 있다.
일 예로 제1 패턴은 제1 사용자의 착용형 디스플레이 장치(400)로 식별될 수 있으며, 제2 패턴은 제1 사용자의 입력 장치(500)로 식별될 수 있다. 또한 제3 패턴은 제2 사용자의 착용형 디스플레이 장치(400)로 식별될 수 있으며, 제4 패턴은 제2 사용자의 입력 장치(500)로 식별될 수 있다.
대상체의 추적에 대해서 설명하면 제어 장치(200)는 디텍팅 장치(100)로부터 대상체에 대한 정보를 획득할 수 있으며, 획득한 정보에 기초하여 대상체의 위치에 대한 디텍팅 정보를 획득할 수 있다. 또한 제어 장치(200)는 디텍팅 정보에 기초하여 대상체의 위치를 추적할 수 있다.
디텍팅 장치(100)가 제어 장치(200)로 대상체에 대한 정보를 제공하는 기술에 대해서 설명하면 디텍팅 장치(100)의 발광부(110)는 플레이 공간(PA)의 적어도 일부 영역에 신호를 발신할 수 있다.
일 예로 발광부(110)가 적외선 LED인 경우 발광부(100)는 플레이 공간(PA)의 적어도 일부 영역에 적외선 신호를 발신할 수 있다.
또한 센싱부(120)는 외부로부터 획득한 정보를 제어 장치(200)로 제공할 수 있다.
일 예로 센싱부(120)가 카메라인 경우 센싱부(120)는 외부로부터 획득한 이미지 신호를 제어 장치(200)로 제공할 수 있다.
도 6에는 하나의 센싱부(120) 만 도시되어 있으나, 이에 한정되는 것은 아니며, 앞서 도 6에서 설명된 바와 같이 센싱부(120)는 복수로 제공될 수 있으며, 복수의 센싱부(110) 각각은 획득한 정보를 제어 장치(200)로 제공할 수 있다.
제어 장치(200)는 센싱부(120)로부터 획득한 정보에 기초하여 대상체의 위치를 판단할 수 있다.
제어 장치(200)는 센싱부(120)로부터 획득한 정보에 마커(M)에 대한 정보가 포함되어 있는지 판단할 수 있다. 또한 제어 장치(200)는 센싱부(120)로부터 획득한 정보에 마커(M)에 대한 정보가 포함된 경우 마커(M)의 패턴에 기초하여 대상체를 식별할 수 있다.
일 예로 제어 장치(200)는 센싱부(120)로부터 획득한 정보에 제1 패턴이 포함된 경우 착용형 디스플레이 장치(400)임을 식별할 수 있다.
하나의 센싱부(120)로부터 획득한 정보에는 복수의 패턴이 존재할 수 있으며, 제어 장치(200)는 복수의 패턴을 식별할 수 있다.
이러한 패턴은 제어 장치(200)에 미리 저장될 수 있으며, 제어 장치(200)는 획득한 정보에 미리 저장된 패턴이 존재하는 경우 해당 패턴이 존재하는 것으로 판단할 수 있으며, 해당 패턴에 대응하는 대상체를 식별할 수 있다.
제어 장치(200)는 센싱부(120)로부터 획득한 정보에 기초하여 대상체의 위치를 판단할 수 있다.
제어 장치(200)에는 미리 저장된 패턴을 각각에 대한 대표점(RP)가 설정될 수 있다. 대표점(RP)는 패턴을 대표하는 점(point)일 수 있다.
복수의 마커(M)를 통한 패턴이 제공되는 경우 패턴에 포함된 복수의 마커(M)에 대한 좌표 정보가 획득되게 되며, 서버 장치(200)는 패턴을 대표하는 대표점(RP)을 패턴에 대응하는 대상체의 위치로 획득할 수 있다.
따라서, 제어 장치(200)는 대상체의 위치에 대한 정보를 획득하여 대상체를 추적할 수 있다.
일 실시예에 따른 대상체의 위치 추적이 상술한 방법으로 한정되는 것은 아니며, 선택에 따라 다양한 방식의 위치 추적 방법이 사용될 수 있다.
일 실시예에 따르면 센싱부(120)가 이미지 센서로 제공되는 경우 센싱부(120)는 외부에 대한 이미지를 획득할 수 있으며, 획득한 이미지에 기초하여 대상체에 대한 위치 정보를 획득할 수 있다.
일 예로 도 6에 도시된 센싱부(120)가 착용형 디스플레이 장치(400)에 제공되는 경우 센싱부(120)는 착용형 디스플레이 장치(400)의 일측에 제공되어 착용형 디스플레이 장치(400)의 내부에서 외부 방향으로 지향하여 착용형 디스플레이 장치(400)의 외부에 대한 이미지 정보를 획득할 수 있다.
또한 착용형 디스플레이 장치(400)는 제어 장치(200)로 획득한 이미지 정보를 제공할 수 있다.
일 실시예에 따르면 착용형 디스플레이 장치(400)는 미리 정해진 주기로 제어 장치(200)로 이미지 정보를 제공할 수 있다.
일 예로 착용형 디스플레이 장치(400)는 센싱부(120)를 통하여 이미지 정보를 획득하는 주기와 동일한 주기로 제어 장치(200)로 이미지 정보를 제공할 수 있다.
제어 장치(200)는 획득한 이미지 정보로부터 적어도 하나의 특징점을 획득할 수 있다.
일 실시예예 따르면 제어 장치(200)는 이미지 정보에 포함된 사물을 특징점으로 획득할 수 있다.
일 실시예에 따르면 제어 장치(200)는 이미지 정보에 포함된 사물 중 미리 정해진 크기 이상의 사물을 특징점으로 획득할 수 있다.
제어 장치(200)는 이미지 정보에 포함된 사물을 식별할 수 있으며, 식별된 사물 중 미리 정해진 크기 이상의 사물을 특징점으로 획득할 수 있다. 또한 제어 장치(200)는 이미지 정보에 포함된 사물이 차지하는 픽셀수에 기초하여 사물의 크기를 판단할 수 있다.
일 실시예에 따르면 제어 장치(200)는 이미지 정보에 포함된 사물 중 미리 설정된 유형의 사물을 특징점으로 획득할 수 있다.
일 예로 공 유형의 사물이 미리 설정된 경우 제어 장치(200)는 이미지 정보에 포함된 야구공, 축구공 및 농구공 등과 같은 공유형의 사물을 특징점으로 획득할 수 있다.
일 실시예에 따르면 제어 장치(200)는 이미지 정보에 포함된 마커를 특징점으로 획득할 수 있다.
제어 장치(200)는 이미지 정보에 포함된 바코드, QR 코드와 같은 마커를 식별하여 특징점으로 획득할 수 있다.
또한 제어 장치(200)는 이미지 정보에 포함된 특징점의 위치를 판단할 수 있다.
제어 장치(200)는 착용형 디스플레이 장치(400)로부터 획득한 이미지 정보 들에 기초하여 특징점의 위치 변화 및 크기 변화 중 적어도 하나를 판단할 수 있다.
제어 장치(200)는 특징점의 위치 변화 방향, 위치 변화량 및 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.
일 예로 제어 장치(200)는 착용형 디스플레이 장치(400)로부터 획득한 이미지 정보 들에 기초하여 특징점의 위치 변화를 판단할 수 있다.
제어 장치(200)는 특징점의 위치 변화 방향 및 위치 변화량에 기초하여
제어 장치(200)는 특징점의 위치 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.
제어 장치(200)는 특징점의 위치 변화 방향, 위치 변화량 및 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.
일 예로 제어 장치(200)는 제1 시점에서 획득한 제1 이미지 정보에 포함된 특징점의 위치와 제1 시점보다 이후 시점인 제2 시점에서 획득한 제2 이미지 정보에 포함된 특징점의 위치를 비교한 결과 제1 이미지 정보에의 특징점의 위치가 제2 이미지 정보에서는 우측으로 이동한 경우 착용형 디스플레이 장치(400)가 좌측으로 이동한 것으로 판단할 수 있다.
또한 제어 장치(200)는 특징점의 위치가 변경된 경우 특징점의 이동 거리를 판단할 수 있다.
제어 장치(200)는 제1 이미지 정보에서의 특징점의 위치와 제2 이미지 정보에서의 특징점의 위치 사이의 픽셀 수에 기초하여 특징점의 이동 거리를 판단할 수 있다.
또는 제어 장치(200)는 제1 이미지 정보에서의 특징점의 좌표와 제2 이미지에서의 특징점의 좌표에 기초하여 특징점의 이동 거리를 판단할 수 있다.
또한 일 예로 제어 장치(200)는 크기 변화량에 기초하여 착용형 디스플레이 장치(400)의 이동 방향 및 이동 거리를 판단할 수 있다.
제어 장치(200)는 제1 시점에서 획득한 제1 이미지 정보에 포함된 특징점의 크기와 제1 시점보다 이후 시점인 제2 시점에서 획득한 제2 이미지 정보에 포함된 특징점의 크기를 비교한 결과 제1 이미지 정보에의 특징점의 위치가 제2 이미지 정보에서는 우측으로 이동한 경우 착용형 디스플레이 장치(400)가 좌측으로 이동한 것으로 판단할 수 있다.
따라서 제어 장치(200)는 미리 설정된 초기 위치로부터 대상체의 상대인 위치 변화에 기초하여 대상체의 위치를 추적할 수 있다.
도 7은 일 실시예에 따른 가상 현실 제어 시스템에서 디바이스를 통한 얼굴 이미지의 획득을 나타내는 도면이다.
도 7에 도시된 바와 같이 플레이어(700)는 플레이 공간(PA)에서 가상 현실에 관한 시나리오를 수행할 수 있다.
도 7에는 단수의 플레이어(700)를 도시하였으나 플레이 공간(PA)에는 복수의 플레이어가 플레이할 수 있다.
도 7에 도시된 바와 같이 플레이 공간(PA)에는 디텍팅 장치(100)이 미리 설치되어 있을 수 있으며, 디텍팅 장치(100)의 설치 위치 및 형태는 한정되어 해석되지 아니한다.
일 실시예에 따라 플레이어(700)은 휴대용 제어 장치(200)를 휴대하고, 디비아스(600)을 휴대할 수 있다.
예를 들어, 플레이어(700)가 플레이 공간(PA)에서 플레이 하는 시나리오는 범죄 현장 대응 훈련용 시나리오 일 수 있다. 이에 따라, 플레이어(700)는 범죄 현장에 대응하는 훈련이 필요한 경찰, 경찰 연수원생 등일 수 있다.
범죄 현장 대응 훈련용 시나리오는 훈련에 필요한 범죄 현장 대응을 위한 시나리오를 포함할 수 있다. 예를 들어, 범죄 현장 대응 훈련용 시나리오는 가정 폭력에 대한 대응 훈련용 시나리오일 수 있다.
플레이어가 가상 현실 시나리오를 시작하기 전에 각 플레이어(700)의 얼굴 이미지(601)를 획득할 수 있다. 얼굴 이미지(601)를 기반으로 얼굴 특징값이 추출되면, 추출된 얼굴 특징값을 기반으로 얼굴 데이터가 생성될 수 있다.
플레이어의 얼굴 이미지(601)는 디바이스(600)가 모바일 디바이스인 경우 미리 저장된 어플리케이션을 통해 획득될 수 있다. 또한, 디바이스(600)가 pc 디바이스인 경우 미리 저장된 프로그램을 통해 획득될 수 있다.
일 실시예에 따르면 플레이어의 얼굴 이미지(601)를 획득하기 위해 디바이스(600)에는 얼굴 센서부가 제공될 수 있으며, 얼굴 센서부를 통하여 플레이어의 얼굴 이미지를 획득할 수 있다.
모바일 디바이스에서 제공되는 어플리케이션은 플레이어의 얼굴을 캡쳐할 수 있는 어플리케이션일 수 있으며, 플레이어의 얼굴을 캡쳐할 수 있는 기능을 수행할 수 있는 어떠한 어플리케이션일 수 있다.
일 실시예에 따르면 디바이스(600)는 카메라 및 이미지 등을 캡쳐할 수 있는 기능을 포함할 수 있다.
일 예로 디바이스(600)는 TrueDepth 카메라로 제공되는 경우 얼굴 정면을 촬영하여 캡쳐된 얼굴 이미지를 제어 장치로 송신할 수 있다.
얼굴 데이터가 생성되면, 제어 장치에서 각 플레이어(700)가 착용하는 착용형 디스플레이 장치(400)로 시나리오 시작 신호를 송신할 수 있다.
플레이어가 착용하는 착용형 디스플레이 장치(400)는 플레이어(700)에게 시나리오 시작 신호를 출력할 수 있다.
착용형 디스플레이 장치(400)는 시나리오 시작 신호를 이미지를 통해 시각적으로 출력할 수 있다. 시각적으로 출력되는 시나리오 시작 신호는 플레이어에게 텍스트 내용으로 출력되거나 이미지를 기반으로 출력될 수 있다.
또한, 시나리오 시작 신호는 음성 신호를 통해 플레이어에게 출력할 수도 있다.
일 예로 음성 신호는 시나리오 시작을 알리는 알림 소리, 사이렌 소리, 시나리오 시작에 관련된 텍스트를 음성으로 출력하는 소리 등을 포함할 수 있다.
일 예로 시나리오 시작 신호는 가상 현실 시나리오를 수행하는 플레이어의 얼굴 데이터를 포함할 수 있다.
예를 들어, 복수의 플레이어 중 제1 플레이어에게 착용형 디스플레이 장치(400)는 복수의 플레이어 중 제2 플레이어의 얼굴 데이터를 출력할 수 있다.
시나리오 시작 신호는 디바이스(600)가 모바일 디바이스인 경우 미리 저장된 어플리케이션을 통해 플레이어에게 제공할 수도 있다. 또는 디바이스가 PC 디바이스인 경우 미리 저장된 프로그램을 통해 플레이어에게 제공할 수도 있다.
이하에서는 도 8을 참조하여, 디바이스에서 획득된 얼굴 이미지를 기반으로 제어 장치내에서 얼굴 데이터를 생성하는 방법을 설명하도록 한다.
도 8는 일 실시예에 따른 제어 장치에서 얼굴 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 8에 도시된 바와 같이 제어 장치(200)는 얼굴 데이터를 획득하기 위해 형태 레코더(241), 모션 레코더(242), GLTF 모듈(243)을 포함할 수 있다.
제어 장치(200)의 서버 통신부(210)는 디바이스(600)로부터 얼굴 이미지를 수신 받을 수 있다.
제어 장치의 서버 제어부(240)는 플레이어의 얼굴 이미지를 기반으로 얼굴 특징값을 추출할 수 있다. 제어 장치의 서버 제어부(240)는 추출된 얼굴 특징값을 기초로 플레이어의 얼굴 데이터를 생성할 수 있다.
제어 장치의 서버 저장부(220)는 추출된 얼굴 특징값과 생성된 얼굴 데이터를 저장할 수 있다.
이하에서는 제어 장치(200)에서 얼굴 이미지를 기반으로 얼굴 특징값을 추출하는 방법과 얼굴 데이터를 생성하는 방법에 대해 구체적으로 설명하도록 한다
디바이스(600)를 통해 플레이어의 얼굴이 캡쳐가 되면 서버에 얼굴 이미지를 스트리밍으로 송신할 수 있다.
송신된 얼굴 이미지를 기초로 제어 장치 내 형태 레코더(261)에서 플레이어의 대응되는 얼굴 특징값을 추출할 수 있다.
얼굴 특징값는 모바일 디바이스의 ArFaceAnchor의 규격에 맞춰서 제작되는 얼굴 데이터 관련 특징값 일 수 있다.
일 실시예에 따르면 얼굴 특징값는 왼쪽 눈, 오른쪽 눈, 눈썹, 볼, 코, 입과 턱에 관한 특징값을 포함할 수 있다.
일 실시예에 따르면 얼굴 특징값은 모바일 디바이스의 ArFaceAnchor의 규격에 맞춰서 각 특징값에 대해서 0~100% 범위까지 미세한 조정을 수행 후 추출될 수도 있다.
제어 장치(200)에서 디바이스(600)을 통해 얼굴 이미지를 수신하면, 형태 레코더(241)는 모션 레코더(242)에 얼굴 데이터 레코딩을 요청할 수 있다.
모션 레코더(242)는 형태 레코더(241)로부터 얼굴 데이터 레코딩을 요청받으면, 모션 레코더(242)에서 얼굴 데이터 레코딩을 수행할 수 있다.
제어 장치(200)에서 디바이스(600)에서 얼굴 이미지 수신이 종료되면, 형태 레코더(241)는 레코딩 종료를 모션 레코더(242)에 요청할 수 있다.
형태 레코더(241)는 얼굴 이미지에 관한 얼굴 특징값을 얼굴 특징값 데이터로 저장할 수 있고, 형태 레코더(242)는 얼굴 특징값 데이터 를 ".anim" 형태의 파일로 저장할 수 있다.
형태 레코더(242)은 얼굴 특징값 데이터 저장 시 모바일 디바이스의 ArFaceAnchor의 규격에 맞춰서 각 얼굴 특징값에 대해서 0~100% 범위까지 미세한 조정을 수행 후 저장할 수도 있다.
도 8에서 GLTF 모듈(243)은 얼굴 특징값을 기초로 얼굴 데이터를 생성할 수 있고, 생성된 얼굴 데이터는 제어 장치(200)에 저장될 수 있다. 또한, 생성된 얼굴 데이터는 착용형 디스플레이 장치(400)으로 송신될 수 있다.
착용형 디스플레이 장치(400)은 얼굴 데이터를 플레이어에게 출력할 수 있다.
GLTF 모듈(243)은 얼굴 특징값 기초로 얼굴 데이터를 생성할 수 있으며 얼굴 데이터는 ".fbx" 형태의 파일로 저장되는 모델일 수 있다.
착용형 디스플레이 장치(400)에서 얼굴 데이터를 플레이어에게 출력하는 경우, GLTF 모듈(243)은 ".fbx" 형태의 파일을 ". glb" 형태의 파일로 자동 변환할 수 있다.
일 실시예에 따르면 착용형 디스플레이 장치(400)에서 얼굴 데이터를 플레이어에게 출력하는 경우, GLTF 모듈(243)은 ".fbx" 형태의 파일을 ". gltf" 형태의 파일로 자동 변환할 수도 있다.
GLTF 모듈(243)은 얼굴 데이터를 착용형 디스플레이 장치로 송신할 수 있으며, 착용형 디스플레이 장치로 송신하는 파일 형태는 ".glb" 형태의 파일이거나 ".gltf" 형태의 파일일 수 있다.
일 실시예에 따른 ".glb" 형태의 파일은 얼굴 특징값 데이터를 포함할 수 있으며, ".gltf" 형태의 파일은 얼굴 특징값 데이터를 포함하지 않을 수 있다.
이하에서는 도 9를 참조하여, 제어 장치에서 플레이어의 얼굴 이미지에서 얼굴 특징값을 추출하는 것을 설명하도록 한다.
도 9는 일 실시예에 따른 제어 장치에서 얼굴 이미지를 기초로 얼굴 특징값을 추출하는 것을 나타내는 도면이다.
도 9를 참조하면 디바이스(600)는 제어 장치(200)로 플레이어이 얼굴 이미지(603)를 송신할 수 있다. 송신된 얼굴 이미지(603)는 얼굴의 여러 부위를 포함하는 이미지일 수 있다.
일 예로, 얼굴 이미지(603)는 얼굴의 오른쪽/왼쪽 눈썹, 오른쪽/왼쪽 눈, 코, 입술, 턱 부위를 포함하는 얼굴 이미지일 수 있다.
제어 장치(200)는 얼굴 이미지(603)를 기초로 얼굴 특징값을 추출할 수 있다.
일 예로, 얼굴 특징값은 얼굴의 오른쪽/왼쪽 눈썹, 오른쪽/왼쪽 눈, 코, 입술, 턱 부위를 포함하는 얼굴 특징값일 수 있다.
일 예로 왼쪽 눈에 관한 특징값(603a)은 왼쪽 눈 위의 눈꺼풀 폐쇄를 설명하는 계수, 아래쪽 시선과 일치하는 왼쪽 눈꺼풀의 움직임을 설명하는 계수, 오른쪽 시선과 일치하는 왼쪽 눈꺼풀의 움직임을 설명하는 계수, 왼쪽 시선과 일치하는 왼쪽 눈꺼풀의 움직임을 설명하는 계수, 상향 시선과 일치하는 왼쪽 눈꺼풀의 움직임을 설명하는 계수, 왼쪽 눈 주위의 얼굴 수축을 설명하는 계수, 왼쪽 눈 주위의 눈꺼풀 확장을 설명하는 계수를 포함할 수 있다.
일 예로 오른쪽 눈에 관한 특징값(603b)은 오른쪽 눈 위의 눈꺼풀 폐쇄를 설명하는 계수, 아래쪽 시선과 일치하는 오른쪽 눈꺼풀의 움직임을 설명하는 계수, 왼쪽 시선과 일치하는 오른쪽 눈꺼풀의 움직임을 설명하는 계수, 오른쪽 시선과 일치하는 오른쪽 눈꺼풀의 움직임을 설명하는 계수, 상향 시선과 일치하는 오른쪽 눈꺼풀의 움직임을 설명하는 계수, 오른쪽 눈 주위의 얼굴 수축을 설명하는 계수, 오른쪽 눈 주위의 눈꺼풀 확장을 설명하는 계수를 포함할 수 있다.
일 예로 눈썹에 관한 특징값(603g)은 왼쪽 눈썹 바깥 쪽 부분의 아래쪽 움직임을 설명하는 계수, 오른쪽 눈썹 바깥 쪽 부분의 아래쪽 움직임을 설명하는 계수, 양쪽 눈썹 안쪽 부분의 위쪽 움직임을 설명하는 계수, 왼쪽 눈썹 바깥 쪽 부분의 위쪽 움직임을 설명하는 계수, 오른쪽 눈썹 바깥 쪽 부분의 위쪽 이동을 설명하는 계수를 포함할 수 있다.
일 예로 코에 관한 특징값(603c)은 콧 구멍 주변의 코 왼쪽이 올라가는 것을 설명하는 계수, 콧 구멍 주변의 코 오른쪽을 올리는 것을 설명하는 계수를 포함할 수 있다.
일 예로 뺨에 관한 특징값(603d)은 양 뺨의 바깥 쪽 움직임을 설명하는 계수, 왼쪽 눈 주위와 아래 뺨의 위쪽 움직임을 설명하는 계수, 오른쪽 눈 주위와 아래 뺨의 위쪽 움직임을 설명하는 계수를 포함할 수 있다.
일 예로 입에 관한 특징값(603e)은 두 입술이 열린 모양으로 수축하는 것을 설명하는 계수, 닫힌 입술의 수축과 압축을 설명하는 계수, 양쪽 입술의 왼쪽 움직임을 함께 설명하는 계수, 양쪽 입술의 오른쪽 움직임을 함께 설명하는 계수, 입의 왼쪽 모서리의 위쪽 이동을 설명하는 계수, 입의 오른쪽 모서리의 위쪽 이동을 설명하는 계수, 입의 왼쪽 모서리의 아래쪽 움직임을 설명하는 계수, 입의 오른쪽 구석의 아래쪽 움직임을 설명하는 계수, 입의 왼쪽 모서리의 뒤로 이동을 설명하는 계수, 입의 오른쪽 구석의 뒤로 이동을 설명하는 계수, 입의 왼쪽 모서리의 왼쪽 움직임을 설명하는 계수, 입의 왼쪽 모서리의 오른쪽 움직임을 설명하는 계수, 아랫 입술이 입 안쪽으로 이동하는 것을 설명하는 계수, 입 안쪽을 향한 윗입술의 움직임을 설명하는 계수, 아랫 입술의 바깥 쪽 움직임을 설명하는 계수, 윗입술의 바깥 쪽 움직임을 설명하는 계수, 왼쪽 아랫 입술의 상향 압축을 설 명하는 계수, 오른쪽 아랫 입술의 상향 압축을 설명하는 계수, 왼쪽 아랫 입술의 아래쪽 움직임을 설명하는 계수, 오른쪽 아랫 입술의 아래쪽 움직임을 설명하는 계수, 왼쪽 윗입술의 위쪽 움직임을 설명하는 계수, 오른쪽 윗입술의 위쪽 움직임을 설명하는 계수를 포함할 수 있다.
일 예로 턱에 관한 특징값은(603f)은 아래턱의 전진 운동을 설명하는 계수, 아래턱의 왼쪽 움직임을 설명하는 계수, 아래턱의 오른쪽 움직임을 설명하는 계수, 아래턱의 개구부를 설명하는 계수, 턱 위치에 관계없이 입술 폐쇄를 설명하는 계수, 를 포함할 수 있다.
일 실시예에 따르면 제어 장치(200)는 ArFaceAnchor의 규격에 맞춰서 각 특징값에 대해서 0~100% 범위까지 미세한 조정을 수행 후 얼굴 특징값을 추출할 수 있다.
이하에서는 디바이스(600)에서 얼굴 이미지를 획득하는 일 실시예를 설명하도록 한다.
도 10는 일실시예에 따른 얼굴 이미지를 획득하는 것을 나타내는 도면이다.
도 10를 참조하면, 디바이스(600)에서 플레이어의 얼굴 이미지를 획득할 때, 플레이어에게 컨텐츠를 제공할 수 있다. 이러한 컨텐츠는 복수의 컨텐츠일 수 있다.
디바이스(600)는 플레이어에게 컨텐츠를 제공하고, 컨텐츠에 대응되는 얼굴 이미지를 획득할 수 있다.
일 실시예에 따른 컨텐츠는 플레이어 얼굴에서 긍정적인 얼굴 인상을 유도하는 컨텐츠(613a) 부정적인 얼굴 인상을 유도하는 컨텐츠(613b)일 수 있다.
예를 들어, 플레이어 얼굴에서 긍정적인 얼굴 인상을 유도하는 컨텐츠(613a)는 아이의 웃는 영상, 강아지의 영상, 경치가 좋은 자연 경관에 대한 영상, 감동을 주는 영상 등을 포함할 수 있다.
또 다른 예로, 플레이어의 얼굴에서 부정적인 얼굴 인상을 유도하는 컨텐츠(613b)는 아이가 찡그리는 영상, 울고 있는 영상, 귀신이 나오는 영상, 자연재해에 관한 영상, 어린 아이가 질병으로 인해 고통받는 영상 등을 포함할 수 있다.
플레이어에게 제공하는 컨텐츠는 인간의 감정을 유도할 수 있는 모든 컨텐츠를 포함할 수 있으며, 이러한 컨텐츠는 한정되어 해석되지 아니한다.
디바이스(600)은 긍정적인 얼굴 인상을 유도하는 컨텐츠(613a)에 대응하는 얼굴 이미지(614a)를 획득할 수 있으며, 긍정적인 얼굴 인상을 유도하는 컨텐츠(613b)에 대응하는 얼굴 이미지(614b)를 획득할 수 있다.
도 10에 도시된 바와 같이, 일 실시예에 따르면 컨텐츠를 제공하고, 이에 대응하는 얼굴 이미지가 실시간으로 캡쳐 되어 디바이스에서 출력될 수 있으나, 이러한 실시예에 한정되어 해석되는 것은 아니다.
일 예로, 일정 시간 동안 플레이어에게 컨텐츠를 제공한 후, 일정 시간 경과되기 전에 얼굴 이미지를 캡쳐할 수 있다.
또한, 일정 시간 동안 플레이어에게 컨텐츠를 제공하는 중에 디바이스(600) 내에서 얼굴 이미지를 캡쳐할 수도 있다.
또 다른 일 예로 디바이스(600)가 플레이어에게 일정 시간을 기준으로 컨텐츠의 해상도를 변경하여 제공할 수 있다. 해상도가 변경됨에 따라 플레이어가 디바이스(600)와 이격된 거리를 조정하며 컨텐츠를 시청할 수 있다.
이에, 디바이스(600) 내부에서 플레이어와 디바이스의 이격된 거리가 조정될 때 마다 얼굴 이미지를 캡쳐할 수 있다.
일 실시예에 따라, 디바이스(600)는 컨텐츠의 내용을 일정 시간을 기준으로 변경하여 플레이어에게 제공할 수도 있다. 이에 따라, 컨텐츠가 변경됨에 따라 플레이어의 얼굴 이미지를 캡쳐할 수 있다.
디바이스(600)는 캡쳐된 얼굴 이미지를 제어 장치(200)로 송신할 수 있다.
이하에서는 도 11을 참조하여, 디바이스(600)에서 플레이어의 얼굴 이미지를 캡쳐하는 일 실시예에 대해서 설명하도록 한다.
도 11은 일 실시예에 따른 디바이스에서 컨텐츠에 따른 얼굴 이미지를 캡쳐하는 것을 설명하기 위한 도면이다.
도 11을 참조하면, 디바이스(600)에서 플레이어에게 컨텐츠(625)를 제공하는 중에 얼굴 이미지를 캡쳐 하기 위한 특정 영역을 출력할 수 있다.
일 실시예에 따르면 특정 영역은 플레이어의 얼굴의 오른쪽 눈에 매칭되는 영역(626a), 왼쪽 눈에 매칭되는 영역(626b), 코에 매칭되는 영역(626c), 입에 매칭되는 영역(626d) 일 수 있으며, 얼굴의 매칭되는 영역의 개수, 종류는 한정되어 해석되지 아니한다.
예를 들어, 디바이스(600)에서 출력되는 특정 영역은 플레이어의 얼굴의 볼, 이마, 눈썹 영역을 포함할 수 있다.
도 11을 참조하면, 플레이어는 디바이스(600)에서 컨텐츠가 제공되는 중에 본인의 얼굴의 부위를 대응되는 특정 영역에 매칭시킬 수 있다.
이를 통해, 디바이스(600)에서 얼굴 이미지를 획득할 때, 플레이어 얼굴의 특정 부위를 보다 정확히 매칭시킬 수 있다.
도 11에 따른 얼굴 이미지가 제어 장치(200)로 송신되면, 제어 장치(200)에서 플레이어의 얼굴 이미지에 기초하여 얼굴 특징값을 추출할 수 있다.
제어 장치(200)는 추출된 얼굴 특징값을 기초로 하여 대응되는 얼굴 데이터를 생성할 수 있다.
도 11을 참조하여, 디바이스(600)에서 캡쳐된 얼굴 이미지는 이후 제어 장치(200)에서 얼굴 데이터 생성할 때 필요한 얼굴 특징값을 정확히 추출할 수 있어, 보다 효과적인 얼굴 데이터 생성이 가능하다.
이하에서는 도 12을 참조하여, 범죄 현장 대응하는 훈련 시나리오에 대한 설명을 하도록 한다.
도 12은 일 실시예에 따른 범죄 현장 대응 훈련용 시나리오에 대한 순서도이다.
도 12을 참조하면, 가상 현실은 범죄 현장에 대응하기 위한 경찰 및 경찰연수원을 대상으로 하는 훈련용 시나리오일 수 있다. 도 12에 도시된 바는 범죄 현장 대응 훈련용 시나리오의 일부를 나타낸 것이며, 이에 한정되어 해석되지 아니한다.
보다 구체적으로 도 12에 도시된 바에 추가적으로 범죄 현장 대응 훈련용 시나리오에 포함될 수 있는 시나리오를 포함할 수 있다.
예를 들어, 도 12에 도시되지 않았으나, 범죄 현장 대응 훈련용 시나리오에는 범죄 현장 출동에 따른 증원 요청을 수행 여부, 범죄 현장에 관한 주변 수색 여부, 범죄 현장에 관한 판단 여부, 범죄 현장에 따른 추가 증원 요청 수행여부 등을 포함할 수 있으며, 이에 한정되어 해석되지 아니한다.
도 12에 따라, 범죄 현장 대응 훈련용 시나리오는 범죄 현장 출동 접수를 수행하였는지 판단하는 단계(S201), 범죄 현장 수색을 수행하였는지 판단하는 단계(S202), 범죄자 및 피해자의 신원확인 및 심문을 수행하였는지 판단하는 단계(S203), 피해자와 범죄자를 분리하였는지 여부를 판단하는 단계(S204), 피해자와 범죄자를 분리하는 경우, 피해자에 대한 추가 진술을 수행하였는지 여부를 판단하는 단계(S205), 피해자와 범죄자를 분리하지 않는 경우이거나 피해자의 추가 진술을 수행한 이후, 범죄 사건을 종결을 수행하였는지 판단하는 단계(S206)를 포함할 수 있다.
도 12에 도시된 바뿐만 아니라, 범죄 현장 대응 훈련용 시나리오는 범죄 현장에서 범죄자와 피해자를 대상으로 경찰이 수행하는 시나리오를 포함할 수 있다.
이하에서는 도 13 내지 도 16를 참조하여 각 시나리오에 대한 단계에 대해 가상 현실에서 구체적으로 구현되는 것을 설명하도록 한다.
도 13는 일 실시예에 따른 가상 현실 내에서 구현되는 범죄 현장 출동 접수를 수행하였는지에 관한 시나리오를 설명하는 도면이다.
도 13를 참조하면 플레이어는 본인이 착용하는 착용형 디스플레이 장치(400)를 통해서 가상 현실을 제공받을 수 있다.
착용형 디스플레이 장치(400)는 가상 현실 내 이미지(401)를 출력할 수 있다. 가상 현실 내 이미지는 2D 이미지 이거나, 일정 시간 동안 반복 재생되는 비디오 데이터일 수 있다.
일 실시예에 따른 가상 현실내 이미지(401)은 경찰 또는 경찰 관계자가 범죄를 접수하기 전 근무하는 공간에 관련된 이미지 일 수 있다.
예를 들어, 도13에 도시된 바와 같이, 가상 현실내 이미지(401)은 범죄 현장 출동 전 경찰차 안에 플레이어가 운전석에 위치하고, 경찰차 운전석에서 바라보는 시선에 관한 이미지일 수 있다.
착용형 디스플레이 장치(400)는 범죄 현장 접수에 관해 플레이어에게 신호(402)를 출력할 수 있다.
일 예로 범죄 현장 접수에 관한 신호(402)는 범죄 현장 주소, 범죄 현장 접수시 범죄 현장 상태, 범죄 현장으로 출발 시 소요되는 시간, 교통 상황 등을 포함할 수 있다.
착용형 디스플레이 장치(400)는 현장 접수에 관한 신호(402)를 시각적 텍스트 데이터(402)가 활성화되어 플레이어에게 시각적으로 출력할 수 있다.
범죄 현장에 관한 접수 신호(402)가 비활성된 상태는 가상 현실내 이미지(401)에서 플레이어에게 출력되지 않은 상태일 수 있다.
일 실시예를 따르면, 착용형 디스플레이 장치(400)는 범죄 현장 접수에 관한 신호(402)를 음성 신호를 통해 출력할 수도 있다.
또한, 음성 신호는 사이렌 소리 및 알림 소리 등을 포함할 수도 있다.
일 실시예에 따르면, 범죄 현장 접수 신호(402)를 출력 받는 플레이어는 복수의 플레이어일 수 있다.
복수의 플레이어는 각각 플레이어가 착용한 착용형 디스플레이 장치(400)를 통해서 앞서 상술한 가상 현실내 이미지(401) 및 범죄 현장 접수에 관한 신호(402)를 제공받을 수 있다.
일 실시예에 따르면, 복수의 플레이어 중 제1 플레이어는 착용형 디스플레이 장치를 통해 제2 플레이어 관한 정보를 제공받을 수 있다.
제2 플레이어 관한 정보는 복수의 플레이어 중 제2 플레이어에 대한 얼굴 데이터(403a), 제2 플레이어의 신원정보(403b)를 포함할 수 있다.
제2 플레이어에 대한 얼굴 데이터(403a)는 제어 장치내에서 생성한 제2 플레이어의 얼굴 데이터일 수 있다.
제2 플레이어에 대한 얼굴 데이터(403a)는 착용형 디스플레이 장치에서 출력되는 위치나 형태, 출력되는 지속 시간은 한정되어 해석되지 아니한다.
제2 플레이어에 대한 신원정보(403b)는 제2 플레이어의 이름, 나이, 경력, 보유장비, 특이사항 등을 포함할 수 있다.
제2 플레이어에 관한 신원정보(403b)는 플레이어의 관한 기본 신상 정보 및 플레이어의 경찰 이력 정보를 모두 포함할 수 있으며 이에 한정되어 해석되지 아니한다.
제1 플레이어가 착용한 디스플레이 장치는 제2 플레이어에 관한 신원정보(403b)를 출력할 때, 시각적 텍스트 데이터 및 음향 신호를 통해서도 출력할 수 있다.
일 예로, 제1 플레이어가 착용한 디스플레이 장치(400)는 음성 신호를 통해서 제2 플레이어에 대한 신원정보(403b)를 출력할 수도 있다.
제2 플레이어에 대한 신원정보(403b)는 착용형 디스플레이 장치에서 출력되는 위치나 형태, 출력되는 지속 시간은 한정되어 해석되지 아니한다.
범죄 현장 접수에 관한 신호(402)를 출력한 후, 복수의 플레이어 중 제1 플레이어가 범죄 현장 접수를 수행한 경우, 범죄 현장으로 이동하는 시나리오가 출력될 수 있다.
제1 플레이어와 대응하는 캐릭터는 경찰 형태를 갖는 사람의 캐릭터일 수 있고, 제1 플레이어와 대응하는 가상 현실 내 손가락을 포함한 가상 현실 손에 해당할 수도 있다.
일 실시예에 따른 제1 플레이어가 범죄 현장 접수에 관한 신호(402)를 접수를 수행한 경우는 범죄 현장 접수에 관한 시각적 텍스트 데이터에 대해서 활성화 상태에서 비활성화 상태로 변경을 유도한 것일 수 있다.
범죄 현장 접수에 관한 시각적 텍스트 데이터(402)에 대해서 활성화 상태에서 비활성화 상태로 변경을 유도한 것은 제1 플레이어 대응하는 가상 현실 손의 가상 위치 정보를 기초로 판단할 수 있다.
일 예로, 제1 플레이어 대응하는 가상 현실 손의 가상 위치 정보를 기반으로 범죄 현장 접수에 관한 시각적 텍스트 데이터(402)에 제1 플레이어 대응하는 가상 현실 손의 위치 정보가 일정 시간 내에 대응되는 경우, 범죄 현장 접수에 관한 시각적 텍스트 데이터(402)는 비활성화 상태로 변경될 수 있다.
또는, 제1 플레이어 대응하는 가상 현실 손의 위치 정보가 일정 시간 동안 범죄 현장 접수에 관한 시각적 텍스트 데이터(402)에 대응되고, 일정 시간 이후 가상 현실 손의 위치 정보가 임의의 가상 위치 정보로 이동한 경우일 수 있다.
이하에서는 도 14을 참조하여, 범죄 현장 접수 이후 범죄 현장에 관한 시나리오를 설명하도록 한다.
도 14은 일 실시예에 따른 가상 현실내 범죄 현장에서 플레이어가 범죄 현장을 수색하는 시나리오를 설명하는 도면이다.
도 14는 일 실시예에 따른 가상 현실 내에서 구현되는 범죄 현장 수색에 관한 시나리오를 설명하는 도면이다.
도 14을 참조하면 복수의 플레이어 중 제1 플레이어가 착용하는 착용형 디스플레이 장치는 범죄 현장에 관한 가상 이미지(421)을 출력할 수 있다. 범죄 현장에 관한 가상 이미지는(421)은 제어 장치(200)에 저장된 이미지 데이터일 수 있다.
일 실시예에 따르면 범죄 현장에 관한 가상 이미지(421)는 범죄 현장에 관한 이미지를 구현한 실제 현실과 대응되는 이미지일 수 있다.
예를 들어, 범죄 현장에 관한 가상 이미지(421)은 가정 폭력 범죄 현장인 경우 가정집일 수 있으며, 실제 현실사회에서 범죄가 일어나는 현장에 관한 이미지를 포함할 수 있으며 한정되어 해석되지 아니한다.
본 발명의 범죄 현장에 관한 이미지(421)은 가정 폭력 범죄인 경우의 가정집 거실일 수 있다.
도 14에 따라 플레이어는 착용형 디스플레이 장치를 착용하고 범죄 현장을 수색하는 시나리오를 수행할 수 있다. 복수의 플레이어 중 제2 플레이어가 범죄 현장을 수색하는 경우, 디텍팅 장치(100)은 제2 플레이어와 대응되는 가상 현실 내 제2 캐릭터(422)의 가상 위치 정보를 획득할 수 있다. 복수의 플레이어 중 제1 플레이어는 제2 플레이어에 대응되는 제2 캐릭터(422)에 대해서 착용형 디스플레이 장치(400)를 통해 캐릭터(422)를 제공받을 수 있다.
일 실시예에 따르면 제1 플레이어가 착용하는 착용형 디스플레이 장치(400)는 제2 플레이어 대응되는 제2 캐릭터(422)는 가상 위치 정보를 기반으로 제1 플레이어에게 출력될 수 있으며, 제1 플레이와 대응되는 제1 캐릭터의 가상 위치 정보 및 제1 캐릭터의 시야 범위내 이미지를 출력할 수 있다.
보다 구체적으로, 일 실시예에 따르면 제1 캐릭터의 가상 위치 정보를 기초로 제1 시야 범위내 제2 캐릭터의 가상 위치 정보가 위치하는 경우, 착용형 디스플레이 장치(400)는 제1 시야 범위내 범죄 현장에 관한 가상 이미지(421)와 제2 캐릭터(422)를 출력할 수 있다.
일 실시예에 따르면 제1 플레이어가 착용하는 착용형 디스플레이 장치(400)는 제2 플레이어에 대응하는 제2 캐릭터(422)와 제2 플레이어의 제2 얼굴 데이터(423)를 출력할 수 있다. 제2 얼굴 데이터(423)의 경우 제2 캐릭터(422) 출력의 유무와 관련없이 독립적으로 출력될 수 있다.
일 실시예에 따르면 제1 플레이어가 착용하는 착용형 디스플레이 장치(400)에서 출력되는 제2 얼굴 데이터(423)는 출력되는 위치, 형태, 출력 지속 시간에 한정되어 해석되지 아니한다. 도 14에서 도시된 바는 제2 얼굴 데이터(423)가 출력되는 일 실시예에 해당되는 것이며 이에 한정되어 해석되지 아니한다.
예를 들어, 제2 얼굴 데이터(423)는 제2 플레이어와 대응되는 제2 캐릭터(422)의 상단에 위치되어 출력될 수 있고, 제2 플레이어와 대응되는 제2 캐릭터(422)의 매칭되어 출력될 수도 있다.
일 실시예에 따른 제2 얼굴 데이터(423)는 제어 장치(200)에서 생성된 제2 얼굴 데이터(423)일 수 있으며, 제2 얼굴 데이터(423)는 디바이스(600)에서 획득한 제2 얼굴 이미지를 기초로, 제어 장치(200)에서 제2 얼굴 특징값을 추출하여 이를 기초로 생성된 얼굴 데이터일 수 있다.
일 실시예에 따르면 제2 얼굴 데이터(423)는 제2 플레이어에게 디바이스에서 제1 컨텐츠를 제공하고 이에 대응하는 제3 얼굴 이미지를 획득하고, 제어 장치에서 제3 얼굴 이미지를 기초로 제3 얼굴 특징값을 추출하여, 이를 기초로 생성된 제3 얼굴 데이터 일 수 있다.
일 실시예에 따르면 제2 얼굴 데이터(423)는 제2 플레이어에게 디바이스에서 제2 컨텐츠를 제공하고 이에 대응하는 제4 얼굴 이미지를 획득하고, 제어 장치에서 제4 얼굴 이미지를 기초로 제4 얼굴 특징값을 추출하여, 이를 기초로 생성된 제3 얼굴 데이터 일 수 있다.
일 실시예에 따르면 제2 얼굴 데이터(423)는 제어 장치(200)내 미리 저장된 얼굴 데이터 일 수 있다.
이하에서는 도 15를 참조하여, 일 실시예에 따른 범죄자 캐릭터 및 피해자 캐틱터의 신원확인 및 심문 수행 시나리오를 설명하도록 한다.
도 15는 일 실시예에 따른 가상 현실 내에서 구현되는 범죄자 및 피해자 신원확인 및 심문 수행에 관한 시나리오를 설명하는 도면이다.
도 15을 참조하면, 제1 플레이어가 착용하는 착용형 디스플레이 장치(400)는 범죄 현장에 관한 가상 이미지(423)에서 범죄자 캐릭터(431a), 피해자 캐릭터(431b)가 출력할 수 있다.
착용형 디스플레이 장치(400)는 범죄자 캐릭터(431a) 및 피해자 캐릭터(431b)를 복수의 플레이어 중 제1 플레이어의 가상 위치 정보를 기초로 제1 플레이어의 시야 범위내에서 출력할 수 있다.
도 15에서 도시된 바는 범죄자 캐릭터(431a) 및 피해자 캐릭터(431b)가 출력되는 경우에 대한 일 실시예에 해당되며 이에 한정되어 해석되지 아니한다.
일 실시예에 따르면 제1 플레이어가 착용하는 착용형 디스플레이 장치(400)는 범죄자 캐릭터(431a)에 대응하는 범죄자 캐릭터 얼굴 데이터(432a)를 출력할 수 있다. 또한, 피해자 캐릭터(431b)에 대응하는 피해자 캐릭터 얼굴 데이터(432b)를 출력할 수 있다.
일 실시예에 따르면 범죄자 캐릭터(431a)에 대응하는 얼굴 데이터(432a) 및 피해자 캐릭터(432a)에 대응하는 얼굴 데이터(432b)는 제어 장치(200)내에서 미리 생성되어 저장된 얼굴 데이터일 수 있다.
도 15에서 도시된 바는 제1 플레이어가 착용하는 착용형 디스플레이 장치(400)내에서 범죄자 캐릭터(431a) 및 이에 대응하는 얼굴 데이터(432a)와 피해자 캐릭터(431b), 이에 대응하는 얼굴 데이터(432b)를 출력한 일 실시예를 도시한 것이며, 출력되는 위치, 형태 출력 지속 시간 등은 한정되어 해석되지 아니한다.
일 실시예에 따르면 범죄자 캐릭터에 대응하는 얼굴 데이터(432a)는 제2 플레이어의 제2 얼굴 데이터일 수 있다.
또한, 일 실시예에 따르면 범죄자 캐릭터에 대응하는 얼굴 데이터(432a)는 제2 플레이어의 제3 얼굴 데이터 및 제4 얼굴 데이터 일 수 있다.
일 실시예에 따르면 피해자 캐릭터에 대응하는 얼굴 데이터(432b)는 제2 플레이어의 제2 얼굴 데이터 일 수 있다.
또한, 일 실시예에 따르면 피해자 캐릭터에 대응하는 얼굴 데이터(432b)는 제2 플레이어의 제3 얼굴 데이터 및 제4 얼굴 데이터 일 수 있다.
또한, 일 실시예에 따르면 피해자 캐릭터에 대응하는 얼굴 데이터(432b)는 제2 플레이어의 제3 얼굴 데이터 및 제4 얼굴 데이터 일 수 있다.
일 실시예에 따르면 범죄자 캐릭터에 대응하는 얼굴 데이터(432a)가 제2 플레이어의 제2 얼굴 데이터인 경우는 제2 플레이어가 범죄 현장 대응 훈련용 시나리오에 대한 평가 점수가 낮은 경우일 수 있다.
제어 장치(200)은 범죄 현장 대응 훈련용 시나리오에 대한 평가는 복수의 플레이어가 범죄 현장 대응 훈련용 시나리오에서 수행하는 단계 별 평가 점수를 합산하여 산출할 수 있다.
제어 장치(200)은 범죄 현장 대응 훈련용 시나리오가 종료된 후 플레이어의 가상 현실 시나리오 과정을 기초로 산정된 평가 결과를 산출할 수 있다.
플레이어는 착용형 디스플레이 장치를 통해 플레이어의 평가 결과를 제공받을 수 있다.
평가 결과는 점수, 그림과 같은 시각적 정보 또는 소리와 같은 청각적 정보를 통해 플레이어에게 제공될 수 있다.
일 예로, 플레이어에게 범죄 대응 훈련용 시나리오가 제공되는 경우, 플레이어에 대응하는 캐릭터가 범죄자 캐릭터 및 피해자 캐릭터를 분리하였는지 이벤트 수행여부를 기초하여 평가 결과를 산정할 수 있다. 이 때, 착용형 디스플레이 장치는 평가 결과를 출력함으로서 플레이어에게 평가 결과를 제공할 수 있다. 보다 구체적으로, 가상 공간 내 미리 정해진 영역에서 플레이어에 대응되는 캐릭터가 미리 정해진 동작을 수행하였는지 여부를 기초로 평가 결과를 산정할 수 있다.
일 실시예에 따르면 복수의 플레이어의 범죄 현장 대응 훈련용 시나리오가 모두 종료된 후, 복수의 플레이어에 대한 평가 결과를 기초로, 다음 번 플레이 하는 플레이어에게 범죄자 캐릭터에 대응하는 얼굴 데이터와 피해자 캐릭터에 대응하는 얼굴 캐릭터에 이전 순서 플레이어의 얼굴 데이터를 매칭하여 제공할 수 있다.
예를 들어, 이전 순서의 플레이어의 평가 결과가 제일 낮은 플레이어의 얼굴 데이터를 다음 번 플레이어가 플레이할 때 범죄자 캐릭터에 대응하는 얼굴 데이터로 제공할 수 있다.
또는, 이전 순서의 플레이어의 평가 결과가 제일 높은 플레이어의 얼굴 데이터를 다음 번 플레이어가 플레이할 때 피해자 캐릭터에 대응하는 얼굴 데이터로 제공할 수 있다.
이와 같이 가상 현실에서 복수의 플레이어는 평가 결과에 따라 캐릭터에 대응하는 얼굴 데이터를 플레이어의 얼굴 데이터로 대응하여 제공받는 바, 가상 현실내 흥미가 증대될 수 있다. 또한, 복수의 플레이어가 더 좋은 평가 결과를 위해 가상 현실 내 이벤트 수행을 하도록 유도할 수 있다.
일 실시예에 따르면 복수의 플레이어 중 일 플레이어는 범죄자 캐릭터(431a) 및 피해자 캐릭터(431b)에 관한 신원확인 및 심문 수행 시나리오를 수행할 수 있다.
일 실시예에 따르면 플레이어의 캐릭터 신원확인 및 심문 수행 시나리오는 플레이어에 대응하는 가상 현실 내 캐릭터가 범죄자 캐릭터(431a) 및 피해자 캐릭터(431b)에 대응되는 경우에 수행된다.
예를 들어, 플레이어에 대응하는 가상 현실 캐릭터 손의 가상 위치 정보가 범죄자 캐릭터(431a) 및 피해자 캐릭터(431b)의 가상 위치 정보와 일정 영역 내에서 겹치는 경우에 신원확인 및 심문 수행 시나리오가 수행된 것으로 판단할 수 있다. 또는, 일정 영역 내 가상 위치 정보가 서로 겹치고, 일정 시간이 경과된 경우에 신원확인 및 심문 수행 시나리오가 수행된 것으로 판단할 수 있다.
도 15에 도시된 바와 같이 범죄자 캐릭터(431a)및 피해자 캐릭터(431b)의 신원확인 및 심문 수행 시나리오가 수행되면 제1 플레이어가 착용하는 착용형 디스플레이 장치에는 시각적 데이터(433)이 출력될 수 있다.
일 실시예에 따르면 시각적 데이터(433)은 신원확인 및 심문 수행에 관한 내용을 포함할 수 있다.
시각적 데이터(433)는 제1 플레이어가 착용하는 착용형 디스플레이 장치(400)에서 시각적 데이터(433)로 출력될 수도 있으나, 음향 장치를 통해 음성 신호로 출력될 수도 있으며, 이에 한정되어 해석되지 아니한다.
도 15를 참조하면, 제1 플레이어가 착용하는 착용형 디스플레이 장치(400)는 범죄자에 대한 심문 수행 내용을 기초로 범죄자 캐릭터에 대응하는 신원정보(434)를 출력할 수 있다.
일 실시예에 따른 범죄자 캐릭터에 대응하는 신원정보(434)는 제어 장치내 미리 저장된 내용을 포함할 수 있다.
범죄자 캐릭터에 대응하는 신원정보(434)는 범죄자 캐릭터의 이름, 주민등록번호, 나이, 직업, 특이사항 등을 포함할 수 있으며 이에 한정되어 해석되지 아니한다. 예를 들어, 범죄자 캐릭터에 대응하는 신원정보(434)은 범죄자에 관한 기본적인 정보를 모두 포함할 수 있다.
일 실시예에 따르면, 착용형 디스플레이 장치(400)는 범죄자 캐릭터에 대응하는 신원정보(434)가 출력됨에 따라 일정 시간 내에서 범죄자 캐릭터에 대응하는 얼굴 데이터(432a)를 출력할 수 있다.
이하에서는, 도 16을 참조하여 범죄자와 피해자를 분리한 경우의 추가 진술을 심문하는 시나리오에 대해 설명하도록 한다.
도 16는 일 실시예에 따른 범죄자 및 피해자를 분리한 경우 추가 진술을 심문하는 시나리오를 설명하는 도면이다.
도 16에 도시된 바와 같이 복수의 플레이어 중 제2 플레이어는 범죄자 캐릭터 및 피해자 캐릭터는 가상 현실내에서 분리하는 시나리오를 수행할 수 있다.
일 실시예에 따르면 범죄자와 피해자를 분리하는 경우는 복수의 플레이어가 피해자를 비활성화 상태에서 활성화 상태로의 변경을 유도하는 경우를 말한다.
일 실시예에 따르면, 피해자가 비활성화 상태에서 활성화 상태로 변경되는 것은 제2 플레이어에 대응하는 제2 캐릭터의 이벤트 수행여부에 따라 판단될 수 있다.
예를 들어, 제2캐릭터의 이벤트 수행여부는 제2 플레이어에 대응하는 제2 캐릭터의 가상 위치 정보에 기초하여 피해자 캐릭터의 가상 위치 정보와 비교하여 일정 영역이 겹치는 경우, 이벤트가 수행된 것으로 판단될 수 있다.
이벤트가 수행된 것으로 판단되면 착용형 디스플레이 장치는 제2 플레이어에게 범죄자와 피해자 분리수행 여부에 관한 시각적 데이터(441)가 출력될 수 있다.
일 실시예에 따라 피해자 캐릭터와 범죄자 캐릭터가 분리된 것으로 판단된 경우, 제2 플레이어가 착용하는 착용형 디스플레이 장치에는 제1 플레이어에게 제공되는 가상 이미지와는 상이한, 분리된 공간의 가상 이미지(442)가 출력될 수 있다.
분리된 공간의 가상 이미지(442)는 범죄 현장에 관한 이미지와는 상이한 가상의 이미지일 수 있다.
예를 들어, 범죄 현장에 관한 가상 이미지가 거실인 경우, 분리된 공간의 가상 이미지는 안방이나, 피해자의 방에 관한 가상 이미지일 수 있다.
제2 플레이어는 피해자가 분리된 경우, 피해자에 대응하는 캐릭터의 추가 심문을 수행할 수 있다.
제2 플레이어가 착용하는 착용형 디스플레이 장치는 제2 플레이어에게 피해자 캐릭터 및 피해자 캐릭터에 대응하는 얼굴 데이터(443)를 출력할 수 있다.
피해자 캐릭터에 대응하는 얼굴 데이터(443)는 제어 장치내 미리 저장된 얼굴 데이터일 수 있다.
도 16에 도시된 것은 제2 플레이어에게 제공되는 피해자 캐릭터 및 피해자 캐릭터에 대응되는 피해자 캐릭터 얼굴 데이터(443)의 일 실시예를 도시한 것이며 이에 한정되어 해석되지 아니한다.
예를 들어, 피해자 캐릭터에 대응하는 피해자 캐릭터 얼굴 데이터(443)의 출력 형태, 지속 시간, 위치는 한정되어 해석되지 아니한다.
일 실시예에 따르면 제1 플레이어가 착용하는 착용형 디스플레이 장치는 제2 플레이어가 범죄자와 피해자 캐릭터를 분리한 경우, 제2 플레이어가 수행하는 추가 심문 내용(444a)을 출력할 수 있다.
추가 심문 내용(444a)은 제1 플레이어가 착용하는 착용형 디스플레이 장치에서 시각적 데이터로 출력될 수 있으며 이에 한정되어 해석되지 아니한다.
예를 들어, 제2 플레이어가 수행하는 추가 심문 내용(444a)은 제1 플레이어가 착용하는 착용형 디스플레이 장치에서 음성 신호로 출력될 수 있다.
일 실시예에 따르면 제1 플레이어가 착용하는 착용형 디스플레이 장치는 제2 플레이어에 대응하는 제2 얼굴 데이터(444b)를 출력할 수 있다.
예를 들어, 착용형 디스플레이 장치는 제1 플레이어에게 제2 플레이어가 수행하는 추가 심문 내용(444a)과 제2 플레이어에 대응하는 제2 얼굴 데이터(444b)를 출력할 수 있다.
일 실시예에 따르면 착용형 디스플레이 장치는 제1 플레이어에게 제2 플레이어에 관한 제3 얼굴 이미지를 기초로 생성된 제3 얼굴 데이터를 출력할 수 있고, 제4 얼굴 이미지를 기초로 생성된 제4 얼굴 데이터를 출력할 수도 있다.
착용형 디스플레이 장치는 제어 장치내에서 피해자 캐릭터의 추가 심문 내용(444a)에 따라 제3 얼굴 데이터 및 제4 얼굴 데이터를 출력할지 판단하고, 이에 따라 결과값을 출력할 수 있다.
예를 들어, 제어 장치는 추가 심문 내용의 위험성 정도를 판단하고, 위험성 정도에 따라 제1 위험도 값인 경우 제3 얼굴 데이터를 매칭할 수 있다. 제2 위험도 값인 경우에는 제4 얼굴 데이터를 매칭할 수 있으며, 제2 위험도 값은 제1 위험도 값보다 높은 값일 수 있다.
예를 들어, 제1 플레이어가 착용하는 착용하는 디스플레이 장치는 제어 장치에서 피해자의 추가 심문 내용의 위험도를 제2 위험도 값으로 판단하는 경우, 제2 플레이어 대응하는 제4 얼굴 데이터를 출력할 수 있다. 이를 통해 제1 플레이어는 피해자 캐릭터의 위험도에 관한 결과값을 제2 플레이어의 얼굴 데이터를 기초로 판단할 수 있다.
일 실시예에 따르면 복수의 플레이어는 범죄 사건을 종결을 수행하고 범죄 현장 대응 훈련용 시나리오 가상 현실을 종료할 수 있다.
일 예를 따르면 범죄 사건을 종결을 수행한 것으로 판단하는 플레이어가 착용하는 착용형 디스플레이 장치에서 범죄 종결 신호를 출력하는 경우 일 수 있다.
범죄 종결 신호는 착용형 디스플레이 장치에서 시각적 데이터로 출력될 수도 있으나, 착용형 디스플레이 장치 내 음향 장치를 통해 음성 신호로 출력할 수도 있으며 이에 한정되어 해석되지 아니한다.
일 실시예에 따르면 범죄 사건을 종결을 수행한 것으로 판단하는 경우는 플레이어가 착용형 디스플레이 장치를 제거한 경우일 수도 있다.
플레이어가 범죄 사건을 종결을 수행한 것으로 판단한 경우, 제어 장치는 플레이어의 평가 점수를 산출할 수도 있다.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
Claims (12)
- 범죄 현장 대응 훈련용 가상 현실 제어 방법에 있어서,
디바이스에서 제1 플레이어의 제1 얼굴 이미지 및 제2 플레이어의 제2 얼굴 이미지를 획득하는 단계;
상기 디바이스에서 제어 장치로 상기 제1 얼굴 이미지 및 상기 제2 얼굴 이미지를 송신하는 단계;
상기 제어 장치에서 상기 제1 얼굴 이미지에 대한 제1 얼굴 특징값을 기초로 제1 얼굴 데이터를 생성하고, 상기 제2 얼굴 이미지에 대한 제2 얼굴 특징값을 기초로 제2 얼굴 데이터를 생성하는 단계;
상기 제어 장치에서 상기 제1 얼굴 데이터 및 상기 제2 얼굴 데이터 생성 후, 제1 플레이어가 착용하는 제1 착용형 디스플레이 장치에서 범죄 현장 대응 훈련용 시나리오 시작 신호를 출력하는 단계;
상기 제1 플레이어가 범죄 현장 출동 접수를 수행하였는지 여부를 판단하는 단계;
상기 출동 접수 수행 단계 이후, 상기 제1 플레이어가 범죄자 캐릭터 및 피해자 캐릭터의 신원확인 및 심문 접수를 수행하였는지 여부를 판단하는 단계;
상기 신원확인 확인 및 심문 접수 단계 이후, 상기 제2 플레이어가 피해자 캐릭터와 범죄자 캐릭터를 분리하는 이벤트를 수행하였는지 여부를 판단하는 단계; 및
상기 피해자 캐릭터 및 범죄자 캐릭터 분리 이벤트 수행 이후, 상기 제1 플레이어가 범죄 사건 종결을 수행하였는지 여부를 판단하는 단계; 를 포함하고,
상기 범죄 현장 대응 훈련용 시나리오 시작 신호는
상기 제2 플레이어에 대한 신원 정보 및 상기 제2 얼굴 데이터를 포함하고,
상기 제2 플레이어가 상기 피해자 캐릭터를 상기 범죄자 캐릭터로부터 분리하는 대응을 수행한 경우, 상기 제1 착용형 디스플레이 장치는 상기 제2 얼굴 데이터를 출력하나 상기 제2 플레이어에 대응하는 제2 캐릭터는 출력하지 않는,
가상 현실 제어 방법.
- 제1항에 있어서, 상기 제1 착용형 디스플레이 장치는
상기 제1 플레이어에 대응하는 제1 캐릭터의 제1 위치 정보에 기초한 제1 시야 범위 내의 상기 제2 플레이어에 대응하는 상기 제2 캐릭터가 위치하는 경우, 상기 제2 캐릭터 및 상기 제2 얼굴 데이터를 출력하는
가상 현실 제어 방법.
- 제1항에 있어서, 상기 디바이스에서 상기 제1 플레이어의 제1 얼굴 이미지 및 상기 제2 플레이어의 제2 얼굴 이미지를 획득하는 단계 이전에,
상기 디바이스에서 상기 제2 플레이어에게 제1 컨텐츠 및 제2 컨텐츠를 제공하는 단계를 포함하고,
상기 제1 컨텐츠는 상기 제2 플레이어 긍정적 반응을 유도하는 컨텐츠이고, 상기 제2 컨텐츠는 상기 제2 플레이어의 부정적 반응을 유도하는 컨텐츠인
가상 현실 제어 방법.
- 제3항에 있어서, 상기 디바이스는 상기 제1 컨텐츠에 대응되는 상기 제2 플레이어의 제3 얼굴 이미지와 상기 제2 컨텐츠에 대응되는 상기 제2 플레이어의 제4 얼굴 이미지를 획득하고,
상기 제어 장치는
상기 제3 얼굴 이미지에 대한 제3 얼굴 특징값을 기초로 제3 얼굴 데이터 및 상기 제4 얼굴 이미지에 대한 제4 얼굴 특징값을 기초로 제4 얼굴 데이터를 생성하는
가상 현실 제어 방법.
- 삭제
- 제1항에 있어서, 상기 제2 플레이어가 상기 피해자 캐릭터를 범죄자 캐릭터로부터 분리하는 대응을 수행한 경우,
상기 제2 플레이어가 상기 피해자 캐릭터의 추가 진술 접수를 수행하였는지 여부를 판단하는 단계를 더 포함하고,
상기 제1 착용형 디스플레이 장치는 상기 제1 플레이어에게 상기 피해자 캐릭터의 추가 진술을 출력하는
가상 현실 제어 방법.
- 제4항에 있어서, 상기 제어 장치는 상기 피해자 캐릭터의 추가 진술에 상기 제2 플레이어의 상기 제3 얼굴 데이터 및 상기 제4 얼굴 데이터를 대응시키고,
상기 제1 착용형 디스플레이 장치는 상기 피해자의 추가 진술 및 상기 추가 진술에 대응되는 상기 제2 플레이어의 상기 제3 얼굴 데이터를 출력하는
가상 현실 제어 방법.
- 제7항에 있어서, 상기 범죄자 캐릭터 및 상기 피해자 캐릭터의 신원확인 및 심문 접수를 수행하였는지 여부를 판단하는 단계에서, 상기 제1 착용형 디스플레이 장치는 상기 범죄자 캐릭터 및 상기 범죄자 캐릭터에 대응하는 얼굴 데이터를 출력하는
가상 현실 제어 방법.
- 제8항에 있어서, 상기 범죄자 캐릭터에 대응하는 얼굴 데이터는
상기 제2 플레이어의 상기 제3 얼굴 데이터인
가상 현실 제어 방법.
- 삭제
- 제1항에 있어서, 상기 제1 얼굴 특징값은
눈의 시선, 눈 주위 근육 수축여부, 눈썹의 움직임, 눈썹 이동방향, 코의 움직임, 뺨의 움직임, 턱의 움직임, 입술의 이동방향, 입술의 움직임 중 적어도 하나를 포함하는
가상 현실 제어 방법. - 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200166748A KR102373891B1 (ko) | 2020-12-02 | 2020-12-02 | 가상 현실 제어 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200166748A KR102373891B1 (ko) | 2020-12-02 | 2020-12-02 | 가상 현실 제어 시스템 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102373891B1 true KR102373891B1 (ko) | 2022-03-15 |
Family
ID=80817192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200166748A KR102373891B1 (ko) | 2020-12-02 | 2020-12-02 | 가상 현실 제어 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102373891B1 (ko) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190078524A (ko) * | 2017-12-26 | 2019-07-04 | (주)스코넥엔터테인먼트 | 가상 환경 제어 시스템 |
KR20200091255A (ko) * | 2019-01-22 | 2020-07-30 | (주)스코넥엔터테인먼트 | 가상 현실 제어 시스템 |
KR102182079B1 (ko) * | 2020-06-24 | 2020-11-24 | 대한민국 | 화학 사고 대응 훈련용 가상 현실 제어 시스템의 제어방법 |
-
2020
- 2020-12-02 KR KR1020200166748A patent/KR102373891B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190078524A (ko) * | 2017-12-26 | 2019-07-04 | (주)스코넥엔터테인먼트 | 가상 환경 제어 시스템 |
KR20200123049A (ko) * | 2017-12-26 | 2020-10-28 | (주)스코넥엔터테인먼트 | 가상 환경 제어 시스템 |
KR20200091255A (ko) * | 2019-01-22 | 2020-07-30 | (주)스코넥엔터테인먼트 | 가상 현실 제어 시스템 |
KR102182079B1 (ko) * | 2020-06-24 | 2020-11-24 | 대한민국 | 화학 사고 대응 훈련용 가상 현실 제어 시스템의 제어방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10488659B2 (en) | Apparatus, systems and methods for providing motion tracking using a personal viewing device | |
US9183676B2 (en) | Displaying a collision between real and virtual objects | |
CN103357177B (zh) | 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用 | |
CN103369303B (zh) | 动作行为分析记录及重现的系统及方法 | |
CN105359063A (zh) | 利用追踪的头戴式显示器 | |
JP6298563B1 (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
KR20190078524A (ko) | 가상 환경 제어 시스템 | |
CN103079661A (zh) | 用于增强现实角色维持并体现观察者的认知的方法 | |
WO2019187862A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
KR102012835B1 (ko) | 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템 | |
KR20180009485A (ko) | 가상 골프 시뮬레이션 장치 및 이를 이용한 정보 서비스 방법 | |
CN105653020A (zh) | 穿越时空的方法和装置以及使用其的眼镜或头盔 | |
Cordeiro et al. | ARZombie: A mobile augmented reality game with multimodal interaction | |
US11173375B2 (en) | Information processing apparatus and information processing method | |
US20240303018A1 (en) | Head mounted processing apparatus | |
US20180373884A1 (en) | Method of providing contents, program for executing the method on computer, and apparatus for providing the contents | |
KR102373891B1 (ko) | 가상 현실 제어 시스템 및 방법 | |
KR101348419B1 (ko) | 영상컨텐츠를 제공하는 가상 골프 시뮬레이션 장치 및 그 방법 | |
US11182976B2 (en) | Device for influencing virtual objects of augmented reality | |
KR102551212B1 (ko) | 증강 현실을 제공하기 위한 방법 및 장치 | |
JP7559758B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2019012509A (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
KR102363435B1 (ko) | 골프 스윙 동작 피드백 제공 장치 및 방법 | |
WO2019111027A1 (en) | Method for creating virtual or augmented reality and system for creating virtual or augmented reality | |
KR20200031255A (ko) | 인터랙션 콘텐츠에 대한 영상 데이터 공유 시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |