KR101839726B1 - Virtual reality system with two-way communication - Google Patents
Virtual reality system with two-way communication Download PDFInfo
- Publication number
- KR101839726B1 KR101839726B1 KR1020170055383A KR20170055383A KR101839726B1 KR 101839726 B1 KR101839726 B1 KR 101839726B1 KR 1020170055383 A KR1020170055383 A KR 1020170055383A KR 20170055383 A KR20170055383 A KR 20170055383A KR 101839726 B1 KR101839726 B1 KR 101839726B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- virtual reality
- user
- scanning
- space
- Prior art date
Links
- 230000006854 communication Effects 0.000 title abstract description 10
- 238000004891 communication Methods 0.000 title abstract description 10
- 238000012545 processing Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 abstract description 4
- 230000008451 emotion Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000007175 bidirectional communication Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010010144 Completed suicide Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000028017 Psychotic disease Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- User Interface Of Digital Computer (AREA)
- Operations Research (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
Abstract
Description
본 발명은 양방향 커뮤니케이션이 가능한 가상현실 시스템에 관한 것이다.The present invention relates to a virtual reality system capable of bidirectional communication.
가상현실(Virtual Reality) 시스템은 컴퓨터 등을 사용하여 가상 현실을 구현하는 시스템으로, 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황을 구현하는 기술이다.Virtual Reality system is a system that implements a virtual reality using a computer or the like, and is a technology that implements a specific environment or situation that is similar to the actual, but not actual.
최근의 가상현실 시스템은 헤드장착 디스플레이(HMD : Head Mounted Display)처럼 3차원 가상 현실을 시각적으로 표시할 수 있는 디스플레이 수단과, 3차원 가상현실을 위한 가상현실 콘텐츠를 재생하여 디스플레이 수단을 제어하는 컴퓨터 장치와, 가상현실 콘텐츠가 사용자의 움직임에 대응하여 진행하도록 하기 위해 카메라 또는 센서 등을 이용하여 사용자의 움직임을 추적하여 컴퓨터 장치에게 제공하는 트래킹 장치를 포함한다.BACKGROUND ART [0002] Recent virtual reality systems include a display unit capable of visually displaying a 3D virtual reality such as a head mounted display (HMD), a computer controlling a display unit by reproducing a virtual reality content for a 3D virtual reality And a tracking device for tracking the movement of the user using a camera or a sensor to provide the virtual reality contents to the computer device in order to allow the virtual reality contents to proceed in response to the movement of the user.
가상공간 내에서 사용자가 특정 모션을 취하면 트래킹 장치가 그 사용자 모션을 추적하고, 가상현실 콘텐츠는 사용자 모션에 따라 가상공간을 바꾼다.When the user takes a specific motion in the virtual space, the tracking device tracks the user's motion, and the virtual reality contents change the virtual space according to the user's motion.
한편, 최근에는 사용자에게 실질적 현장감을 주는 효과, 즉 체감형 효과를 주는 콘텐츠의 개발이 시작되고 있다.On the other hand, in recent years, development of a content that gives a real sense of presence to a user, that is, a feeling-giving effect, is beginning to be developed.
이러한 효과를 4차원 요소 또는 4차원 효과라 한다.This effect is called a four-dimensional element or a four-dimensional effect.
예를 들어, 영화 장면 중에 주인공이 물에 빠지면, 관람객에게 실제로 물이 뿌려져 그 느낌을 준다거나, 영화 장면에서 바람이 불 경우에 실제로 관람객을 향해 일정한 속도의 에어를 분사함으로써 관람객이 바람을 실제로 느끼도록 하는 것이 4차원 요소의 예가 된다.For example, if the main character falls into the water during a movie scene, the viewer actually feels the wind by spraying water, or if the wind blows in the movie scene, the viewer actually blows air at a constant speed toward the viewer. Is an example of a four-dimensional element.
한편, 최근에는 가상현실 시스템을 이용하여 우리 사회에서 발생되는 여러가지 문제점(정신병, 우울증, 좌절, 자살 등등)을 개선 또는 해소하기 위한 사회적 수단으로의 방안에 대한 관심이 높아지고 있다.Recently, there has been a growing interest in using virtual reality systems as social tools to improve or solve various problems (psychosis, depression, frustration, suicide, etc.) in our society.
이에 본 발명은 전술한 배경에서 안출된 것으로, 사용자가 가상현실 시스템을 통해 대상체(고인, 미래의 특정인에게 자신의 메시지 또는 이벤트를 남기기 원하는 유저 등)와 쌍방향 교감 또는 대화를 할 수 있어서, 사용자에게 추억의 회상과 감동, 희망 등을 선사할 수 있도록 하는데 그 목적이 있다.Accordingly, the present invention has been made in view of the above background, and it is an object of the present invention to provide a virtual reality system in which a user can interact or interact with an object (a deceased person, a user who wants to leave his or her message or event to a future person, It is aimed to provide memories of memories, impressions, and hope.
또한, 3차원 가상현실 공간 상에 표시되는 대상체가, 사용자의 모션정보, 음성정보 등에 반응하고, 이벤트가 발생된 미래 특정 시점의 실세계정보(날씨, 뉴스 등)와 연동되어 3차원 가상현실 공간 상에 표시됨으로써, 사용자가 마치 실제로 대상체와 일상 생활에 대해 대화하는 것처럼 느낄 수 있도록 하는데 그 목적이 있다.In addition, the object displayed on the three-dimensional virtual reality space reacts with the motion information and voice information of the user, and interacts with the real-world information (weather, news, etc.) So that the user can feel as if he or she is actually conversing with the object in everyday life.
본 발명의 목적은 여기에 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited thereto, and other objects not mentioned may be clearly understood by those skilled in the art from the following description.
이러한 목적을 달성하기 위하여 본 발명의 일실시예는 3차원 가상현실 공간을 시각적으로 표시하는 디스플레이장치; 실세계 공간 상에서 사용자의 모션을 센싱하여 모션정보를 생성하는 트래킹센서장치; 및 3차원 가상현실 공간 상에 표시되는 대상체의 3D스캐닝정보가 저장되는 3D스캐닝정보저장부와, 트래킹센서장치로부터 전송된 모션정보에 대응하여 3D스캐닝정보를 매칭시키고, 모션정보에 연동하여 3D스캐닝정보를 디스플레이장치를 통해 표시되는 3차원 가상현실 공간 상에 표시하는 가상현실처리부를 포함하는 컴퓨터장치;를 포함하는 것을 특징으로 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템을 제공한다.According to an aspect of the present invention, there is provided a display device including: a display device for visually displaying a three-dimensional virtual reality space; A tracking sensor device for sensing motion of a user on a real-world space to generate motion information; A 3D scanning information storage unit for storing 3D scanning information of a target object displayed on the 3D virtual space, a 3D scanning information storage unit for matching the 3D scanning information corresponding to the motion information transmitted from the tracking sensor unit, And a virtual reality processing unit for displaying the virtual reality information on the three-dimensional virtual reality space displayed through the display device.
본 발명의 일실시예에 의하면, 사용자가 가상현실 시스템을 통해 대상체(고인, 미래의 특정인에게 자신의 메시지 또는 이벤트를 남기기 원하는 유저 등)와 쌍방향 교감 또는 대화를 할 수 있어서, 사용자에게 추억의 회상과 감동, 희망 등을 선사할 수 있도록 하는 효과가 있다.According to an embodiment of the present invention, a user can interact or interact with an object (a deceased person, a user who wants to leave his or her message or event to a future person in the future) through a virtual reality system, And the like, and an effect that enables the user to be provided with a feeling of hope and hope.
또한, 3차원 가상현실 공간 상에 표시되는 대상체가, 사용자의 모션정보, 음성정보 등에 반응하고, 이벤트가 발생된 미래 특정 시점의 실세계정보(날씨, 뉴스 등)와 연동되어 3차원 가상현실 공간 상에 표시됨으로써, 사용자가 마치 실제로 대상체와 일상 생활에 대해 대화하는 것처럼 느낄 수 있도록 하는 효과가 있다.In addition, the object displayed on the three-dimensional virtual reality space reacts with the motion information and voice information of the user, and interacts with the real-world information (weather, news, etc.) Thereby making it possible for the user to feel as if he or she is actually conversing with the object in everyday life.
도 1은 본 발명의 일실시예에 따른 양방향 커뮤니케이션이 가능한 가상현실 시스템을 나타낸 블록도이다.
도 2는 도 1의 3D스캐닝정보저장부에 저장되는 정보들을 나타낸 도면이다.
도 3은 3D스캐닝장치가 대상체의 3D스캐닝정보를 생성하는 프로세스의 일예를 나타낸 순서도이다.
도 4는 도 1의 실세계정보저장부에 저장되는 정보들을 나타낸 도면이다.
도 5는 도 1의 컴퓨터장치가, 디스플레이장치를 통해 표시되는 3차원 가상현실 공간 상에 표시되는 대상체의 여러 정보들을 융합하는 프로세스의 일예를 나타낸 순서도이다.1 is a block diagram illustrating a virtual reality system capable of bidirectional communication according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating information stored in the 3D scanning information storage unit of FIG. 1. Referring to FIG.
3 is a flowchart showing an example of a process by which the 3D scanning device generates 3D scanning information of a target object.
FIG. 4 is a diagram illustrating information stored in the real-world information storage unit of FIG. 1. FIG.
5 is a flowchart showing an example of a process in which the computer device of FIG. 1 fuses a plurality of pieces of information of an object displayed on a three-dimensional virtual reality space displayed through a display device.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference symbols as possible even if they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected," "coupled," or "connected."
도 1은 본 발명의 일실시예에 따른 양방향 커뮤니케이션이 가능한 가상현실 시스템을 나타낸 블록도이다.1 is a block diagram illustrating a virtual reality system capable of bidirectional communication according to an embodiment of the present invention.
도 2는 도 1의 3D스캐닝정보저장부에 저장되는 정보들을 나타낸 도면이다.FIG. 2 is a diagram illustrating information stored in the 3D scanning information storage unit of FIG. 1. Referring to FIG.
도 3은 3D스캐닝장치가 대상체의 3D스캐닝정보를 생성하는 프로세스의 일예를 나타낸 순서도이다.3 is a flowchart showing an example of a process by which the 3D scanning device generates 3D scanning information of a target object.
도 4는 도 1의 실세계정보저장부에 저장되는 정보들을 나타낸 도면이다.FIG. 4 is a diagram illustrating information stored in the real-world information storage unit of FIG. 1. FIG.
도 5는 도 1의 컴퓨터장치가, 디스플레이장치를 통해 표시되는 3차원 가상현실 공간 상에 표시되는 대상체의 여러 정보들을 융합하는 프로세스의 일예를 나타낸 순서도이다.5 is a flowchart showing an example of a process in which the computer device of FIG. 1 fuses a plurality of pieces of information of an object displayed on a three-dimensional virtual reality space displayed through a display device.
이들 도면들에 도시된 바와 같이, 본 발명의 일실시예에 따른 양방향 커뮤니케이션이 가능한 가상현실 시스템은, 3차원 가상현실 공간을 시각적으로 표시하는 디스플레이장치(101); 실세계 공간 상에서 사용자의 모션을 센싱하여 모션정보(MI)를 생성하는 트래킹센서장치(103); 및 3차원 가상현실 공간 상에 표시되는 대상체의 3D스캐닝정보(SI)가 저장되는 3D스캐닝정보저장부(105)와, 트레킹센서장치(103)로부터 전송된 모션정보(MI)에 대응하여 3D스캐닝정보(SI)를 매칭시키고, 모션정보(MI)에 연동하여 3D스캐닝정보(SI)를 디스플레이장치(101)를 통해 표시되는 3차원 가상현실 공간 상에 표시하는 가상현실처리부(107)를 포함하는 컴퓨터장치(109);를 포함하는 것을 특징으로 한다.As shown in these drawings, a virtual reality system capable of two-way communication according to an embodiment of the present invention includes a
여기서, 상술한 '대상체'는, 고인(故人), 미래의 어느 시점으로 메시지를 전달하고자 하는 유저 등이 될 수 있다.Here, the 'object' may be a deceased person, a user who wants to transmit a message to a future point in time, and the like.
이하, 각 구성별로 상세히 설명한다.Hereinafter, each configuration will be described in detail.
먼저, 디스플레이장치(101)는 3차원 가상현실 공간을 시각적으로 표시하는 기능을 수행한다.First, the
이러한 디스플레이장치(101)는 일예로 HMD(Head Mounted Display)로 제공될 수 있으며, 이와 달리 3D홀로그래픽 디스플레이로 제공될 수도 있다.The
한편, 디스플레이장치(101)는 후술할 컴퓨터장치(109)와 유선 또는 무선으로 연결되어서 컴퓨터장치(109)로부터 각종 정보를 전송받는다.On the other hand, the
여기서, 디스플레이장치(101)와 컴퓨터장치(109) 사이의 통신 기술은 현재 또는 향후 지원될 통신 네트워크를 모두 포함하며, 이를 위한 하나 또는 그 이상의 통신 프로토콜들을 모두 지원 가능하다.Here, the communication technology between the
이러한 유선 또는 무선 네트워크는, 일예로, USB(Universal Serial Bus), 컴포넌트(Component), S-비디오(아날로그), DVI(Digital Visual Interface), HDMI(High Definition Multimedia Interface), RGB, D-SUB와 같은 유선 연결을 위한 네트워크와 그를 위한 통신 규격 내지 프로토콜과, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA(Digital Living Network Alliance), WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE/LTE-A(Long Term Evolution(LTE)/LTE-Advanced), Wi-Fi 다이렉트와 같은 무선 연결을 위한 네트워크와 그를 위한 통신 규격 내지 프로토콜에 의하여 형성될 수 있다.Such wired or wireless networks include, for example, a universal serial bus (USB), a component, an S-video (analog), a digital visual interface (DVI), a high definition multimedia interface A communication standard or protocol for the same wired connection and a communication protocol or protocol for the same for wired connection and a wireless communication system such as Bluetooth, Radio Frequency Identification (RFID), IrDA Infrared Data Association, UWB (Ultra Wideband), ZigBee, DLNA (WLAN), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), LTE / LTE (Long Term Evolution LTE) / LTE-Advanced), Wi-Fi direct, and a communication standard or protocol for the network.
이어서, 트래킹센서장치(103)는 실세계 공간 상에서 사용자의 모션을 센싱하여 모션정보(MI)를 생성한다.Subsequently, the
트래킹센서장치(103)는 사용자의 실제 모션을 추적하고 계산하기 위한 기본 정보를 획득하기 위한 장치로, 일예로, 사용자 신체의 특정 위치에 부착된 마커(Marker)와 복수개의 카메라로 구성될 수도 있고, 3차원 카메라(Depth Camera)로 제공될 수도 있다.The
물론, 이 외에도 사용자의 모션 트래킹을 위해 알려진 다양한 방법 또는 장치들이 트래킹센서장치로 사용될 수 있다.Of course, various methods or devices known for the user's motion tracking may also be used as the tracking sensor device.
이러한 트래킹센서장치(103)는 후술할 컴퓨터장치(109)와 유선 또는 무선으로 연결된다.The
이어서, 컴퓨터장치(109)는 디스플레이장치(101), 트래킹센서장치(103), 후술할 음성인식장치(111)와 연결되어 이들 장치를 제어함으로써, 본 발명인 양방향 커뮤니케이션이 가능한 가상현실 시스템의 전반적인 동작을 수행한다.The
이러한 동작 수행을 위하여, 컴퓨터장치(109)는 3D스캐닝정보저장부(105)와 가상현실처리부(107)를 포함한다.To perform this operation, the
여기서, 3D스캐닝정보저장부(105)는, 3차원 가상현실 공간 상에 표시되는 대상체의 3D스캐닝정보(SI)를 저장한다.Here, the 3D scanning
한편, 3D스캐닝정보(SI)는 일예로, 대상체의 안면형상정보, 대상체의 표정정보, 대상체의 전신형상정보, 대상체의 음성정보, 대상체의 배경정보 등을 포함한다.On the other hand, the 3D scanning information SI includes, for example, facial shape information of the object, facial expression information of the object, full body shape information of the object, audio information of the object, background information of the object,
그리고 3D스캐닝정보(SI)는 3D스캐닝장치가 대상체를 스캐닝하는 과정을 통하여 생성되는데, 3D스캐닝장치가 대상체의 3D스캐닝정보(SI)를 생성하는 프로세스의 일예는 도 3에 도시하였다.The 3D scanning information SI is generated through a process of scanning a target object, and an example of a process by which the 3D scanning device generates 3D scanning information SI of the target object is shown in FIG.
가상현실처리부(107)는 트래킹센서장치(103)로부터 전송된 모션정보(MI)에 대응하여 3D스캐닝정보(SI)를 매칭시킨다.The virtual
좀 더 구체적으로, 가상현실처리부(107)는 미래 특정 시점의 실세계 공간 상에 있는 사용자의 모션에 따라 대상체의 동작, 표정, 음성 등이 변경되도록 사용자의 모션정보(MI)와 대상체의 3D스캐닝정보(SI)를 매칭시킨다.More specifically, the virtual
여기서, 가상현실처리부(107)가 사용자의 모션에 따라 대상체의 동작, 표정, 음성 등이 변경되도록 하기 위한 3D스캐닝정보(SI)의 보완, 누적, 업데이트 등은, 일예로 AI(Artificial Intelligence, 인공지능) 딥러닝(Deep Learning)을 통해 수행될 수 있다.The supplement, accumulation, and update of the 3D scanning information (SI) for allowing the virtual
좀 더 구체적으로, 가상현실처리부(107)는 AI 딥러닝을 통하여, 특정 상황별, 이벤트별 동작, 표정, 음성 등에 대한 일반데이터를 수집, 축적하고, 이 일반데이터를 대상체의 동작 변화, 표정 변화, 음성 변화를 위한 3D스캐닝정보(SI)의 보완, 누적, 업데이트 등에 융합한다.More specifically, the virtual
그리고 가상현실처리부(107)는 모션정보(MI)에 연동하여 3D스캐닝정보(SI)를 디스플레이장치(101)를 통해 표시되는 3차원 가상현실 공간 상에 표시한다.The virtual
이로 인해, 미래 특정 시점의 실세계 공간 상에 있는 사용자는 대상체와 마치 동일한 공간 상에서 교감을 하는 것처럼 느낄 수 있게 된다.As a result, the user on the real space of the future at a specific point in the future can feel as if he or she is communicating with the object in the same space.
한편, 컴퓨터장치(109)는 이벤트가 발생된 미래 시점의 실세계 공간에 대한 실세계정보(RWI)가 저장되는 실세계정보저장부(113)를 더 포함한다.The
여기서, 실세계정보저장부(113)에 저장되는 실세계정보(RWI)는, 일예로, 이벤트가 발생된 미래 특정 시점의 날씨정보, 뉴스정보, 사건/사고정보, 이벤트정보, 경제정보, 환경정보 등 실세계에 관련된 다양한 정보들을 포함한다.Here, the real-world information RWI stored in the real-world-
이 때, 앞에서 설명한 가상현실처리부(107)는, 모션정보(MI)와 실세계정보(RWI)를 기반으로 3D스캐닝정보(SI)를 매칭한다.At this time, the virtual
좀 더 구체적으로, 가상현실처리부(107)는, 실세계정보(RWI)를 3D스캐닝정보(SI)와 연동하고, 이를 3D스캐닝정보(SI)에 매칭한다.More specifically, the virtual
이로 인해, 이벤트가 발생된 미래 특정 시점의 실세계 공간 상에 있는 사용자는 마치 대상체와 동일한 공간 상에서 실세계정보(RWI)(예로, 날씨, 사건, 사고, 사회이슈, 경제이슈, 환경이슈 등)에 대해 교감하는 것처럼 느낄 수 있게 된다.As a result, a user on a real-time space at a certain point in time at which an event occurs can be used for real-world information (RWI) (e.g., weather, events, accidents, social issues, economic issues, environmental issues, etc.) I feel like I feel sympathetic.
한편, 본 발명의 일실시예에 따른 양방향 커뮤니케이션이 가능한 가상현실 시스템은, 사용자의 음성을 인식하여 음성정보(VI)를 생성하는 음성인식장치(111);를 더 포함한다.Meanwhile, the virtual reality system capable of bidirectional communication according to an embodiment of the present invention further includes a
여기서, 음성인식장치(111)는 일예로, 마이크 등으로 제공될 수 있다.Here, the
한편, 상술한 가상현실처리부(107)는, 음성인식장치(111)로부터 전송된 음성정보(VI)와 모션정보(MI)를 기반으로 3D스캐닝정보(SI)를 매칭한다.The virtual
좀 더 구체적으로, 가상현실처리부(107)는, 음성정보(VI)와 모션정보(MI)를 연동하고, 이를 3D스캐닝정보(SI)에 매칭한다.More specifically, the virtual
이로 인해, 이벤트가 발생된 미래 특정 시점의 실세계 공간 상에 있는 사용자는 마치 대상체와 동일한 공간 상에서 대화하는 것처럼 느낄 수 있게 된다.Thus, the user on the real space of the specific point in time at which the event occurs can feel as if he or she is talking in the same space as the object.
물론, 상술한 가상현실처리부(107)는, 음성인식장치(111)로부터 전송된 음성정보(VI), 트래킹센서장치(103)로부터 전송된 모션정보(MI), 실세계정보저장부(113)에 저장되는 실세계정보(RWI)를 기반으로 3D스캐닝정보(SI)를 매칭할 수도 있다.Of course, the above-described virtual
한편, 컴퓨터장치(109)가, 디스플레이장치(101)를 통해 표시되는 3차원 가상현실 공간 상에 표시되는 대상체의 여러 정보들을 융합하는 프로세스의 일예는 도 5에 도시하였다.On the other hand, an example of a process by which the
이상에서 설명한 바와 같이, 본 발명의 일실시예에 의하면, 사용자가 가상현실 시스템을 통해 대상체(고인, 미래의 특정인에게 자신의 메시지 또는 이벤트를 남기기 원하는 유저 등)와 쌍방향 교감 또는 대화를 할 수 있어서, 사용자에게 추억의 회상과 감동, 희망 등을 선사할 수 있도록 하는 효과가 있다.As described above, according to an embodiment of the present invention, a user can interact with a target object (a deceased person, a user who wants to leave his / her message or event to a future person in the future, etc.) through a virtual reality system, , It is possible to provide the user with memories, impressions, hopes, and the like.
또한, 3차원 가상현실 공간 상에 표시되는 대상체가, 사용자의 모션정보, 음성정보 등에 반응하고, 이벤트가 발생된 미래 특정 시점의 실세계정보(날씨, 뉴스 등)와 연동되어 3차원 가상현실 공간 상에 표시됨으로써, 사용자가 마치 실제로 대상체와 일상 생활에 대해 대화하는 것처럼 느낄 수 있도록 하는 효과가 있다.In addition, the object displayed on the three-dimensional virtual reality space reacts with the motion information and voice information of the user, and interacts with the real-world information (weather, news, etc.) Thereby making it possible for the user to feel as if he or she is actually conversing with the object in everyday life.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
101 : 디스플레이장치
103 : 트래킹센서장치
105 : 3D스캐닝정보저장부
107 : 가상현실처리부
109 : 컴퓨터장치
111 : 음성인식장치
113 : 실세계정보저장부101: Display device
103: Tracking sensor device
105: 3D scanning information storage unit
107: Virtual reality processor
109: Computer device
111: Speech recognition device
113: Real-world information storage unit
Claims (5)
실세계 공간 상에서 사용자의 모션을 센싱하여 모션정보를 생성하는 트래킹센서장치; 및
상기 3차원 가상현실 공간 상에 표시되는 대상체의 3D스캐닝정보가 저장되는 3D스캐닝정보저장부와, 상기 트래킹센서장치로부터 전송된 모션정보에 대응하여 상기 3D스캐닝정보를 매칭시키고, 상기 모션정보에 연동하여 상기 3D스캐닝정보를 상기 디스플레이장치를 통해 표시되는 상기 3차원 가상현실 공간 상에 표시하는 가상현실처리부 및 이벤트가 발생된 미래 특정 시점의 상기 실세계 공간에 대한 실세계정보가 저장되는 실세계정보저장부를 포함하는 컴퓨터장치;를 포함하며,
상기 가상현실처리부는,
상기 모션정보와 상기 실세계정보를 기반으로 상기 3D스캐닝정보를 매칭하고,
상기 가상현실처리부는,
AI 딥러닝을 통하여 특정 상황별 또는 이벤트별 동작에 대한 일반데이터를 수집 및 축적하고, 상기 일반데이터를 상기 대상체의 동작 변화를 위한 상기 3D스캐닝정보에 융합하여 업데이트하는 것을 특징으로 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템.A display device for visually displaying a three-dimensional virtual reality space;
A tracking sensor device for sensing motion of a user on a real-world space to generate motion information; And
A 3D scanning information storage unit for storing 3D scanning information of a target object displayed on the 3D virtual space, a 3D scanning information storage unit for matching the 3D scanning information corresponding to the motion information transmitted from the tracking sensor unit, A virtual reality processing unit for displaying the 3D scanning information on the 3D virtual reality space displayed through the display device and a real world information storage unit for storing real world information on the real world space at a future specific point of time when the event is generated The computer system comprising:
The virtual reality processing unit,
The 3D scanning information is matched based on the motion information and the real world information,
The virtual reality processing unit,
Wherein the general data is collected and accumulated by a specific situation or an event-specific operation through AI deep running, and the general data is updated by being merged with the 3D scanning information for operation change of the object. Virtual reality system.
상기 사용자의 음성을 인식하여 음성정보를 생성하는 음성인식장치;를 포함하는 것을 특징으로 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템.The method according to claim 1,
And a voice recognition device for recognizing the voice of the user and generating voice information.
상기 가상현실처리부는,
상기 음성인식장치로부터 전송된 상기 음성정보와 상기 모션정보를 기반으로 상기 3D스캐닝정보를 매칭하는 것을 특징으로 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템.5. The method of claim 4,
The virtual reality processing unit,
And the 3D scanning information is matched based on the audio information and the motion information transmitted from the voice recognition device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170055383A KR101839726B1 (en) | 2017-04-28 | 2017-04-28 | Virtual reality system with two-way communication |
| PCT/KR2018/005032 WO2018199724A1 (en) | 2017-04-28 | 2018-04-30 | Virtual reality system enabling bi-directional communication |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170055383A KR101839726B1 (en) | 2017-04-28 | 2017-04-28 | Virtual reality system with two-way communication |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101839726B1 true KR101839726B1 (en) | 2018-04-27 |
Family
ID=62081596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170055383A KR101839726B1 (en) | 2017-04-28 | 2017-04-28 | Virtual reality system with two-way communication |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101839726B1 (en) |
| WO (1) | WO2018199724A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102256383B1 (en) * | 2020-05-18 | 2021-05-25 | 권영훈 | system for chatbot service that provides response information and transforms the appearance of characters in consideration of the user's desired time |
| KR20220033194A (en) | 2020-09-09 | 2022-03-16 | 주식회사 코탁스 | communicating system through selective extraction and matching of voice data based on virtual space |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101618004B1 (en) * | 2015-01-27 | 2016-05-09 | 가톨릭대학교 산학협력단 | Interactive content providing apparatus based on the virtual reality and method thereof |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001256512A (en) * | 2000-03-09 | 2001-09-21 | Nippon Telegr & Teleph Corp <Ntt> | Method for virtual space communication and system device |
| KR20000054699A (en) * | 2000-06-19 | 2000-09-05 | 최인호 | System and method for offering music and image letter using internet |
| KR20160009213A (en) * | 2014-07-15 | 2016-01-26 | (주)소셜네트워크 | A Head Mounted Display and A Method for Providing Contents Using the Same |
| US10416760B2 (en) * | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
-
2017
- 2017-04-28 KR KR1020170055383A patent/KR101839726B1/en active IP Right Grant
-
2018
- 2018-04-30 WO PCT/KR2018/005032 patent/WO2018199724A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101618004B1 (en) * | 2015-01-27 | 2016-05-09 | 가톨릭대학교 산학협력단 | Interactive content providing apparatus based on the virtual reality and method thereof |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102256383B1 (en) * | 2020-05-18 | 2021-05-25 | 권영훈 | system for chatbot service that provides response information and transforms the appearance of characters in consideration of the user's desired time |
| KR20210142560A (en) * | 2020-05-18 | 2021-11-25 | 권영훈 | Communication system providing chatbot service |
| KR102536992B1 (en) | 2020-05-18 | 2023-05-26 | 주식회사 에이비파트너스 | Communication system providing chatbot service |
| KR20220033194A (en) | 2020-09-09 | 2022-03-16 | 주식회사 코탁스 | communicating system through selective extraction and matching of voice data based on virtual space |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018199724A1 (en) | 2018-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108876877B (en) | Emotion symbol doll | |
| US11825012B2 (en) | Server, client terminal, control method, and storage medium | |
| CN103902046B (en) | Intelligent prompt method and terminal | |
| US20190383620A1 (en) | Information processing apparatus, information processing method, and program | |
| US10719950B2 (en) | Head mount display (HMD) operated with mobile device for transforming reference coordinate systems for providing screen information | |
| CN109976513B (en) | System interface design method | |
| CN110908504B (en) | Augmented reality museum collaborative interaction method and system | |
| WO2015194081A1 (en) | Apparatus, method and program to position building infrastructure through user information | |
| CN109272473B (en) | Image processing method and mobile terminal | |
| KR101839726B1 (en) | Virtual reality system with two-way communication | |
| KR102144515B1 (en) | Master device, slave device and control method thereof | |
| WO2016125672A1 (en) | Information processing device, image processing method, and program | |
| CN115909015B (en) | Method and device for constructing deformable nerve radiation field network | |
| CN110298925B (en) | Augmented reality image processing method, device, computing equipment and storage medium | |
| WO2023091207A1 (en) | Interpretation of resonant sensor data using machine learning | |
| US11169599B2 (en) | Information processing apparatus, information processing method, and program | |
| US20200175739A1 (en) | Method and Device for Generating and Displaying an Electronic Avatar | |
| US20200388052A1 (en) | Information processing device, information processing method, and program | |
| JP6721727B1 (en) | Information processing apparatus control program, information processing apparatus control method, and information processing apparatus | |
| CN116841393A (en) | Meta-universe scene control system and method and virtual scene interaction system | |
| KR102224985B1 (en) | System and method for recognition acquaintance by wearable glass device | |
| CN112437226A (en) | Image processing method, apparatus and storage medium | |
| KR102565196B1 (en) | Method and system for providing digital human in virtual space | |
| JP7130213B1 (en) | Main terminal, program, system and method for maintaining relative position and orientation with sub-terminal in real space in virtual space | |
| WO2020158440A1 (en) | Information processing device, information processing method, and recording medium in which program is written |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |