WO2018199724A1 - 양방향 커뮤니케이션이 가능한 가상현실 시스템 - Google Patents

양방향 커뮤니케이션이 가능한 가상현실 시스템 Download PDF

Info

Publication number
WO2018199724A1
WO2018199724A1 PCT/KR2018/005032 KR2018005032W WO2018199724A1 WO 2018199724 A1 WO2018199724 A1 WO 2018199724A1 KR 2018005032 W KR2018005032 W KR 2018005032W WO 2018199724 A1 WO2018199724 A1 WO 2018199724A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual reality
information
user
scanning
motion
Prior art date
Application number
PCT/KR2018/005032
Other languages
English (en)
French (fr)
Inventor
황철하
Original Assignee
황철하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 황철하 filed Critical 황철하
Publication of WO2018199724A1 publication Critical patent/WO2018199724A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to a virtual reality system capable of two-way communication.
  • Virtual Reality (Virtual Reality) system is a system that implements virtual reality using a computer, etc., is a technology that implements a specific environment or situation similar to reality but not real.
  • Recent virtual reality systems include display means for visually displaying three-dimensional virtual reality, such as a head mounted display (HMD), and a computer for controlling the display means by reproducing virtual reality contents for three-dimensional virtual reality.
  • the device and a tracking device that tracks the user's movement using a camera or a sensor to provide the computer device to the virtual reality content to proceed in response to the user's movement.
  • the tracking device tracks the user motion, and the virtual reality content changes the virtual space according to the user motion.
  • Such effects are called four-dimensional elements or four-dimensional effects.
  • the technical problem to be achieved by the present invention is that the user can interactively communicate with or communicate with an object (such as a person who wants to leave his or her message or event to a specific person in the future) through a virtual reality system, so that the user recalls memories.
  • the purpose is to provide a virtual reality system capable of two-way communication that can provide the hope, emotion, hope.
  • the object displayed on the three-dimensional virtual reality space in response to the user's motion information, voice information, and the like, linked to the real-world information (weather, news, etc.) of the future specific point in time when the event occurs in the three-dimensional virtual reality space image
  • the purpose of the present invention is to provide a virtual reality system capable of two-way communication that allows a user to feel as if they are actually talking about an object with a person.
  • a virtual reality system capable of bidirectional communication, including: a display device for visually displaying a 3D virtual reality space; A tracking sensor device for generating motion information by sensing a motion of a user in a real world space; And a 3D scanning information storage unit for storing the 3D scanning information of the object displayed on the 3D virtual reality space, matching the 3D scanning information corresponding to the motion information transmitted from the tracking sensor device, and interlocking with the motion information to 3D scanning.
  • a computer device including a virtual reality processing unit for displaying information on a three-dimensional virtual reality space displayed through a display device.
  • the computer apparatus may include a real world information storage unit configured to store real world information about the real world space at a future time point when an event occurs.
  • the virtual reality processor may match the 3D scanning information based on the motion information and the real world information.
  • the apparatus may further include a voice recognition device for generating voice information by recognizing the user's voice.
  • the virtual reality processor may match the 3D scanning information based on the voice information and the motion information transmitted from the voice recognition apparatus.
  • the user can interactively interact with or communicate with an object (such as a deceased person or a user who wants to leave his or her message or event to a specific person in the future) through the virtual reality system, so that the user can recall, touch, and hope memories. It is effective to give back.
  • an object such as a deceased person or a user who wants to leave his or her message or event to a specific person in the future
  • the object displayed on the three-dimensional virtual reality space in response to the user's motion information, voice information, and the like, linked to the real-world information (weather, news, etc.) of the future specific point in time when the event occurs in the three-dimensional virtual reality space image
  • the user can feel as if he is actually talking about an object with his / her daily life.
  • FIG. 1 is a block diagram illustrating a virtual reality system capable of bidirectional communication according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating information stored in the 3D scanning information storage unit of FIG. 1.
  • 3 is a flowchart illustrating an example of a process in which a 3D scanning apparatus generates 3D scanning information of an object.
  • FIG. 4 is a diagram illustrating information stored in a real world information storage unit of FIG. 1.
  • FIG. 5 is a flowchart illustrating an example of a process in which the computer apparatus of FIG. 1 fuses various pieces of information of an object displayed on a 3D virtual reality space displayed through a display device.
  • FIG. 1 is a block diagram illustrating a virtual reality system capable of bidirectional communication according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating information stored in the 3D scanning information storage unit of FIG. 1.
  • 3 is a flowchart illustrating an example of a process in which a 3D scanning apparatus generates 3D scanning information of an object.
  • FIG. 4 is a diagram illustrating information stored in a real world information storage unit of FIG. 1.
  • FIG. 5 is a flowchart illustrating an example of a process in which the computer apparatus of FIG. 1 fuses various pieces of information of an object displayed on a 3D virtual reality space displayed through a display device.
  • a virtual reality system capable of bidirectional communication according to an embodiment of the present invention, a display device 101 for visually displaying a three-dimensional virtual reality space; A tracking sensor device 103 for generating a motion information MI by sensing a motion of a user in a real world space; And a 3D scanning information storage unit 105 in which 3D scanning information SI of an object displayed on the 3D virtual reality space is stored, and 3D scanning corresponding to motion information MI transmitted from the tracking sensor device 103. And a virtual reality processing unit 107 for matching the information SI and displaying the 3D scanning information SI on the three-dimensional virtual reality space displayed through the display apparatus 101 in association with the motion information MI.
  • Computer device (109) for matching the information SI and displaying the 3D scanning information SI on the three-dimensional virtual reality space displayed through the display apparatus 101 in association with the motion information MI.
  • the above-described 'object' may be a deceased person or a user who wants to deliver a message to a certain point in the future.
  • the display apparatus 101 performs a function of visually displaying a 3D virtual reality space.
  • the display apparatus 101 may be provided as a head mounted display (HMD), or alternatively, may be provided as a 3D holographic display.
  • HMD head mounted display
  • 3D holographic display may be provided as a 3D holographic display.
  • the display device 101 is connected to the computer device 109 to be described later by wire or wireless to receive various information from the computer device 109.
  • the communication technology between the display apparatus 101 and the computer apparatus 109 includes all the communication networks to be supported now or in the future, and all of one or more communication protocols for this may be supported.
  • Such wired or wireless networks include, for example, Universal Serial Bus (USB), Component, S-Video (Analog), Digital Visual Interface (DVI), High Definition Multimedia Interface (HDMI), RGB, D-SUB and the like.
  • Network for the same wired connection and communication standard or protocol therefor Bluetooth, Radio Frequency Identification (RFID), IrDA Infrared Data Association (UlDA), Ultra Wideband (UWB), ZigBee, DLNA (Digital) Living Network Alliance (WLAN), Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), Long Term Evolution (LTE / LTE-A) It may be formed by a network for a wireless connection such as LTE) / LTE-Advanced), Wi-Fi Direct, and a communication standard or protocol therefor.
  • RFID Radio Frequency Identification
  • UlDA IrDA Infrared Data Association
  • UWB Ultra Wideband
  • the tracking sensor device 103 generates motion information MI by sensing a user's motion in the real world space.
  • the tracking sensor device 103 is a device for acquiring basic information for tracking and calculating an actual motion of a user.
  • the tracking sensor device 103 may include a marker and a plurality of cameras attached to a specific position of the user's body. It may be provided as a 3D camera.
  • the tracking sensor device 103 is connected to the computer device 109 to be described later by wire or wirelessly.
  • the computer apparatus 109 is connected to the display apparatus 101, the tracking sensor apparatus 103, and the voice recognition apparatus 111 to be described later to control these apparatuses, thereby enabling overall operation of the present invention. Do this.
  • the computer device 109 includes a 3D scanning information storage unit 105 and a virtual reality processing unit 107.
  • the 3D scanning information storage unit 105 stores the 3D scanning information (SI) of the object displayed on the 3D virtual reality space.
  • SI 3D scanning information
  • the 3D scanning information SI includes, for example, facial shape information of the object, facial expression information of the object, whole body shape information of the object, voice information of the object, background information of the object, and the like.
  • 3D scanning information (SI) is generated through a process in which a 3D scanning apparatus scans an object, an example of a process in which the 3D scanning apparatus generates 3D scanning information (SI) of an object is illustrated in FIG. 3.
  • the virtual reality processing unit 107 matches the 3D scanning information SI in response to the motion information MI transmitted from the tracking sensor device 103.
  • the virtual reality processing unit 107 is a user's motion information (MI) and the 3D scanning information of the object so that the motion, facial expression, voice, etc. of the object is changed according to the motion of the user in the real world space of the future specific point in time. (SI) is matched.
  • MI user's motion information
  • SI 3D scanning information
  • the virtual reality processing unit 107 complements, accumulates, or updates 3D scanning information (SI) for changing the motion, facial expression, voice, etc. of the object according to the user's motion, for example, AI (Artificial Intelligence, artificial Intelligent) can be performed through deep learning.
  • SI 3D scanning information
  • the virtual reality processing unit 107 collects and accumulates general data on motions, facial expressions, voices, etc. for each specific situation or event through AI deep learning, and accumulates the general data on the motion change and facial expression of the object. And convergence, accumulation, and updating of 3D scanning information (SI) for voice change.
  • SI 3D scanning information
  • the virtual reality processing unit 107 displays 3D scanning information SI on the 3D virtual reality space displayed through the display apparatus 101 in association with the motion information MI.
  • a user who is in a real world space at a specific point in time in the future may feel as if they interact with the object in the same space.
  • the computer device 109 further includes a real-world information storage unit 113 for storing the real-world information (RWI) for the real-world space of the future time point when the event occurs.
  • RWI real-world information
  • the real world information (RWI) stored in the real world information storage unit 113 is, for example, weather information, news information, event / accident information, event information, economic information, environmental information, etc. at a specific time in the future when an event occurs. Contains various information related to the real world.
  • the virtual reality processor 107 described above matches the 3D scanning information SI based on the motion information MI and the real world information RWI.
  • the virtual reality processing unit 107 interlocks the real world information RWI with the 3D scanning information SI and matches it with the 3D scanning information SI.
  • a user who is in a real world space at a specific point in time in the future when an event is generated may have a real world information (RWI) (eg, weather, events, accidents, social issues, economic issues, environmental issues, etc.) in the same space as the object.
  • RWI real world information
  • the voice recognition device 111 for recognizing the user's voice to generate the voice information (VI); further includes.
  • the voice recognition device 111 may be provided by, for example, a microphone.
  • the above-described virtual reality processing unit 107 matches 3D scanning information SI based on the voice information VI transmitted from the voice recognition device 111 and the motion information MI.
  • the virtual reality processing unit 107 interlocks the voice information VI and the motion information MI and matches the 3D scanning information SI.
  • the user in the real-world space of the future specific point in time at which the event occurs can feel as if they are talking in the same space as the object.
  • the 3D scanning information SI may be matched based on the stored real world information RWI.
  • FIG. 5 An example of a process in which the computer device 109 fuses various pieces of information of an object displayed on the 3D virtual reality space displayed through the display device 101 is illustrated in FIG. 5.
  • the user can interactively communicate with or communicate with an object (such as a person who wants to leave his or her message or event to a specific person in the future) through a virtual reality system.
  • an object such as a person who wants to leave his or her message or event to a specific person in the future
  • the object displayed on the three-dimensional virtual reality space in response to the user's motion information, voice information, and the like, linked to the real-world information (weather, news, etc.) of the future specific point in time when the event occurs in the three-dimensional virtual reality space image
  • the user can feel as if he is actually talking about an object with his / her daily life.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Operations Research (AREA)

Abstract

양방향 커뮤니케이션이 가능한 가상현실 시스템이 개시된다. 본 발명에 따르면, 사용자가 가상현실 시스템을 통해 대상체(고인, 미래의 특정인에게 자신의 메시지 또는 이벤트를 남기기 원하는 유저 등)와 쌍방향 교감 또는 대화를 할 수 있어서, 사용자에게 추억의 회상과 감동, 희망 등을 선사할 수 있도록 하는 효과가 있다. 또한, 3차원 가상현실 공간 상에 표시되는 대상체가, 사용자의 모션정보, 음성정보 등에 반응하고, 이벤트가 발생된 미래 특정 시점의 실세계정보(날씨, 뉴스 등)와 연동되어 3차원 가상현실 공간 상에 표시됨으로써, 사용자가 마치 실제로 대상체와 일상 생활에 대해 대화하는 것처럼 느낄 수 있도록 하는 효과가 있다.

Description

양방향 커뮤니케이션이 가능한 가상현실 시스템
본 발명은 양방향 커뮤니케이션이 가능한 가상현실 시스템에 관한 것이다.
본 출원은 2017년 4월 28일에 출원된 한국특허출원 제10-2017-0055383호에 기초한 우선권을 주장하며, 해당 출원의 명세서 및 도면에 기재된 모든 내용은 본 출원에 원용된다.
가상현실(Virtual Reality) 시스템은 컴퓨터 등을 사용하여 가상 현실을 구현하는 시스템으로, 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황을 구현하는 기술이다.
최근의 가상현실 시스템은 헤드장착 디스플레이(HMD : Head Mounted Display)처럼 3차원 가상 현실을 시각적으로 표시할 수 있는 디스플레이 수단과, 3차원 가상현실을 위한 가상현실 콘텐츠를 재생하여 디스플레이 수단을 제어하는 컴퓨터 장치와, 가상현실 콘텐츠가 사용자의 움직임에 대응하여 진행하도록 하기 위해 카메라 또는 센서 등을 이용하여 사용자의 움직임을 추적하여 컴퓨터 장치에게 제공하는 트래킹 장치를 포함한다.
가상공간 내에서 사용자가 특정 모션을 취하면 트래킹 장치가 그 사용자 모션을 추적하고, 가상현실 콘텐츠는 사용자 모션에 따라 가상공간을 바꾼다.
한편, 최근에는 사용자에게 실질적 현장감을 주는 효과, 즉 체감형 효과를 주는 콘텐츠의 개발이 시작되고 있다.
이러한 효과를 4차원 요소 또는 4차원 효과라 한다.
예를 들어, 영화 장면 중에 주인공이 물에 빠지면, 관람객에게 실제로 물이 뿌려져 그 느낌을 준다거나, 영화 장면에서 바람이 불 경우에 실제로 관람객을 향해 일정한 속도의 에어를 분사함으로써 관람객이 바람을 실제로 느끼도록 하는 것이 4차원 요소의 예가 된다.
한편, 최근에는 가상현실 시스템을 이용하여 우리 사회에서 발생되는 여러가지 문제점(정신병, 우울증, 좌절, 자살 등등)을 개선 또는 해소하기 위한 사회적 수단으로의 방안에 대한 관심이 높아지고 있다.
본 발명이 이루고자 하는 기술적 과제는, 사용자가 가상현실 시스템을 통해 대상체(고인, 미래의 특정인에게 자신의 메시지 또는 이벤트를 남기기 원하는 유저 등)와 쌍방향 교감 또는 대화를 할 수 있어서, 사용자에게 추억의 회상과 감동, 희망 등을 선사할 수 있도록 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템을 제공하는데 그 목적이 있다.
또한, 3차원 가상현실 공간 상에 표시되는 대상체가, 사용자의 모션정보, 음성정보 등에 반응하고, 이벤트가 발생된 미래 특정 시점의 실세계정보(날씨, 뉴스 등)와 연동되어 3차원 가상현실 공간 상에 표시됨으로써, 사용자가 마치 실제로 대상체와 일상 생활에 대해 대화하는 것처럼 느낄 수 있도록 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템을 제공하는데 그 목적이 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 양방향 커뮤니케이션이 가능한 가상현실 시스템은, 3차원 가상현실 공간을 시각적으로 표시하는 디스플레이장치; 실세계 공간 상에서 사용자의 모션을 센싱하여 모션정보를 생성하는 트래킹센서장치; 및 3차원 가상현실 공간 상에 표시되는 대상체의 3D스캐닝정보가 저장되는 3D스캐닝정보저장부와, 트래킹센서장치로부터 전송된 모션정보에 대응하여 3D스캐닝정보를 매칭시키고, 모션정보에 연동하여 3D스캐닝정보를 디스플레이장치를 통해 표시되는 3차원 가상현실 공간 상에 표시하는 가상현실처리부를 포함하는 컴퓨터장치;를 포함하는 것을 특징으로 한다.
또한, 상기 컴퓨터장치는, 이벤트가 발생된 미래 시점의 상기 실세계 공간에 대한 실세계정보가 저장되는 실세계정보저장부를 포함하는 것을 특징으로 한다.
또한, 상기 가상현실처리부는, 상기 모션정보와 상기 실세계정보를 기반으로 상기 3D스캐닝정보를 매칭하는 것을 특징으로 한다.
또한, 상기 사용자의 음성을 인식하여 음성정보를 생성하는 음성인식장치를 포함하는 것을 특징으로 한다.
또한, 상기 가상현실처리부는, 상기 음성인식장치로부터 전송된 상기 음성정보와 상기 모션정보를 기반으로 상기 3D스캐닝정보를 매칭하는 것을 특징으로 한다.
본 발명에 따르면, 사용자가 가상현실 시스템을 통해 대상체(고인, 미래의 특정인에게 자신의 메시지 또는 이벤트를 남기기 원하는 유저 등)와 쌍방향 교감 또는 대화를 할 수 있어서, 사용자에게 추억의 회상과 감동, 희망 등을 선사할 수 있도록 하는 효과가 있다.
또한, 3차원 가상현실 공간 상에 표시되는 대상체가, 사용자의 모션정보, 음성정보 등에 반응하고, 이벤트가 발생된 미래 특정 시점의 실세계정보(날씨, 뉴스 등)와 연동되어 3차원 가상현실 공간 상에 표시됨으로써, 사용자가 마치 실제로 대상체와 일상 생활에 대해 대화하는 것처럼 느낄 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 양방향 커뮤니케이션이 가능한 가상현실 시스템을 나타낸 블록도이다.
도 2는 도 1의 3D스캐닝정보저장부에 저장되는 정보들을 나타낸 도면이다.
도 3은 3D스캐닝장치가 대상체의 3D스캐닝정보를 생성하는 프로세스의 일예를 나타낸 순서도이다.
도 4는 도 1의 실세계정보저장부에 저장되는 정보들을 나타낸 도면이다.
도 5는 도 1의 컴퓨터장치가, 디스플레이장치를 통해 표시되는 3차원 가상현실 공간 상에 표시되는 대상체의 여러 정보들을 융합하는 프로세스의 일예를 나타낸 순서도이다.
[부호의 설명]
101 : 디스플레이장치
103 : 트래킹센서장치
105 : 3D스캐닝정보저장부
107 : 가상현실처리부
109 : 컴퓨터장치
111 : 음성인식장치
113 : 실세계정보저장부
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일실시예에 따른 양방향 커뮤니케이션이 가능한 가상현실 시스템을 나타낸 블록도이다.
도 2는 도 1의 3D스캐닝정보저장부에 저장되는 정보들을 나타낸 도면이다.
도 3은 3D스캐닝장치가 대상체의 3D스캐닝정보를 생성하는 프로세스의 일예를 나타낸 순서도이다.
도 4는 도 1의 실세계정보저장부에 저장되는 정보들을 나타낸 도면이다.
도 5는 도 1의 컴퓨터장치가, 디스플레이장치를 통해 표시되는 3차원 가상현실 공간 상에 표시되는 대상체의 여러 정보들을 융합하는 프로세스의 일예를 나타낸 순서도이다.
이들 도면들에 도시된 바와 같이, 본 발명의 일실시예에 따른 양방향 커뮤니케이션이 가능한 가상현실 시스템은, 3차원 가상현실 공간을 시각적으로 표시하는 디스플레이장치(101); 실세계 공간 상에서 사용자의 모션을 센싱하여 모션정보(MI)를 생성하는 트래킹센서장치(103); 및 3차원 가상현실 공간 상에 표시되는 대상체의 3D스캐닝정보(SI)가 저장되는 3D스캐닝정보저장부(105)와, 트레킹센서장치(103)로부터 전송된 모션정보(MI)에 대응하여 3D스캐닝정보(SI)를 매칭시키고, 모션정보(MI)에 연동하여 3D스캐닝정보(SI)를 디스플레이장치(101)를 통해 표시되는 3차원 가상현실 공간 상에 표시하는 가상현실처리부(107)를 포함하는 컴퓨터장치(109);를 포함하는 것을 특징으로 한다.
여기서, 상술한 '대상체'는, 고인(故人), 미래의 어느 시점으로 메시지를 전달하고자 하는 유저 등이 될 수 있다.
이하, 각 구성별로 상세히 설명한다.
먼저, 디스플레이장치(101)는 3차원 가상현실 공간을 시각적으로 표시하는 기능을 수행한다.
이러한 디스플레이장치(101)는 일예로 HMD(Head Mounted Display)로 제공될 수 있으며, 이와 달리 3D홀로그래픽 디스플레이로 제공될 수도 있다.
한편, 디스플레이장치(101)는 후술할 컴퓨터장치(109)와 유선 또는 무선으로 연결되어서 컴퓨터장치(109)로부터 각종 정보를 전송받는다.
여기서, 디스플레이장치(101)와 컴퓨터장치(109) 사이의 통신 기술은 현재 또는 향후 지원될 통신 네트워크를 모두 포함하며, 이를 위한 하나 또는 그 이상의 통신 프로토콜들을 모두 지원 가능하다.
이러한 유선 또는 무선 네트워크는, 일예로, USB(Universal Serial Bus), 컴포넌트(Component), S-비디오(아날로그), DVI(Digital Visual Interface), HDMI(High Definition Multimedia Interface), RGB, D-SUB와 같은 유선 연결을 위한 네트워크와 그를 위한 통신 규격 내지 프로토콜과, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA(Digital Living Network Alliance), WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE/LTE-A(Long Term Evolution(LTE)/LTE-Advanced), Wi-Fi 다이렉트와 같은 무선 연결을 위한 네트워크와 그를 위한 통신 규격 내지 프로토콜에 의하여 형성될 수 있다.
이어서, 트래킹센서장치(103)는 실세계 공간 상에서 사용자의 모션을 센싱하여 모션정보(MI)를 생성한다.
트래킹센서장치(103)는 사용자의 실제 모션을 추적하고 계산하기 위한 기본 정보를 획득하기 위한 장치로, 일예로, 사용자 신체의 특정 위치에 부착된 마커(Marker)와 복수개의 카메라로 구성될 수도 있고, 3차원 카메라(Depth Camera)로 제공될 수도 있다.
물론, 이 외에도 사용자의 모션 트래킹을 위해 알려진 다양한 방법 또는 장치들이 트래킹센서장치로 사용될 수 있다.
이러한 트래킹센서장치(103)는 후술할 컴퓨터장치(109)와 유선 또는 무선으로 연결된다.
이어서, 컴퓨터장치(109)는 디스플레이장치(101), 트래킹센서장치(103), 후술할 음성인식장치(111)와 연결되어 이들 장치를 제어함으로써, 본 발명인 양방향 커뮤니케이션이 가능한 가상현실 시스템의 전반적인 동작을 수행한다.
이러한 동작 수행을 위하여, 컴퓨터장치(109)는 3D스캐닝정보저장부(105)와 가상현실처리부(107)를 포함한다.
여기서, 3D스캐닝정보저장부(105)는, 3차원 가상현실 공간 상에 표시되는 대상체의 3D스캐닝정보(SI)를 저장한다.
한편, 3D스캐닝정보(SI)는 일예로, 대상체의 안면형상정보, 대상체의 표정정보, 대상체의 전신형상정보, 대상체의 음성정보, 대상체의 배경정보 등을 포함한다.
그리고 3D스캐닝정보(SI)는 3D스캐닝장치가 대상체를 스캐닝하는 과정을 통하여 생성되는데, 3D스캐닝장치가 대상체의 3D스캐닝정보(SI)를 생성하는 프로세스의 일예는 도 3에 도시하였다.
가상현실처리부(107)는 트래킹센서장치(103)로부터 전송된 모션정보(MI)에 대응하여 3D스캐닝정보(SI)를 매칭시킨다.
좀 더 구체적으로, 가상현실처리부(107)는 미래 특정 시점의 실세계 공간 상에 있는 사용자의 모션에 따라 대상체의 동작, 표정, 음성 등이 변경되도록 사용자의 모션정보(MI)와 대상체의 3D스캐닝정보(SI)를 매칭시킨다.
여기서, 가상현실처리부(107)가 사용자의 모션에 따라 대상체의 동작, 표정, 음성 등이 변경되도록 하기 위한 3D스캐닝정보(SI)의 보완, 누적, 업데이트 등은, 일예로 AI(Artificial Intelligence, 인공지능) 딥러닝(Deep Learning)을 통해 수행될 수 있다.
좀 더 구체적으로, 가상현실처리부(107)는 AI 딥러닝을 통하여, 특정 상황별 또는 이벤트별 동작, 표정, 음성 등에 대한 일반데이터를 수집, 축적하고, 이 일반데이터를 대상체의 동작 변화, 표정 변화, 음성 변화를 위한 3D스캐닝정보(SI)의 보완, 누적, 업데이트 등에 융합한다.
그리고 가상현실처리부(107)는 모션정보(MI)에 연동하여 3D스캐닝정보(SI)를 디스플레이장치(101)를 통해 표시되는 3차원 가상현실 공간 상에 표시한다.
이로 인해, 미래 특정 시점의 실세계 공간 상에 있는 사용자는 대상체와 마치 동일한 공간 상에서 교감을 하는 것처럼 느낄 수 있게 된다.
한편, 컴퓨터장치(109)는 이벤트가 발생된 미래 시점의 실세계 공간에 대한 실세계정보(RWI)가 저장되는 실세계정보저장부(113)를 더 포함한다.
여기서, 실세계정보저장부(113)에 저장되는 실세계정보(RWI)는, 일예로, 이벤트가 발생된 미래 특정 시점의 날씨정보, 뉴스정보, 사건/사고정보, 이벤트정보, 경제정보, 환경정보 등 실세계에 관련된 다양한 정보들을 포함한다.
이때, 앞에서 설명한 가상현실처리부(107)는, 모션정보(MI)와 실세계정보(RWI)를 기반으로 3D스캐닝정보(SI)를 매칭한다.
좀 더 구체적으로, 가상현실처리부(107)는, 실세계정보(RWI)를 3D스캐닝정보(SI)와 연동하고, 이를 3D스캐닝정보(SI)에 매칭한다.
이로 인해, 이벤트가 발생된 미래 특정 시점의 실세계 공간 상에 있는 사용자는 마치 대상체와 동일한 공간 상에서 실세계정보(RWI)(예로, 날씨, 사건, 사고, 사회이슈, 경제이슈, 환경이슈 등)에 대해 교감하는 것처럼 느낄 수 있게 된다.
한편, 본 발명의 일실시예에 따른 양방향 커뮤니케이션이 가능한 가상현실 시스템은, 사용자의 음성을 인식하여 음성정보(VI)를 생성하는 음성인식장치(111);를 더 포함한다.
여기서, 음성인식장치(111)는 일예로, 마이크 등으로 제공될 수 있다.
한편, 상술한 가상현실처리부(107)는, 음성인식장치(111)로부터 전송된 음성정보(VI)와 모션정보(MI)를 기반으로 3D스캐닝정보(SI)를 매칭한다.
좀 더 구체적으로, 가상현실처리부(107)는, 음성정보(VI)와 모션정보(MI)를 연동하고, 이를 3D스캐닝정보(SI)에 매칭한다.
이로 인해, 이벤트가 발생된 미래 특정 시점의 실세계 공간 상에 있는 사용자는 마치 대상체와 동일한 공간 상에서 대화하는 것처럼 느낄 수 있게 된다.
물론, 상술한 가상현실처리부(107)는, 음성인식장치(111)로부터 전송된 음성정보(VI), 트래킹센서장치(103)로부터 전송된 모션정보(MI), 실세계정보저장부(113)에 저장되는 실세계정보(RWI)를 기반으로 3D스캐닝정보(SI)를 매칭할 수도 있다.
한편, 컴퓨터장치(109)가, 디스플레이장치(101)를 통해 표시되는 3차원 가상현실 공간 상에 표시되는 대상체의 여러 정보들을 융합하는 프로세스의 일예는 도 5에 도시하였다.
이상에서 설명한 바와 같이, 본 발명의 일실시예에 의하면, 사용자가 가상현실 시스템을 통해 대상체(고인, 미래의 특정인에게 자신의 메시지 또는 이벤트를 남기기 원하는 유저 등)와 쌍방향 교감 또는 대화를 할 수 있어서, 사용자에게 추억의 회상과 감동, 희망 등을 선사할 수 있도록 하는 효과가 있다.
또한, 3차원 가상현실 공간 상에 표시되는 대상체가, 사용자의 모션정보, 음성정보 등에 반응하고, 이벤트가 발생된 미래 특정 시점의 실세계정보(날씨, 뉴스 등)와 연동되어 3차원 가상현실 공간 상에 표시됨으로써, 사용자가 마치 실제로 대상체와 일상 생활에 대해 대화하는 것처럼 느낄 수 있도록 하는 효과가 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (5)

  1. 3차원 가상현실 공간을 시각적으로 표시하는 디스플레이장치;
    실세계 공간 상에서 사용자의 모션을 센싱하여 모션정보를 생성하는 트래킹센서장치; 및
    상기 3차원 가상현실 공간 상에 표시되는 대상체의 3D스캐닝정보가 저장되는 3D스캐닝정보저장부와, 상기 트래킹센서장치로부터 전송된 모션정보에 대응하여 상기 3D스캐닝정보를 매칭시키고, 상기 모션정보에 연동하여 상기 3D스캐닝정보를 상기 디스플레이장치를 통해 표시되는 상기 3차원 가상현실 공간 상에 표시하는 가상현실처리부를 포함하는 컴퓨터장치;
    를 포함하는 것을 특징으로 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템.
  2. 제 1 항에 있어서,
    상기 컴퓨터장치는,
    이벤트가 발생된 미래 시점의 상기 실세계 공간에 대한 실세계정보가 저장되는 실세계정보저장부를 포함하는 것을 특징으로 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템.
  3. 제 2 항에 있어서,
    상기 가상현실처리부는,
    상기 모션정보와 상기 실세계정보를 기반으로 상기 3D스캐닝정보를 매칭하는 것을 특징으로 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템.
  4. 제 1 항에 있어서,
    상기 사용자의 음성을 인식하여 음성정보를 생성하는 음성인식장치;를 포함하는 것을 특징으로 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템.
  5. 제 4 항에 있어서,
    상기 가상현실처리부는,
    상기 음성인식장치로부터 전송된 상기 음성정보와 상기 모션정보를 기반으로 상기 3D스캐닝정보를 매칭하는 것을 특징으로 하는 양방향 커뮤니케이션이 가능한 가상현실 시스템.
PCT/KR2018/005032 2017-04-28 2018-04-30 양방향 커뮤니케이션이 가능한 가상현실 시스템 WO2018199724A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170055383A KR101839726B1 (ko) 2017-04-28 2017-04-28 양방향 커뮤니케이션이 가능한 가상현실 시스템
KR10-2017-0055383 2017-04-28

Publications (1)

Publication Number Publication Date
WO2018199724A1 true WO2018199724A1 (ko) 2018-11-01

Family

ID=62081596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/005032 WO2018199724A1 (ko) 2017-04-28 2018-04-30 양방향 커뮤니케이션이 가능한 가상현실 시스템

Country Status (2)

Country Link
KR (1) KR101839726B1 (ko)
WO (1) WO2018199724A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256383B1 (ko) * 2020-05-18 2021-05-25 권영훈 사용자의 희망시간을 고려하여 응답정보를 제공하고 캐릭터의 외형을 변환하는 챗봇 서비스를 위한 시스템
KR102383643B1 (ko) 2020-09-09 2022-04-06 주식회사 코탁스 가상 공간 기반의 보이스 데이터의 선택적 추출과 매칭 통한 커뮤니케이팅 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054699A (ko) * 2000-06-19 2000-09-05 최인호 인터넷을 이용한 음악/영상편지 제공시스템 및 방법
JP2001256512A (ja) * 2000-03-09 2001-09-21 Nippon Telegr & Teleph Corp <Ntt> 仮想空間コミュニケーション方法及びシステム装置
KR20160009213A (ko) * 2014-07-15 2016-01-26 (주)소셜네트워크 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
KR101618004B1 (ko) * 2015-01-27 2016-05-09 가톨릭대학교 산학협력단 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
KR20170035958A (ko) * 2014-07-25 2017-03-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256512A (ja) * 2000-03-09 2001-09-21 Nippon Telegr & Teleph Corp <Ntt> 仮想空間コミュニケーション方法及びシステム装置
KR20000054699A (ko) * 2000-06-19 2000-09-05 최인호 인터넷을 이용한 음악/영상편지 제공시스템 및 방법
KR20160009213A (ko) * 2014-07-15 2016-01-26 (주)소셜네트워크 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
KR20170035958A (ko) * 2014-07-25 2017-03-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치
KR101618004B1 (ko) * 2015-01-27 2016-05-09 가톨릭대학교 산학협력단 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법

Also Published As

Publication number Publication date
KR101839726B1 (ko) 2018-04-27

Similar Documents

Publication Publication Date Title
WO2020213799A1 (ko) 스마트 휴대 기기를 이용한 스마트 기기와 로봇의 개인 맞춤형 서비스 운용 시스템 및 방법
WO2009102116A2 (ko) 사용자 반응형 증강 영상 생성 방법 및 시스템
CN109902659A (zh) 用于处理人体图像的方法和装置
EP3560195A1 (en) System and method for depth map
WO2018199724A1 (ko) 양방향 커뮤니케이션이 가능한 가상현실 시스템
WO2016010200A1 (en) Wearable display device and control method thereof
WO2016111470A1 (ko) 마스터 기기, 슬레이브 기기 및 그 제어 방법
WO2020017890A1 (en) System and method for 3d association of detected objects
CN110637274B (zh) 信息处理设备、信息处理方法以及程序
CN106843511A (zh) 一种全场景覆盖的智能显示设备系统及应用
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
KR20170143264A (ko) 가상현실 다중접속 모니터링 시스템 및 방법
WO2022075817A1 (ko) 원격 로봇 코딩 교육 시스템
CN107526162A (zh) 一种虚拟眼镜
WO2013125915A1 (en) Method and apparatus for processing information of image including a face
WO2011099731A2 (ko) 데이터타입 분류에 따른 캐릭터정보 동기화 방법
WO2021025279A1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
CN106681483A (zh) 一种智能设备的交互方法及系统
WO2023163376A1 (ko) 가상협업 비대면 실시간 원격 실험 시스템
WO2016053029A1 (ko) 가상 공간 및 가상 객체를 포함하는 메시지를 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2019107942A1 (ko) 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
WO2022131720A1 (ko) 건축물 이미지를 생성하는 장치 및 방법
WO2022019692A1 (ko) 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18792004

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18792004

Country of ref document: EP

Kind code of ref document: A1