WO2024005473A1 - Real-time vr conference system and method capable of sharing specific location indication on 3d object in virtual space - Google Patents

Real-time vr conference system and method capable of sharing specific location indication on 3d object in virtual space Download PDF

Info

Publication number
WO2024005473A1
WO2024005473A1 PCT/KR2023/008831 KR2023008831W WO2024005473A1 WO 2024005473 A1 WO2024005473 A1 WO 2024005473A1 KR 2023008831 W KR2023008831 W KR 2023008831W WO 2024005473 A1 WO2024005473 A1 WO 2024005473A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
conference
user
specific location
meeting
Prior art date
Application number
PCT/KR2023/008831
Other languages
French (fr)
Korean (ko)
Inventor
이종오
박인규
김종현
변상우
김성민
Original Assignee
주식회사 와이엠엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이엠엑스 filed Critical 주식회사 와이엠엑스
Publication of WO2024005473A1 publication Critical patent/WO2024005473A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Definitions

  • the present invention relates to a non-face-to-face conference system and method, and to a conference system and method based on virtual reality (VR).
  • VR virtual reality
  • Videoconferencing involves the reception and transmission of audio-visual signals by users at different locations for real-time communication. These video conferences are available through multiple computing devices on a variety of video conferencing services, including the ZOOM service.
  • VR Virtual Reality
  • online conference systems using virtual reality have emerged, and attempts are being made to solve the lack of realism and communication difficulties of existing video conferences.
  • Korean Patent No. 10-2292606 proposes a conference service provision system using virtual reality.
  • the offline experience can be captured online.
  • the purpose of the present invention is to provide a VR conference system and method that allows multiple users to accurately share a specific location indication on a 3D object in a virtual space in real time.
  • the present invention provides a VR conference system and method that can facilitate communication between users in a non-face-to-face meeting by enabling multiple users to accurately share a specific location indication on a 3D object in a virtual space in real time. provided for a different purpose.
  • the present invention improves the convenience and efficiency of the VR conference system by enabling multiple users to share specific location indications on 3D objects in a virtual space accurately in real time to facilitate communication between users in non-face-to-face meetings.
  • Another purpose is to provide a VR conference system and method that can be used.
  • servers provided;
  • a virtual conference operation terminal that transmits and receives data to and from the server through the virtual conference platform and transmits conference information for the virtual VR conference to the server;
  • a user terminal connected to the server through the virtual conference platform and capable of accessing a virtual conference room for the virtual VR conference.
  • the meeting information for the virtual VR meeting may include at least one of participant information for the virtual VR meeting, meeting room location and size, and a 3D object for the meeting.
  • the server may create the virtual meeting room based on meeting information for the virtual VR meeting and reflect the 3D object for the meeting in the virtual meeting room.
  • the server may represent a conference management account connected to the virtual conference room through the virtual conference operation terminal as a conference operation avatar, and a user account connected to the virtual conference room through the user terminal may be expressed as a user avatar.
  • the server transmits and shares the specific location on the pointed 3D object to all user terminals to which the user account is logged in. You can.
  • the user terminal sets three-dimensional coordinates (x, y, z) in space corresponding to the specific location on the 3D object for a conference. Measure and store while transmitting to the server, and the server transmits the received spatial 3D coordinates (x, y, z) to the user terminal of another user who is viewing the conference 3D object. And, having received the 3D coordinates (x, y, z) in the space, the user terminal of the other user can output and display them based on the anchor of the 3D object for the conference.
  • the measurement of 3D coordinates (x, y, z) in space by one of the user terminals corresponding to a specific location on the 3D object for the conference can be done based on the raycasting technique.
  • the display method may use a laser point display.
  • the step of performing a predefined interaction of the user interaction element includes, when a specific location on the 3D object for a conference is touched by a user terminal, the user terminal moves to a specific location on the 3D object for a conference. Measuring and storing three-dimensional coordinates (x, y, z) in the corresponding space and transmitting them to the server; The server transmitting the received spatial 3D coordinates (x, y, z) to the user terminal of another user who is viewing the conference 3D object (Object); And the user terminal of the other user, which has received the 3D coordinates (x, y, z) in the space, may output and display them based on the anchor of the 3D object for the meeting.
  • the measurement of 3D coordinates (x, y, z) in space by one of the user terminals corresponding to a specific location on the 3D object for the conference can be done based on the raycasting technique.
  • the display method may use a laser point display.
  • a plurality of users can accurately share a specific location indication on a 3D object in a virtual space in real time. It works.
  • the real-time VR conference system and method for sharing a specific location indication on a 3D object in a virtual space of the present invention multiple users can accurately share a specific location indication on a 3D object in a virtual space in real time. This has the effect of facilitating communication between users in non-face-to-face meetings.
  • the real-time VR conference system and method for sharing a specific location indication on a 3D object in a virtual space of the present invention multiple users can accurately share a specific location indication on a 3D object in a virtual space in real time.
  • it has the effect of improving the convenience and efficiency of the VR conference system.
  • Figure 1 is an example configuration of a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
  • Figure 2 is a diagram for explaining the operation of a real-time VR conference system that can share a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
  • Figure 3 is a diagram to explain the principles of the raycasting technique used in the present invention to measure the specific position of a 3D object.
  • FIG. 4 is a diagram illustrating a method of sharing a specific location indication of a 3D object in a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
  • Figure 5 is an operation flowchart showing an operation of sharing a specific location indication of a 3D object in a real-time VR conference system capable of sharing a specific location indication of a 3D object in a virtual space according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components may not be limited by the terms. Terms are intended only to distinguish one component from another. For example, a first component may be referred to as a second component, and similarly, the second component may be referred to as a first component without departing from the scope of the present invention.
  • Figure 1 is an example configuration of a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
  • the server 110, the virtual meeting operation terminal 120, and the user terminals 131-133 are configured to exchange data through wired and wireless communication.
  • the VR conference system of the present invention can provide a VR conference through VR (Virtual reality) technology and can configure a virtual space for a 360° VR virtual conference.
  • VR Virtual reality
  • the server 110 may be an in-house server or a cloud server owned by the person providing the service using the server 110, and has all the calculation functions, storage/reference functions, input/output functions, and control functions of a normal computer. Or it may be configured to perform some operations.
  • the server 110 is equipped with a virtual meeting platform 140 and can provide a virtual space for a virtual VR meeting through the virtual meeting platform 140. That is, the server 110 can configure a virtual space including a 360° VR virtual meeting room by incorporating VR technology through the virtual meeting platform 140.
  • the virtual space may be a method that combines 3D modeling and VR technology.
  • the server 110 may create a virtual 3D conference room and a virtual 3D object that is the subject of meeting discussion.
  • the virtual 3D conference room may implement a specific concept unique to each conference room.
  • conference room A can be rendered with general conference room graphics
  • conference room B can be rendered with laboratory graphics
  • area C can be rendered with manufacturing plant graphics.
  • the virtual conference operation terminal 120 and the user terminals 131-133 may exchange data with the server 110 through the virtual conference platform 140.
  • the virtual meeting operation terminal 120 may be a desktop computer, laptop, tablet, smartphone, VR device, etc. That is, in FIG. 1, the virtual meeting operation terminal 120 may be a desktop, and depending on the embodiment, it may be a laptop or tablet. Additionally, the virtual meeting operation terminal 120 may be configured to perform all or part of the calculation function, storage/reference function, input/output function, and control function of a typical computer.
  • the meeting management account (151-153) can access the virtual meeting platform 140 through the virtual meeting management terminal 120, and the meeting management account (151-153) can access the meeting management avatar on the virtual meeting platform 140. It can be expressed as
  • the meeting management avatar may interact with the user avatar linked to the user account 161-163.
  • a predefined action may be performed.
  • a chat may occur between a meeting management account linked to a meeting management avatar and a user account linked to the user avatar.
  • the user terminals 131-133 may be desktop computers, laptops, tablets, smartphones, VR devices, etc.
  • the first user terminal 131 may be a smartphone
  • the second user terminal 132 may be a smartphone
  • the desktop and third user terminal 133 may be a laptop.
  • the user terminals 131-133 may be configured to perform all or part of the calculation function, storage/reference function, input/output function, and control function of a typical computer.
  • user accounts 161-163 may access the virtual conference platform 140 through user terminals 131-133. That is, each user terminal 131-133 may be connected to the server 110 through the virtual conference platform 140.
  • User accounts 161-163 may be represented by user avatars in the virtual conference platform 140, and the user avatars may interact with the conference management avatars described above.
  • a predefined operation may be performed. For example, when an interaction occurs, a chat may occur between a meeting management account linked to a meeting management avatar and a user account linked to the user avatar.
  • each terminal 120 and three user terminals 131 to 133 are shown in FIG. 1, but the number of each terminal may vary. As long as the processing capacity of the server 110 allows, the number of each terminal is not particularly limited.
  • the virtual conference operation terminal 120 and the user terminals 131-133 are shown as separate devices in FIG. 1, but depending on the implementation, the virtual conference operation terminal and the user terminal are treated as one terminal. Integration is also possible.
  • Figure 2 is a diagram for explaining the operation of a real-time VR conference system that can share a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
  • the server 110 may obtain meeting information from the virtual meeting operation terminal 120 (S201).
  • the meeting information may include information on attendees who wish to participate in the VR meeting, conference room size and location, etc.
  • the meeting management account (151-153) may be logged in to the virtual meeting operating terminal 120, and the server 110 may provide meeting information to the virtual meeting operating terminal 120 connected to the virtual meeting platform 140.
  • a visual configuration including an input UI (User Interface) can be transmitted. Additionally, the server 110 may upload meeting information entered by the meeting management accounts 151-153 through the meeting information input UI.
  • the server 110 may create a virtual conference room based on the conference information (S202).
  • the server 110 may determine the location and size of the virtual conference room based on the conference information entered by the conference management accounts 151-153. Additionally, the server 110 may create the basic appearance of the virtual conference room using a predefined template according to the characteristics and requirements of the virtual conference room.
  • the server 110 may obtain at least one 3D object for a meeting from the virtual meeting operation terminal 120 (S203).
  • the 3D object for the meeting may be a 3D modeling resource (3D Model resource) to be discussed by users in the corresponding VR meeting.
  • 3D Model resource 3D Model resource
  • the 3D object for the meeting may be a 3D modeling resource for the vehicle.
  • the 3D object for the meeting may be a 3D modeling resource for the mobile phone.
  • the server 110 may reflect at least one conference 3D object in the virtual conference room (S204).
  • the server 110 may perform predefined rendering on the 3D object according to the characteristics and requirements of the virtual meeting room.
  • Predefined renderings can include colors, textures, lighting tones, etc. depending on the virtual meeting room. Through this, 3D objects included in the virtual meeting room can be presented without looking unnatural.
  • the server 110 may represent each user account 161 - 163 connected to the virtual conference room through each user terminal 131 - 133 as each user avatar (S205).
  • the user accounts 161-163 can log in from the user terminals 131-133 and access the virtual conference room through the virtual conference platform 140, and the server 110 can access the virtual conference room using user accounts ( 161-163) can be rendered as a user avatar.
  • the user avatar may be a 3D humanoid avatar capable of performing actions such as moving, looking around, talking, and making selections.
  • the appearance of the user avatar may be modeled or characterized based on real-life images, or may be customizable.
  • the server 110 may perform the predefined interaction of the corresponding user interaction element when each user avatar in the VR meeting performs an action that matches the predefined action of at least one user interaction element. There is (S206).
  • the predefined actions of the user interaction element may include various actions. For example, when clicking on another user avatar, chatting with the user account of that user avatar may be possible.
  • the predefined actions of these user interaction elements are linked to 3D objects for meetings.
  • the server 110 selects the specific location on the pointed 3D object to the user terminal 131 where the user account 161-163 is logged in. -133) Send it to everyone and share it.
  • FIGS. 3 to 5 will be described for the operation of the server 110 of the present invention transmitting and sharing a specific location on a pointed 3D object to all user terminals 131-133 to which user accounts 161-163 are logged in. Please refer to and explain.
  • Figure 3 is a diagram to explain the principles of the raycasting technique used in the present invention to measure the specific position of a 3D object.
  • raycasting technique is used to obtain coordinates in virtual three-dimensional space.
  • Raycasting is a technique that projects invisible light (ray) into a virtual space and identifies the surface that the light touches.
  • the coordinates are three-dimensional coordinates in space and can be expressed as (x,y,z).
  • a predetermined effect can be created and displayed at the coordinates of the location indicated by the user on the surface of the 3D object.
  • a predetermined effect may be a laser point display.
  • the present invention can provide information on which user generated the event by connecting the user avatar who generated the event at the corresponding coordinates in virtual space and the point of occurrence with a line.
  • FIG. 4 is a diagram illustrating a method of sharing a specific location indication of a 3D object in a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
  • Figure 5 is an operation flowchart showing an operation of sharing a specific location indication of a 3D object in a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
  • User 1 may be a user located in Korea, as shown in FIG. 4.
  • the method of measuring coordinates (x, y, z) corresponding to a specific position on a 3D object applies the raycasting technique of FIG. 3 as described above.
  • raycasting is performed from the touch point of the screen touched by the user to the forward direction where the camera is looking, and the collision point is based on the 3D object.
  • the coordinates are three-dimensional coordinates in space and can be expressed as (x,y,z).
  • User 1's user terminal transmits the 3D coordinates (x, y, z) in the stored space to the server 110, and the server 110 receives and stores them (S520).
  • the server 110 transmits the received spatial 3D coordinates (x, y, z) to other users (User 2 and User 3) who are sharing the 3D object (S530).
  • User 2 and User 3 may be remote users located in LA, USA, as shown in FIG. 4.
  • the user terminals of other users (User 2 and User 3) that have received the 3D coordinates (x, y, z) in the corresponding space output and display them based on the anchor of the 3D object (S540).
  • a laser point display can be used as an example of a display method.
  • the present invention can provide information on which user generated the event by connecting the user avatar that generated the event to the coordinates and the point of occurrence with a line.
  • 3D coordinates (x, y, z) values in space can be displayed as pixel values of 3D objects, so they can be displayed accurately without error, and this allows users of VR meetings who are far away.
  • multiple users can accurately share a specific location indication on a 3D object in a virtual space that one user is referring to.
  • the real-time VR conference system and method for sharing a specific position indication on a 3D object in a virtual space of the present invention of the above-described configuration allows multiple users to accurately share a specific position indication on a 3D object in a virtual space. By doing so, communication between users in non-face-to-face meetings can be facilitated. In addition, the convenience and efficiency of the VR conference system can be improved by facilitating communication between users in non-face-to-face meetings by sharing specific location indications on 3D objects in a virtual space accurately in real time with multiple users.
  • the embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA). It may be implemented using one or more general-purpose or special-purpose computers, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • a processing device may perform an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • Computer-readable media may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • a hardware device may be configured to operate as one or more software modules to perform the operations of an embodiment, and vice versa.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the present invention relates to a conference system and method based on virtual reality (VR), and can be used in the field of virtual reality.
  • VR virtual reality

Abstract

A real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space, according to the present invention, comprises: a server that includes a virtual conference platform and provides a virtual conference room for a virtual VR conference through the virtual conference platform; a virtual conference operating terminal that transmits/receives data to/from the server through the virtual conference platform and transmits conference information for the virtual VR conference to the server; and a user terminal that is connected to the server through the virtual conference platform and capable of accessing the virtual conference room for the virtual VR conference.

Description

가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템 및 방법Real-time VR conference system and method for sharing specific location indications on 3D objects in virtual space
본 발명은 비대면 회의시스템 및 방법에 관한 것으로서, 가상현실(Virtual Reality; VR)에 기반한 회의시스템 및 방법에 관한 것이다.The present invention relates to a non-face-to-face conference system and method, and to a conference system and method based on virtual reality (VR).
근래 들어 비대면 회의시스템에 대한 필요성이 증가하고 있다. 많은 사업상 미팅, 회의, 학회 등이 질병 확산, 특히 COVID-19로 인해 사람들의 직접 참석 대신에 비대면으로 온라인 화상 회의를 진행하는 경우가 많아졌다. Recently, the need for non-face-to-face meeting systems has been increasing. Due to the spread of diseases, especially COVID-19, many business meetings, conferences, and academic societies are increasingly conducting non-face-to-face online video conferences instead of people attending in person.
화상 회의는 실시간 통신을 위해 서로 다른 위치에 있는 사용자에 의한 시청각 신호의 수신 및 전송을 포함한다. 이러한 화상 회의는 줌(ZOOM) 서비스를 포함한 다양한 화상 회의 서비스에서 여러 컴퓨팅 장치를 통해 사용 가능하다.Videoconferencing involves the reception and transmission of audio-visual signals by users at different locations for real-time communication. These video conferences are available through multiple computing devices on a variety of video conferencing services, including the ZOOM service.
한편, 가상현실(Virtual Reality; VR)은 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 기술이다. 최근에는 가상현실을 이용한 온라인 회의시스템이 등장하고 있으며, 이를 통해 기존의 화상 회의가 가진 현장감의 부족, 의사소통의 어려움 등을 해결하고자 하는 시도가 이루어지고 있다.Meanwhile, Virtual Reality (VR) is a technology that allows people to have a realistic experience in a virtual world created by a computer. Recently, online conference systems using virtual reality have emerged, and attempts are being made to solve the lack of realism and communication difficulties of existing video conferences.
그 일예로서, 한국등록특허 제10-2292606호는 가상현실을 이용한 컨퍼런스 서비스 제공 시스템을 제안하고 있다. 여기에서는 오프라인 컨퍼런스를 3D(3-Dimension) 가상현실을 이용해 가상현실 환경 내에서 그대로 재현할 수 있는 플랫폼을 제공함으로써, 오프라인 경험을 그대로 온라인으로 담아낼 수 있도록 하고 있다.As an example, Korean Patent No. 10-2292606 proposes a conference service provision system using virtual reality. Here, by providing a platform that can reproduce offline conferences in a virtual reality environment using 3D (3-Dimension) virtual reality, the offline experience can be captured online.
최근 가상 공간에서의 다양한 사용자 활동이 이뤄지며, 산업적으로 여러 시도들이 이뤄지고 있다. 그에 따라 가상의 공간에서 3D 오브젝트(object)를 다수의 사용자들이 함께 관찰하며 이뤄지는 상호작용이 증가하고 있다. Recently, various user activities are taking place in virtual spaces, and many industrial attempts are being made. Accordingly, the number of interactions between multiple users observing 3D objects together in virtual space is increasing.
그러나, 가상의 공간에서 다수의 사용자가 3D 오브젝트(object)를 함께 관찰하며 논의를 진행하는 중에 해당 오브젝트(object) 상의 특정 부분을 지칭함에 있어 정확한 위치 표시에 어려움이 있어 왔다. However, while multiple users are observing and discussing a 3D object together in a virtual space, there has been difficulty in indicating the exact location of a specific part of the object.
따라서, 다수의 사용자가 가상의 공간에서 3D 오브젝트를 두고 논의를 진행할 때, 각 사용자가 3차원 공간에 있는 오브젝트(object) 상의 특정 위치 표시를 정확히 공유할 수 있는 방법이 요구되고 있다.Therefore, when multiple users discuss a 3D object in a virtual space, there is a need for a method by which each user can accurately share a specific position indication on the object in the 3D space.
본 발명은 가상의 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 다수의 사용자가 실시간으로 정확히 공유할 수 있는 VR 회의 시스템 및 방법을 제공하는 것을 그 목적으로 한다.The purpose of the present invention is to provide a VR conference system and method that allows multiple users to accurately share a specific location indication on a 3D object in a virtual space in real time.
또한 본 발명은 가상의 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 다수의 사용자가 실시간으로 정확히 공유할 수 있도록 함으로써, 비대면 회의에서의 사용자 간 의사소통을 원활하게 할 수 있는 VR 회의 시스템 및 방법을 제공하는 것을 다른 목적으로 한다.In addition, the present invention provides a VR conference system and method that can facilitate communication between users in a non-face-to-face meeting by enabling multiple users to accurately share a specific location indication on a 3D object in a virtual space in real time. provided for a different purpose.
또한, 본 발명은 가상의 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 다수의 사용자가 실시간으로 정확히 공유하여 비대면 회의에서의 사용자 간 의사소통을 원활하게 함으로써, VR 회의시스템의 편의성과 효율성을 향상시킬 수 있는 VR 회의 시스템 및 방법을 제공하는 것을 또다른 목적으로 한다.In addition, the present invention improves the convenience and efficiency of the VR conference system by enabling multiple users to share specific location indications on 3D objects in a virtual space accurately in real time to facilitate communication between users in non-face-to-face meetings. Another purpose is to provide a VR conference system and method that can be used.
본 발명의 일 측면에 따른, 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템은, 가상 회의 플랫폼을 구비하고, 상기 가상 회의 플랫폼을 통해 가상 VR 회의를 위한 가상 회의실을 제공하는 서버; 상기 가상 회의 플랫폼을 통해 상기 서버와 데이터를 송수신하고, 상기 가상 VR 회의를 위한 회의 정보를 상기 서버에 송신하는 가상회의 운영 단말; 및 상기 가상 회의 플랫폼을 통해 상기 서버와 연결되고, 상기 가상 VR 회의를 위한 가상 회의실에 접속할 수 있는 사용자 단말;을 포함할 수 있다.According to one aspect of the present invention, a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space includes a virtual conference platform and a virtual conference room for a virtual VR conference through the virtual conference platform. servers provided; A virtual conference operation terminal that transmits and receives data to and from the server through the virtual conference platform and transmits conference information for the virtual VR conference to the server; and a user terminal connected to the server through the virtual conference platform and capable of accessing a virtual conference room for the virtual VR conference.
여기서, 상기 가상 VR 회의를 위한 회의 정보는, 상기 가상 VR 회의에 대한 참석자 정보, 회의실 위치 및 사이즈, 회의용 3D 오브젝트(object) 중 적어도 어느 하나를 포함할 수 있다.Here, the meeting information for the virtual VR meeting may include at least one of participant information for the virtual VR meeting, meeting room location and size, and a 3D object for the meeting.
또한, 상기 서버는, 상기 가상 VR 회의를 위한 회의 정보를 기초로 상기 가상 회의실을 생성하고, 상기 회의용 3D 오브젝트(object)를 상기 가상 회의실에 반영할 수 있다.Additionally, the server may create the virtual meeting room based on meeting information for the virtual VR meeting and reflect the 3D object for the meeting in the virtual meeting room.
또한, 상기 서버는, 상기 가상회의 운영 단말을 통해 상기 가상 회의실에 접속한 회의 운영 계정은 회의 운영 아바타로 표현하고, 상기 사용자 단말을 통해 상기 가상 회의실에 접속한 사용자 계정은 사용자 아바타로 표현할 수 있다.In addition, the server may represent a conference management account connected to the virtual conference room through the virtual conference operation terminal as a conference operation avatar, and a user account connected to the virtual conference room through the user terminal may be expressed as a user avatar. .
또한, 상기 서버는, 어느 한 사용자 아바타가 상기 회의용 3D 오브젝트 상의 특정 위치를 선택하여 포인팅(pointing)하는 경우, 포인팅된 3D 오브젝트 상의 특정 위치를 상기 사용자 계정이 로그인한 사용자 단말 모두로 전송하여 공유할 수 있다.In addition, when a user avatar selects and points to a specific location on the 3D object for a conference, the server transmits and shares the specific location on the pointed 3D object to all user terminals to which the user account is logged in. You can.
이때, 어느 한 사용자 단말에서 상기 회의용 3D 오브젝트(Object) 상의 특정 위치가 터치되면, 상기 어느 한 사용자 단말은 상기 회의용 3D 오브젝트 상의 특정 위치에 해당하는 공간 상 3차원 좌표(x,y,z)를 측정 및 저장하는 한편, 상기 서버에 송신하고, 상기 서버는 수신한 공간 상 3차원 좌표(x,y,z)를 상기 회의용 3D 오브젝트(Object)를 보고 있는 공유 대상의 다른 사용자의 사용자 단말로 송출하고, 상기 공간 상 3차원 좌표(x,y,z)를 수신한 상기 다른 사용자의 사용자 단말은 이를 상기 회의용 3D 오브젝트의 앵커(anchor) 기준으로 출력하여 표시할 수 있다.At this time, when a specific location on the 3D object for a conference is touched from a user terminal, the user terminal sets three-dimensional coordinates (x, y, z) in space corresponding to the specific location on the 3D object for a conference. Measure and store while transmitting to the server, and the server transmits the received spatial 3D coordinates (x, y, z) to the user terminal of another user who is viewing the conference 3D object. And, having received the 3D coordinates (x, y, z) in the space, the user terminal of the other user can output and display them based on the anchor of the 3D object for the conference.
여기서, 상기 어느 한 사용자 단말이 상기 회의용 3D 오브젝트 상의 특정 위치에 해당하는 공간 상 3차원 좌표(x,y,z)를 측정하는 것은, 레이캐스팅(Raycasting) 기법을 토대로 이루어질 수 있다.Here, the measurement of 3D coordinates (x, y, z) in space by one of the user terminals corresponding to a specific location on the 3D object for the conference can be done based on the raycasting technique.
또한, 상기 표시하는 방식은 레이저 포인트(Laser point) 표시를 사용할 수 있다.Additionally, the display method may use a laser point display.
또한, 상기 공간 상 3차원 좌표(x,y,z)에 이벤트(Event)를 발생시킨 사용자 아바타와, 발생 지점을 선으로 연결하여 줌으로써, 어떤 사용자가 상기 이벤트를 발생시켰는지 알 수 있도록 제공할 수 있다.In addition, by connecting the user avatar who generated the event to the three-dimensional coordinates (x, y, z) in the space and the point of occurrence with a line, it is possible to know which user generated the event. You can.
본 발명의 다른 측면에 따른, 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의 방법은, 서버가 가상회의 운영 단말로부터 회의 정보를 획득하고, 이를 기초로 가상 회의실을 생성하는 단계; 상기 서버가 상기 가상회의 운영 단말로부터 적어도 하나의 회의용 3D 오브젝트(object)를 획득하고, 이를 상기 가상 회의실에 반영하는 단계; 상기 서버는 각각의 사용자 단말을 통해 상기 가상 회의실에 접속한 각각의 사용자 계정을 각각의 사용자 아바타로 표현하는 단계; 및 상기 서버는 각각의 사용자 아바타가 적어도 하나의 사용자 인터랙션 요소의 미리 정의된 동작과 일치하는 동작을 수행하는 경우, 이에 대응하는 사용자 인터랙션 요소의 미리 정의된 인터랙션을 수행하는 단계;를 포함할 수 있다.According to another aspect of the present invention, a real-time VR conference method capable of sharing a specific location indication on a 3D object in virtual space includes a server obtaining conference information from a virtual conference operation terminal and creating a virtual conference room based on this. step; The server acquiring at least one 3D object for a conference from the virtual conference operation terminal and reflecting the acquired 3D object in the virtual conference room; The server representing each user account connected to the virtual conference room through each user terminal as each user avatar; And when each user avatar performs an action that matches the predefined action of at least one user interaction element, the server performs a predefined interaction of the corresponding user interaction element. .
여기서, 상기 사용자 인터랙션 요소의 미리 정의된 인터랙션을 수행하는 단계는, 어느 한 사용자 단말에서 상기 회의용 3D 오브젝트(Object) 상의 특정 위치가 터치되면, 상기 어느 한 사용자 단말은 상기 회의용 3D 오브젝트 상의 특정 위치에 해당하는 공간 상 3차원 좌표(x,y,z)를 측정 및 저장하는 한편, 상기 서버에 송신하는 단계; 상기 서버는 수신한 공간 상 3차원 좌표(x,y,z)를 상기 회의용 3D 오브젝트(Object)를 보고 있는 공유 대상의 다른 사용자의 사용자 단말로 송출하는 단계; 및 상기 공간 상 3차원 좌표(x,y,z)를 수신한 상기 다른 사용자의 사용자 단말은 이를 상기 회의용 3D 오브젝트의 앵커(anchor) 기준으로 출력하여 표시할 수 있다.Here, the step of performing a predefined interaction of the user interaction element includes, when a specific location on the 3D object for a conference is touched by a user terminal, the user terminal moves to a specific location on the 3D object for a conference. Measuring and storing three-dimensional coordinates (x, y, z) in the corresponding space and transmitting them to the server; The server transmitting the received spatial 3D coordinates (x, y, z) to the user terminal of another user who is viewing the conference 3D object (Object); And the user terminal of the other user, which has received the 3D coordinates (x, y, z) in the space, may output and display them based on the anchor of the 3D object for the meeting.
이때, 상기 어느 한 사용자 단말이 상기 회의용 3D 오브젝트 상의 특정 위치에 해당하는 공간 상 3차원 좌표(x,y,z)를 측정하는 것은, 레이캐스팅(Raycasting) 기법을 토대로 이루어질 수 있다.At this time, the measurement of 3D coordinates (x, y, z) in space by one of the user terminals corresponding to a specific location on the 3D object for the conference can be done based on the raycasting technique.
또한, 상기 표시하는 방식은, 레이저 포인트(Laser point) 표시를 사용할 수 있다.Additionally, the display method may use a laser point display.
또한, 상기 공간 상 3차원 좌표(x,y,z)에 이벤트(Event)를 발생시킨 사용자 아바타와, 발생 지점을 선으로 연결하여 줌으로써, 어떤 사용자가 상기 이벤트를 발생시켰는지 알 수 있도록 제공할 수 있다.In addition, by connecting the user avatar who generated the event to the three-dimensional coordinates (x, y, z) in the space and the point of occurrence with a line, it is possible to know which user generated the event. You can.
본 발명의 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템 및 방법에 따르면, 가상의 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 다수의 사용자가 실시간으로 정확히 공유할 수 있는 효과가 있다.According to the real-time VR conference system and method for sharing a specific location indication on a 3D object in a virtual space of the present invention, a plurality of users can accurately share a specific location indication on a 3D object in a virtual space in real time. It works.
또한, 본 발명의 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템 및 방법에 따르면, 가상의 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 다수의 사용자가 실시간으로 정확히 공유할 수 있도록 함으로써, 비대면 회의에서의 사용자 간 의사소통을 원활하게 할 수 있는 효과가 있다.In addition, according to the real-time VR conference system and method for sharing a specific location indication on a 3D object in a virtual space of the present invention, multiple users can accurately share a specific location indication on a 3D object in a virtual space in real time. This has the effect of facilitating communication between users in non-face-to-face meetings.
또한, 본 발명의 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템 및 방법에 따르면, 가상의 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 다수의 사용자가 실시간으로 정확히 공유하여 비대면 회의에서의 사용자 간 의사소통을 원활하게 함으로써, VR 회의시스템의 편의성과 효율성을 향상시킬 수 있는 효과가 있다.In addition, according to the real-time VR conference system and method for sharing a specific location indication on a 3D object in a virtual space of the present invention, multiple users can accurately share a specific location indication on a 3D object in a virtual space in real time. By facilitating communication between users in non-face-to-face meetings, it has the effect of improving the convenience and efficiency of the VR conference system.
도 1은 본 발명의 일실시예에 따른 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템의 구성 예시도 이다.Figure 1 is an example configuration of a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
도 2은 본 발명의 일실시예에 따른 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템의 동작을 설명하기 위한 도면이다.Figure 2 is a diagram for explaining the operation of a real-time VR conference system that can share a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
도 3은 본 발명에서 3D 오브젝트의 특정 위치 측정을 위해 사용하는 레이캐스팅(Raycasting) 기법의 원리에 대해 설명하기 위한 도면이다.Figure 3 is a diagram to explain the principles of the raycasting technique used in the present invention to measure the specific position of a 3D object.
도 4는 본 발명의 일실시예에 따른 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템에서 3D 오브젝트의 특정 위치 표시를 공유하는 방법을 설명하기 위한 도면이다.FIG. 4 is a diagram illustrating a method of sharing a specific location indication of a 3D object in a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
도 5는 본 발명의 일실시예에 따른 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템에서 3D 오브젝트의 특정 위치 표시를 공유하는 동작을 나타내는 동작 흐름도 이다.Figure 5 is an operation flowchart showing an operation of sharing a specific location indication of a 3D object in a real-time VR conference system capable of sharing a specific location indication of a 3D object in a virtual space according to an embodiment of the present invention.
이하, 본 발명의 실시를 위한 구체적인 실시예를 첨부된 도면들을 참조하여 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, specific embodiments for carrying out the present invention will be described with reference to the attached drawings. However, various changes can be made to the embodiments, so the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes for the embodiments are included in the scope of rights.
본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. In describing the present invention, terms such as first and second may be used to describe various components, but the components may not be limited by the terms. Terms are intended only to distinguish one component from another. For example, a first component may be referred to as a second component, and similarly, the second component may be referred to as a first component without departing from the scope of the present invention.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.When a component is mentioned as being connected or connected to another component, it can be understood that it may be directly connected to or connected to the other component, but other components may exist in between. .
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. The terms used herein are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions may include plural expressions, unless the context clearly dictates otherwise.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다. In this specification, terms such as include or have are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, including one or more other features or numbers, It can be understood that the existence or addition possibility of steps, operations, components, parts, or combinations thereof is not excluded in advance.
또한, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여 하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Additionally, the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation. In the description with reference to the accompanying drawings, identical components will be assigned the same reference numerals regardless of the reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiments, if it is determined that detailed descriptions of related known technologies may unnecessarily obscure the gist of the embodiments, the detailed descriptions are omitted.
이하, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 일실시예에 따른 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템의 구성 예시도 이다.Figure 1 is an example configuration of a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템은 서버(110), 가상회의 운영 단말(120), 및 사용자 단말(131-133)을 포함한다. 여기서, 서버(110), 가상회의 운영 단말(120), 및 사용자 단말(131-133)은 유무선 통신을 통해 데이터를 교환할 수 있도록 이루어져 있다. Referring to FIG. 1, a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention includes a server 110, a virtual conference operation terminal 120, and a user terminal. Includes (131-133). Here, the server 110, the virtual meeting operation terminal 120, and the user terminals 131-133 are configured to exchange data through wired and wireless communication.
이러한 본 발명의 VR 회의시스템은 VR(Virtual reality) 기술을 통해 VR 회의를 제공할 수 있으며, 360° VR 가상 회의를 위한 가상의 공간을 구성할 수 있다. The VR conference system of the present invention can provide a VR conference through VR (Virtual reality) technology and can configure a virtual space for a 360° VR virtual conference.
여기서, 서버(110)는 서버(110)를 이용하여 서비스를 제공하는 자가 보유한 자체 서버 또는 클라우드 서버일 수 있으며, 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능, 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다.Here, the server 110 may be an in-house server or a cloud server owned by the person providing the service using the server 110, and has all the calculation functions, storage/reference functions, input/output functions, and control functions of a normal computer. Or it may be configured to perform some operations.
또한, 서버(110)는 가상 회의 플랫폼(140)을 구비하고, 이러한 가상 회의 플랫폼(140)을 통해 가상 VR 회의를 위한 가상의 공간을 제공할 수 있다. 즉, 서버(110)는 가상 회의 플랫폼(140)을 통해 VR 기술을 접목시켜 360° VR 가상 회의실을 포함하는 가상의 공간을 구성할 수 있다. Additionally, the server 110 is equipped with a virtual meeting platform 140 and can provide a virtual space for a virtual VR meeting through the virtual meeting platform 140. That is, the server 110 can configure a virtual space including a 360° VR virtual meeting room by incorporating VR technology through the virtual meeting platform 140.
이때, 가상의 공간은 3D 모델링과 VR 기술을 접목한 방식일 수 있는데, 구체적으로 서버(110)는 가상 3D 회의실 및 회의 논의 대상이 되는 가상 3D 오브젝트(object)를 생성할 수 있다. 구현예에 따라서, 가상 3D 회의실은 각 회의실 만의 특정 컨셉을 구현할 수도 있다. 예를 들어, A 회의실은 일반회의실 그래픽으로, B 회의실은 연구실 그래픽으로, C구역은 제조공장 그래픽으로 렌더링(rendering)할 수 있다.At this time, the virtual space may be a method that combines 3D modeling and VR technology. Specifically, the server 110 may create a virtual 3D conference room and a virtual 3D object that is the subject of meeting discussion. Depending on the implementation, the virtual 3D conference room may implement a specific concept unique to each conference room. For example, conference room A can be rendered with general conference room graphics, conference room B can be rendered with laboratory graphics, and area C can be rendered with manufacturing plant graphics.
가상회의 운영 단말(120) 및 사용자 단말(131-133)은 가상 회의 플랫폼(140)을 통해 서버(110)와 데이터를 주고받을 수 있다.The virtual conference operation terminal 120 and the user terminals 131-133 may exchange data with the server 110 through the virtual conference platform 140.
여기서, 가상회의 운영 단말(120)은 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰, VR 기기 등일 수 있다. 즉, 도 1에서 가상회의 운영 단말(120)은 데스크탑일 수 있으며, 실시예에 따라서는 노트북이나 태블릿이 될 수도 있다. 또한, 가상회의 운영 단말(120)은 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능, 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다.Here, the virtual meeting operation terminal 120 may be a desktop computer, laptop, tablet, smartphone, VR device, etc. That is, in FIG. 1, the virtual meeting operation terminal 120 may be a desktop, and depending on the embodiment, it may be a laptop or tablet. Additionally, the virtual meeting operation terminal 120 may be configured to perform all or part of the calculation function, storage/reference function, input/output function, and control function of a typical computer.
한편, 회의 운영 계정(151-153)은 가상회의 운영 단말(120)을 통해 가상 회의 플랫폼(140)에 접속할 수 있으며, 회의 운영 계정(151-153)은 가상 회의 플랫폼(140)에서 회의 운영 아바타로 표현될 수 있다. Meanwhile, the meeting management account (151-153) can access the virtual meeting platform 140 through the virtual meeting management terminal 120, and the meeting management account (151-153) can access the meeting management avatar on the virtual meeting platform 140. It can be expressed as
여기서, 회의 운영 아바타는 사용자 계정(161-163)과 연동된 사용자 아바타와 인터랙션할 수 있다. 인터랙션이 이루어질 경우 미리 정의된 동작이 수행될 수 있는데, 가령 회의 운영 아바타와 연동된 회의 운영 계정과, 사용자 아바타와 연동된 사용자 계정 간에 채팅이 이루어질 수 있다.Here, the meeting management avatar may interact with the user avatar linked to the user account 161-163. When an interaction occurs, a predefined action may be performed. For example, a chat may occur between a meeting management account linked to a meeting management avatar and a user account linked to the user avatar.
사용자 단말(131-133)은 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰, VR 기기 등일 수 있으며, 일예로 도 1에서 제 1 사용자 단말(131)은 스마트폰일 수 있고, 제 2 사용자 단말(132)은 데스크탑, 제 3 사용자 단말(133)은 노트북일 수 있다. 또한, 사용자 단말(131-133)들은 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능, 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다.The user terminals 131-133 may be desktop computers, laptops, tablets, smartphones, VR devices, etc. For example, in FIG. 1, the first user terminal 131 may be a smartphone, and the second user terminal 132 may be a smartphone. The desktop and third user terminal 133 may be a laptop. Additionally, the user terminals 131-133 may be configured to perform all or part of the calculation function, storage/reference function, input/output function, and control function of a typical computer.
한편, 사용자 계정(161-163)은 사용자 단말(131-133)을 통해 가상 회의 플랫폼(140)에 접속할 수 있다. 즉, 각각의 사용자 단말(131-133)은 가상 회의 플랫폼(140)을 통해 서버(110)와 연결될 수 있다.Meanwhile, user accounts 161-163 may access the virtual conference platform 140 through user terminals 131-133. That is, each user terminal 131-133 may be connected to the server 110 through the virtual conference platform 140.
사용자 계정(161-163)은 가상 회의 플랫폼(140)에서 사용자 아바타로 표현될 수 있으며, 사용자 아바타는 전술한 회의 운영 아바타와 인터랙션할 수 있다. 인터랙션이 이루어질 경우, 미리 정의된 동작이 수행될 수 있는데, 가령 인터랙션이 이루어질 경우 회의 운영 아바타와 연동된 회의 운영 계정과, 사용자 아바타와 연동된 사용자 계정 간의 채팅이 이루어질 수 있다.User accounts 161-163 may be represented by user avatars in the virtual conference platform 140, and the user avatars may interact with the conference management avatars described above. When an interaction occurs, a predefined operation may be performed. For example, when an interaction occurs, a chat may occur between a meeting management account linked to a meeting management avatar and a user account linked to the user avatar.
한편, 설명의 편의를 위해 도 1에서는 하나의 가상회의 운영 단말(120)과 3 대의 사용자 단말(131-133)만을 도시했으나, 각각의 단말의 수는 얼마든지 달라질 수 있다. 서버(110)의 처리 용량이 허용하는 한, 각각의 단말의 수는 특별한 제한이 없다.Meanwhile, for convenience of explanation, only one virtual meeting operation terminal 120 and three user terminals 131 to 133 are shown in FIG. 1, but the number of each terminal may vary. As long as the processing capacity of the server 110 allows, the number of each terminal is not particularly limited.
또한, 설명의 편의를 위해 도 1에서는 가상회의 운영 단말(120)과 사용자 단말(131-133)을 별도의 기기로 표시하였으나, 구현예에 따라서는 가상회의 운영 단말과 사용자 단말을 하나의 단말로 통합 수행하는 것도 가능하다.In addition, for convenience of explanation, the virtual conference operation terminal 120 and the user terminals 131-133 are shown as separate devices in FIG. 1, but depending on the implementation, the virtual conference operation terminal and the user terminal are treated as one terminal. Integration is also possible.
이하에서, 도 2 를 참조하여 본 발명의 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템이 VR 회의를 구현하는 동작에 대해 설명한다. Hereinafter, with reference to FIG. 2, the operation of implementing a VR conference by a real-time VR conference system capable of sharing a specific position indication on a 3D object in a virtual space of the present invention will be described.
도 2은 본 발명의 일실시예에 따른 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템의 동작을 설명하기 위한 도면이다.Figure 2 is a diagram for explaining the operation of a real-time VR conference system that can share a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
도 2 를 참조하면, 우선, 서버(110)는 가상회의 운영 단말(120)로부터 회의 정보를 획득할 수 있다 (S201). 여기서, 회의 정보는 VR 회의에 참여하고자 하는 참석자 정보, 회의실 사이즈 및 위치 등을 포함할 수 있다. Referring to FIG. 2, first, the server 110 may obtain meeting information from the virtual meeting operation terminal 120 (S201). Here, the meeting information may include information on attendees who wish to participate in the VR meeting, conference room size and location, etc.
이때, 회의 운영 계정(151-153)이 가상회의 운영 단말(120)에 로그인한 상태일 수 있으며, 서버(110)는 가상 회의 플랫폼(140)에 접속한 가상회의 운영 단말(120)로 회의 정보 입력 UI(User Interface)를 포함하는 시각적 구성을 전송할 수 있다. 또한, 서버(110)는 회의 운영 계정(151-153)이 회의 정보 입력 UI를 통해 입력한 회의 정보를 업로드 받을 수 있다.At this time, the meeting management account (151-153) may be logged in to the virtual meeting operating terminal 120, and the server 110 may provide meeting information to the virtual meeting operating terminal 120 connected to the virtual meeting platform 140. A visual configuration including an input UI (User Interface) can be transmitted. Additionally, the server 110 may upload meeting information entered by the meeting management accounts 151-153 through the meeting information input UI.
다음으로, 서버(110)는 회의 정보를 기초로 가상 회의실을 생성할 수 있다 (S202).Next, the server 110 may create a virtual conference room based on the conference information (S202).
이때, 서버(110)는 회의 운영 계정(151-153)이 입력한 회의 정보를 기초로, 가상 회의실의 위치 및 사이즈를 결정할 수 있다. 또한, 서버(110)는 가상 회의실의 성격 및 요구사항에 따른 미리 정의된 템플릿을 이용하여 가상 회의실의 기본 외관을 생성할 수 있다. At this time, the server 110 may determine the location and size of the virtual conference room based on the conference information entered by the conference management accounts 151-153. Additionally, the server 110 may create the basic appearance of the virtual conference room using a predefined template according to the characteristics and requirements of the virtual conference room.
이어서, 서버(110)는 가상회의 운영 단말(120)로부터 적어도 하나의 회의용 3D 오브젝트(object)를 획득할 수 있다 (S203).Subsequently, the server 110 may obtain at least one 3D object for a meeting from the virtual meeting operation terminal 120 (S203).
여기서, 회의용 3D 오브젝트는 해당 VR 회의에서 사용자들이 논의할 3D 모델링 리소스(3D Model resource) 일 수 있다. 예를 들어, VR 회의에서 논의될 제품이 신규 모델의 자동차 이라면, 회의용 3D 오브젝트는 해당 차량의 3D 모델링 리소스 일 수 있다. 또는 VR 회의에서 논의될 제품이 신규 모델의 휴대폰 이라면, 회의용 3D 오브젝트는 해당 휴대폰의 3D 모델링 리소스 일 수 있다. Here, the 3D object for the meeting may be a 3D modeling resource (3D Model resource) to be discussed by users in the corresponding VR meeting. For example, if the product to be discussed in a VR meeting is a new model car, the 3D object for the meeting may be a 3D modeling resource for the vehicle. Alternatively, if the product to be discussed in the VR meeting is a new model mobile phone, the 3D object for the meeting may be a 3D modeling resource for the mobile phone.
이후, 서버(110)는 가상 회의실에 적어도 하나의 회의용 3D 오브젝트를 반영할 수 있다 (S204).Thereafter, the server 110 may reflect at least one conference 3D object in the virtual conference room (S204).
이때, 서버(110)는 가상 회의실의 성격 및 요구사항에 따른 미리 정의된 렌더링을 3D 오브젝트에 수행할 수 있다. 미리 정의된 렌더링은 가상 회의실에 따른 색감, 질감, 조명 톤 등을 포함할 수 있다. 이를 통해, 가상 회의실에 포함되는 3D 오브젝트가 전체적으로 부자연스럽지 않게 연출될 수 있다.At this time, the server 110 may perform predefined rendering on the 3D object according to the characteristics and requirements of the virtual meeting room. Predefined renderings can include colors, textures, lighting tones, etc. depending on the virtual meeting room. Through this, 3D objects included in the virtual meeting room can be presented without looking unnatural.
이어서, 서버(110)는 각각의 사용자 단말(131-133)을 통해 가상 회의실에 접속한 각각의 사용자 계정(161-163)을 각각의 사용자 아바타로 표현할 수 있다(S205).Subsequently, the server 110 may represent each user account 161 - 163 connected to the virtual conference room through each user terminal 131 - 133 as each user avatar (S205).
이때, 사용자 계정들(161-163)은 사용자 단말(131-133)에서 로그인하여 가상 회의 플랫폼(140)을 통해 가상 회의실에 접속할 수 있으며, 서버(110)는 가상 회의실에 접속한 사용자 계정들(161-163)을 사용자 아바타로 렌더링할 수 있다. At this time, the user accounts 161-163 can log in from the user terminals 131-133 and access the virtual conference room through the virtual conference platform 140, and the server 110 can access the virtual conference room using user accounts ( 161-163) can be rendered as a user avatar.
일예로, 사용자 아바타는 이동하기, 주변 둘러보기, 대화하기, 및 선택하기 등의 동작이 수행 가능한 3D 인간형 아바타일 수 있다. 또한 사용자 아바타의 모습은 실사를 기반으로 모델링되거나 캐릭터화된 것일 수 있고, 또는 커스터마이징이 가능한 모습일 수 있다.For example, the user avatar may be a 3D humanoid avatar capable of performing actions such as moving, looking around, talking, and making selections. Additionally, the appearance of the user avatar may be modeled or characterized based on real-life images, or may be customizable.
이후, 서버(110)는 VR 회의에서 각각의 사용자 아바타가 적어도 하나의 사용자 인터랙션 요소의 미리 정의된 동작과 일치하는 동작을 수행하는 경우, 이에 대응하는 사용자 인터랙션 요소의 미리 정의된 인터랙션을 수행할 수 있다(S206).Thereafter, the server 110 may perform the predefined interaction of the corresponding user interaction element when each user avatar in the VR meeting performs an action that matches the predefined action of at least one user interaction element. There is (S206).
여기서, 사용자 인터랙션 요소의 미리 정의된 동작은 다양한 동작이 있을 수 있으며, 일예로서 다른 사용자 아바타를 클릭하는 경우 해당 사용자 아바타의 사용자 계정과 채팅이 가능하도록 할 수 있다.Here, the predefined actions of the user interaction element may include various actions. For example, when clicking on another user avatar, chatting with the user account of that user avatar may be possible.
한편, 본 발명에서는 이러한 사용자 인터랙션 요소의 미리 정의된 동작을 회의용 3D 오브젝트와 연계하고 있다. Meanwhile, in the present invention, the predefined actions of these user interaction elements are linked to 3D objects for meetings.
즉, 어느 한 사용자 아바타가 회의용 3D 오브젝트 상의 특정 위치를 선택하여 포인팅(pointing)하는 경우, 서버(110)는 포인팅된 3D 오브젝트 상의 특정 위치를 사용자 계정(161-163)이 로그인한 사용자 단말(131-133) 모두로 전송하여 공유하도록 한다.That is, when a user avatar selects and points to a specific location on a 3D object for a meeting, the server 110 selects the specific location on the pointed 3D object to the user terminal 131 where the user account 161-163 is logged in. -133) Send it to everyone and share it.
이하, 본 발명의 서버(110)가 포인팅된 3D 오브젝트 상의 특정 위치를 사용자 계정(161-163)이 로그인한 사용자 단말(131-133) 모두로 전송하여 공유하는 동작에 대해 도 3 내지 도 5를 참조하여 설명한다.Hereinafter, FIGS. 3 to 5 will be described for the operation of the server 110 of the present invention transmitting and sharing a specific location on a pointed 3D object to all user terminals 131-133 to which user accounts 161-163 are logged in. Please refer to and explain.
먼저, 본 발명에서 사용하고 있는 레이캐스팅(Raycasting) 기법에 대해 도 3을 참조하여 설명한다. 도 3은 본 발명에서 3D 오브젝트의 특정 위치 측정을 위해 사용하는 레이캐스팅(Raycasting) 기법의 원리에 대해 설명하기 위한 도면이다.First, the raycasting technique used in the present invention will be described with reference to FIG. 3. Figure 3 is a diagram to explain the principles of the raycasting technique used in the present invention to measure the specific position of a 3D object.
본 발명에서는 가상의 3차원 공간에서 좌표를 얻기 위해 레이캐스팅(Raycasting) 기법을 사용한다. 레이캐스팅(Raycasting) 기법이란 가상의 공간에 보이지 않는 빛(Ray)를 투사해서 빛에 닿는 표면을 파악하는 기술이다.In the present invention, raycasting technique is used to obtain coordinates in virtual three-dimensional space. Raycasting is a technique that projects invisible light (ray) into a virtual space and identifies the surface that the light touches.
즉, 사용자가 터치한 스크린(Screen)의 터치 포인트(touch point)로부터 카메라(Camera)가 바라보고 있는 전방(Forward)으로 레이캐스팅(Raycasting)을 수행하고, 3D 오브젝트를 기준으로 충돌포인트(Collision point) 좌표를 측정한다. 해당 좌표는 공간 상 3차원 좌표로서, (x,y,z) 로 표시될 수 있다.In other words, raycasting is performed from the screen touch point touched by the user to the forward direction the camera is looking at, and the collision point is based on the 3D object. ) Measure the coordinates. The coordinates are three-dimensional coordinates in space and can be expressed as (x,y,z).
본 발명에서는 이를 통해 3D 오브젝트 표면에서 사용자가 지칭하는 곳의 좌표를 얻어 서버(110)로 정보를 전송하여 다른 사용자들에게 전달한다. 이때, 3D 오브젝트 표면에서 사용자가 지칭하는 곳의 좌표에는 소정의 효과(effect)를 생성하여 표시해 줄 수 있다. 일예로, 소정의 효과(effect)는 레이저 포인트(Laser point) 표시 일 수 있다.In the present invention, through this, the coordinates of the location indicated by the user on the surface of the 3D object are obtained and the information is transmitted to the server 110 and delivered to other users. At this time, a predetermined effect can be created and displayed at the coordinates of the location indicated by the user on the surface of the 3D object. For example, a predetermined effect may be a laser point display.
또한, 본 발명에서는 가상의 공간에서 해당 좌표에 이러한 이벤트(Event)를 발생시킨 사용자 아바타와, 발생 지점을 선으로 연결하여 줌으로써, 어떤 사용자가 이벤트를 발생시켰는지 알 수 있도록 제공해 줄 수 있다. In addition, the present invention can provide information on which user generated the event by connecting the user avatar who generated the event at the corresponding coordinates in virtual space and the point of occurrence with a line.
다음, 도 4 및 도 5를 참조하여 본 발명에서 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유하는 방법에 대해 설명한다.Next, with reference to FIGS. 4 and 5 , a method for sharing a specific location indication on a 3D object in virtual space will be described in the present invention.
도 4는 본 발명의 일실시예에 따른 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템에서 3D 오브젝트의 특정 위치 표시를 공유하는 방법을 설명하기 위한 도면이다. 또한, 도 5는 본 발명의 일실시예에 따른 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템에서 3D 오브젝트의 특정 위치 표시를 공유하는 동작을 나타내는 동작 흐름도 이다.FIG. 4 is a diagram illustrating a method of sharing a specific location indication of a 3D object in a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention. In addition, Figure 5 is an operation flowchart showing an operation of sharing a specific location indication of a 3D object in a real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space according to an embodiment of the present invention.
먼저, 어느 한 사용자(사용자1)의 사용자 단말에서 3D 오브젝트(Object) 상의 특정 위치가 터치되면, 3D 오브젝트 상의 특정 위치에 해당하는 좌표(x,y,z)가 측정 및 저장된다(S510).First, when a specific location on a 3D object is touched on the user terminal of a user (User 1), the coordinates (x, y, z) corresponding to the specific location on the 3D object are measured and stored (S510).
이때, 사용자1 은 도 4에서와 같이 한국에 위치한 사용자 일 수 있다.At this time, User 1 may be a user located in Korea, as shown in FIG. 4.
본 발명에서, 3D 오브젝트 상의 특정 위치에 해당하는 좌표(x,y,z)를 측정하는 방식은 상술한 바와 같은 도 3의 레이캐스팅(Raycasting) 기법을 적용한다. 즉, 사용자가 터치한 스크린(Screen)의 터치 포인트(touch point)로부터 카메라(Camera)가 바라보고 있는 전방(Forward)으로 레이캐스팅(Raycasting)을 수행하고, 3D 오브젝트를 기준으로 충돌포인트(Collision point) 좌표를 측정한다. 이때, 해당 좌표는 공간 상 3차원 좌표로서, (x,y,z) 로 표시될 수 있다.In the present invention, the method of measuring coordinates (x, y, z) corresponding to a specific position on a 3D object applies the raycasting technique of FIG. 3 as described above. In other words, raycasting is performed from the touch point of the screen touched by the user to the forward direction where the camera is looking, and the collision point is based on the 3D object. ) Measure the coordinates. At this time, the coordinates are three-dimensional coordinates in space and can be expressed as (x,y,z).
이어서, 사용자1의 사용자 단말은 저장된 공간 상 3차원 좌표(x,y,z)를 서버(110)에 송신하고, 서버(110)는 이를 수신하여 저장한다(S520).Next, User 1's user terminal transmits the 3D coordinates (x, y, z) in the stored space to the server 110, and the server 110 receives and stores them (S520).
이후, 서버(110)는 수신한 공간 상 3차원 좌표(x,y,z)를 3D 오브젝트(Object)를 보고 있는 공유 대상의 다른 사용자들(사용자2, 사용자3)에게 송출한다(S530). 이때, 사용자2, 사용자3 은 도 4에서와 같이 미국 LA에 위치한 원거리의 사용자 일 수 있다.Afterwards, the server 110 transmits the received spatial 3D coordinates (x, y, z) to other users (User 2 and User 3) who are sharing the 3D object (S530). At this time, User 2 and User 3 may be remote users located in LA, USA, as shown in FIG. 4.
이어서, 해당 공간 상 3차원 좌표(x,y,z)를 수신한 다른 사용자들(사용자2, 사용자3)의 사용자 단말은 3D 오브젝트의 앵커(anchor) 기준으로 출력하여 표시한다(S540). 이때, 표시하는 방식의 일예로서 레이저 포인트(Laser point) 표시를 사용할 수 있다. Subsequently, the user terminals of other users (User 2 and User 3) that have received the 3D coordinates (x, y, z) in the corresponding space output and display them based on the anchor of the 3D object (S540). At this time, a laser point display can be used as an example of a display method.
또한, 본 발명에서는 해당 좌표에 이러한 이벤트(Event)를 발생시킨 사용자 아바타와, 발생 지점을 선으로 연결하여 줌으로써, 어떤 사용자가 이벤트를 발생시켰는지 알 수 있도록 제공해 줄 수 있다.Additionally, the present invention can provide information on which user generated the event by connecting the user avatar that generated the event to the coordinates and the point of occurrence with a line.
이상과 같은 본 발명에서는, 공간 상 3차원 좌표(x,y,z) 값이 3D 오브젝트의 픽셀 값으로 표시가 가능하기 때문에 오차 없이 정확하게 표시 가능하며, 이를 통해 원거리로 떨어져 있는 VR 회의의 사용자들 일지라도 어느 한 사용자가 지칭하고 있는 가상 공간의 3D 오브젝트 상의 특정 위치 표시를 다수의 사용자가 정확히 공유할 수 있다.In the present invention as described above, 3D coordinates (x, y, z) values in space can be displayed as pixel values of 3D objects, so they can be displayed accurately without error, and this allows users of VR meetings who are far away. However, multiple users can accurately share a specific location indication on a 3D object in a virtual space that one user is referring to.
상술한 구성의 본 발명의 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템 및 방법은 가상의 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 다수의 사용자가 정확히 공유할 수 있도록 함으로써, 비대면 회의에서의 사용자 간 의사소통을 원활하게 할 수 있다. 또한, 가상의 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 다수의 사용자가 실시간으로 정확히 공유하여 비대면 회의에서의 사용자 간 의사소통을 원활하게 함으로써, VR 회의시스템의 편의성과 효율성을 향상시킬 수 있다.The real-time VR conference system and method for sharing a specific position indication on a 3D object in a virtual space of the present invention of the above-described configuration allows multiple users to accurately share a specific position indication on a 3D object in a virtual space. By doing so, communication between users in non-face-to-face meetings can be facilitated. In addition, the convenience and efficiency of the VR conference system can be improved by facilitating communication between users in non-face-to-face meetings by sharing specific location indications on 3D objects in a virtual space accurately in real time with multiple users.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소 (processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서 (parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA). It may be implemented using one or more general-purpose or special-purpose computers, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may perform an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. Computer-readable media may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. A hardware device may be configured to operate as one or more software modules to perform the operations of an embodiment, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on this. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the following claims.
본 발명은 가상현실(Virtual Reality; VR)에 기반한 회의시스템 및 방법에 관한 것으로서, 가상현실 분야에 이용가능 하다.The present invention relates to a conference system and method based on virtual reality (VR), and can be used in the field of virtual reality.

Claims (14)

  1. 가상현실(Virtual Reality; VR)에 기반한 회의시스템으로서,As a conference system based on Virtual Reality (VR),
    가상 회의 플랫폼을 구비하고, 상기 가상 회의 플랫폼을 통해 가상 VR 회의를 위한 가상 회의실을 제공하는 서버; A server equipped with a virtual conference platform and providing a virtual conference room for a virtual VR conference through the virtual conference platform;
    상기 가상 회의 플랫폼을 통해 상기 서버와 데이터를 송수신하고, 상기 가상 VR 회의를 위한 회의 정보를 상기 서버에 송신하는 가상회의 운영 단말; 및A virtual conference operation terminal that transmits and receives data to and from the server through the virtual conference platform and transmits conference information for the virtual VR conference to the server; and
    상기 가상 회의 플랫폼을 통해 상기 서버와 연결되고, 상기 가상 VR 회의를 위한 가상 회의실에 접속할 수 있는 사용자 단말;a user terminal connected to the server through the virtual conference platform and capable of accessing a virtual conference room for the virtual VR conference;
    을 포함하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템.A real-time VR conference system that can share specific location indications on 3D objects in a virtual space including.
  2. 제1항에 있어서,According to paragraph 1,
    상기 가상 VR 회의를 위한 회의 정보는, Meeting information for the virtual VR meeting is:
    상기 가상 VR 회의에 대한 참석자 정보, 회의실 위치 및 사이즈, 회의용 3D 오브젝트(object) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템.A real-time VR meeting system that can share a specific location indication on a 3D object in a virtual space, comprising at least one of participant information for the virtual VR meeting, meeting room location and size, and a 3D object for the meeting. .
  3. 제2항에 있어서,According to paragraph 2,
    상기 서버는,The server is,
    상기 가상 VR 회의를 위한 회의 정보를 기초로 상기 가상 회의실을 생성하고,Creating the virtual meeting room based on meeting information for the virtual VR meeting,
    상기 회의용 3D 오브젝트(object)를 상기 가상 회의실에 반영하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템.A real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space, characterized in that the conference 3D object is reflected in the virtual conference room.
  4. 제3항에 있어서,According to paragraph 3,
    상기 서버는,The server is,
    상기 가상회의 운영 단말을 통해 상기 가상 회의실에 접속한 회의 운영 계정은 회의 운영 아바타로 표현하고,The meeting management account connected to the virtual conference room through the virtual meeting management terminal is expressed as a meeting management avatar,
    상기 사용자 단말을 통해 상기 가상 회의실에 접속한 사용자 계정은 사용자 아바타로 표현하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템.A real-time VR conference system capable of sharing a specific location indication on a 3D object in a virtual space, wherein the user account connected to the virtual conference room through the user terminal is represented by a user avatar.
  5. 제4항에 있어서,According to paragraph 4,
    상기 서버는,The server is,
    어느 한 사용자 아바타가 상기 회의용 3D 오브젝트 상의 특정 위치를 선택하여 포인팅(pointing)하는 경우, 포인팅된 3D 오브젝트 상의 특정 위치를 상기 사용자 계정이 로그인한 사용자 단말 모두로 전송하여 공유하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템.A virtual space characterized in that when a user avatar selects and points to a specific location on the 3D object for a meeting, the specific location on the pointed 3D object is transmitted and shared to all user terminals to which the user account is logged in. A real-time VR conference system that can share specific location indications on 3D objects in .
  6. 제5항에 있어서,According to clause 5,
    어느 한 사용자 단말에서 상기 회의용 3D 오브젝트(Object) 상의 특정 위치가 터치되면, 상기 어느 한 사용자 단말은 상기 회의용 3D 오브젝트 상의 특정 위치에 해당하는 공간 상 3차원 좌표(x,y,z)를 측정 및 저장하는 한편, 상기 서버에 송신하고,When a specific location on the 3D object for a conference is touched by a user terminal, the user terminal measures three-dimensional coordinates (x, y, z) in space corresponding to a specific location on the 3D object for a conference. While storing and transmitting to the server,
    상기 서버는 수신한 공간 상 3차원 좌표(x,y,z)를 상기 회의용 3D 오브젝트(Object)를 보고 있는 공유 대상의 다른 사용자의 사용자 단말로 송출하고,The server transmits the received spatial 3D coordinates (x, y, z) to the user terminal of another user who is viewing the conference 3D object,
    상기 공간 상 3차원 좌표(x,y,z)를 수신한 상기 다른 사용자의 사용자 단말은 이를 상기 회의용 3D 오브젝트의 앵커(anchor) 기준으로 출력하여 표시하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템.The other user's user terminal, which has received the three-dimensional coordinates (x, y, z) in the space, outputs and displays them based on the anchor of the conference 3D object. A real-time VR conference system that can share specific location indications.
  7. 제6항에 있어서,According to clause 6,
    상기 어느 한 사용자 단말이 상기 회의용 3D 오브젝트 상의 특정 위치에 해당하는 공간 상 3차원 좌표(x,y,z)를 측정하는 것은,When the user terminal measures three-dimensional coordinates (x, y, z) in space corresponding to a specific location on the conference 3D object,
    레이캐스팅(Raycasting) 기법을 토대로 이루어지는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템.A real-time VR conference system that can share specific location indications on 3D objects in virtual space, characterized by being based on raycasting techniques.
  8. 제6항에 있어서,According to clause 6,
    상기 표시하는 방식은 레이저 포인트(Laser point) 표시를 사용하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템.A real-time VR conference system that can share a specific location indication on a 3D object in a virtual space, characterized in that the display method uses a laser point display.
  9. 제6항에 있어서,According to clause 6,
    상기 공간 상 3차원 좌표(x,y,z)에 이벤트(Event)를 발생시킨 사용자 아바타와, 발생 지점을 선으로 연결하여 줌으로써, 어떤 사용자가 상기 이벤트를 발생시켰는지 알 수 있도록 제공하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의시스템.By connecting the user avatar who generated the event to the three-dimensional coordinates (x, y, z) in the space and the point of occurrence with a line, it is characterized by providing information on which user generated the event. A real-time VR conference system that can share specific location indications on 3D objects in a virtual space.
  10. 가상현실(Virtual Reality; VR)에 기반한 회의시스템의 동작 방법으로서,As a method of operating a conference system based on virtual reality (VR),
    서버가 가상회의 운영 단말로부터 회의 정보를 획득하고, 이를 기초로 가상 회의실을 생성하는 단계;A server acquiring meeting information from a virtual meeting operating terminal and creating a virtual meeting room based on this;
    상기 서버가 상기 가상회의 운영 단말로부터 적어도 하나의 회의용 3D 오브젝트(object)를 획득하고, 이를 상기 가상 회의실에 반영하는 단계;The server acquiring at least one 3D object for a conference from the virtual conference operation terminal and reflecting the acquired 3D object in the virtual conference room;
    상기 서버는 각각의 사용자 단말을 통해 상기 가상 회의실에 접속한 각각의 사용자 계정을 각각의 사용자 아바타로 표현하는 단계; 및The server representing each user account connected to the virtual conference room through each user terminal as each user avatar; and
    상기 서버는 각각의 사용자 아바타가 적어도 하나의 사용자 인터랙션 요소의 미리 정의된 동작과 일치하는 동작을 수행하는 경우, 이에 대응하는 사용자 인터랙션 요소의 미리 정의된 인터랙션을 수행하는 단계;를 포함하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의 방법.When each user avatar performs an action matching the predefined action of at least one user interaction element, the server performs a predefined interaction of the corresponding user interaction element; A real-time VR conferencing method that allows sharing of specific location representations on 3D objects.
  11. 제10항에 있어서,According to clause 10,
    상기 사용자 인터랙션 요소의 미리 정의된 인터랙션을 수행하는 단계는,The step of performing a predefined interaction of the user interaction element is,
    어느 한 사용자 단말에서 상기 회의용 3D 오브젝트(Object) 상의 특정 위치가 터치되면, 상기 어느 한 사용자 단말은 상기 회의용 3D 오브젝트 상의 특정 위치에 해당하는 공간 상 3차원 좌표(x,y,z)를 측정 및 저장하는 한편, 상기 서버에 송신하는 단계;When a specific location on the 3D object for a conference is touched by a user terminal, the user terminal measures three-dimensional coordinates (x, y, z) in space corresponding to a specific location on the 3D object for a conference. storing and transmitting to the server;
    상기 서버는 수신한 공간 상 3차원 좌표(x,y,z)를 상기 회의용 3D 오브젝트(Object)를 보고 있는 공유 대상의 다른 사용자의 사용자 단말로 송출하는 단계; 및The server transmitting the received spatial 3D coordinates (x, y, z) to the user terminal of another user who is viewing the conference 3D object (Object); and
    상기 공간 상 3차원 좌표(x,y,z)를 수신한 상기 다른 사용자의 사용자 단말은 이를 상기 회의용 3D 오브젝트의 앵커(anchor) 기준으로 출력하여 표시하는 단계;를 포함하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의 방법.The user terminal of the other user receiving the 3D coordinates (x, y, z) in the space outputs and displays them based on the anchor of the 3D object for the meeting. A virtual space comprising a. A real-time VR conferencing method that allows sharing of specific location representations on 3D objects in .
  12. 제11항에 있어서,According to clause 11,
    상기 어느 한 사용자 단말이 상기 회의용 3D 오브젝트 상의 특정 위치에 해당하는 공간 상 3차원 좌표(x,y,z)를 측정하는 것은,When the user terminal measures three-dimensional coordinates (x, y, z) in space corresponding to a specific location on the conference 3D object,
    레이캐스팅(Raycasting) 기법을 토대로 이루어지는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의 방법.A real-time VR meeting method that can share a specific location indication on a 3D object in a virtual space, characterized by being based on a raycasting technique.
  13. 제11항에 있어서,According to clause 11,
    상기 표시하는 방식은,The method of displaying the above is,
    레이저 포인트(Laser point) 표시를 사용하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의 방법.A real-time VR meeting method capable of sharing a specific position indication on a 3D object in a virtual space, characterized by using a laser point indication.
  14. 제11항에 있어서, According to clause 11,
    상기 공간 상 3차원 좌표(x,y,z)에 이벤트(Event)를 발생시킨 사용자 아바타와, 발생 지점을 선으로 연결하여 줌으로써, 어떤 사용자가 상기 이벤트를 발생시켰는지 알 수 있도록 제공하는 것을 특징으로 하는 가상 공간에 있는 3D 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 VR 회의 방법.By connecting the user avatar who generated the event to the three-dimensional coordinates (x, y, z) in the space and the point of occurrence with a line, it is characterized by providing a way to know which user generated the event. A real-time VR meeting method that allows sharing of a specific location indication on a 3D object in a virtual space.
PCT/KR2023/008831 2022-06-30 2023-06-26 Real-time vr conference system and method capable of sharing specific location indication on 3d object in virtual space WO2024005473A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0080912 2022-06-30
KR1020220080912A KR20240002829A (en) 2022-06-30 2022-06-30 Real-time virtual reality conference system for sharing of pointed location on 3D object in virtual space and method thereof

Publications (1)

Publication Number Publication Date
WO2024005473A1 true WO2024005473A1 (en) 2024-01-04

Family

ID=89380853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008831 WO2024005473A1 (en) 2022-06-30 2023-06-26 Real-time vr conference system and method capable of sharing specific location indication on 3d object in virtual space

Country Status (2)

Country Link
KR (1) KR20240002829A (en)
WO (1) WO2024005473A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120026899A (en) * 2010-09-10 2012-03-20 엘지전자 주식회사 Mobile twrminal and screen configuration controlling method thereof
KR20190028238A (en) * 2017-09-08 2019-03-18 삼성전자주식회사 Method for controlling a pointer in a screen of virtual reality and electronic device
KR20200017373A (en) * 2019-10-16 2020-02-18 김보언 Method, apparatus and program for providing virtual reality event including unique venue
KR102259350B1 (en) * 2019-12-24 2021-06-01 주식회사 브이알미디어 Remote support system based on augmented reality and operation method thereof
KR20220029451A (en) * 2020-08-28 2022-03-08 티엠알더블유 파운데이션 아이피 에스에이알엘 System and method enabling interactions in virtual environments

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102292606B1 (en) 2021-03-30 2021-08-24 주식회사 에이드소프트 System for providing conference service using virtual reality based on meeting, incentive travel, convention, exhibition and event industry

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120026899A (en) * 2010-09-10 2012-03-20 엘지전자 주식회사 Mobile twrminal and screen configuration controlling method thereof
KR20190028238A (en) * 2017-09-08 2019-03-18 삼성전자주식회사 Method for controlling a pointer in a screen of virtual reality and electronic device
KR20200017373A (en) * 2019-10-16 2020-02-18 김보언 Method, apparatus and program for providing virtual reality event including unique venue
KR102259350B1 (en) * 2019-12-24 2021-06-01 주식회사 브이알미디어 Remote support system based on augmented reality and operation method thereof
KR20220029451A (en) * 2020-08-28 2022-03-08 티엠알더블유 파운데이션 아이피 에스에이알엘 System and method enabling interactions in virtual environments

Also Published As

Publication number Publication date
KR20240002829A (en) 2024-01-08

Similar Documents

Publication Publication Date Title
US20220319139A1 (en) Multi-endpoint mixed-reality meetings
US20160074757A1 (en) Single user multiple presence in multi-user game
WO2016173357A1 (en) Method and device for implementing multimedia conference
WO2023128305A1 (en) Method for user image data matching in metaverse-based office environment, storage medium in which program for executing same is recorded, and user image data matching system including storage medium
WO2015008932A1 (en) Digilog space creator for remote co-work in augmented reality and digilog space creation method using same
WO2023128308A1 (en) Method for controlling user image data in metaverse-based office environment, storage medium having program executing same recorded thereon, and user image data control system comprising same
US20180123816A1 (en) Collaboration environments and views
CN116310062A (en) Three-dimensional scene construction method and device, storage medium and electronic equipment
JP2023082119A (en) Virtual scene information interaction method, device, electronic device, storage medium and computer program
CN114667496A (en) Providing a continuous virtual space for multiple display devices
US20220086204A1 (en) Communication system, communication terminal, and screen sharing method
WO2021187646A1 (en) Method and system for conducting conference by using avatar
CN112423142B (en) Image processing method, device, electronic equipment and computer readable medium
WO2024005473A1 (en) Real-time vr conference system and method capable of sharing specific location indication on 3d object in virtual space
US20230370686A1 (en) Information display method and apparatus, and device and medium
WO2024005472A1 (en) Real-time vr conference system and method capable of sharing memo linked to specific location on 3d object in virtual space
WO2023128309A1 (en) Method for controlling display in metaverse-based office environment, storage medium in which program for executing same is recorded, and display control system comprising same
WO2023128307A1 (en) Method for displaying user image data in metaverse-based office environment, storage medium in which program for executing same is recorded, and user image data display system comprising same
WO2021187647A1 (en) Method and system for expressing avatar imitating user's motion in virtual space
CN107885811B (en) Shared file display method, device, equipment and storage medium
CN111696214A (en) House display method and device and electronic equipment
US11876843B2 (en) Method, apparatus, medium and electronic device for generating round-table video conference
JP7364833B1 (en) Apparatus and method for sharing 3D models by web conference participants
JP7229628B1 (en) Program, information processing device, information processing system, information processing method
WO2024080851A1 (en) Method and device for concurrently participating in multiple events in virtual space

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831833

Country of ref document: EP

Kind code of ref document: A1