WO2020032469A1 - 가상현실 이벤트 제공방법, 장치 및 프로그램 - Google Patents

가상현실 이벤트 제공방법, 장치 및 프로그램 Download PDF

Info

Publication number
WO2020032469A1
WO2020032469A1 PCT/KR2019/009534 KR2019009534W WO2020032469A1 WO 2020032469 A1 WO2020032469 A1 WO 2020032469A1 KR 2019009534 W KR2019009534 W KR 2019009534W WO 2020032469 A1 WO2020032469 A1 WO 2020032469A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual reality
information
avatar
terminal
participant
Prior art date
Application number
PCT/KR2019/009534
Other languages
English (en)
French (fr)
Inventor
김보언
Original Assignee
김보언
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김보언 filed Critical 김보언
Publication of WO2020032469A1 publication Critical patent/WO2020032469A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present invention relates to a virtual reality event providing method, apparatus and program.
  • Virtual reality is the interface between a human and a computer that artificially creates a particular environment or situation, making it as if the person using it interacts with the real world's surroundings and environment.
  • the term virtual reality refers to artificial reality, cyberspace, virtual worlds, virtual environment, synthetic environment, artificial environment, augmented reality It may be used interchangeably with terms such as reality and mixed reality.
  • the purpose of using virtual reality is to allow people to see and manipulate what is in the environment without having to first-hand experience an environment that is difficult to experience in everyday life.
  • Applications include education, remote control, remote satellite surface sensing and exploration. Data analysis and scientific visualization.
  • MICE is an abbreviation of English letters such as meetings, incentive trips, conventions, exhibitions and events. In a narrow sense, MICE is a promising industry centered around international conferences and exhibitions. In the broader sense, it means a convergence industry that includes participant-centered reward tourism and mega events.
  • the problem to be solved by the present invention is to provide a virtual reality event providing method, apparatus and program.
  • a method of providing a virtual reality event receiving user information from at least one virtual reality terminal (S101), at least one participant terminal and at least one virtual reality terminal.
  • S102 classifying the visitor terminal as above, obtaining background information, person information, and object information for generating a virtual reality image, wherein the person information includes user information received from the at least one participant terminal; S103), generating a virtual reality image using the obtained background information, person information, and object information (S104) and providing the generated virtual reality image to the one or more virtual reality terminals (S105).
  • a MICE service such as a large-scale meeting using virtual reality, it is possible to increase the accessibility of users and to save money, and to provide a free MICE service without time and space constraints. .
  • FIG. 1 is a diagram illustrating a system according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating a virtual reality event participation method according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a method of providing a virtual reality event, according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a method of providing a virtual reality event in a background of a unique venue according to an embodiment.
  • FIG. 5 is a flowchart illustrating a method of providing a virtual reality event including an avatar according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a method of processing a time point of a virtual reality event, according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a method of generating an observer avatar according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating a method of providing a virtual reality event based on an actual event according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a method of processing interaction between avatars according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating a method of assisting a virtual reality event, according to an exemplary embodiment.
  • FIG. 11 is a block diagram of an apparatus according to an embodiment.
  • a method of providing a virtual reality event receiving user information from at least one virtual reality terminal (S101), at least one participant terminal and at least one virtual reality terminal.
  • S102 classifying the visitor terminal as above, obtaining background information, person information, and object information for generating a virtual reality image, wherein the person information includes user information received from the at least one participant terminal; S103), generating a virtual reality image using the obtained background information, person information, and object information (S104) and providing the generated virtual reality image to the one or more virtual reality terminals (S105).
  • the acquiring of the background information may include acquiring information on one or more unique venues (S106), and the step (S104) may include virtual reality having at least one of the one or more unique venues as a background. It may include the step of generating an image (S107).
  • the step S104 may include generating an avatar corresponding to each of the one or more participant terminals (S108) and generating a virtual reality image including the generated avatar (S109).
  • the step S105 may include providing the virtual reality image to the at least one participant terminal, wherein the viewpoint of the virtual reality image provided to the at least one participant terminal corresponds to each of the avatars corresponding to the at least one participant terminal.
  • Fixed to a position (S110) and providing the virtual reality image to the at least one observer terminal, wherein the viewpoint of the virtual reality image provided to the at least one observer terminal is set to be changed by a user (step S111) may be included.
  • operation S104 when the first observer terminal, which is one of the one or more observer terminals, satisfies a preset condition, generating the avatar corresponding to the first observer terminal (S112). Generating a virtual reality image including an avatar corresponding to an observer terminal (S113) and providing the virtual reality image generated in the step S113 to the one or more user terminals (S114).
  • the viewpoint of the virtual reality image provided to the first observer terminal may be fixed to the position of the avatar corresponding to the first observer terminal.
  • the step (S103), the information about the event actually proceeds, the information on the event includes a step (S115), including an image taken at the actual event site, the step In operation S104, a virtual reality image including the captured image may be generated (S116).
  • the step S116 may include obtaining information on a background, a person, and an object included in the captured image (S117), based on information on the background, the person, and the object obtained in the step (S117). Modeling the background, a person, and an object (S118), identifying a site participant of the event among the person included in the photographed image (S119), based on the information about the modeled person; Generating a first avatar corresponding to the field participant identified in S119 (S120), generating a second avatar corresponding to each of the one or more participant terminals (S121) and the modeled background, object, and person.
  • step (S105) comprises: a first field participant corresponding to the first avatar from the captured image; of Obtaining motion information (S123), determining the motion of the first avatar based on the obtained motion information (S124), and obtaining reaction information on the virtual reality image from the at least one participant terminal ( S125, determining an operation of the second avatar based on the reaction information (S126), and determining an interaction between the first avatar and the second avatar based on the operations of the first avatar and the second avatar.
  • a step S128 of applying a predetermined effect to the virtual reality image based on the interaction S127).
  • step (S128) the step of obtaining the voice of the first field participant from the terminal of the first field participant (S129), the step of extracting text from the voice of the first field participant (S130), the Translating the extracted text (S131), converting the translated text into voice (S132), transferring the converted voice to a first participant terminal corresponding to the second avatar (S133), and Generating a speech bubble image including the translated text (S134), displaying the speech bubble image on a virtual reality image provided to the first participant terminal (S135), and searching for information corresponding to the translated text.
  • Step S136 generating one or more responses to the translated text based on the retrieved information, S137, and generating the retrieved information and the one or more responses to the first participant stage. It may include providing a horse (S138).
  • An apparatus for providing a virtual reality event for solving the above problems includes a memory for storing one or more instructions and a processor for executing the one or more instructions stored in the memory, the processor Receiving the user information from at least one virtual reality terminal by executing the above instructions, classifying the at least one virtual reality terminal into at least one participant terminal and at least one observer terminal, background information for generating a virtual reality image, Acquiring person information and object information, wherein the person information includes user information received from the at least one participant terminal, and generating a virtual reality image using the obtained background information, person information, and object information. And the generated virtual reality image Providing to the at least one virtual reality terminal may be performed.
  • a computer program stored in a computer-readable recording medium to perform the virtual reality event providing method according to the computer, which is a hardware.
  • part or module refers to a hardware component such as software, FPGA or ASIC, and the “part” or “module” plays certain roles. However, “part” or “module” is not meant to be limited to software or hardware.
  • the “unit” or “module” may be configured to be in an addressable storage medium or may be configured to play one or more processors.
  • a “part” or “module” may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. Functions provided within components and “parts” or “modules” may be combined into smaller numbers of components and “parts” or “modules” or into additional components and “parts” or “modules”. Can be further separated.
  • spatially relative terms below “, “ beneath “, “ lower”, “ above “, “ upper” It can be used to easily describe a component and its correlation with other components. Spatially relative terms are to be understood as including terms in different directions of components in use or operation in addition to the directions shown in the figures. For example, when flipping a component shown in the drawing, a component described as “below” or “beneath” of another component may be placed “above” the other component. Can be. Thus, the exemplary term “below” can encompass both an orientation of above and below. Components may be oriented in other directions as well, so spatially relative terms may be interpreted according to orientation.
  • a computer refers to any kind of hardware device including at least one processor, and according to an embodiment, it may be understood as a meaning encompassing a software configuration that operates on the hardware device.
  • a computer may be understood as including, but not limited to, a smartphone, a tablet PC, a desktop, a notebook, and a user client and an application running on each device.
  • the virtual reality and the virtual reality image is not limited to the virtual reality (VR) and the VR image, but the virtual reality (VR, Virtual Reality), virtual reality image, Augmented Reality (AR, Augmented Reality) and augmented reality image , Mixed Reality (MR) and Mixed Reality images and general images are all included, but are not limited thereto and are used to include all kinds of images mixed with reality, virtual reality and virtual reality.
  • VR virtual reality
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Mixed Reality
  • Mixed Reality images and general images are all included, but are not limited thereto and are used to include all kinds of images mixed with reality, virtual reality and virtual reality.
  • embodiments of the method using the virtual reality equipment disclosed herein are applied to both virtual reality (VR), augmented reality (AR, Augmented Reality), mixed reality (MR, Mixed Reality) and general video It will be apparent to those skilled in the art that the possibilities are possible.
  • the virtual reality and the virtual reality image is not limited to the virtual reality (VR) and the VR image, but the virtual reality (VR, Virtual Reality), virtual reality image, Augmented Reality (AR, Augmented Reality) and augmented reality image , Mixed Reality (MR) and Mixed Reality images and general images are all included, but are not limited thereto and are used to include all kinds of images mixed with reality, virtual reality and virtual reality.
  • VR virtual reality
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Mixed Reality
  • Mixed Reality images and general images are all included, but are not limited thereto and are used to include all kinds of images mixed with reality, virtual reality and virtual reality.
  • FIG. 1 is a diagram illustrating a system according to an exemplary embodiment.
  • one or more users 10, 20, and 30, virtual reality terminals 12, 22, and 32 of each user, and user terminals 14, 24, and 34 of each user are shown, respectively. .
  • the virtual reality terminals 12, 22, and 32 may be configured in the form of a head mount display (HMD), but is not limited thereto.
  • HMD head mount display
  • the user terminals 14, 24, and 34 may be smart phones, but are not limited thereto and may include all kinds of computing devices including at least one processor.
  • the server 100 may be a cloud server.
  • each user 10, 20, and 30 is provided with a virtual reality event through the server 100.
  • the virtual reality event may include all kinds of events provided in the virtual space, and may include various MICE events provided in the virtual space according to the embodiment.
  • MICE is a term that is taken from the English letters such as meeting, incentive trip, convention, exhibition and event (Exhibition & Event), in a narrow sense international conferences and exhibitions It is a promising industry centered on the core, and the broad concept refers to the convergence industry including participant-centered reward tourism and mega events.
  • the meaning of MICE herein is not limited to the term itself, and may be used in various terms according to time and region.
  • the virtual reality event may be an event only in the virtual space, or may be performed together with an event in the real space.
  • the virtual space may be generated based on the event scene of the real space.
  • At least some of the users 10, 20, and 30 may identify each other's avatars in the virtual reality space provided through the virtual reality event.
  • the avatar may have the same shape as each user, but may have various shapes such as the shape of a specific character or another person.
  • the virtual reality event may mean a conference held in the virtual reality space.
  • the virtual reality event may include a participant who directly participates in the conference and an observer who observes the conference.
  • At least some of the users 10, 20, and 30 may be participants, and others may be observers.
  • both the participant and the observer's avatar may be displayed in the virtual reality space.
  • the number of observers can be very large (eg hundreds, thousands or more). Therefore, in this case, only the participants are displayed in the virtual reality space, and the observer may observe the event proceeding in the virtual reality space at a desired time point or a designated time point.
  • the user terminals 14, 24, and 34 may receive a virtual reality image corresponding to a virtual reality event from the server 100, and receive the virtual reality image from the server 100, 12, 22, and 32. Can be displayed.
  • the background of the virtual reality space in which the virtual reality event is provided may be configured with various unique vanes.
  • Unique Venue is a combination of 'unique' and 'vanue', which means places such as old houses, museums, villages, and other themes that are unique to the culture and characteristics of the region.
  • 'unique' and 'vanue' means places such as old houses, museums, villages, and other themes that are unique to the culture and characteristics of the region.
  • Unique Venue is not limited to the above description, and may include a daily background or a landscape of each region. Unique Venues can also include virtual backgrounds that reflect the historical and historical backgrounds of the past as well as each region. In addition, the unique Venue may include the future background expected according to the urban planning of each region, and may also include various imaginary backgrounds created by the imagination, without being limited to a specific kind.
  • the background can be set in various ways in addition to a specific area, and when the entire schedule is replaced by virtual reality, the problem of moving lines is solved, so that groups can be selected and selected based on the preferences regardless of distance or moving lines. By displaying them in the background of the virtual reality image, it is possible to indirectly visit many places that members prefer.
  • part of the actual MICE event may be replaced with a virtual reality event.
  • a MICE event may consist of a group comprising one or more events and corresponding places, and the computer may determine whether to replace virtual reality for at least some of the one or more places included in the group.
  • a MICE event is a reward tour to an employee
  • the computer may decide to replace the place with virtual reality.
  • a tour when a tour includes a schedule to be visited using a virtual reality service, the schedule may be provided as a virtual reality service using a display device in the accommodation, such as on the move (in a bus) or after finishing a schedule. have.
  • the computer provides a page for purchasing specialties or souvenirs that can be purchased at the place, and the ordered products can be delivered to the orderer's accommodation.
  • the computer may generate MICE package information including information about the selected group and information about the virtual reality service.
  • one or more events and places may be grouped, details may be set, and a MICE package including information on whether virtual reality is replaced or the like may be generated by the above-described method.
  • the computer can save each setting for later reuse or recommend it to other users.
  • the computer may post the MICE package information, for example, the computer may post the MICE package information through the network in an online space such as a shopping mall or a bulletin board, and apply for each MICE package through the application. Reservations can be made.
  • the computer may provide a platform service for brokering, selling, and providing various real and virtual reality MICE services based on a preset MICE package.
  • the virtual reality event may also be used for pre-exploration of the actual MICE event.
  • the user can collect the necessary information through the virtual reality image without actually going to each place.
  • the computer may virtually visit and experience places included in the MICE event through virtual reality, and may update the virtual reality image to reflect real-time information.
  • users can obtain up-to-date information by collecting and reflecting changes in real time, such as when a place is under construction, a road is under control, a restaurant is closed or closed, or a hotel reservation is changed. By doing so, it is possible to provide a service that can replace the actual survey.
  • information exchanged through the conference may be organized and recorded by artificial intelligence, and the contents of the conference may be disclosed to outside observers according to an embodiment.
  • the number of participants may be limited, but in the case of a conference using virtual reality, observers or attendants other than the participant may watch a conference video in the corresponding space.
  • the server 100 may be managed by a subject providing a virtual reality event, or may be managed by a subject providing a platform or a solution for providing a virtual reality event.
  • the subject providing the virtual reality event may request the participants and observers to pay a fee for participating in the virtual reality event.
  • the payment method of the fee is not limited, and according to an embodiment, payment may be made to the server 100 in the virtual reality device or the user terminal of the participant and the observer.
  • the fee payment method is not limited, but, for example, a fee may be set for each session of the virtual reality event, a fee may be set for each day, and a fee may be set based on the access time and the number of times.
  • the server 100 When the server 100 is managed by a subject providing a platform or a solution for providing a virtual reality event, the subject providing the virtual reality event may be charged by the participants and observers as in the above-described embodiment. A part or a predetermined contract may be paid to a subject managing the server 100 as a fee for using the platform.
  • FIG. 2 is a diagram illustrating a virtual reality event participation method according to an exemplary embodiment.
  • a system for providing a virtual reality event may include a server 100, a participant 200, and an observer 300.
  • the participant 200 is displayed on the virtual reality image
  • the observer 300 is not displayed on the virtual reality image, but the virtual reality at a specific time point or at any point in time. Visit the conference.
  • some of the participants 200 may be converted to observers 300, and some of the visitors 300 may be converted to participants 200.
  • the converted user 400 is no longer displayed in the virtual reality space.
  • the converted user 400 is displayed in the virtual reality space.
  • a participant or speaker may return to an observer after completing their part, some of the observers may ask questions or participate in a meeting, or an observer 300 who is attending the conference as an observer is waiting on his turn. Participants 200 may be switched to perform a lecture.
  • a lecture or presentation may be provided through a virtual reality event, and a separate space may be created for this purpose.
  • a speaker may present a lecture in a virtual reality space as one of the participants at an existing virtual reality conference, but may also speak in a separate space specialized for a lecture or presentation.
  • a speaker may create a separate virtual reality space for a lecture, inform participants and observers of the virtual reality conference that the space has been created, and participate in the virtual reality conference according to the embodiment. Even outsiders can be notified of the creation of virtual reality space through the network.
  • the virtual reality space is displayed on the virtual reality device of the user who has selected to enter the virtual reality space among the users who have received the notification, and the lecturer may give a lecture in the virtual reality space.
  • Only the avatar of the speaker may be displayed in the virtual reality space, and the audience may not be displayed, but depending on the embodiment, the avatar of the audience may also be displayed. As described with reference to FIG. In the case of an audience, the avatar may be displayed temporarily.
  • the lecture may be performed in real time, but the already recorded lecture may be displayed in the virtual reality space.
  • the types of lectures described in the above-described embodiments are not limited, and various kinds of lectures such as lectures, lectures, presentations, investment descriptions, and IRs may be provided through the virtual reality space.
  • each virtual reality space may be generated and modified by the lecturer, and according to an embodiment, a suitable structure and background may be automatically generated based on the contents of the lecture.
  • FIG. 3 is a flowchart illustrating a method of providing a virtual reality event, according to an exemplary embodiment.
  • FIGS. 3 to 10 may be performed in the server 100 illustrated in FIG. 1, but are not limited thereto.
  • each step is described as being performed by a computer, it is also possible that some or all of the steps are performed by another entity.
  • step S101 the computer receives user information from one or more virtual reality terminals.
  • the user information may include participants and observers as shown in FIGS. 1 and 2.
  • step S102 the computer classifies the one or more virtual reality terminals into one or more participant terminals and one or more observer terminals.
  • step S103 the computer obtains background information, person information, and object information for generating a virtual reality image, wherein the person information includes user information received from the one or more participant terminals.
  • the background information may include information for generating an image or an image to be a background of the virtual reality image.
  • the person information may include information about persons to be included in the virtual reality image, that is, participants.
  • the object information may include information about objects to be included in the virtual reality image.
  • step S104 the computer generates a virtual reality image using the obtained background information, person information, and object information.
  • the computer generates a virtual reality image by setting a background in the virtual reality space and placing a person and an object.
  • the generated virtual reality image may be observed from various viewpoints, and reflects the change of the background, the person, and the object included in the virtual reality image in real time.
  • step S105 the computer provides the generated virtual reality image to the one or more virtual reality terminals.
  • FIG. 4 is a flowchart illustrating a method of providing a virtual reality event in a background of a unique venue according to an embodiment.
  • the computer may perform the step (S106) of acquiring information on one or more unique Venues.
  • the computer may perform an operation S107 of generating a virtual reality image having at least one of the one or more unique venues as a background.
  • the computer may provide a virtual reality event having a background of various kinds of unique venues as described above.
  • FIG. 5 is a flowchart illustrating a method of providing a virtual reality event including an avatar according to an exemplary embodiment.
  • step S104 the computer may perform step S108 of generating an avatar corresponding to each of the one or more participant terminals.
  • the computer may generate a virtual reality image including the generated avatar.
  • the type of the avatar is not limited, and the computer may generate an avatar corresponding to the participants to be displayed on the virtual reality image, and place the avatar at the position of each participant.
  • FIG. 6 is a flowchart illustrating a method of processing a time point of a virtual reality event, according to an exemplary embodiment.
  • step S105 the computer provides the virtual reality image to the at least one participant terminal, and the viewpoint of the virtual reality image provided to the at least one participant terminal corresponds to the avatar corresponding to the at least one participant terminal, respectively. Fixed to the position of, step S110 may be performed.
  • the computer may provide the virtual reality image to the one or more observer terminals, and the viewpoint of the virtual reality image provided to the one or more observer terminals may be set to be changed by a user (S111). have.
  • each participant's viewpoint may be fixed to the position where the avatar of each participant is actually disposed to prevent confusion.
  • the viewpoint may be fixed to the position of the avatar's eyes, but the viewpoint may also move accordingly when the avatar's eyes are moved. .
  • Each participant is provided with a virtual reality image based on a fixed viewpoint.
  • the observer since the observer is not displayed on the virtual reality image, the observer may observe the virtual reality event at a desired time point.
  • the observer's viewpoint may be limited as a range, and a range of positions where the viewpoint cannot be arranged may also be set.
  • the computer may calculate a range of viewpoints for viewing information that is difficult to disclose to outsiders, and prohibit observers from moving to the range.
  • the computer may not render the unnecessary parts for the virtual reality event process in order to reduce the load of the virtual reality image generation and viewing, calculate a range of viewpoints for viewing the corresponding part, and observers for the range You can prohibit the movement of the view point.
  • each observer may be provided with a different virtual reality image for each observer's authority.
  • a virtual reality image provided to a high-ranking observer can be given a wider range of choices, and blind users or users who do not have access to specific information can view the information.
  • a virtual reality image in which a viewable range may be blocked may be provided.
  • FIG. 7 is a flowchart illustrating a method of generating an observer avatar according to an exemplary embodiment.
  • the computer may generate an avatar corresponding to the first observer terminal (S112). Can be.
  • the computer may generate a virtual reality image including an avatar corresponding to the first observer terminal.
  • the computer may perform the step S114 of providing the virtual reality image generated in the step S113 to the one or more user terminals.
  • the computer may fix the viewpoint of the virtual reality image provided to the first observer terminal to the position of the avatar corresponding to the first observer terminal.
  • some observers may be changed to participants, and in this case, an avatar of the user who is changed to the participants may be generated and displayed on the virtual reality image.
  • the observer may immediately move from the existing viewpoint position to the position where the avatar will be displayed in the virtual reality image, and the observer's viewpoint may also immediately move.
  • the observer's viewpoint may move from the existing viewpoint position to the moving target position, and when the observer's viewpoint enters a preset range (for example, on stage or pulpit, etc.), an avatar of the observer is generated.
  • the generated avatar may be displayed at the viewpoint position of the observer. Thereafter, the avatar may move along the viewpoint position of the observer. If the observer is out of the preset range, the observer's avatar may be removed from the virtual reality image.
  • FIG. 8 is a flowchart illustrating a method of providing a virtual reality event based on an actual event according to an exemplary embodiment.
  • the computer may obtain information about the event actually proceeding, the information about the event may include the step (S115) including an image taken at the actual event site. .
  • the computer may perform an operation S116 of generating a virtual reality image including the captured image.
  • the computer may acquire a 360 degree image captured at the actual event site.
  • the computer may build a 3D virtual reality space by performing 3D rendering for building a virtual reality image based on a 360 degree image.
  • the computer may generate a virtual reality image including the 360-degree image actually taken as a background and a perspective, and include a viewer's view of each virtual reality image and surrounding objects and persons of the viewer in the near distance.
  • the computer may generate a mixed reality image in which a virtual object and a person are added to an actual event in a virtual reality space, and provide the generated image.
  • the event actually proceeding can be participated using virtual reality.
  • a user proceeding with an actual event may wear event information in a virtual space by wearing an augmented reality device, and may interact with participants and observers of the virtual space.
  • FIG. 9 is a flowchart illustrating a method of processing interaction between avatars according to an exemplary embodiment.
  • the computer may perform operation S117 of obtaining information about a background, a person, and an object included in the captured image.
  • the computer may perform the step S118 of modeling the background, the person, and the object based on the obtained information on the background, the person, and the object. That is, the computer may acquire information for 3D virtual space modeling from the captured real event image and model the 3D virtual space.
  • the computer may perform a step S119 of identifying a field participant of the event among persons included in the captured image.
  • the computer may utilize image analysis to identify participants participating in the event at the site of the actual event.
  • the computer may generate a first avatar corresponding to the scene participant identified in the step S119 based on the information about the modeled person, in step S120. That is, the computer may generate an avatar corresponding to the actual field participant and display the avatar on the virtual reality image.
  • the viewpoint may be fixed to the viewpoint of the first avatar.
  • the computer may generate a second avatar corresponding to each of the one or more participant terminals (S121).
  • the computer may generate a virtual reality image including the modeled background, an object, a person, the first avatar, and the second avatar.
  • the computer may perform the step (S123) of obtaining the operation information of the first field participant corresponding to the first avatar from the captured image.
  • the computer may perform an operation (S124) of determining the operation of the first avatar based on the obtained operation information.
  • the computer may analyze the captured image to recognize and determine the motion of the field participant included in the captured image.
  • the computer may perform a step of obtaining reaction information on the virtual reality image from the at least one participant terminal (S125).
  • the computer may perform an operation (S126) of determining an operation of the second avatar based on the reaction information.
  • the computer may determine the operation of the second avatar displayed in the virtual reality space by analyzing the reaction of the virtual reality device user.
  • the computer may determine an interaction between the first avatar and the second avatar based on operations of the first avatar and the second avatar.
  • the computer may perform a step (S128) of applying a preset effect to the virtual reality image based on the interaction.
  • the effect may be applied to the virtual reality image.
  • the contact portion may be displayed to shine in the virtual reality image.
  • the first avatar and the second avatar may be displayed to shine, and the output of voices of the first avatar and the second avatar may be increased.
  • the observer when a specific observer pointed to by the first avatar is selected according to the movement of the first avatar, and the observer responds with an action or voice, the observer is converted into a participant to generate an avatar. It can be displayed on the virtual reality image.
  • FIG. 10 is a flowchart illustrating a method of assisting a virtual reality event, according to an exemplary embodiment.
  • the computer may perform the step (S129) of obtaining the voice of the first field participant from the terminal of the first field participant.
  • the computer may perform the step (S130) of extracting text from the voice of the first field participant.
  • the computer may perform the step S131 of translating the extracted text.
  • the computer may perform the step S132 of converting the translated text into voice.
  • the computer may perform the step (S133) of delivering the converted voice to the first participant terminal corresponding to the second avatar.
  • the computer may translate the voice of the field participant and deliver the voice to the participant of the virtual reality event.
  • the computer may perform a step S134 of generating a speech bubble image including the translated text.
  • the computer may perform the step of displaying the speech bubble image on the virtual reality image provided to the first participant terminal (S135).
  • the computer translates the contents of the first participant's speech in the virtual reality space and displays them on the virtual reality image, thereby facilitating the recognition of the utterance subject and grasping the contents without language problems.
  • the computer may perform a step S136 of searching for information corresponding to the translated text.
  • the computer may extract one or more keywords from the translated text, and may determine the content of the translated text using natural language processing (NLP).
  • NLP natural language processing
  • the computer may perform step S137 of generating one or more responses to the translated text based on the retrieved information.
  • the computer may generate a response based on a keyword included in the translated text, or generate a corresponding response when a question included in the translated text is recognized.
  • the computer may perform the step of providing the retrieved information and the one or more responses to the first participant terminal (S138).
  • the computer may search for information on the meaning of the keyword included in the utterance or related issues and display the information on the virtual reality image.
  • the computer may translate and display the utterances of the talker in the virtual space or the real space, and may also display the corresponding response in the virtual reality space.
  • the computer may translate the response and deliver it to the talker.
  • FIG. 11 is a block diagram of an apparatus according to an embodiment.
  • the processor 102 may include a connection passage (eg, a bus, etc.) that transmits and receives signals with one or more cores (not shown) and graphics processing unit (not shown) and / or other components. .
  • a connection passage eg, a bus, etc.
  • the processor 102 executes one or more instructions stored in the memory 104 to perform the method described in connection with FIGS. 3-10.
  • the processor 102 receives user information from one or more virtual reality terminals by executing one or more instructions stored in memory, classifies the one or more virtual reality terminals into one or more participant terminals and one or more observer terminals, Acquire background information, person information, and object information for generating a virtual reality image, wherein the person information includes user information received from the at least one participant terminal, and uses the obtained background information, person information, and object information. Generate a virtual reality image, and provide the generated virtual reality image to the one or more virtual reality terminals.
  • the processor 102 may include random access memory (RAM) and read-only memory (ROM) for temporarily and / or permanently storing a signal (or data) processed in the processor 102. , Not shown) may be further included.
  • the processor 102 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processor, a RAM, and a ROM.
  • SoC system on chip
  • the memory 104 may store programs (one or more instructions) for processing and controlling the processor 102. Programs stored in the memory 104 may be divided into a plurality of modules according to functions.
  • the steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, in a software module executed by hardware, or by a combination thereof.
  • the software module may be a random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art.
  • the components of the present invention may be implemented in a program (or an application) and stored in a medium to be executed in combination with a computer which is hardware.
  • the components of the present invention may be implemented in software programming or software elements, and similarly, embodiments include C, C ++, including various algorithms implemented in combinations of data structures, processes, routines, or other programming constructs. It may be implemented in a programming or scripting language such as Java, assembler, or the like. Functional aspects may be implemented in algorithms running on one or more processors.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컴퓨터에 의하여 수행되는 방법으로서, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계, 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계, 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계, 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계를 포함하는, 가상현실 이벤트 제공방법이 개시된다.

Description

가상현실 이벤트 제공방법, 장치 및 프로그램
본 발명은 가상현실 이벤트 제공방법, 장치 및 프로그램에 관한 것이다.
가상현실(Virtual Reality)은 어떤 특정한 환경이나 상황을 인위적으로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황 및 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터 사이의 인터페이스를 말한다. 가상현실이란 말은 인공현실(artificial reality), 사이버 공간(cyberspace), 가상세계(virtual worlds), 가상환경(virtual environment), 합성환경(synthetic environment), 인공환경(artificial environment), 증강현실(augmented reality), 혼합현실(mixed reality) 등의 용어로 혼용되기도 한다.
가상현실의 사용 목적은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해주는 것으로서, 그 응용분야는 교육, 원격조작, 원격위성 표면탐사, 탐사자료분석, 과학적 시각화(scientific visualization) 등이다.
MICE는 기업회의(Meeting), 포상관광(Incentive trip), 컨벤션(Convention), 전시박람회와 이벤트(Exhibition&Event) 등의 영문 앞 글자를 딴 용어로, 좁은 의미에서는 국제회의와 전시회를 주축으로 한 유망 산업을 뜻하며, 광의적 개념으로는 참여자 중심의 보상관광과 메가 이벤트 등을 포함하는 융복합산업을 뜻한다.
본 발명이 해결하고자 하는 과제는 가상현실 이벤트 제공방법, 장치 및 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 가상현실 이벤트 제공방법은, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계(S101), 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계(S102), 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계(S103), 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계(S104) 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계(S105)를 포함한다.
개시된 실시 예에 따르면, 가상현실을 이용하여 대규모 회의 등 MICE 서비스를 제공함으로써, 사용자들의 접근성을 높이고 비용을 절약할 수 있으며, 시간과 공간의 제약 없이 자유로운 MICE 서비스를 제공할 수 있도록 하는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따른 가상현실 이벤트 참여방법을 도시한 도면이다.
도 3은 일 실시 예에 따른 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 4는 일 실시 예에 따른 유니크 베뉴를 배경으로 하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따라 아바타를 포함하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 6은 일 실시 예에 따른 가상현실 이벤트의 시점 처리방법을 도시한 흐름도이다.
도 7은 일 실시 예에 따라 참관자 아바타를 생성하는 방법을 도시한 흐름도이다.
도 8은 일 실시 예에 따라 실제 이벤트에 기반한 가상현실 이벤트를 제공하는 방법을 도시한 흐름도이다.
도 9는 일 실시 예에 따라 아바타 간의 인터렉션을 처리하는 방법을 도시한 흐름도이다.
도 10은 일 실시 예에 따라 가상현실 이벤트를 보조하는 방법을 도시한 흐름도이다.
도 11은 일 실시 예에 따른 장치의 구성도이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 가상현실 이벤트 제공방법은, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계(S101), 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계(S102), 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계(S103), 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계(S104) 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계(S105)를 포함한다.
또한, 상기 배경정보를 획득하는 단계는, 하나 이상의 유니크 베뉴에 대한 정보를 획득하는 단계(S106)를 포함하고, 상기 단계(S104)는, 상기 하나 이상의 유니크 베뉴 중 적어도 하나를 배경으로 하는 가상현실 영상을 생성하는 단계(S107)를 포함할 수 있다.
또한, 상기 단계(S104)는, 상기 하나 이상의 참여자 단말에 각각 대응하는 아바타를 생성하는 단계(S108) 및 상기 생성된 아바타를 포함하는 가상현실 영상을 생성하는 단계(S109)를 포함할 수 있다.
또한, 상기 단계(S105)는, 상기 하나 이상의 참여자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참여자 단말에 제공되는 가상현실 영상의 시점은, 상기 하나 이상의 참여자 단말에 각각 대응하는 상기 아바타의 위치로 고정되는, 단계(S110) 및 상기 하나 이상의 참관자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참관자 단말에 제공되는 가상현실 영상의 시점은 사용자에 의하여 변경될 수 있도록 설정되는, 단계(S111)를 포함할 수 있다.
또한, 상기 단계(S104)는, 상기 하나 이상의 참관자 단말 중 하나인 제1 참관자 단말이 기 설정된 조건을 만족하는 경우, 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 단계(S112), 상기 제1 참관자 단말에 대응하는 아바타를 포함하는 가상현실 영상을 생성하는 단계(S113) 및 상기 단계(S113)에서 생성된 가상현실 영상을 상기 하나 이상의 사용자 단말에 제공하는 단계(S114)를 포함하고, 상기 단계(S114)에서, 상기 제1 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참관자 단말에 대응하는 아바타의 위치로 고정될 수 있다.
또한, 상기 단계(S103)는, 실제로 진행되는 이벤트에 대한 정보를 획득하되, 상기 이벤트에 대한 정보는 상기 실제로 진행되는 이벤트 현장에서 촬영된 영상을 포함하는, 단계(S115)를 포함하고, 상기 단계(S104)는, 상기 촬영된 영상을 포함하는 가상현실 영상을 생성하는 단계(S116)를 포함할 수 있다.
또한, 상기 단계(S116)는, 상기 촬영된 영상에 포함된 배경, 인물 및 객체에 대한 정보를 획득하는 단계(S117), 상기 단계(S117)에서 획득된 배경, 인물 및 객체에 대한 정보에 기초하여 상기 배경, 인물 및 객체를 모델링하는 단계(S118), 상기 촬영된 영상에 포함된 인물 중 상기 이벤트의 현장참여자를 식별하는 단계(S119), 상기 모델링된 인물에 대한 정보에 기초하여, 상기 단계(S119)에서 식별된 현장참여자에 대응하는 제1 아바타를 생성하는 단계(S120), 상기 하나 이상의 참여자 단말에 각각 대응하는 제2 아바타를 생성하는 단계(S121) 및 상기 모델링된 배경, 객체, 인물과 상기 제1 아바타 및 상기 제2 아바타를 포함하는 가상현실 영상을 생성하는 단계(S122)를 포함하고, 상기 단계(S105)는, 상기 촬영된 영상으로부터 상기 제1 아바타에 대응하는 제1 현장참여자의 동작정보를 획득하는 단계(S123), 상기 획득된 동작정보에 기초하여 상기 제1 아바타의 동작을 판단하는 단계(S124), 상기 하나 이상의 참여자 단말로부터 가상현실 영상에 대한 리액션 정보를 획득하는 단계(S125), 상기 리액션 정보에 기초하여 상기 제2 아바타의 동작을 판단하는 단계(S126), 상기 제1 아바타 및 상기 제2 아바타의 동작에 기초하여 상기 제1 아바타 및 상기 제2 아바타의 인터렉션을 판단하는 단계(S127) 및 상기 인터렉션에 기초하여 상기 가상현실 영상에 기 설정된 효과를 부여하는 단계(S128)를 포함할 수 있다.
또한, 상기 단계(S128)는, 상기 제1 현장참여자의 단말로부터 상기 제1 현장참여자의 음성을 획득하는 단계(S129), 상기 제1 현장참여자의 음성으로부터 텍스트를 추출하는 단계(S130), 상기 추출된 텍스트를 번역하는 단계(S131), 상기 번역된 텍스트를 음성으로 변환하는 단계(S132), 상기 변환된 음성을 상기 제2 아바타에 대응하는 제1 참여자 단말에 전달하는 단계(S133), 상기 번역된 텍스트를 포함하는 말풍선 이미지를 생성하는 단계(S134), 상기 말풍선 이미지를 상기 제1 참여자 단말에 제공되는 가상현실 영상에 표시하는 단계(S135), 상기 번역된 텍스트에 대응하는 정보를 검색하는 단계(S136), 상기 검색된 정보에 기초하여 상기 번역된 텍스트에 대한 하나 이상의 응답을 생성하는 단계(S137) 및 상기 검색된 정보 및 상기 하나 이상의 응답을 상기 제1 참여자 단말에 제공하는 단계(S138)를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 가상현실 이벤트 제공장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계, 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계, 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계, 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계를 수행할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 가상현실 이벤트 제공방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
본 명세서에서, 가상현실 및 가상현실 영상은 VR(Virtual Reality) 및 VR 영상에 제한되는 것이 아니고, 가상현실(VR, Virtual Reality)과 가상현실 영상, 증강현실(AR, Augmented Reality)과 증강현실 영상, 혼합현실(MR, Mixed Reality)과 혼합현실 영상 및 일반 영상을 모두 포함하며, 또한 이에 제한되지 않고 현실, 가상 및 현실과 가상이 혼합된 모든 종류의 영상을 포함하는 의미로 사용된다.
또한, 본 명세서에 개시된 가상현실 장비를 활용하는 방법에 대한 실시 예들은 가상현실(VR, Virtual Reality), 증강현실(AR, Augmented Reality), 혼합현실(MR, Mixed Reality) 및 일반 영상 모두에 적용가능함은 본 기술분야의 통상의 기술자라면 자명하게 이해할 수 있다.
본 명세서에서, 가상현실 및 가상현실 영상은 VR(Virtual Reality) 및 VR 영상에 제한되는 것이 아니고, 가상현실(VR, Virtual Reality)과 가상현실 영상, 증강현실(AR, Augmented Reality)과 증강현실 영상, 혼합현실(MR, Mixed Reality)과 혼합현실 영상 및 일반 영상을 모두 포함하며, 또한 이에 제한되지 않고 현실, 가상 및 현실과 가상이 혼합된 모든 종류의 영상을 포함하는 의미로 사용된다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.
도 1을 참조하면, 하나 이상의 사용자(10, 20 및 30)와 각 사용자의 가상현실 단말(12, 22, 및 32), 그리고 각 사용자의 사용자 단말(14, 24 및 34)이 각각 도시되어 있다.
일 실시 예에서, 가상현실 단말(12, 22 및 32)은 HMD(Head Mount Display)형태로 구성될 수 있으나, 이에 제한되는 것은 아니다.
일 실시 예에서, 사용자 단말(14, 24 및 34)은 스마트폰일 수 있으나, 이에 제한되지 않으며, 적어도 하나의 프로세서를 포함하는 모든 종류의 컴퓨팅 장치를 포함할 수 있다.
도 1을 참조하면, 서버(100)가 도시되어 있다. 서버(100)는 클라우드 서버일 수도 있다.
일 실시 예에서, 각각의 사용자(10, 20 및 30)는 서버(100)를 통하여 가상현실 이벤트를 제공받는다. 일 실시 예에서, 가상현실 이벤트는 가상 공간에서 제공되는 모든 종류의 이벤트를 포함할 수 있으며, 실시 예에 따라 가상 공간에서 제공되는 다양한 MICE 행사를 포함할 수 있다.
한편, 본 명세서에서, MICE는 기업회의(Meeting), 포상관광(Incentive trip), 컨벤션(Convention), 전시박람회와 이벤트(Exhibition&Event) 등의 영문 앞 글자를 딴 용어로, 좁은 의미에서는 국제회의와 전시회를 주축으로 한 유망 산업을 뜻하며, 광의적 개념으로는 참여자 중심의 보상관광과 메가 이벤트 등을 포함하는 융복합산업을 뜻한다. 다만, 본 명세서에서 MICE의 의미는 그 용어 자체에 한정되는 것은 아니고, 시간 및 지역에 따라 다양한 용어로 사용될 수 있다.
예를 들어, 캐나다의 경우 Meeting, Convention and Incentive Travel을 줄여 MC&IT로 사용하고 미국은 ME&I 또는 MEEC (Meetings, Expositions, Events and Conventions)로 사용하고, 싱가포르의 경우 Business Travel & MICE를 줄여서 BT MICE로 사용하는 것과 같이, 각 국가의 산업구조와 정책에 따라 다양한 용어가 사용되고 있다.
일 실시 예에서, 가상현실 이벤트는 가상 공간에서만 이루어지는 이벤트일 수도 있고, 현실 공간에서 이루어지는 이벤트와 함께 진행될 수도 있다. 이 경우, 가상 공간은 현실 공간의 이벤트 현장에 기초하여 생성될 수 있다.
일 실시 예에서, 사용자(10, 20 및 30) 의 적어도 일부는 가상현실 이벤트를 통해 제공되는 가상현실 공간에서 서로의 아바타를 확인할 수 있다. 아바타는 각 사용자와 같은 형상을 할 수도 있으나, 특정 캐릭터나 타인의 형상 등 다양한 형상을 취할 수 있다.
일 실시 예에서, 가상현실 이벤트는 가상현실 공간에서 진행되는 컨퍼런스를 의미할 수 있다. 이 경우, 가상현실 이벤트는 컨퍼런스에 직접 참여하는 참여자와, 컨퍼런스를 참관하는 참관자를 포함할 수 있다.
일 실시 예에서, 사용자들(10, 20 및 30) 중 적어도 일부는 참여자가 될 수 있고, 나머지 일부는 참관자가 될 수 있다. 일 실시 예에서, 가상현실 공간 내에는 참여자 및 참관자의 아바타가 모두 표시될 수 있다. 하지만, 가상현실 공간에서 대규모 컨퍼런스가 진행되는 경우, 참관자의 수가 매우 많을(예를 들어, 수백, 수천명 이상) 수 있다. 따라서, 이 경우 가상현실 공간에는 참여자만이 표시되고, 참관자는 원하는 시점 또는 지정된 시점에서 해당 가상현실 공간에서 진행되는 이벤트를 참관할 수 있다.
일 실시 예에서, 사용자 단말(14, 24 및 34)은 서버(100)로부터 가상현실 이벤트에 대응하는 가상현실 영상을 수신하고, 수신된 가상현실 영상을 가상현실 기기(12, 22 및 32)를 이용하여 표시할 수 있다.
일 실시 예에서, 가상현실 이벤트가 제공되는 가상현실 공간의 배경은 다양한 유니크 베뉴(Unique Vanue)로 구성될 수 있다. 유니크 베뉴는 '유니크(unique: 독특한)'와 '베뉴(vanue: 장소)'의 합성어로, 고유 지역의 문화, 특색을 테마로 한 고택, 박물관, 마을 등의 장소를 의미하고, 예를 들어 유명 관광지 등을 포함할 수 있다.
단, 유니크 베뉴의 정의는 상술한 바에 제한되는 것은 아니고, 각 지역의 일상적인 배경이나 풍경 등을 포함할 수 있다. 또한, 유니크 베뉴는 현대뿐 아니라 각 지역의 과거의 시대상이나 역사적 배경을 반영한 가상의 배경을 포함할 수 있다. 또한, 유니크 베뉴는 이외에도 각 지역의 도시계획에 따라 예상되는 미래의 배경을 포함할 수 있고, 또한 상상에 의하여 창조된 다양한 가상의 배경들을 포함할 수 있으며, 특정한 종류에 제한되지 않는다.
국제 컨퍼런스의 경우, 회의 외에도 해당 지역에 대한 외국 인사들을 위한 관광이나 기타 MICE 행사가 포함되는 경우가 많다. 단, 국제 컨퍼런스를 가상현실 공간에서 진행하는 경우, 해당 지역을 실제로 방문할 필요가 없어지므로, 전체 일정이 가상현실로 대체될 수 있다. 이 경우, 가상현실을 이용한 회의 중에 배경에 다양한 유니크 베뉴들을 표시하면, 해당 지역에 실제로 방문하지 않더라도 간접 체험이 가능하도록 할 수 있다.
또한, 배경은 특정 지역 외에도 다양하게 설정될 수 있으며, 가상현실로 전 일정이 대체되는 경우 동선상의 문제가 해소되므로, 거리나 동선과 무관하게 선호도만을 기초로 하여 장소들을 선택하여 그룹핑하고, 해당 장소들을 가상현실 영상의 배경에 표시함으로써 구성원들이 선호하는 많은 장소들을 간접적으로 방문하는 효과를 줄 수 있다.
일 실시 예에서, 실제 MICE 행사의 일부가 가상현실 이벤트로 대체될 수도 있다.
예를 들어, MICE 행사는 하나 이상의 행사 및 이에 대응하는 장소를 포함하는 그룹으로 구성될 수 있으며, 컴퓨터는 그룹에 포함된 하나 이상의 장소 중 적어도 일부에 대한 가상현실 대체여부를 결정할 수 있다.
예를 들어, MICE 행사가 직원에 대한 포상 관광일 때, 특정 관광지가 공사중이거나 입장이 불가능한 경우가 있을 수 있고, 구성원의 선호도가 높은 장소이나 동선이나 시간관계상 방문이 어려울 수 있다. 이 경우, 컴퓨터는 해당 장소를 가상현실로 대체할 것을 결정할 수 있다.
또한, 국제회의를 주최하고자 하는 경우 참가인원이 너무 많거나, 서로 멀리 떨어져 있는 경우, 예산이 부족한 경우 등에 회의를 가상현실로 대체하는 방안을 고려할 수 있다. 이 경우, 굳이 해당 국가에 방문할 필요가 없으므로, 전체 일정이 가상현실로 대체될 수 있다.
또한, 관광 중에 가상현실 서비스를 이용하여 방문하여야 하는 일정이 포함되어 있는 경우, 해당 일정은 이동 중(버스 안 등) 또는 일정을 마무리한 후 숙소 등에서 디스플레이 장치를 이용하여 가상현실 서비스로서 제공될 수 있다. 또한, 컴퓨터는 해당 장소에서 구매할 수 있는 특산품이나 기념품을 구매할 수 있는 페이지를 제공하며, 주문한 상품은 주문자의 숙소로 배송하도록 할 수 있다.
또한, 컴퓨터는 상기 선택된 그룹에 대한 정보 및 상기 가상현실 서비스에 대한 정보를 포함하는 MICE 패키지 정보를 생성할 수 있다.
예를 들어, 상술한 방법에 의하여 하나 이상의 행사 및 장소가 그룹핑되고, 세부사항이 설정되며, 가상현실 대체여부 등이 설정된 정보를 포함하는 MICE 패키지가 생성될 수 있다. 컴퓨터는 각 설정을 저장하여 추후에 재활용하거나, 다른 사용자에게도 추천할 수 있다.
또한, 컴퓨터는 상기 MICE 패키지 정보를 게시할 수 있으며, 예를 들어 컴퓨터는 쇼핑몰이나 게시판과 같은 온라인상 공간에서 네트워크를 통해 MICE 패키지 정보를 게시할 수 있고, 신청을 통해 각 MICE 패키지에 대한 신청 및 예약을 받을 수 있다.
또한, 가상현실 일정이 포함되거나, 전 일정이 가상현실로 구성된 MICE 패키지의 경우, 가상현실로 구성된 일부 일정에 대해서만 신청 및 예약을 받을 수도 있으며, 인원수의 제한 없이(예를 들어, 1명부터 다수까지 모두 가능) 신청 및 예약을 받을 수도 있다.
대규모 국제회의의 경우 수천, 수만 명의 참가자가 있을 수도 있으며, 전 산업분야에 걸쳐서 주제별 연간 수천, 수만 건의 회의가 개최될 수 있다. 따라서, 개시된 실시 예에 따른 컴퓨터는 기 설정된 MICE 패키지에 기초하여 다양한 실제 및 가상현실 MICE 서비스를 중개, 판매 및 제공할 수 있는 플랫폼 서비스를 제공할 수 있다.
일 실시 예에서, 가상현실 이벤트는 실제 MICE 행사의 사전답사에도 이용될 수 있다.
예를 들어, MICE 행사를 위한 각 장소에 대한 예약 및 기획단계 이전에, 사용자는 가상현실 영상을 통해 각 장소에 실제로 가지 않고도 필요한 정보를 수집할 수 있다.
예를 들어, 컴퓨터는 가상현실을 통해 MICE 행사에 포함된 장소들을 가상으로 방문 및 체험할 수 있도록 하고, 실시간 정보를 반영하여 가상현실 영상을 업데이트할 수 있다. 예를 들어, 특정 장소가 공사중이거나, 도로가 통제중이거나, 식당이 휴업 또는 폐업하였거나, 호텔의 예약사항이 변경되는 경우 등 변동사항을 실시간으로 수집 및 반영하여, 사용자가 최신의 정보를 획득할 수 있도록 함으로써 실제 답사를 대체할 수 있도록 하는 서비스를 제공할 수 있다.
일 실시 예에서, 가상현실 공간에서 컨퍼런스가 진행되는 경우, 해당 컨퍼런스를 통해 교류되는 정보는 인공지능에 의하여 정리 및 기록될 수 있고, 실시 예에 따라 컨퍼런스의 내용이 외부의 참관자들에 공개될 수도 있다. 예를 들어, 실제 컨퍼런스의 경우 참가인원이 제한될 수 있으나, 가상현실을 이용한 컨퍼런스의 경우 참가자 외의 참관자들이나 수행원들이 해당 공간에서 진행되는 컨퍼런스 영상을 시청할 수 있다.
일 실시 예에서, 서버(100)는 가상현실 이벤트를 제공하는 주체에 의하여 관리될 수도 있으며, 가상현실 이벤트를 제공하기 위한 플랫폼이나 솔루션을 제공하는 주체에 의하여 관리될 수도 있다.
서버(100)가 가상현실 이벤트를 제공하는 주체에 의하여 관리되는 경우, 가상현실 이벤트를 제공하는 주체는 참여자들 및 참관자들에게 가상현실 이벤트 참여를 위한 요금의 지불을 요청할 수 있다. 요금의 지불방식은 제한되지 않으며, 실시 예에 따라 참여자 및 참관자의 가상현실 기기 혹은 사용자 단말에서 서버(100)에 대하여 결제를 수행하도록 구성될 수도 있다.
요금 지불방식은 제한되지 않으나, 예를 들어 가상현실 이벤트의 세션별로 요금이 책정될 수도 있고, 날짜별로 요금이 책정될 수도 있으며, 접속시간 및 횟수에 기초하여 요금이 책정될 수도 있다.
서버(100)가 가상현실 이벤트를 제공하기 위한 플랫폼이나 솔루션을 제공하는 주체에 의하여 관리되는 경우, 가상현실 이벤트를 제공하는 주체는 상술한 실시 예와 마찬가지로 참여자 및 참관자들에게 요금을 받을 수 있으나, 그 일부 혹은 기 계약된 금액을 플랫폼 사용에 따른 수수료로써 서버(100)를 관리하는 주체에 지급할 수도 있다.
도 2는 일 실시 예에 따른 가상현실 이벤트 참여방법을 도시한 도면이다.
도 2를 참조하면, 가상현실 이벤트를 제공하는 시스템은 서버(100)와, 참여자(200) 및 참관자(300)를 포함할 수 있다. 예를 들어, 상술한 바와 같이 가상현실 컨퍼런스 이벤트에 있어서, 참여자(200)는 가상현실 영상에 표시되며, 참관자(300)는 가상현실 영상에 표시되지는 않지만, 특정 시점 혹은 임의의 시점에서 가상현실 컨퍼런스를 참관할 수 있다.
일 실시 예에서, 참여자(200)중 일부가 참관자(300)로 전환될 수도 있고, 참관자(300)중 일부가 참여자(200)로 전환될 수도 있다.
참여자(200)가 참관자(300)로 전환되는 경우, 전환되는 사용자(400)는 가상현실 공간에 더 이상 표시되지 않는다.
반대로 참관자(300)가 참여자(200)로 전환되는 경우, 전환되는 사용자(400)는 가상현실 공간에 표시된다.
예를 들어, 회의 참여자나 강연자가 담당한 부분을 마치고 참관자로 돌아갈 수 있으며, 참관자 중 일부가 질문을 하거나 회의에 참여할 수도 있고, 참관자로서 컨퍼런스를 참관하며 대기하던 참관자(300)가 자신의 차례에서 강연을 위해 참여자(200)로 전환되어 강연을 수행할 수도 있다.
일 실시 예에서, 가상현실 이벤트를 통해 강연이나 프레젠테이션을 제공할 수 있으며, 이를 위한 별도의 공간이 생성될 수도 있다.
예를 들어, 기존의 가상현실 컨퍼런스에서 강연자가 참여자들 중 하나로서 가상현실 공간에 마련된 무대에 올라 강연을 할 수도 있으나, 강연이나 프레젠테이션을 위하여 특화된 별도의 공간에서 강연을 진행할 수도 있다.
예를 들어, 강연자는 강연을 위한 별도의 가상현실 공간을 생성할 수 있으며, 해당 공간이 생성되었음을 가상현실 컨퍼런스의 참여자들 및 참관자들에게 알릴 수 있고, 실시 예에 따라 가상현실 컨퍼런스에 참여하고 있지 않은 외부인들에게도 네트워크를 통해 가상현실 공간의 생성사실을 알릴 수 있다.
알림을 수신한 사용자들 중 가상현실 공간에 입장할 것을 선택한 사용자의 가상현실 기기에는 가상현실 공간이 표시되며, 강연자는 해당 가상현실 공간에서 강연을 수행할 수 있다. 가상현실 공간에는 강연자의 아바타만이 표시될 수 있으며, 청중들은 표시되지 않을 수 있으나, 실시 예에 따라 청중들의 아바타 또한 표시될 수 있으며, 도 2와 관련하여 설명한 바와 같이 질문을 하거나 강연에 참여하는 청중의 경우 일시적으로 아바타가 표시될 수 있다.
강연은 실시간으로 진행될 수도 있으나, 이미 녹화된 강연이 가상현실 공간에서 표시될 수도 있다. 상술한 실시 예에서 설명된 강연의 종류는 제한되지 않으며, 강의, 강연, 프레젠테이션, 투자설명, IR 등 다양한 종류의 강연이 가상현실 공간을 통해 제공될 수 있다.
각 가상현실 공간의 구조 및 배경은 강연자에 의하여 생성 및 수정될 수 있으며, 실시 예에 따라 강연의 내용에 기초하여 적합한 구조 및 배경이 자동으로 생성될 수도 있다.
이하에서는, 상술한 시스템에 기초하여 각 실시 예의 구체적인 구성을 도면을 참조하여 설명한다.
도 3은 일 실시 예에 따른 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 3 내지 도 10에 도시된 방법들은 도 1에 도시된 서버(100)에서 수행될 수 있으나, 이에 제한되지 않는다. 이하에서는 각 단계들이 컴퓨터에 의하여 수행되는 것으로 설명하나, 각 단계들의 일부 또는 전부가 다른 주체에 의하여 수행되는 것도 가능하다.
단계 S101에서, 컴퓨터는 하나 이상의 가상현실 단말로부터 사용자 정보를 수신한다.
일 실시 예에서, 사용자 정보는 도 1 및 도 2에 도시된 바와 같이 참여자와 참관자를 포함할 수 있다.
단계 S102에서, 컴퓨터는 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류한다.
단계 S103에서, 컴퓨터는 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함한다.
일 실시 예에서, 배경정보는 가상현실 영상의 배경이 될 이미지 또는 이미지를 생성하기 위한 정보를 포함할 수 있다.
또한, 인물정보는 가상현실 영상에 포함될 인물들, 즉 참여자에 대한 정보를 포함할 수 있다.
또한, 객체정보는 가상현실 영상에 포함될 객체들에 대한 정보를 포함할 수 있다.
단계 S104에서, 컴퓨터는 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성한다.
일 실시 예에서, 컴퓨터는 가상현실 공간에 배경을 설정하고, 인물 및 객체를 배치함으로써 가상현실 영상을 생성한다. 생성된 가상현실 영상은 다양한 시점으로 관찰될 수 있으며, 가상현실 영상에 포함된 배경, 인물 및 객체의 변화를 실시간으로 반영한다.
단계 S105에서, 컴퓨터는 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공한다.
도 4는 일 실시 예에 따른 유니크 베뉴를 배경으로 하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.
상술한 단계(S103)의 배경정보를 획득하는 단계에서, 컴퓨터는 하나 이상의 유니크 베뉴에 대한 정보를 획득하는 단계(S106)를 수행할 수 있다.
상술한 단계(S104)에서, 컴퓨터는 상기 하나 이상의 유니크 베뉴 중 적어도 하나를 배경으로 하는 가상현실 영상을 생성하는 단계(S107)를 수행할 수 있다.
일 실시 예에서, 컴퓨터는 상술한 바와 같이 다양한 종류의 유니크 베뉴를 배경으로 하는 가상현실 이벤트를 제공할 수 있다.
도 5는 일 실시 예에 따라 아바타를 포함하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.
상술한 단계(S104)에서, 컴퓨터는 상기 하나 이상의 참여자 단말에 각각 대응하는 아바타를 생성하는 단계(S108)를 수행할 수 있다.
또한, 컴퓨터는 상기 생성된 아바타를 포함하는 가상현실 영상을 생성하는 단계(S109)를 수행할 수 있다.
아바타의 종류는 제한되지 않으며, 컴퓨터는 가상현실 영상에 표시되어야 하는 참여자들에 대응하는 아바타를 생성하여, 각 참여자의 위치에 아바타를 배치할 수 있다.
도 6은 일 실시 예에 따른 가상현실 이벤트의 시점 처리방법을 도시한 흐름도이다.
상술한 단계(S105)에서, 컴퓨터는 상기 하나 이상의 참여자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참여자 단말에 제공되는 가상현실 영상의 시점은, 상기 하나 이상의 참여자 단말에 각각 대응하는 상기 아바타의 위치로 고정되는, 단계(S110)를 수행할 수 있다.
또한, 컴퓨터는 상기 하나 이상의 참관자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참관자 단말에 제공되는 가상현실 영상의 시점은 사용자에 의하여 변경될 수 있도록 설정되는, 단계(S111)를 수행할 수 있다.
일 실시 예에서, 각 참여자의 시점은 혼동을 막기 위하여 실제로 각 참여자의 아바타가 배치된 위치로 고정될 수 있다. 구체적으로, 아바타가 인간형이나 동물형, 캐릭터형 등으로 눈을 포함하는 경우, 아바타의 눈의 위치로 시점이 고정될 수 있으며, 다만 아바타의 눈의 위치가 이동하는 경우 시점 또한 이에 따라 이동할 수 있다.
각 참여자에 대해서는 고정된 시점에 기초한 가상현실 영상이 제공된다.
또한, 참관자의 경우 가상현실 영상에 표시되지 않으므로, 원하는 시점에서 가상현실 이벤트를 참관할 수 있다. 실시 예에 따라서, 참관자의 시점은 범위로서 제한될 수도 있으며, 시점을 배치할 수 없는 위치의 범위 또한 설정될 수 있다.
예를 들어, 컴퓨터는 외부인에게 공개되기 어려운 정보를 바라볼 수 있는 시점의 범위를 산출하고, 해당 범위에 대한 참관자의 시점이동을 금지할 수 있다. 또한, 컴퓨터는 가상현실 영상 생성 및 시청의 부하를 줄이기 위하여 가상현실 이벤트 진행에 불필요한 부분에 대한 렌더링을 하지 않을 수 있으며, 해당 부분을 바라볼 수 있는 시점의 범위를 산출하고, 해당 범위에 대한 참관자의 시점이동을 금지할 수 있다.
또한, 각 참관자에게는 각 참관자의 권한별로 상이한 가상현실 영상이 제공될 수 있다. 예를 들어, 권한이 큰 참관자에게 제공되는 가상현실 영상일수록 더 넓은 시점범위의 선택권한이 주어질 수 있고, 특정 정보에 대한 접근권한이 없는 사용자에 대해서는 해당 정보가 블라인드 처리되거나, 해당 정보를 바라볼 수 있는 시점범위가 차단된 가상현실 영상이 제공될 수 있다.
도 7은 일 실시 예에 따라 참관자 아바타를 생성하는 방법을 도시한 흐름도이다.
상술한 단계(S104)에서, 컴퓨터는 상기 하나 이상의 참관자 단말 중 하나인 제1 참관자 단말이 기 설정된 조건을 만족하는 경우, 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 단계(S112)를 수행할 수 있다.
또한, 컴퓨터는 상기 제1 참관자 단말에 대응하는 아바타를 포함하는 가상현실 영상을 생성하는 단계(S113)를 수행할 수 있다.
또한, 컴퓨터는 상기 단계(S113)에서 생성된 가상현실 영상을 상기 하나 이상의 사용자 단말에 제공하는 단계(S114)를 수행할 수 있다.
상술한 단계(S114)에서, 컴퓨터는 상기 제1 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참관자 단말에 대응하는 아바타의 위치로 고정될 수 있다.
즉, 도 2에서 설명한 바와 같이 일부 참관자가 참여자로 변경될 수 있으며, 이 경우 참여자로 변경된 사용자의 아바타가 생성되어, 가상현실 영상에 표시될 수 있다.
이 경우, 참관자는 기존 시점위치에서 가상현실 영상 내에 아바타가 표시될 위치로 즉시 이동하고, 참관자의 시점 또한 즉시 이동할 수 있다. 다른 실시 예에서, 참관자의 시점은 기존 시점위치에서 이동목표 위치로 이동할 수 있고, 참관자의 시점이 기 설정된 범위(예를 들어, 무대 위 혹은 강단 등)에 진입하는 경우 해당 참관자의 아바타를 생성하고, 생성된 아바타를 해당 참관자의 시점위치에 표시할 수 있다. 이후, 아바타는 참관자의 시점위치를 따라 이동할 수 있다. 참관자가 기 설정된 범위를 벗어나는 경우, 참관자의 아바타는 가상현실 영상에서 제거될 수 있다.
도 8은 일 실시 예에 따라 실제 이벤트에 기반한 가상현실 이벤트를 제공하는 방법을 도시한 흐름도이다.
상술한 단계(S103)에서, 컴퓨터는 실제로 진행되는 이벤트에 대한 정보를 획득하되, 상기 이벤트에 대한 정보는 상기 실제로 진행되는 이벤트 현장에서 촬영된 영상을 포함하는, 단계(S115)를 수행할 수 있다.
상술한 단계(S104)에서, 컴퓨터는 상기 촬영된 영상을 포함하는 가상현실 영상을 생성하는 단계(S116)를 수행할 수 있다.
일 실시 예에서, 컴퓨터는 실제 이벤트 현장에서 촬영된 360도 영상을 획득할 수 있다. 컴퓨터는 360도 영상에 기초하여 가상현실 영상의 구축을 위한 3D 렌더링을 수행하여, 3D 가상현실 공간을 구축할 수 있다.
다른 실시 예에서, 컴퓨터는 실제 촬영된 360도 영상을 배경이자 원경으로 하고, 각 가상현실 영상의 시청자 시점 및 시청자의 주변 객체 및 인물을 근경에 포함하는 가상현실 영상을 생성할 수도 있다.
즉, 컴퓨터는 가상현실 공간에서, 실제 진행되는 이벤트에 가상의 객체 및 인물을 추가한 혼합현실 영상을 생성하고, 생성된 영상을 제공할 수 있다. 이 경우, 실제로 진행되는 이벤트를 가상현실을 이용하여 참여할 수 있다.
이 경우, 실제 이벤트를 진행하는 사용자의 경우에도 증강현실 기기를 착용하여 가상 공간에서 진행되는 이벤트 정보를 획득할 수 있고, 가상 공간의 참여자 및 참관자와 인터렉션을 수행할 수 있다.
도 9는 일 실시 예에 따라 아바타 간의 인터렉션을 처리하는 방법을 도시한 흐름도이다.
상술한 단계(S116)에서, 컴퓨터는 상기 촬영된 영상에 포함된 배경, 인물 및 객체에 대한 정보를 획득하는 단계(S117)를 수행할 수 있다.
상술한 단계(S117)에서, 컴퓨터는 획득된 배경, 인물 및 객체에 대한 정보에 기초하여 상기 배경, 인물 및 객체를 모델링하는 단계(S118)를 수행할 수 있다. 즉, 컴퓨터는 촬영된 실제 이벤트 영상으로부터 3D 가상공간 모델링을 위한 정보를 획득하고, 3D 가상공간을 모델링할 수 있다.
또한, 컴퓨터는 상기 촬영된 영상에 포함된 인물 중 상기 이벤트의 현장참여자를 식별하는 단계(S119)를 수행할 수 있다. 컴퓨터는 영상분석을 활용하여, 실제 이벤트의 현장에서 이벤트에 참여중인 참여자를 식별할 수 있다.
또한, 컴퓨터는 상기 모델링된 인물에 대한 정보에 기초하여, 상기 단계(S119)에서 식별된 현장참여자에 대응하는 제1 아바타를 생성하는 단계(S120)를 수행할 수 있다. 즉, 컴퓨터는 실제 현장참여자에 대응하는 아바타를 생성하고, 해당 아바타를 가상현실 영상에 표시할 수 있다. 현장참여자가 증강현실 장비를 이용하여 가상현실 이벤트를 확인하는 경우, 시점은 제1 아바타의 시점으로 고정될 수 있다.
또한, 컴퓨터는 상기 하나 이상의 참여자 단말에 각각 대응하는 제2 아바타를 생성하는 단계(S121)를 수행할 수 있다.
또한, 컴퓨터는 상기 모델링된 배경, 객체, 인물과 상기 제1 아바타 및 상기 제2 아바타를 포함하는 가상현실 영상을 생성하는 단계(S122)를 수행할 수 있다.
상술한 단계(S105)에서, 컴퓨터는 상기 촬영된 영상으로부터 상기 제1 아바타에 대응하는 제1 현장참여자의 동작정보를 획득하는 단계(S123)를 수행할 수 있다.
또한, 컴퓨터는 상기 획득된 동작정보에 기초하여 상기 제1 아바타의 동작을 판단하는 단계(S124)를 수행할 수 있다.
즉, 컴퓨터는 촬영된 영상을 분석하여 촬영된 영상에 포함된 현장참여자의 동작을 인식하고, 판단할 수 있다.
또한, 컴퓨터는 상기 하나 이상의 참여자 단말로부터 가상현실 영상에 대한 리액션 정보를 획득하는 단계(S125)를 수행할 수 있다.
또한, 컴퓨터는 상기 리액션 정보에 기초하여 상기 제2 아바타의 동작을 판단하는 단계(S126)를 수행할 수 있다.
즉, 컴퓨터는 가상현실 기기 사용자의 리액션을 분석함으로써, 가상현실 공간에 표시되는 제2 아바타의 동작을 결정할 수 있다.
또한, 컴퓨터는 상기 제1 아바타 및 상기 제2 아바타의 동작에 기초하여 상기 제1 아바타 및 상기 제2 아바타의 인터렉션을 판단하는 단계(S127)를 수행할 수 있다.
또한, 컴퓨터는 상기 인터렉션에 기초하여 상기 가상현실 영상에 기 설정된 효과를 부여하는 단계(S128)를 수행할 수 있다.
예를 들어, 제1 아바타와 제2 아바타가 접촉하거나, 서로 손을 들어 질문하거나, 서로 대화를 하는 등 인터렉션이 판단되는 경우, 이에 따른 효과를 가상현실 영상에 부여할 수 있다.
일 예로, 제1 아바타와 제2 아바타가 접촉하는 경우, 가상현실 영상에서 접촉부위가 빛나도록 표시할 수 있다.
다른 예로, 제1 아바타와 제2 아바타가 대화를 하는 경우, 제1 아바타와 제2 아바타를 빛나도록 표시하고, 제1 아바타와 제2 아바타의 목소리의 출력을 높일 수 있다.
또한, 실시 예에 따라 제1 아바타의 움직임에 따라 상기 제1 아바타가 지목하는 특정 참관자를 선택하고, 해당 참관자가 이에 동작이나 음성 등으로 응답하는 경우, 해당 참관자를 참여자로 전환하여 아바타를 생성하고, 가상현실 영상에 표시할 수 있다.
도 10은 일 실시 예에 따라 가상현실 이벤트를 보조하는 방법을 도시한 흐름도이다.
상술한 단계(S128)에서, 컴퓨터는 상기 제1 현장참여자의 단말로부터 상기 제1 현장참여자의 음성을 획득하는 단계(S129)를 수행할 수 있다.
또한, 컴퓨터는 상기 제1 현장참여자의 음성으로부터 텍스트를 추출하는 단계(S130)를 수행할 수 있다.
또한, 컴퓨터는 상기 추출된 텍스트를 번역하는 단계(S131)를 수행할 수 있다.
또한, 컴퓨터는 상기 번역된 텍스트를 음성으로 변환하는 단계(S132)를 수행할 수 있다.
또한, 컴퓨터는 상기 변환된 음성을 상기 제2 아바타에 대응하는 제1 참여자 단말에 전달하는 단계(S133)를 수행할 수 있다.
즉, 컴퓨터는 현장 참여자의 음성을 번역하여 가상현실 이벤트의 참여자에게 전달할 수 있다.
또한, 컴퓨터는 상기 번역된 텍스트를 포함하는 말풍선 이미지를 생성하는 단계(S134)를 수행할 수 있다.
또한, 컴퓨터는 상기 말풍선 이미지를 상기 제1 참여자 단말에 제공되는 가상현실 영상에 표시하는 단계(S135)를 수행할 수 있다.
즉, 컴퓨터는 가상현실 공간 상에서 제1 참여자가 말하는 내용을 번역하여 가상현실 영상에 표시함으로써, 발화주체의 인식을 용이하게 하고, 언어의 문제없이 그 내용을 파악할 수 있도록 한다.
또한, 컴퓨터는 상기 번역된 텍스트에 대응하는 정보를 검색하는 단계(S136)를 수행할 수 있다.
예를 들어, 컴퓨터는 번역된 텍스트로부터 하나 이상의 키워드를 추출할 수도 있고, 자연어처리(NLP)를 이용하여 번역된 텍스트의 내용을 판단할 수 있다.
또한, 컴퓨터는 상기 검색된 정보에 기초하여 상기 번역된 텍스트에 대한 하나 이상의 응답을 생성하는 단계(S137)를 수행할 수 있다. 예를 들어, 컴퓨터는 번역된 텍스트에 포함된 키워드에 기초하여 응답을 생성하거나, 번역된 텍스트에 포함된 질문이 인식되는 경우, 이에 대응하는 응답을 생성할 수 있다.
또한, 컴퓨터는 상기 검색된 정보 및 상기 하나 이상의 응답을 상기 제1 참여자 단말에 제공하는 단계(S138)를 수행할 수 있다.
일 실시 예에서, 컴퓨터는 발화내용에 포함된 키워드에 대한 의미 또는 관련 이슈 등 정보를 검색하여 가상현실 영상에 표시할 수 있다.
즉, 컴퓨터는 가상공간이나 현실공간 내 발화자의 발화내용을 번역 및 표시하며, 가상현실 공간에 이에 대응하는 응답 또한 표시할 수 있다. 컴퓨터는 표시된 응답 중 적어도 하나에 대한 선택 입력이 수신되는 경우, 해당 응답을 번역하여 발화자에게 전달할 수 있다.
도 11은 일 실시 예에 따른 장치의 구성도이다.
프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 3 내지 도 10과 관련하여 설명된 방법을 수행한다.
예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하고, 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하고, 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하고, 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하고, 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공한다.
한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 컴퓨터에 의하여 수행되는 방법으로서,
    하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계(S101);
    상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계(S102);
    가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계(S103);
    상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계(S104); 및
    상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계(S105); 를 포함하는,
    가상현실 이벤트 제공방법.
  2. 제1 항에 있어서,
    상기 배경정보를 획득하는 단계는,
    하나 이상의 유니크 베뉴에 대한 정보를 획득하는 단계(S106); 를 포함하고,
    상기 단계(S104)는,
    상기 하나 이상의 유니크 베뉴 중 적어도 하나를 배경으로 하는 가상현실 영상을 생성하는 단계(S107); 를 포함하는,
    가상현실 이벤트 제공방법.
  3. 제1 항에 있어서,
    상기 단계(S104)는,
    상기 하나 이상의 참여자 단말에 각각 대응하는 아바타를 생성하는 단계(S108); 및
    상기 생성된 아바타를 포함하는 가상현실 영상을 생성하는 단계(S109); 를 포함하는,
    가상현실 이벤트 제공방법.
  4. 제3 항에 있어서,
    상기 단계(S105)는,
    상기 하나 이상의 참여자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참여자 단말에 제공되는 가상현실 영상의 시점은, 상기 하나 이상의 참여자 단말에 각각 대응하는 상기 아바타의 위치로 고정되는, 단계(S110); 및
    상기 하나 이상의 참관자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참관자 단말에 제공되는 가상현실 영상의 시점은 사용자에 의하여 변경될 수 있도록 설정되는, 단계(S111); 를 포함하는,
    가상현실 이벤트 제공방법.
  5. 제4 항에 있어서,
    상기 단계(S104)는,
    상기 하나 이상의 참관자 단말 중 하나인 제1 참관자 단말이 기 설정된 조건을 만족하는 경우, 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 단계(S112);
    상기 제1 참관자 단말에 대응하는 아바타를 포함하는 가상현실 영상을 생성하는 단계(S113); 및
    상기 단계(S113)에서 생성된 가상현실 영상을 상기 하나 이상의 사용자 단말에 제공하는 단계(S114); 를 포함하고,
    상기 단계(S114)에서, 상기 제1 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참관자 단말에 대응하는 아바타의 위치로 고정되는,
    가상현실 이벤트 제공방법.
  6. 제1 항에 있어서,
    상기 단계(S103)는,
    실제로 진행되는 이벤트에 대한 정보를 획득하되, 상기 이벤트에 대한 정보는 상기 실제로 진행되는 이벤트 현장에서 촬영된 영상을 포함하는, 단계(S115); 를 포함하고,
    상기 단계(S104)는,
    상기 촬영된 영상을 포함하는 가상현실 영상을 생성하는 단계(S116); 를 포함하는,
    가상현실 이벤트 제공방법.
  7. 제6 항에 있어서,
    상기 단계(S116)는,
    상기 촬영된 영상에 포함된 배경, 인물 및 객체에 대한 정보를 획득하는 단계(S117);
    상기 단계(S117)에서 획득된 배경, 인물 및 객체에 대한 정보에 기초하여 상기 배경, 인물 및 객체를 모델링하는 단계(S118);
    상기 촬영된 영상에 포함된 인물 중 상기 이벤트의 현장참여자를 식별하는 단계(S119);
    상기 모델링된 인물에 대한 정보에 기초하여, 상기 단계(S119)에서 식별된 현장참여자에 대응하는 제1 아바타를 생성하는 단계(S120);
    상기 하나 이상의 참여자 단말에 각각 대응하는 제2 아바타를 생성하는 단계(S121); 및
    상기 모델링된 배경, 객체, 인물과 상기 제1 아바타 및 상기 제2 아바타를 포함하는 가상현실 영상을 생성하는 단계(S122); 를 포함하고,
    상기 단계(S105)는,
    상기 촬영된 영상으로부터 상기 제1 아바타에 대응하는 제1 현장참여자의 동작정보를 획득하는 단계(S123);
    상기 획득된 동작정보에 기초하여 상기 제1 아바타의 동작을 판단하는 단계(S124);
    상기 하나 이상의 참여자 단말로부터 가상현실 영상에 대한 리액션 정보를 획득하는 단계(S125);
    상기 리액션 정보에 기초하여 상기 제2 아바타의 동작을 판단하는 단계(S126);
    상기 제1 아바타 및 상기 제2 아바타의 동작에 기초하여 상기 제1 아바타 및 상기 제2 아바타의 인터렉션을 판단하는 단계(S127); 및
    상기 인터렉션에 기초하여 상기 가상현실 영상에 기 설정된 효과를 부여하는 단계(S128); 를 포함하는,
    가상현실 이벤트 제공방법.
  8. 제7 항에 있어서,
    상기 단계(S128)는,
    상기 제1 현장참여자의 단말로부터 상기 제1 현장참여자의 음성을 획득하는 단계(S129);
    상기 제1 현장참여자의 음성으로부터 텍스트를 추출하는 단계(S130);
    상기 추출된 텍스트를 번역하는 단계(S131);
    상기 번역된 텍스트를 음성으로 변환하는 단계(S132);
    상기 변환된 음성을 상기 제2 아바타에 대응하는 제1 참여자 단말에 전달하는 단계(S133);
    상기 번역된 텍스트를 포함하는 말풍선 이미지를 생성하는 단계(S134);
    상기 말풍선 이미지를 상기 제1 참여자 단말에 제공되는 가상현실 영상에 표시하는 단계(S135);
    상기 번역된 텍스트에 대응하는 정보를 검색하는 단계(S136);
    상기 검색된 정보에 기초하여 상기 번역된 텍스트에 대한 하나 이상의 응답을 생성하는 단계(S137); 및
    상기 검색된 정보 및 상기 하나 이상의 응답을 상기 제1 참여자 단말에 제공하는 단계(S138); 를 포함하는,
    가상현실 이벤트 제공방법.
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계;
    상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계;
    가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계;
    상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계; 및
    상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계; 를 수행하는, 장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
PCT/KR2019/009534 2018-08-08 2019-07-31 가상현실 이벤트 제공방법, 장치 및 프로그램 WO2020032469A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0092631 2018-08-08
KR1020180092631A KR102035841B1 (ko) 2018-08-08 2018-08-08 가상현실 이벤트 제공방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
WO2020032469A1 true WO2020032469A1 (ko) 2020-02-13

Family

ID=68423385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009534 WO2020032469A1 (ko) 2018-08-08 2019-07-31 가상현실 이벤트 제공방법, 장치 및 프로그램

Country Status (2)

Country Link
KR (1) KR102035841B1 (ko)
WO (1) WO2020032469A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640199A (zh) * 2020-06-10 2020-09-08 浙江商汤科技开发有限公司 一种ar特效数据生成的方法及装置
WO2022048455A1 (zh) * 2020-09-04 2022-03-10 语惠科技(南京)有限公司 一种基于增强现实技术的信息无障碍系统及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102513236B1 (ko) * 2020-09-06 2023-03-23 김민하 공간기반 소셜 네트워크 시스템
KR20230070572A (ko) 2021-11-15 2023-05-23 김동혁 메타버스의 학습 환경에서 이벤트를 제공하는 방법 및 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000030491A (ko) * 2000-03-03 2000-06-05 천병년 ３차원 가상 현실 공간에서의 박람회 개최 시스템 및 그방법
KR20110074191A (ko) * 2009-12-24 2011-06-30 주식회사 손노리 퀘스트 발급 장치 및 이를 이용한 퀘스트 발급 방법
KR20150105058A (ko) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 온라인을 이용한 혼합현실형 가상 공연 시스템
KR20180015527A (ko) * 2016-08-03 2018-02-13 김나정 혼합현실 및 실물객체를 이용한 역할놀이 콘텐츠 제공 시스템 및 이를 이용한 역할놀이 콘텐츠 제공 방법
KR101842657B1 (ko) * 2017-04-26 2018-03-27 김동현 가상현실 소셜네트워크 서비스 제공 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110137439A (ko) * 2010-06-17 2011-12-23 주식회사 에스비에스콘텐츠허브 가상세계와 현실세계가 융합된 음악 방송 서비스 방법
US9524588B2 (en) * 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
KR20180062045A (ko) 2016-11-30 2018-06-08 에릭슨엘지엔터프라이즈 주식회사 가상 회의 구현 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000030491A (ko) * 2000-03-03 2000-06-05 천병년 ３차원 가상 현실 공간에서의 박람회 개최 시스템 및 그방법
KR20110074191A (ko) * 2009-12-24 2011-06-30 주식회사 손노리 퀘스트 발급 장치 및 이를 이용한 퀘스트 발급 방법
KR20150105058A (ko) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 온라인을 이용한 혼합현실형 가상 공연 시스템
KR20180015527A (ko) * 2016-08-03 2018-02-13 김나정 혼합현실 및 실물객체를 이용한 역할놀이 콘텐츠 제공 시스템 및 이를 이용한 역할놀이 콘텐츠 제공 방법
KR101842657B1 (ko) * 2017-04-26 2018-03-27 김동현 가상현실 소셜네트워크 서비스 제공 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640199A (zh) * 2020-06-10 2020-09-08 浙江商汤科技开发有限公司 一种ar特效数据生成的方法及装置
CN111640199B (zh) * 2020-06-10 2024-01-09 浙江商汤科技开发有限公司 一种ar特效数据生成的方法及装置
WO2022048455A1 (zh) * 2020-09-04 2022-03-10 语惠科技(南京)有限公司 一种基于增强现实技术的信息无障碍系统及方法

Also Published As

Publication number Publication date
KR102035841B1 (ko) 2019-10-24

Similar Documents

Publication Publication Date Title
WO2020032469A1 (ko) 가상현실 이벤트 제공방법, 장치 및 프로그램
WO2019124726A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
RU2621633C2 (ru) Система и способ для дополненной и виртуальной реальности
US7225414B1 (en) Method and system for virtual touch entertainment
US20180356885A1 (en) Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
CN109844854A (zh) 单词流注释
CN109923462A (zh) 感测眼镜
WO2022227408A1 (zh) 一种虚拟现实交互方法、设备及系统
CN103733196A (zh) 用于实现现实世界用户经历的可搜索历史的方法及设备
US20160253840A1 (en) Control system and method for virtual navigation
KR102112074B1 (ko) 유니크베뉴를 포함하는 가상현실 이벤트 제공방법, 장치 및 프로그램
CN111462334A (zh) 一种智能互动展馆系统
US20190333261A1 (en) Program, and information processing apparatus and method
US20200257121A1 (en) Information processing method, information processing terminal, and computer-readable non-transitory storage medium storing program
TWI795762B (zh) 用於在現實場景中疊加直播人物影像的方法和電子設備
WO2019119314A1 (zh) 一种仿真沙盘系统
EP2930671A1 (en) Dynamically adapting a virtual venue
JP2024069276A (ja) 仮想および拡張現実のためのシステムおよび方法
Kurzweil How my predictions are faring
Cavazza et al. Multimodal acting in mixed reality interactive storytelling
US11943282B2 (en) System for providing synchronized sharing of augmented reality content in real time across multiple devices
Crook et al. Simmc: Situated interactive multi-modal conversational data collection and evaluation platform
KR102180765B1 (ko) 구성원 정보를 바탕으로 획득되는 유니크베뉴 제공 방법, 장치 및 프로그램
WO2020213888A1 (ko) 유니크베뉴 제공 방법, 장치 및 프로그램
WO2000014958A1 (fr) Procede de creation de programmes video, variantes, et systeme de mise en oeuvre de ce procede

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846616

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19846616

Country of ref document: EP

Kind code of ref document: A1