WO2019124726A1 - 혼합 현실 서비스 제공 방법 및 시스템 - Google Patents

혼합 현실 서비스 제공 방법 및 시스템 Download PDF

Info

Publication number
WO2019124726A1
WO2019124726A1 PCT/KR2018/013325 KR2018013325W WO2019124726A1 WO 2019124726 A1 WO2019124726 A1 WO 2019124726A1 KR 2018013325 W KR2018013325 W KR 2018013325W WO 2019124726 A1 WO2019124726 A1 WO 2019124726A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
mixed reality
modeling data
virtual image
dimensional modeling
Prior art date
Application number
PCT/KR2018/013325
Other languages
English (en)
French (fr)
Inventor
안길재
홍준표
김상훈
Original Assignee
(주) 알큐브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 알큐브 filed Critical (주) 알큐브
Priority to US16/956,360 priority Critical patent/US11206373B2/en
Priority to CN201880082881.2A priority patent/CN111527525A/zh
Publication of WO2019124726A1 publication Critical patent/WO2019124726A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission

Definitions

  • the present invention relates to a mixed reality service providing method and system, and more particularly, to a mixed reality service providing method and system that allow a plurality of terminal users to share three-dimensional modeling data in a mixed reality space.
  • VR virtual reality
  • AR augmented reality
  • MR Mixed Reality
  • the present invention provides a mixed reality service providing method and system for allowing a plurality of users to share 3D modeling data in real time and collaborate remotely in a mixed reality space.
  • the present invention provides a mixed reality service providing method and system for allowing three-dimensional modeling data and various objects in a mixed reality space to be displayed by being scaled according to a user's real space.
  • a method for providing a mixed reality service in a server comprising: generating a mixed reality conference room for arbitrary three-dimensional modeling data; Receiving tracking information collected from at least one participating terminal, generating a virtual image for the at least one object and the three-dimensional modeling data based on the tracking information, and transmitting the virtual image to the at least one terminal
  • the tracking information includes spatial identification information of a real space of each terminal and motion information of each terminal, and the virtual image is synthesized with a real image at the at least one terminal, And is displayed as an image.
  • the generating of the virtual image may include determining at least one of a display direction and a shape of the three-dimensional modeling data on the basis of the motion information of each terminal, determining an area on the plane from the space identification information of each terminal Dimensional modeling data in the area on the plane.
  • the generating of the virtual image may further include enlarging or reducing the size of the 3D modeling data according to the size of the area on the plane.
  • the generating of the virtual image may include generating at least one object that simulates a user of each terminal, and generating at least one of a display direction and a position of the at least one object based on the motion information of the terminal And a step of deciding whether or not the image is displayed on the display screen.
  • the step of determining at least one of the display direction and the position of the at least one object may further include the steps of determining an arbitrary reference point from the space identification information of each terminal, Determining a size of the space, and arranging the at least one object in a clustered or distributed manner with respect to the arbitrary reference point according to the size of the real space of each terminal.
  • the method may further include receiving a processing request for the 3D modeling data through at least one user interface displayed on the mixed reality image, editing the 3D modeling data corresponding to the processing request, Reproducing the virtual image based on the edited three-dimensional modeling data, and transmitting the regenerated virtual image to the at least one terminal.
  • the three-dimensional modeling data may be modeling data for building design, three-dimensional data about the product, and three-dimensional modeling data generated in the designing stage.
  • the method may further include transmitting the mixed reality image displayed on the terminal to the monitoring device and displaying the mixed reality image on the monitoring device for at least one user other than the user of the terminal have.
  • a system for providing a mixed reality service including at least one terminal collecting and transmitting tracking information while participating in a mixed reality conference room, Generating a mixed reality conference room for three-dimensional modeling data and generating a virtual image of the at least one object and the three-dimensional modeling data based on the tracking information received from the at least one terminal participating in the mixed reality conference room
  • the tracking information includes space identification information on a physical space of each terminal and motion information of each terminal
  • the at least one terminal includes at least one of the at least one The virtual image is synthesized with the real image photographed by the terminal And displaying it in a mixed reality image.
  • the server may determine at least one of a display direction and a shape of the three-dimensional modeling data based on the motion information of each terminal, determine a region on the plane from the space identification information of each terminal, Dimensional modeling data is generated by arranging the three-dimensional modeling data in the region.
  • the server may generate the virtual image by enlarging or reducing the size of the 3D modeling data according to the size of the area on the plane.
  • the server may generate at least one object that simulates a user of each terminal, determine at least one of a display direction and a position of the at least one object based on motion information of each terminal, And the like.
  • the server may determine an arbitrary reference point from the space identification information of each terminal, determine the size of the real space of each terminal based on the space identification information of each terminal, And the virtual image is generated by collectively or dispersing the at least one object with respect to the arbitrary reference point.
  • the terminal transmits a processing request of the 3D modeling data to the server based on a user input received through at least one user interface displayed on the mixed reality image, Dimensional modeling data corresponding to the virtual three-dimensional modeling data, regenerating the virtual image based on the edited three-dimensional modeling data, and transmitting the regenerated virtual image to the at least one terminal.
  • the three-dimensional modeling data may be modeling data for building design, three-dimensional data about the product, and three-dimensional modeling data generated in the designing stage.
  • the system may further include a monitoring device for receiving the mixed image displayed on the terminal from the terminal and displaying the mixed image for at least one user other than the user of the terminal.
  • the method and system for providing a mixed reality service according to the present invention enables more efficient collaboration by realistically confirming real-time 3D modeling data in a mixed reality space of remote users and sharing editing status.
  • the method and system for providing mixed reality service maximizes utilization of three-dimensional modeling data in the field of building design and minimizes time and resources required for building design.
  • FIG. 1 is a diagram illustrating a network structure of a mixed reality service providing system according to the present invention.
  • FIG. 2 is a diagram illustrating the structure of a server according to the present invention.
  • FIG. 3 is a diagram illustrating a structure of a terminal according to the present invention.
  • FIG. 4 is a diagram illustrating an example in which a terminal according to the present invention is implemented as a head-mounted display device.
  • FIG. 5 is a flowchart illustrating a method of driving a mixed reality service according to the present invention.
  • FIG. 6 is a flowchart illustrating a method of storing three-dimensional modeling data according to the present invention.
  • FIG. 7 and 8 are flowcharts illustrating a mixed reality room providing method according to the present invention.
  • 9 and 10 are views for explaining the three-dimensional scaling according to the present invention.
  • FIG. 11 is a view showing an example of a mixed reality image according to the present invention.
  • FIG. 12 is a diagram illustrating a network structure of a mixed reality service providing system according to a further embodiment of the present invention.
  • the method and system for providing a mixed reality service according to the present invention can be provided for designing a building. More specifically, the method and system for providing a mixed reality service according to the present invention displays design data of a building as a mixed reality to a plurality of user terminals entering a mixed reality conference room as three-dimensional modeling data, Modify / delete, etc.).
  • FIG. 1 is a diagram illustrating a network structure of a mixed reality service providing system according to the present invention.
  • a mixed reality service providing system 1 may include a server 10 for providing a mixed reality service and at least one terminal 20 for receiving a mixed reality service .
  • the server 10 is provided for providing a mixed reality service according to the present invention, and may be a network server, an application server, a domain server, or the like, which is operated by a provider of a mixed reality service.
  • the server 10 establishes a mixed reality conference room when the mixed reality service is requested from the terminal 20 and transmits a virtual image of the processed three dimensional modeling data corresponding to the real space of the terminal 20 participating in the conference room to the terminal 20 ).
  • the virtual image provided to the terminal 20 may be combined with the real image photographed by the terminal 20 and displayed as a mixed reality image.
  • the terminal 20 performs data communication with the server 10 and receives mixed reality service.
  • the terminal 20 may comprise a portable unit such as a cellular telephone, a smart phone, a personal digital assistant (PDA), a tablet, a computer, and the like.
  • the terminal 20 is configured as a Head Mounted Display (HMD) as shown in FIG. 4 to allow the user to experience 3D modeling data more realistically .
  • HMD Head Mounted Display
  • the server 10 and the terminal 20 are connected to each other through a network to perform data communication and perform a control operation for mixed reality service. A more detailed description thereof will be described later.
  • FIG. 2 is a diagram illustrating the structure of a server according to the present invention.
  • the server 10 may include a communication unit 11, a control unit 12, and a storage unit 13.
  • the communication unit 11 can transmit / receive data to / from the outside via a network.
  • the communication unit 11 receives a request corresponding to a user input and information necessary for generating a virtual image from the terminal 20, and transmits the request to the terminal 20 under the control of the control unit 12 A virtual image can be transmitted.
  • the controller 12 is configured to control the components of the server 10 in order to provide the mixed reality service according to the present invention. More specifically, the control unit 12 may include a data conversion unit 121, a mixed reality service providing unit 122, and a virtual image generating unit 123.
  • the data conversion unit 121 converts the two-dimensional modeling data into three-dimensional data to generate three-dimensional modeling data.
  • the data converting unit 121 can convert the modeling data into 3D modeling data using designated software (e.g., AUTOCAD, autodesk, etc.).
  • designated software e.g., AUTOCAD, autodesk, etc.
  • the data converting unit 121 may be configured to provide a format (format) Or, you can convert the received 3D modeling data into a format that supports it.
  • the three-dimensional modeling data may be modeling data for building design.
  • the three-dimensional modeling data may be three-dimensional data relating to the product, three-dimensional modeling data generated at the designing stage, and the like.
  • the three-dimensional modeling data may be Industry Foundation Classes (IFC) data as building information modeling (BIM) data, but is not limited thereto.
  • IFC Industry Foundation Classes
  • BIM building information modeling
  • Three-dimensional modeling data for building design can include information related to the structure, shape, dimensions, materials, materials, colors, patterns, facilities and the like of the building.
  • a separate conversion process through the data conversion unit 121 may not be performed.
  • the data conversion unit 121 may store and manage the converted or received three-dimensional modeling data in the storage unit 13. [ In the various embodiments of the present invention, when a user account for the terminal 20 is created by the mixed reality service provider 122, the data conversion unit 121 converts the three- Modeling data can be stored.
  • the mixed reality service provider 122 performs various control operations to provide the mixed reality service to the terminal 20.
  • the mixed reality service providing unit 122 can create and manage a user account of the terminal 20 provided with the mixed reality service.
  • the mixed reality service provider 122 may store and manage data generated or obtained through the mixed reality service in association with a user account.
  • the mixed reality service provider 122 stores and manages an ID, a password, and the like as identification information for identifying a user account, and stores modeling data, mixed reality conference rooms, and the like related to the user account And can be stored and managed in a data directory corresponding to a user account.
  • the mixed reality service providing unit 122 receives information necessary for generating a virtual image, for example, tracking information, from the terminal 20 as the mixed reality service is activated at the request of the terminal 20, To the virtual image generating unit 123. [0050] The mixed reality service providing unit 122 transmits the virtual image generated by the virtual image generating unit 123 to the terminal 20 and the virtual image is synthesized with the real image in the terminal 20, .
  • the mixed reality service provider 122 may edit and store the 3D modeling data according to a user input received from the terminal 20 while the mixed reality service is provided.
  • the mixed reality service providing unit 122 transmits the edited three-dimensional modeling data to the virtual image generating unit 123 so that a virtual image based on the edited three-dimensional modeling data can be generated.
  • the 3D modeling data is edited by an arbitrary terminal 20, the regenerated virtual image can be transmitted to the terminal 20 and at least one other terminal 20.
  • the at least one terminal 20 receiving the mixed reality service can perform the collaboration while sharing the editing situation of the three-dimensional modeling data at the same time.
  • the mixed reality service provider 122 may perform a text chat, a voice chat, and a group call function while the mixed reality service is provided. Accordingly, the mixed reality service provider 122 can transmit the character data and / or voice data received from the terminal 20 to at least one other terminal.
  • the voice chat or group call function may be performed according to a method of allowing a specific terminal (e.g., a master terminal) to output voice or a method of obtaining a voice command (Push to Talk).
  • the virtual image generating unit 123 may generate a virtual image based on the tracking information received from the terminal 20.
  • the tracking information may include, for example, identification information (e.g., mesh network information) about the physical space of the terminal 20 and three-dimensional rotation and movement information of the terminal 20.
  • the virtual image generation unit 123 can generate a virtual image by rotating or editing the 3D modeling data based on the tracking information of the terminal 20 received from the terminal 20 and arranging the 3D modeling data at a specific position.
  • the virtual image generation unit 123 may generate a virtual image by rotating the user interface object or arranging the user interface object at a specific position based on the tracking information of the terminal 20.
  • the virtual image generating unit 123 may generate a virtual image by rotating an object, for example, an avatar, or arranging it at a specific position, based on the tracking information of the terminal 20.
  • the virtual image generation unit 123 may generate a virtual image by scaling (enlarging / reducing) the three-dimensional modeling data based on the tracking information of the terminal 20. Or the virtual image generation unit 123 scales (aggregates / distributes / rearranges) at least one object each simulating at least one user on the basis of an arbitrary reference point based on the tracking information of the terminal 20, Images can be generated.
  • control unit 12 may be implemented as physically separate devices in the control unit 12, but the technical idea of the present invention is not limited thereto. That is, the components of the control unit 12 described above can be modularized or programmed in one physical processor. In addition, the components of the control unit 12 described above are merely divided into operational aspects of the control unit 12, and at least one or all of the above-described components can be integrated into one component.
  • the storage unit 13 may store an operating system, a program, a software, and the like necessary for the operation of the server 10.
  • the storage unit 13 stores at least one three-dimensional modeling data and data (for example, a user interface object, a user) necessary for providing a mixed reality service under the control of the control unit 12 Image data of the object to be simulated).
  • FIG. 3 is a diagram illustrating a structure of a terminal according to the present invention.
  • the terminal 20 includes a camera unit 21, a sensor unit 22, an input unit 23, a display unit 24, an output unit 25, a communication unit 26, 27, and a storage unit 28.
  • the camera unit 21 includes at least one camera module, and is configured to capture an image of a user in front of the user.
  • the camera section 21 may be configured to include a depth camera that can identify the shape and depth of the user's physical space (the subject).
  • the camera unit 21 may include an infrared camera or the like for photographing a user's hand gesture or the like.
  • the sensor unit 22 may include at least one sensor capable of sensing various information related to the operation of the terminal 20.
  • the sensor unit 22 may include a gyro sensor, an acceleration sensor, a GPS sensor, or the like for sensing movement such as three-dimensional rotation, tilting, and movement of the terminal 20.
  • the input unit 23 receives various inputs from the user.
  • the input unit 23 may include a touch pad, a keypad, a jog dial, a dome switch, a button, and the like.
  • the input portion 23 when receiving a user's hand gesture as input through the camera portion 21, the input portion 23 is configured to perform an operation to identify the hand gesture taken through the camera portion 21 .
  • the input unit 23 may further include a microphone for receiving sounds such as a user's voice and processing the received sounds as electrical voice data.
  • the display unit 24 can visually display various information processed by the terminal 20.
  • the display unit 24 includes a left-eye display unit for displaying a left-eye image and a right-eye display unit for displaying a right- Lt; / RTI >
  • the output unit 25 is configured to output information processed by the terminal 20 in various forms such as sound, vibration, and light.
  • the output unit 25 may include a speaker, a haptic module, an LED lamp, and the like.
  • the communication unit 26 can transmit / receive data to / from the outside via the network.
  • the communication unit 26 transmits various requests and / or information for receiving the mixed reality service to the server 10 through the control of the control unit 27, and transmits three-dimensional modeling data and / / RTI > and / or a virtual image for various objects.
  • the control unit 27 is configured to control the respective components of the terminal 20 in order to receive the mixed reality service according to the present invention. More specifically, the control unit 27 may include a data management unit 271, a mixed reality service management unit 272, and a mixed reality generation unit 273.
  • the data management unit 271 may generate modeling data according to a user input, download data from the outside such as the server 10, and manage (edit / delete / store) modeling data.
  • the data management unit 271 may drive various modeling programs such as AUTOCAD, autodesk, archi CAD, etc. to perform modeling data generation, editing, and conversion.
  • the mixed reality service management unit 272 controls operations related to the mixed reality service provided through the server 10.
  • the mixed reality service management unit 272 may send a request to the server 10 to create / manage the user account or log in to the user account, corresponding to the user input.
  • the mixed reality service management unit 272 can input a user ID, a password, and the like to the server 10 as identification information for creating a user account in the server 10 or logging into a user account.
  • the mixed reality service management unit 272 may transmit the modeling data generated by the data management unit 271 to the server 10 or download the modeling data from the server 10 in response to user input.
  • the mixed reality service management unit 272 may transmit a request for driving the mixed reality service to the server 10 in response to a user input.
  • the mixed reality service management unit 272 may collect tracking information through the camera unit 21 and / or the sensor unit 22 and transmit the collected tracking information to the server 10 .
  • the mixed reality service management unit 272 can receive the virtual image generated based on the tracking information from the server 10. [
  • the mixed reality service management unit 272 may transmit the received virtual image to the mixed reality generation unit 273 and may generate a mixed reality image by combining the real image and the virtual image captured through the camera unit 21 .
  • the mixed reality service management unit 272 may receive user input, for example, three-dimensional modeling (e.g., 3D modeling), through at least one user interface received from the server 10 and displayed by the mixed reality generation unit 273, And an input for editing data or the like.
  • the mixed reality service management unit 272 processes the user input and transfers the user input to the server 10, and can receive and process the response from the server 10.
  • the mixed reality service management unit 272 inputs text and voice through the input unit 23 to perform functions such as text chatting, voice chatting, and group call provided from the server 10 while the mixed reality service is being provided Receive it, process it, and transmit it to the server 10.
  • the input of characters, voice, etc. transmitted to the server 10 can be transmitted to at least one other terminal that simultaneously uses the mixed reality service through the server 10.
  • the mixed reality generation unit 273 generates a mixed reality image by synthesizing a real image photographed through the camera unit 21 and a virtual image received from the server 10.
  • the generated mixed reality image can be displayed through the display unit 24.
  • the mixed reality generation unit 273 may generate the left eye image and the right eye image for the mixed reality image .
  • the generated left-eye image and right-eye image can be displayed on the left-eye display unit and the right-eye display unit of the head-mounted display 30, respectively.
  • the storage unit 28 may store an operating system, a program, software, and the like necessary for the operation of the terminal 20.
  • the terminal 20 may be configured as a head-mounted display 30 as shown in Fig.
  • the head mount display 30 may be configured as a frame 29.
  • the frame 29 may be formed of a flexible material so as to be easily worn on a user's head, for example, and may be formed in a shape of a frame to be worn on the face of a user.
  • the frame 29 may be referred to as a body portion or a body portion.
  • the frame 29 may be provided with the camera unit 21, the sensor unit 22, the input unit 23, the display unit 24, and the output unit 25 described above.
  • the display unit 24 may include left and right eye display units 24 corresponding to the left and right eyes, respectively, in a state worn by the user. Accordingly, the head mount display 30 allows the user to feel a sense of depth corresponding to the parallax between the left eye image and the right eye image, and to experience a more realistic mixed reality space.
  • the structure of the head mount display 30 is not limited to that described above, and the head mount display may have various structures and shapes.
  • the mixed reality service providing method described below may be performed through an application program, software, or the like installed in the terminal 20 or through an HTTP based web service.
  • the technical idea of the present invention is not limited to this, and a mixed reality service providing method according to the present invention can be implemented through various methods.
  • FIG. 5 is a flowchart illustrating a method of operating a mixed reality service according to the present invention.
  • the terminal 20 may receive a user input for driving a mixed reality service (501).
  • the user input for driving the mixed reality service may be received through, for example, moving an application, a program, a software for providing a mixed reality service, a web page providing a mixed reality service, or the like.
  • the terminal 20 may transmit the mixed reality service driving request to the server 10 in response to the user input (502).
  • the server 10 may transmit a driving response to the driving request of the terminal 20 to the terminal 20 (503).
  • the server 10 may perform device authentication and / or security authentication on the terminal 20 to determine whether to provide the mixed reality service to the terminal 20, Response can be transmitted.
  • such an authentication process may not be performed separately.
  • the terminal 20 can collect tracking information in real time (504).
  • the terminal 20 may collect tracking information via the camera section 21 and / or the sensor section 22.
  • the terminal 20 can analyze the image of the real space photographed through the camera unit 21 to identify the shape, depth, etc. of the real space. Through the spatial identification, the terminal 20 can identify an area of a specific shape, for example, an area on the surface where three-dimensional modeling data can be displayed. In addition, the terminal 20 can determine the type, size, location, etc. of the obstacle (e.g., furniture, etc.) located in front of the user through the space identification.
  • the obstacle e.g., furniture, etc.
  • the terminal 20 can sense motion such as three-dimensional rotation, tilting, and movement of the terminal 20 through the sensor unit 22.
  • the tracking information collected by the terminal 20 in the present invention is not limited to the above-described space identification information and motion information, but may be various information required for generating a virtual image, for example, marker recognition information, hand gesture identification Information, and the like.
  • the terminal 20 can transmit the collected tracking information to the server 10 in real time (505).
  • the server 10 may generate a virtual image based on the received tracking information (506). Specifically, the server 10 may generate a virtual image of an object required to provide a mixed reality service. For example, the server 10 may generate a user interface object as a virtual image.
  • the user interface may include a user interface for account creation, account login, account management, modeling data upload / download, mixed reality conference room participation / management, and the like.
  • the server 10 can rotate or magnify / reduce the image of the object with the effect corresponding to the tracking information. In addition, the server 10 can determine the position of the object on the screen displayed on the display unit 24 of the terminal 20.
  • the server 10 may transmit the generated virtual image to the terminal 20 (507).
  • the terminal 20 may generate a mixed reality image by combining the received virtual image with a real image photographed through the camera unit 21 (508).
  • the mixed reality image thus generated may be an image in which a two-dimensional or three-dimensional image of a user interface necessary for using the mixed reality service is placed on the real space where the terminal 20 is located.
  • the terminal 20 can display the generated mixed reality image through the display unit 24 (509).
  • the terminal 20 While the mixed reality image is being displayed, the terminal 20 continuously collects the tracking information in real time and transmits it to the server 10. In addition, the server 10 generates a virtual image based on the tracking information continuously received and transmits the virtual image to the terminal 20.
  • the terminal 20 can display the mixed reality image to the user by synthesizing the virtual image changing according to the real time tracking information into the real image.
  • the terminal 20 can sense the user input inputted through the camera unit 21, the sensor unit 22 and / or the input unit 23 while collecting the tracking information.
  • the user input may be received via the displayed user interface.
  • the terminal 20 can detect a user input for creating a user account for using a mixed reality service through an account creation user interface.
  • the terminal 20 can detect user input for logging into a user account already created through the account login interface.
  • the terminal 20 may sense user input through the infrared camera through the user's hand gesture identification.
  • the terminal 20 may sense a user input for executing the user interface displayed at the location to which the finger is pointing.
  • the terminal 20 may sense user input to display the mixed reality conference room list.
  • the type or form of the user input corresponding to the hand gesture of the user is not particularly limited.
  • the terminal 20 When a user input is detected, the terminal 20 performs a corresponding control operation. For example, when a user input for account creation or a user input for account login is received 510, the terminal 20 may transmit an account creation request or an account login request to the server 10 (511).
  • the account creation request or the account login request is identification information of the user, and may include, for example, an ID, a password, and the like.
  • the server 10 may create an account for the user or log into the created user account (512). Specifically, the server 10 stores the identification information of the user included in the account creation request, and can set and load the data directory so that data related to the user can be stored in association with the identification information of the user. Alternatively, the server 10 may search the stored user's identification information matching the user's identification information included in the account login request, and if the matching user's identification information exists, the stored data directory corresponding to the user's identification information Can be loaded.
  • the server 10 may transmit the account response corresponding to the account creation request or the account login request of the terminal 20 to the terminal 20 (513).
  • the server 10 may extract pre-stored modeling data and mixed reality room information from the loaded data directory.
  • the server 10 may generate the virtual image by composing the extracted information as an object to be displayed on the mixed reality image, and may transmit the virtual image to the terminal 20.
  • the object composed of the virtual image may include, for example, a modeling data list, a list of mixed reality conference rooms, and the like.
  • the server 10 and the terminal 20 can perform various operations based on the user input for using the mixed reality service.
  • the server 10 and the terminal 20 can perform operations relating to creation, editing, deletion, management, participation, etc. of mixed reality conference rooms such as creation, editing, deletion, management, storage, Can be performed.
  • FIG. 6 is a flowchart illustrating a method of storing three-dimensional modeling data according to the present invention.
  • the 3D modeling data storage method according to the present invention can be performed after the above-described mixed reality service is started.
  • the three-dimensional modeling data storage method may be performed after the account login described above, but is not necessarily limited thereto.
  • the terminal 20 may receive a user input for uploading modeling data (601).
  • the user input for uploading the modeling data may be received via a user interface displayed as a mixed reality image.
  • the terminal 20 may transmit the modeling data selected in response to the user input to the server 10 (602).
  • the server 10 may convert the received modeling data (603).
  • the server 10 can convert the received modeling data into three-dimensional modeling data of a predetermined format.
  • the server 10 converts the received modeling data into three-dimensional modeling data of a predetermined format Can be converted.
  • the above conversion process may be omitted.
  • the server 10 may store the three-dimensional modeling data (604). When the 3D modeling data is generated while logged into the user's account, the server 10 may store the 3D modeling data in the data directory corresponding to the account.
  • the server 10 may transmit the data upload response including the information about the successfully stored three-dimensional modeling data to the terminal 20 (605).
  • the response may include a virtual image including a list of pre-stored three-dimensional modeling data and the like. Further, the response may further include information on original modeling data of the three-dimensional modeling data, conversion information, information on uploaded date and time, and the like.
  • the server 10 can edit, delete, manage, and download the stored three-dimensional modeling data according to a request for editing and / or management of the three-dimensional modeling data received from the terminal 20.
  • FIG. 7 is a flowchart illustrating a method of providing a mixed reality conference room according to the present invention.
  • the terminal 20 may receive a user input for creating a mixed reality conference room (701).
  • the user input for creating a mixed reality room may be received through a user interface displayed as a mixed reality image.
  • the user input for creating a mixed reality conference room may include information on three-dimensional modeling data corresponding to the mixed reality conference room, a list of users allowed to participate in the mixed reality conference room, and the like.
  • the three-dimensional modeling data may be any one of at least one three-dimensional modeling data previously stored in the server 10.
  • the terminal 20 may transmit a mixed reality conference room creation request to the server 10 in response to user input (702).
  • the mixed reality conference room creation request may include information received through user input, three-dimensional modeling data corresponding to the mixed reality conference room, a list of users allowed to attend, and the like.
  • the server 10 may create a mixed reality room (703).
  • the server 10 can assign identification information to the mixed reality conference room and map and store the selected three-dimensional modeling data by the request.
  • the server 10 may store the mixed reality room in the data directory corresponding to the corresponding account.
  • the server 10 may transmit information about the generated mixed reality conference room to the terminal 20 in response (704).
  • the response may include a virtual image including a list of the created mixed reality conference rooms and the like. Further, the response may further include identification information regarding the generated mixed reality conference room, information on the corresponding three-dimensional modeling data, information on the user permitted to attend, information on the created date and time, and the like.
  • the information about the mixed reality conference room generated by the terminal 20 may be transmitted 706 to another terminal 20 'upon request of another terminal 20' (706).
  • the other terminal 20 ' may be the terminal 20' of the user designated to be allowed to attend the mixed reality conference room.
  • the information about the mixed reality conference room may be delivered by the terminal 20 to another terminal 20 '.
  • the terminal 20 that creates the mixed reality conference room can be referred to as a master terminal or a first terminal, and a terminal 20 'which intends to participate in a mixed reality conference room as a slave terminal, a guest terminal, or a second terminal.
  • At least one terminal 20, 20 'present in the mixed reality service providing system 1 may receive a user input for attending the mixed reality conference room (707). At this time, the terminals 20 and 20 'may not be the terminals 20 that generated the mixed reality conference room. In one embodiment, if a user allowed to attend the mixed reality conference room is designated, the terminal 20, 20 'may be the terminal 20' of the user who is allowed to attend.
  • the terminals 20 and 20 ' may transmit the attendance request for the mixed reality conference room corresponding to the user input to the server 10 in response to the user input (708).
  • the server 10 may transmit the attendance response to the attendance request of the terminals 20 and 20 'to the terminals 20 and 20' (709).
  • the server 10 may perform device authentication, security authentication, and / or attendance verification on the terminals 20 and 20 'to accept the mixed reality conference room of the terminals 20 and 20' And transmit the attendance response to the terminals 20 and 20 '.
  • the terminals 20 and 20 When a response to the mixed reality conference room is received, the terminals 20 and 20 'collect the tracking information in real time (710) and transmit the collected tracking information to the server (711).
  • the server 10 may generate a virtual image based on the received tracking information (712).
  • the server 10 may generate a virtual image from the three-dimensional modeling data corresponding to the mixed reality conference room, and may generate a virtual image for the user interface object and / or the object that simulates the user.
  • the server 10 can extract the space identification information from the tracking information and determine an area of a specific shape in the real space, for example, an area on the surface (for example, the top surface of the desk).
  • the server 10 may generate a virtual image by arranging the three-dimensional modeling data corresponding to the mixed reality conference room at coordinates corresponding to the area on the plane.
  • the server 10 can determine at least one of the display direction and the shape of the three-dimensional modeling data based on the motion information of the terminals 20 and 20 'obtained from the tracking information. For example, the server 10 may rotate or move in correspondence with three-dimensional rotation information or movement information. Alternatively, the server 10 may remove a portion of the three-dimensional modeling data based on the obstacle identified from the tracking information, or shaded in response to the shape of the obstacle, to generate a virtual image.
  • the server 10 can identify the user's position and three-dimensional rotation direction with respect to the position where the three-dimensional modeling data is disposed.
  • the server 10 can generate a virtual image by rotating an object simulating the user, for example, an avatar, in correspondence with the three-dimensional rotation direction of the user, and arranging the rotated object in coordinates corresponding to the position of the user.
  • the server 10 may associate the identification information of the user, for example, an ID, with the generated avatar to generate a virtual image.
  • the server 10 displays the identification information of the user currently outputting the voice, for example, a marker such as an arrow You can associate with an avatar, for example, or associate a specific color with an avatar to create a virtual image.
  • the server 10 may apply a three-dimensional scaling to generate a virtual image.
  • the physical space in which the first terminal 20 and the second terminal 20 'are located may be different in shape and size.
  • the desk identified in the first terminal 20 and the second terminal 20 ' may also be of different sizes.
  • the virtual image 901 may not be suitably displayed.
  • the avatar of the second terminal 20 'in the first terminal 20 is displayed in the coordinates based on the real space of the second terminal 20', as shown in FIG. 9,
  • the avatar of the second terminal 20 'on the mixed reality image of the terminal 20 may not be placed at the proper position (902) or out of space (903).
  • the server 10 can generate a virtual image by enlarging or reducing (scaling) the three-dimensional modeling data corresponding to the size of the area on the identified surface.
  • the server 10 may generate a virtual image by aggregating or distributing objects that simulate the user according to the size of the real space, based on an arbitrary reference point.
  • the reference point may be the center coordinate of the position where the three-dimensional modeling data is displayed, the center coordinate of the recognized plane area, or the center of gravity coordinate according to the shape of the area on the recognized plane.
  • the coordinates of the avatar for the user of the second terminal 20 ' can be determined based on the tracking information of the second terminal 20'.
  • the server 10 displays the 3D modeling data of the first terminal 20
  • the virtual image can be generated by assembling the avatar for the user of the second terminal 20 'on the basis of the center coordinates.
  • the virtual image is suitably displayed in the area on the surface where the virtual image 1001 of the three-dimensional modeling data is identified at any terminal as shown in FIG. 10, and the avatars 1002 and 1003 of each user are displayed Dimensional modeling data and can be arranged and displayed at suitable positions around the three-dimensional modeling data.
  • the server 10 may transmit the generated virtual image to the terminals 20 and 20 '(713).
  • the virtual images transmitted to the terminals 20 and 20 ' may be different images.
  • the terminals 20 and 20 ' may generate a mixed reality image 714 by combining the received virtual image with a real image photographed through the camera unit 21, and may display the mixed reality image through the display unit 24 (715) .
  • FIG. 11 An example of the mixed reality image displayed in this manner is shown in FIG.
  • a virtual image 1101 of the three-dimensional modeling data is displayed on the area on the perceived plane, i.e., the desk.
  • the virtual image 1101 may be scaled to be suitably displayed in the area on the plane.
  • at least one of the objects 1102 and 1103, which simulate the users of at least one other terminal, is arranged corresponding to the position and direction of rotation of the user.
  • At least one user interface object (1104, 1105) may be displayed in some areas of the screen to perform control available in the mixed reality conference room.
  • the user interface includes, for example, text chat, voice chat, group call, note generation, participant information display, attendee management, object selection in three-dimensional modeling data, structure, form, dimensions, materials, Colors, patterns, editing of equipment, and the like.
  • the user can recognize that the three-dimensional modeling data is displayed on the desk in the real space and that the user of another terminal 20 'exists in the real space. Accordingly, the user can feel the reality that the user performs the processing operation with the other user on the actual three-dimensional modeling data in the real space where the user is located.
  • the server 10 and the terminals 20 and 20 ' can perform additional work on the three-dimensional modeling data and can share the results in real time, as in the case of actual meetings. This will be described with reference to FIG.
  • the terminal 20 may receive a user input for an operation of adding three-dimensional modeling data (801).
  • the user input for further work can be received via the user interface and / or the three-dimensional modeling data displayed on the mixed reality image.
  • the user input for the additional operation may include structure, shape, dimensions, material, material, color, pattern for the three-dimensional modeling data, and information for editing the facility.
  • the terminal 20 may transmit a processing request for the three-dimensional modeling data to the server 10 in response to a user input (802).
  • the server 10 may edit the three-dimensional modeling data corresponding to the mixed reality conference room (803).
  • the server 10 can change the size, change the arrangement, change the color, material, pattern, and the like of the object selected by the processing request in the three-dimensional modeling data according to the processing request.
  • the server 10 may store the edited three-dimensional modeling data or store the edited three-dimensional modeling data for backup, and may perform management and storage operations for the three-dimensional modeling data.
  • the server 10 may generate a virtual image based on the edited three-dimensional modeling data and transmit it to the terminals 20 and 20 '(805).
  • FIG. 12 is a diagram illustrating a network structure of a mixed reality service providing system according to a further embodiment of the present invention.
  • the mixed reality service providing system of the embodiment shown in FIG. 12 may be referred to as a monitoring system of mixed reality service, a management system, a relay system, and the like.
  • a mixed reality providing system 2 may be configured to include a terminal 20 and a monitoring device 40 using a mixed reality service.
  • the terminal 20 may be the same terminal 20 as the terminal 20 described with reference to FIGS.
  • the terminal 20 may transmit the mixed reality image displayed through the display unit 24 to the external monitoring device 40 as a monitoring image.
  • the mixed reality image transmission to the monitoring device 40 can be performed through a monitoring unit or the like provided in the control unit 27.
  • the provision of such a monitoring image may be performed by the server 10.
  • the mixed reality service provider 122 of the server 10 may transmit the mixed reality image generated by the virtual image generating unit 123 to the monitoring device 40 as a monitoring image.
  • provision of a monitoring image may be performed by a monitoring server (or a relay server) provided separately from the server 10 and the terminal 20.
  • the monitoring server may generate a monitoring image based on at least one of the virtual image, the real image, and the mixed reality image received from the server 10 and / or the terminal 20, and transmit the monitoring image to the monitoring device 40.
  • the monitoring image may be the same image as the mixed reality image displayed through the display 24 of the terminal 20.
  • the monitoring image may be an image including a virtual image displayed through the display unit 24 of the terminal 20.
  • FIG. 12 shows an example in which the terminal 20 is configured as a head mount display
  • the terminal 20 is not limited thereto, and various types of terminals 20 may be used as described above.
  • the monitoring device 40 can display the received monitoring image through at least one display unit.
  • the monitoring device 40 may be configured as a single monitor device.
  • a user directly or not using the terminal 20 among the users in the mixed reality providing system 2 visually displays a screen outputted through the terminal 20 through the monitoring device 40 And indirectly.
  • This embodiment can be used to manage and develop the mixed reality providing system 1 according to the present invention, and more users can directly or indirectly participate in the mixed reality meeting room provided in the mixed reality providing system 1 .

Abstract

본 발명은 서버의 혼합 현실 서비스를 제공하기 위한 방법으로, 임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하는 단계, 상기 혼합 현실 회의실에 참여한 적어도 하나의 단말에서 수집된 트랙킹 정보를 수신하는 단계, 상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하는 단계 및 상기 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 포함하되, 상기 트랙킹 정보는, 각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고, 상기 가상 이미지는, 상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되는 것을 특징으로 하는 방법 및 이를 수행하는 시스템에 관한 것이다.

Description

혼합 현실 서비스 제공 방법 및 시스템
본 발명은 혼합 현실 서비스 제공 방법 및 시스템에 관한 것으로, 보다 구체적으로 혼합 현실 공간에서 복수의 단말 사용자가 3차원 모델링 데이터를 공유할 수 있도록 하는 혼합 현실 서비스 제공 방법 및 시스템에 관한 것이다.
최근 3차원 영상 처리 기술이 급속도로 발전하면서, 영화, 게임, 인테리어 등 다양한 분야에 가상 현실(Virtual Reality; VR) 또는 증강 현실(Augmented Reality; AR)을 이용한 서비스가 제공되고 있다. 증강 현실 이후에 등장한 혼합 현실(Mixed Reality; MR)은 현실의 이미지와 3차원 모델링 데이터로 구현된 가상의 이미지를 합성하여 표시함으로써, 사용자에게 현실과 가상 이미지의 경계가 없는 이미지를 제공한다.
한편, 건축물의 설계 분야에서도 설계 데이터를 3차원 모델링 데이터 화하여 보다 입체감 있게 건축물의 구조를 파악할 수 있도록 하는 기술이 개발되고 있다.
건축물 설계에 있어서, 건축 업체뿐만 아니라, 전기/가스 등 건축 내부 설비나 인테리어 등을 위한 다양한 용역 업체들이 참여하여 동시 다발적으로 설계 데이터에 대한 처리 작업을 수행한다. 이러한 종래의 공유 방식은, 설계 데이터에 대한 처리가 누락되거나 착오를 일으켜 건축물 설계를 비효율적으로 이루어지게 할 우려가 있다.
건축물 설계 분야뿐만 아니라, 기술이 급속도로 발전하고 다양한 분야의 기술자들이 신속하게 정보를 공유해야 하는 현재의 추세에 비추어, 원격지의 사용자들이 실시간으로 데이터를 공유하고 협업할 수 있도록 하는 서비스의 제공이 요구된다.
본 발명은 상기한 문제점을 해결하기 위한 것으로, 혼합 현실 공간에서 다수의 사용자들이 3차원 모델링 데이터를 실시간으로 공유하고 원격에서 협업할 수 있도록 하는 혼합 현실 서비스 제공 방법 및 시스템을 제공한다.
또한, 본 발명은 혼합 현실 공간에서 3차원 모델링 데이터 및 다양한 오브젝트들을 사용자의 현실 공간에 적합하게 스케일링하여 표시될 수 있도록 하는 혼합 현실 서비스 제공 방법 및 시스템을 제공한다.
상술한 과제를 해결하기 위한 본 발명에 따른 혼합 현실 서비스 제공 방법은 서버의 혼합 현실 서비스를 제공하기 위한 방법으로, 임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하는 단계, 상기 혼합 현실 회의실에 참여한 적어도 하나의 단말에서 수집된 트랙킹 정보를 수신하는 단계, 상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하는 단계 및 상기 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 포함하되, 상기 트랙킹 정보는, 각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고, 상기 가상 이미지는, 상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 생성하는 단계는, 상기 각 단말의 움직임 정보를 기초로 상기 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정하는 단계, 상기 각 단말의 공간 식별 정보로부터 면상의 영역을 판단하는 단계 및 상기 면상의 영역 내에 상기 3차원 모델링 데이터를 배치하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 생성하는 단계는, 상기 면상의 영역의 크기에 따라 상기 3차원 모델링 데이터의 크기를 확대 또는 축소하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 생성하는 단계는, 각 단말의 사용자를 모사하는 적어도 하나의 오브젝트를 생성하는 단계 및 상기 각 단말의 움직임 정보를 기초로 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하는 단계는, 상기 각 단말의 공간 식별 정보로부터 임의의 기준점을 결정하는 단계, 상기 각 단말의 공간 식별 정보로부터 상기 각 단말의 현실 공간의 크기를 판단하는 단계 및 상기 각 단말의 현실 공간의 크기에 따라 상기 임의의 기준점에 대하여 상기 적어도 하나의 오브젝트를 결집 또는 분산하여 배치하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 방법은, 상기 혼합 현실 이미지상에 표시되는 적어도 하나의 사용자 인터페이스를 통하여 상기 3차원 모델링 데이터의 처리 요청을 수신하는 단계, 상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하는 단계, 상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하는 단계 및 상기 재생성된 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 3차원 모델링 데이터는, 건축물 설계를 위한 모델링 데이터, 제품에 관한 3차원 데이터 및 디자인 단계에서 생성되는 3차원 모델링 데이터 중 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 방법은, 상기 단말에서 표시되는 상기 혼합 현실 이미지를 모니터링 장치로 전송하여 상기 단말의 사용자 이외의 적어도 하나의 사용자를 위해 상기 모니터링 장치에서 표시되도록 하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 혼합 현실 서비스 제공 시스템은, 혼합 현실 서비스를 제공하는 시스템으로, 혼합 현실 회의실에 참여하는 동안 트랙킹 정보를 수집하여 전송하는 적어도 하나의 단말 및 임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하고, 상기 혼합 현실 회의실에 참여하는 상기 적어도 하나의 단말로부터 수신된 상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하여 상기 적어도 하나의 단말로 전송하는 서버를 포함하되, 상기 트랙킹 정보는, 각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고, 상기 적어도 하나의 단말은, 상기 적어도 하나의 단말에서 촬영되는 현실 이미지와 상기 가상 이미지를 합성하여 혼합 현실 이미지로 표시하는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 상기 각 단말의 움직임 정보를 기초로 상기 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정하고, 상기 각 단말의 공간 식별 정보로부터 면상의 영역을 판단하고, 상기 면상의 영역 내에 상기 3차원 모델링 데이터를 배치하여 상기 가상 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 상기 면상의 영역의 크기에 따라 상기 3차원 모델링 데이터의 크기를 확대 또는 축소하여 상기 가상 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 각 단말의 사용자를 모사하는 적어도 하나의 오브젝트를 생성하고, 상기 각 단말의 움직임 정보를 기초로 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하여 상기 가상 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 상기 각 단말의 공간 식별 정보로부터 임의의 기준점을 결정하고, 상기 각 단말의 공간 식별 정보로부터 상기 각 단말의 현실 공간의 크기를 판단하고, 상기 각 단말의 현실 공간의 크기에 따라 상기 임의의 기준점에 대하여 상기 적어도 하나의 오브젝트를 결집 또는 분산하여 배치하여 상기 가상 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 단말은, 상기 혼합 현실 이미지상에 표시된 적어도 하나의 사용자 인터페이스를 통하여 수신되는 사용자 입력을 기초로, 상기 3차원 모델링 데이터의 처리 요청을 상기 서버로 전송하고, 상기 서버는, 상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하고, 상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하고, 상기 재생성된 가상 이미지를 상기 적어도 하나의 단말로 전송하는 것을 특징으로 할 수 있다.
또한, 상기 3차원 모델링 데이터는, 건축물 설계를 위한 모델링 데이터, 제품에 관한 3차원 데이터 및 디자인 단계에서 생성되는 3차원 모델링 데이터 중 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 시스템은, 상기 단말로부터 상기 단말에서 표시되는 상기 혼합 이미지를 수신하여 상기 단말의 사용자 이외의 적어도 하나의 사용자를 위해 표시하는 모니터링 장치를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은, 원격의 사용자들의 혼합 현실 공간에서 현실감 있게 3차원 모델링 데이터를 실시간으로 확인하고 편집 현황을 공유함으로써, 보다 효율적인 협업이 가능하게 한다.
또한, 본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은, 건축물 설계 분야에서 3차원 모델링 데이터의 활용을 극대화하고 건축물 설계에 소요되는 시간과 자원을 최소화할 수 있도록 한다.
도 1은 본 발명에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다.
도 2는 본 발명에 따른 서버의 구조를 나타낸 도면이다.
도 3은 본 발명에 따른 단말의 구조를 나타낸 도면이다.
도 4는 본 발명에 따른 단말이 헤드 마운트 디스플레이 장치로 구현되는 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 혼합 현실 서비스 구동 방법을 나타낸 흐름도이다.
도 6은 본 발명에 따른 3차원 모델링 데이터의 저장 방법을 나타낸 흐름도이다.
도 7 및 도 8은 본 발명에 따른 혼합 현실 회의실 제공 방법을 나타낸 흐름도이다.
도 9 및 도 10은 본 발명에 따른 3차원 스케일링을 설명하기 위한 도면이다.
도 11은 본 발명에 따른 혼합 현실 이미지의 일 예를 나타낸 도면이다.
도 12는 본 발명의 추가적인 실시 예에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다.
본 명세서의 실시 예를 설명함에 있어 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우, 그 상세한 설명은 생략될 수 있다.
본 명세서에서 사용되는 "포함한다," "포함할 수 있다." 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 명세서에서, "포함하다." 또는 "가지다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 　
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은 건축물 설계를 위해 제공될 수 있다. 보다 구체적으로, 본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은 3차원 모델링 데이터로써 건축물의 설계 데이터를 혼합 현실 회의실에 입장한 다수의 사용자 단말에 혼합 현실로 표시하고, 설계 정보를 관리(추가/수정/삭제 등)할 수 있도록 하기 위해 구성될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다.
도 1은 본 발명에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 혼합 현실 서비스 제공 시스템(1)은 혼합 현실 서비스를 제공하는 서버(10)와 혼합 현실 서비스를 제공받는 적어도 하나의 단말(20)을 포함하여 구성될 수 있다.
서버(10)는 본 발명에 따른 혼합 현실 서비스를 제공하기 위하여 마련되는 것으로, 혼합 현실 서비스의 제공자에 의해 운영되는 네트워크 서버, 애플리케이션 서버, 도메인 서버 등일 수 있다.
서버(10)는 단말(20)로부터 혼합 현실 서비스 제공 요청 시, 혼합 현실 회의실을 개설하고, 회의실에 참가한 단말(20)의 현실 공간에 대응하여 처리된 3차원 모델링 데이터의 가상 이미지를 단말(20)에게 제공한다. 단말(20)에 제공된 가상 이미지는 단말(20)에서 촬영되는 현실 이미지와 합성되어 혼합 현실 이미지로 표시될 수 있다.
단말(20)은 서버(10)와 데이터 통신을 수행하여 혼합 현실 서비스를 제공받는다.
단말(20)은 셀룰러 전화기, 스마트 폰, 개인 휴대용 단말기(PDA), 태블릿, 컴퓨터 등과 같은 휴대형 유닛들을 포함할 수 있다. 특히, 본 발명의 다양한 실시 예에서, 단말(20)은 도 4에 도시된 바와 같이 헤드 마운트 디스플레이(Head Mounted Display; HMD)로 구성되어, 사용자에게 3차원 모델링 데이터를 보다 현실적으로 체험할 수 있도록 한다.
서버(10)와 단말(20)은 네트워크를 통해 상호 연결되어 데이터 통신을 수행하며, 혼합 현실 서비스를 위한 제어 동작을 수행한다. 이에 대하여 보다 구체적인 설명은 후술한다.
도 2는 본 발명에 따른 서버의 구조를 나타낸 도면이다.
도 2를 참조하면, 서버(10)는 통신부(11), 제어부(12) 및 저장부(13)를 포함하여 구성될 수 있다.
통신부(11)는 네트워크를 통해 외부와 데이터를 송수신할 수 있다. 일 예로 통신부(11)는 단말(20)로부터 사용자 입력에 대응하는 요청 및 가상 이미지 생성을 위해 필요한 정보 등을 수신하고, 제어부(12)의 제어에 따라 단말(20)로 현실 이미지 상에 합성될 가상 이미지를 전송할 수 있다.
제어부(12)는 본 발명에 따른 혼합 현실 서비스를 제공하기 위하여, 서버(10)의 각 구성 요소들을 제어하도록 구성된다. 보다 구체적으로, 제어부(12)는 데이터 변환부(121), 혼합 현실 서비스 제공부(122) 및 가상 이미지 생성부(123)를 포함하여 구성될 수 있다.
데이터 변환부(121)는 2차원 모델링 데이터를 3차원으로 변환하여 3차원 모델링 데이터를 생성한다. 데이터 변환부(121)는 네트워크를 통하여 단말(20) 등으로부터 2차원 모델링 데이터가 수신되면, 지정된 소프트웨어(예를 들어, AUTOCAD, autodesk 등)를 이용하여 이를 3차원 모델링 데이터로 변환할 수 있다. 또는, 데이터 변환부(121)는 네트워크를 통하여 단말(20) 등으로부터 수신된 모델링 데이터가 3차원 모델링 데이터인 경우에도, 서버(10)에서 혼합 현실 서비스를 제공하기 위해 지원하는 형식(포맷)이 아니면, 수신된 3차원 모델링 데이터를 지원하는 형식으로 변환할 수 있다.
본 발명의 다양한 실시 예에서, 3차원 모델링 데이터는 건축물 설계를 위한 모델링 데이터일 수 있다. 3차원 모델링 데이터는 제품에 관한 3차원 데이터, 디자인 단계에서 생성되는 3차원 모델링 데이터 등일 수 있다. 특히, 본 발명의 다양한 실시 예에서, 3차원 모델링 데이터는 빌딩 정보 모델링(Building Information Modeling; BIM) 데이터로써 IFC(Industry Foundation Classes) 데이터일 수 있으나, 이에 한정되지는 않는다. 건축물 설계를 위한 3차원 모델링 데이터는 건축물의 구조, 형태, 치수, 재료, 재질, 색상, 무늬, 설비 등에 관련된 정보를 포함할 수 있다.
일 실시 예에서, 단말(20) 등으로부터 수신된 데이터가 기설정된 형식의 3차원 모델링 데이터인 경우, 데이터 변환부(121)를 통한 별도의 변환 과정이 수행되지 않을 수 있다.
데이터 변환부(121)는 변환되거나 수신된 3차원 모델링 데이터를 저장부(13)에 저장하고 관리할 수 있다. 본 발명의 다양한 실시 예에서, 혼합 현실 서비스 제공부(122)에 의해 단말(20)을 위한 사용자 계정이 생성되는 경우, 데이터 변환부(121)는 사용자 계정 별로 지정된 데이터 디렉토리에 해당 사용자의 3차원 모델링 데이터를 저장할 수 있다.
혼합 현실 서비스 제공부(122)는 단말(20)로 혼합 현실 서비스를 제공하기 위한 각종 제어 동작들을 수행한다.
구체적으로, 혼합 현실 서비스 제공부(122)는 혼합 현실 서비스를 제공받는 단말(20)의 사용자 계정을 생성하고 관리할 수 있다. 혼합 현실 서비스 제공부(122)는 혼합 현실 서비스를 통하여 생성되거나 획득되는 데이터를 사용자 계정과 연계하여 저장하고 관리할 수 있다. 일 예로, 혼합 현실 서비스 제공부(122)는 사용자 계정을 식별하기 위한 식별 정보로써 아이디(ID), 비밀번호(PASSWORD) 등을 저장하고 관리하며, 해당 사용자 계정과 관련된 모델링 데이터, 혼합 현실 회의실 등을 사용자 계정에 대응되는 데이터 디렉토리에 저장하고 관리할 수 있다.
혼합 현실 서비스 제공부(122)는 단말(20)의 요청에 의해 혼합 현실 서비스가 구동됨에 따라, 단말(20)로부터 가상 이미지 생성을 위해 필요한 정보, 예를 들어 트랙킹 정보를 수신하고, 수신된 정보를 가상 이미지 생성부(123)로 전달할 수 있다. 또한, 혼합 현실 서비스 제공부(122)는 가상 이미지 생성부(123)로부터 생성되는 가상 이미지를 단말(20)로 전달하여, 단말(20)에서 가상 이미지가 현실 이미지와 합성되어 혼합 현실 이미지로 구성될 수 있도록 한다.
혼합 현실 서비스 제공부(122)는 혼합 현실 서비스가 제공되는 동안, 단말(20)로부터 수신되는 사용자 입력에 따라 3차원 모델링 데이터를 편집하여 저장할 수 있다. 혼합 현실 서비스 제공부(122)는 편집된 3차원 모델링 데이터를 가상 이미지 생성부(123)로 전달하여, 편집된 3차원 모델링 데이터에 기초한 가상 이미지가 생성될 수 있도록 한다. 임의의 단말(20)에 의해 3차원 모델링 데이터가 편집되는 경우, 이를 기초로 재생성된 가상 이미지는 해당 단말(20) 및 적어도 하나의 다른 단말(20)로 전송될 수 있다. 그에 따라, 혼합 현실 서비스를 제공받는 적어도 하나의 단말(20)은 동시에 3차원 모델링 데이터의 편집 상황을 공유하면서 협업을 수행할 수 있다.
또한, 혼합 현실 서비스 제공부(122)는 혼합 현실 서비스가 제공되는 동안, 문자 채팅, 보이스 채팅, 그룹 콜 기능을 수행할 수 있다. 그에 따라 혼합 현실 서비스 제공부(122)는 단말(20)로부터 수신되는 문자 데이터 및/또는 음성 데이터를 적어도 하나의 다른 단말로 전송할 수 있다. 본 발명의 다양한 실시 예에서, 보이스 채팅 또는 그룹 콜 기능은 특정 단말(예를 들어, 마스터 단말)만 음성 출력을 허용하거나, 발언권 획득 방식(Push to Talk 방식)에 따라 수행될 수 있다.
가상 이미지 생성부(123)는 단말(20)로부터 수신된 트랙킹 정보를 기초로 가상 이미지를 생성할 수 있다. 트랙킹 정보는 예를 들어, 단말(20)의 현실 공간에 대한 식별 정보(예를 들어, 메쉬망 정보) 및 단말(20)의 3차원 회전, 이동 정보 등을 포함할 수 있다.
가상 이미지 생성부(123)는 단말(20)로부터 수신된 단말(20)의 트랙킹 정보를 기초로 3차원 모델링 데이터를 회전하거나 편집하고 특정 위치에 배치하여 가상 이미지를 생성할 수 있다. 또는, 가상 이미지 생성부(123)는 단말(20)의 트랙킹 정보를 기초로 사용자 인터페이스 오브젝트를 회전시키거나 특정 위치에 배치하여 가상 이미지를 생성할 수 있다. 또는, 가상 이미지 생성부(123)는 단말(20)의 트랙킹 정보를 기초로 사용자를 모사하는 오브젝트, 예를 들어 아바타를 회전하거나 특정 위치에 배치하여 가상 이미지를 생성할 수 있다.
다양한 실시 예에서, 가상 이미지 생성부(123)는 단말(20)의 트랙킹 정보를 기초로, 3차원 모델링 데이터를 스케일링(확대/축소)하여 가상 이미지를 생성할 수 있다. 또는 가상 이미지 생성부(123)는 단말(20)의 트랙킹 정보를 기초로, 적어도 하나의 사용자를 각각 모사하는 적어도 하나의 오브젝트에 대해 임의의 기준점을 기준으로 스케일링(결집/분산/재배치)하여 가상 이미지를 생성할 수 있다.
상술한 제어부(12)의 구성 요소들은 제어부(12) 내에 물리적으로 별개의 장치로써 구현될 수 있으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니다. 즉, 상술한 제어부(12)의 구성 요소들은 하나의 물리적인 프로세서 내에 모듈화되거나, 프로그램될 수 있다. 또한, 상술한 제어부(12)의 구성 요소들은 단순히 제어부(12)의 동작적인 측면으로 구분된 것에 불과하며, 상술한 구성 요소들의 적어도 하나 또는 전부는 하나의 구성 요소로 통합될 수 있다.
저장부(13)는 서버(10)의 동작을 위하여 필요한 운영 체제, 프로그램, 소프트웨어 등을 저장할 수 있다. 본 발명의 다양한 실시 예에서, 저장부(13)는 제어부(12)의 제어에 따라 적어도 하나의 3차원 모델링 데이터 및 혼합 현실 서비스를 제공하기 위해 필요한 데이터(예를 들어, 사용자 인터페이스 오브젝트, 사용자를 모사하는 오브젝트의 이미지 데이터)를 저장할 수 있다.
도 3은 본 발명에 따른 단말의 구조를 나타낸 도면이다.
도 3을 참조하면, 본 발명에 따른 단말(20)은 카메라부(21), 센서부(22), 입력부(23), 표시부(24), 출력부(25), 통신부(26), 제어부(27) 및 저장부(28)를 포함하여 구성될 수 있다.
카메라부(21)는 적어도 하나의 카메라 모듈을 구비하여 사용자 전방의 영상을 촬영하도록 형성된다. 본 발명의 다양한 실시 예에서, 카메라부(21)는 사용자의 현실 공간(피사체)의 형태와 깊이감을 식별할 수 있는 깊이 카메라(depth camera)를 포함하여 구성될 수 있다. 또한, 카메라부(21)는 사용자의 핸드 제스처 등을 촬영하기 위한 적외선 카메라 등을 포함하여 구성될 수 있다.
센서부(22)는 단말(20)의 동작에 관한 다양한 정보를 감지할 수 있는 적어도 하나의 센서를 포함하여 구성될 수 있다. 본 발명의 다양한 실시 예에서, 센서부(22)는 단말(20)의 3차원 회전이나 기울임, 이동과 같은 움직임을 감지하기 위한 자이로 센서나 가속도 센서, GPS 센서 등을 포함할 수 있다.
입력부(23)는 사용자의 다양한 입력을 수신한다. 입력부(23)는 터치 패드, 키 패드, 조그 다이얼, 돔 스위치, 버튼 등을 포함할 수 있다. 또는, 일 실시 예에서, 카메라부(21)를 통하여 사용자의 핸드 제스처를 입력으로 수신하는 경우, 입력부(23)는 카메라부(21)를 통하여 촬영된 핸드 제스처를 식별하는 동작을 수행하도록 구성될 수 있다. 또한, 다양한 실시 예에서, 입력부(23)는 사용자의 음성과 같은 음향을 입력받아 전기적인 음성 데이터로 처리하는 마이크를 더 포함할 수 있다.
표시부(24)는 단말(20)에서 처리되는 다양한 정보들을 시각적으로 표시할 수 있다. 본 발명의 다양한 실시 예에서, 단말(20)이 헤드 마운트 디스플레이(30)로 구성되는 경우 표시부(24)는 좌안용 영상을 표시하는 좌안용 표시부 및 우안용 영상을 표시하는 우안용 표시부를 포함하여 구성될 수 있다.
출력부(25)는 단말(20)에서 처리되는 정보들을 음향, 진동, 광 등의 다양한 형태로 출력하도록 구성된다. 이를 위하여, 출력부(25)는 스피커, 햅틱 모듈, LED 램프 등을 포함하여 구성될 수 있다.
통신부(26)는 네트워크를 통해 외부와 데이터를 송수신할 수 있다. 일 예로, 통신부(26)는 제어부(27)의 제어를 통하여, 서버(10)로 혼합 현실 서비스를 제공받기 위한 다양한 요청들 및/또는 정보를 전송하고, 서버(10)로부터 3차원 모델링 데이터 및/또는 다양한 오브젝트들에 대한 가상 이미지를 수신할 수 있다.
제어부(27)는 본 발명에 따른 혼합 현실 서비스를 제공받기 위하여, 단말(20)의 각 구성 요소들을 제어하도록 구성된다. 보다 구체적으로, 제어부(27)는 데이터 관리부(271), 혼합 현실 서비스 관리부(272) 및 혼합 현실 생성부(273)를 포함하여 구성될 수 있다.
데이터 관리부(271)는 사용자 입력에 따라 모델링 데이터를 생성하거나 서버(10) 등과 같은 외부로부터 다운로드하고, 모델링 데이터에 대한 관리(편집/삭제/저장 등)를 수행할 수 있다. 다양한 실시 예에서, 데이터 관리부(271)는 AUTOCAD, autodesk, archi CAD 등과 같은 다양한 모델링 프로그램을 구동하여, 모델링 데이터의 생성, 편집, 변환 등을 수행할 수 있다.
혼합 현실 서비스 관리부(272)는 서버(10)를 통하여 제공되는 혼합 현실 서비스에 관련된 동작을 제어한다.
구체적으로, 혼합 현실 서비스 관리부(272)는 사용자 입력에 대응하여, 서버(10)로 사용자 계정을 생성/관리하거나 사용자 계정에 로그인하기 위한 요청을 전송할 수 있다. 혼합 현실 서비스 관리부(272)는 서버(10)로 사용자 계정을 생성하거나 사용자 계정에 로그인하기 위한 식별 정보로써, 아이디, 비밀번호 등을 사용자에게 입력받고 이를 서버(10)로 전송할 수 있다.
혼합 현실 서비스 관리부(272)는 사용자 입력에 대응하여 데이터 관리부(271)에 의해 생성된 모델링 데이터를 서버(10)로 전송하거나, 서버(10)로부터 모델링 데이터를 다운로드할 수 있다.
혼합 현실 서비스 관리부(272)는 사용자 입력에 대응하여, 혼합 현실 서비스를 구동하기 위한 요청을 서버(10)로 전송할 수 있다. 혼합 현실 서비스가 구동함에 따라, 혼합 현실 서비스 관리부(272)는 카메라부(21) 및/또는 센서부(22)를 통하여 트랙킹 정보를 수집하고, 수집된 트랙킹 정보를 서버(10)로 전송할 수 있다. 혼합 현실 서비스 관리부(272)는 트랙킹 정보에 기초하여 생성된 가상 이미지를 서버(10)로부터 수신할 수 있다. 혼합 현실 서비스 관리부(272)는 수신된 가상 이미지를 혼합 현실 생성부(273)로 전달하여, 카메라부(21)를 통해 촬영되는 현실 이미지와 가상 이미지를 합성함으로써 혼합 현실 이미지가 생성되도록 할 수 있다.
혼합 현실 서비스 관리부(272)는 혼합 현실 서비스가 제공되는 동안, 서버(10)로부터 수신되고 혼합 현실 생성부(273)에 의해 표시된 적어도 하나의 사용자 인터페이스를 통하여, 사용자 입력, 예를 들어 3차원 모델링 데이터의 편집 등을 위한 입력을 수신할 수 있다. 혼합 현실 서비스 관리부(272)는 사용자 입력을 처리하여 서버(10)로 전달하고, 그에 대한 응답을 서버(10)로부터 수신하여 처리할 수 있다.
혼합 현실 서비스 관리부(272)는 혼합 현실 서비스가 제공되는 동안, 서버(10)에서 제공되는 문자 채팅, 보이스 채팅, 그룹 콜 등의 기능 수행을 위해, 입력부(23)를 통하여 문자, 음성 등을 입력받고, 이를 처리하여 서버(10)로 전달할 수 있다. 서버(10)로 전달된 문자, 음성 등의 입력은 서버(10)를 통하여 혼합 현실 서비스를 동시에 이용하는 적어도 하나의 다른 단말에게 전달될 수 있다.
혼합 현실 생성부(273)는 카메라부(21)를 통해 촬영된 현실 이미지와 서버(10)로부터 수신된 가상 이미지를 합성하여 혼합 현실 이미지를 생성한다. 생성된 혼합 현실 이미지는 표시부(24)를 통해 표시될 수 있다.
일 실시 예에서, 후술되는 바와 같이 단말(20)이 헤드 마운트 디스플레이(30)로 구성되는 경우, 혼합 현실 생성부(273)는 혼합 현실 이미지에 대한 좌안용 영상 및 우안용 영상을 생성할 수 있다. 생성된 좌안용 영상 및 우안용 영상은 헤드 마운트 디스플레이(30)의 좌안용 표시부 및 우안용 표시부에 각각 표시될 수 있다.
저장부(28)는 단말(20)의 동작을 위하여 필요한 운영 체제, 프로그램, 소프트웨어 등을 저장할 수 있다.
한편, 본 발명의 다양한 실시 예에서, 단말(20)은 도 4에 도시된 바와 같이 헤드 마운트 디스플레이(30)로 구성될 수 있다.
헤드 마운트 디스플레이(30)는 프레임(29)으로 구성될 수 있다. 프레임(29)은 사용자의 두부 등에 착용이 용이하도록 플렉서블한 재질로 형성될 수 있으며, 예를 들어 사용자의 안면에 착용 가능하도록 안경형으로 형성될 수 있다. 프레임(29)은 본체부 또는 바디부 등으로 명명될 수 있다. 프레임(29)에는 상술한 카메라부(21), 센서부(22), 입력부(23), 표시부(24) 및 출력부(25) 등이 마련될 수 있다.
표시부(24)는 사용자가 착용한 상태에서 좌안 및 우안에 각각 대응되는 좌안용 및 우안용 표시부(24)를 구비할 수 있다. 그에 따라, 헤드 마운트 디스플레이(30)는 사용자로 하여금 좌안용 영상과 우안용 영상의 시차에 대응하는 깊이감을 느낄 수 있도록 하고 보다 현실성있는 혼합 현실 공간을 체험할 수 있도록 한다.
그러나 헤드 마운트 디스플레이(30)의 구조는 상술한 것에 한정되지 않으며, 헤드 마운트 디스플레이는 다양한 구조 및 형태를 가질 수 있다.
이하에서는, 본 발명에 따른 혼합 현실 서비스 제공 시스템(1)을 통하여 혼합 현실 서비스를 제공하는 방법을 보다 구체적으로 설명한다. 이하에서 설명되는 혼합 현실 서비스 제공 방법은, 단말(20)에 설치되는 애플리케이션, 프로그램, 소프트웨어 등을 통해 수행되거나, HTTP 기반 웹 서비스를 통하여 수행될 수 있다. 그러나 본 발명의 기술적 사상은 이에 한정되지는 않으며, 다양한 방식을 통해 본 발명에 따른 혼합 현실 서비스 제공 방법이 실행될 수 있다.
도 5는 본 발명에 따른 혼합 현실 서비스의 구동 방법을 나타낸 흐름도이다.
도 5를 참조하면, 단말(20)은 혼합 현실 서비스의 구동을 위한 사용자 입력을 수신할 수 있다(501). 혼합 현실 서비스의 구동을 위한 사용자 입력은, 예를 들어 혼합 현실 서비스 제공을 위한 애플리케이션, 프로그램, 소프트웨어의 구동, 혼합 현실 서비스를 제공하는 웹 페이지로의 이동 등을 통하여 수신될 수 있다.
단말(20)은 사용자 입력에 대응하여 서버(10)로 혼합 현실 서비스의 구동 요청을 전송할 수 있다(502).
서버(10)는 단말(20)의 구동 요청에 대한 구동 응답을 단말(20)에게 전송할 수 있다(503). 다양한 실시 예에서, 서버(10)는 단말(20)에 대한 장치 인증 및/또는 보안 인증 등을 수행하여, 단말(20)에게 혼합 현실 서비스를 제공할 것인지 여부를 결정하고 단말(20)로 구동 응답을 전송할 수 있다.
다양한 실시 예에서, 상기와 같은 인증 과정은 별도로 수행되지 않을 수 있다.
혼합 현실 서비스의 구동 응답이 수신되면, 단말(20)은 트랙킹 정보를 실시간으로 수집할 수 있다(504). 다양한 실시 예에서, 단말(20)은 카메라부(21) 및/또는 센서부(22)를 통해 트랙킹 정보를 수집할 수 있다.
일 예로, 단말(20)은 카메라부(21)를 통하여 촬영되는 현실 공간에 대한 이미지를 분석하여 현실 공간의 형태, 깊이감 등을 식별할 수 있다. 공간 식별을 통해 단말(20)은 특정한 형상의 영역, 예를 들어 3차원 모델링 데이터가 표시될 수 있는 면상의 영역을 식별할 수 있다. 또한, 공간 식별을 통해 단말(20)은 사용자의 전방에 위치한 장애물(예를 들어, 가구 등)의 형태, 크기, 위치 등을 판단할 수 있다.
또한, 일 예로, 단말(20)은 센서부(22)를 통해 단말(20)의 3차원 회전이나 기울임, 이동과 같은 움직임을 감지할 수 있다.
본 발명에서 단말(20)에 의해 수집되는 트랙킹 정보는 상술한 공간 식별 정보 및 움직임 정보에 한정되는 것은 아니며, 가상 이미지를 생성하기 위해 요구되는 다양한 정보들, 예를 들어 마커 인지 정보, 핸드 제스처 식별 정보 등을 포함할 수 있다.
단말(20)은 수집된 트랙킹 정보를 실시간으로 서버(10)에 전송할 수 있다(505).
서버(10)는 수신된 트랙킹 정보를 기초로 가상 이미지를 생성할 수 있다(506). 구체적으로, 서버(10)는 혼합 현실 서비스를 제공하기 위해 필요한 오브젝트를 가상 이미지로 생성할 수 있다. 예를 들어, 서버(10)는 사용자 인터페이스 오브젝트를 가상 이미지로 생성할 수 있다. 사용자 인터페이스는 계정 생성, 계정 로그인, 계정 관리, 모델링 데이터 업로드/다운로드, 혼합 현실 회의실 참여/관리 등을 위한 사용자 인터페이스를 포함할 수 있다.
서버(10)는 오브젝트의 이미지에 트랙킹 정보에 대응하는 효과로써 회전시키거나 확대/축소시킬 수 있다. 또한, 서버(10)는 단말(20)의 표시부(24)에 표시되는 화면 상에서 오브젝트의 위치를 결정할 수 있다.
서버(10)는 생성된 가상 이미지를 단말(20)로 전송할 수 있다(507).
단말(20)은 수신된 가상 이미지를 카메라부(21)를 통하여 촬영되는 현실 이미지에 합성하여 혼합 현실 이미지를 생성할 수 있다(508). 이렇게 생성된 혼합 현실 이미지는 단말(20)이 위치한 현실 공간상에 혼합 현실 서비스를 이용하기 위해 필요한 사용자 인터페이스의 2차원 또는 3차원 이미지가 배치된 이미지일 수 있다.
단말(20)은 생성된 혼합 현실 이미지를 표시부(24)를 통해 표시할 수 있다(509).
혼합 현실 이미지가 표시되는 동안, 단말(20)은 계속해서 트랙킹 정보를 실시간으로 수집하고, 이를 서버(10)로 전송한다. 또한, 서버(10)는 계속해서 수신되는 트랙킹 정보를 기초로 가상 이미지를 생성하고 이를 단말(20)로 전송한다. 단말(20)에서는 실시간 트랙킹 정보에 따라 변화하는 가상 이미지를 현실 이미지에 합성하여 혼합 현실 이미지를 사용자에게 표시할 수 있다.
트랙킹 정보를 수집하는 동안, 단말(20)은 카메라부(21), 센서부(22) 및/또는 입력부(23)를 통하여 입력되는 사용자 입력을 감지할 수 있다. 사용자 입력은 표시된 사용자 인터페이스를 통하여 수신될 수 있다. 일 예로, 단말(20)은 계정 생성 사용자 인터페이스를 통하여 혼합 현실 서비스 이용을 위한 사용자 계정 생성을 위한 사용자 입력을 감지할 수 있다. 또는, 단말(20)은 계정 로그인 인터페이스를 통하여 이미 생성된 사용자 계정에 로그인하기 위한 사용자 입력을 감지할 수 있다.
본 발명의 다양한 실시 예에서, 단말(20)은 적외선 카메라를 통하여 사용자의 핸드 제스처 식별을 통해 사용자 입력을 감지할 수 있다. 일 예로, 특정 위치를 손가락으로 포인팅하는 핸드 제스처가 식별되는 경우, 단말(20)은 손가락이 포인팅한 위치에 표시된 사용자 인터페이스를 실행하기 위한 사용자 입력을 감지할 수 있다. 또는, 일 예로, 모든 손가락을 오므렸다 펴는 핸드 제스처가 식별되는 경우, 단말(20)은 혼합 현실 회의실 목록을 표시하기 위한 사용자 입력을 감지할 수 있다. 본 발명에서 사용자의 핸드 제스처에 대응하는 사용자 입력은 그 종류나 형태를 특별히 제한하지 않는다.
사용자 입력이 감지되면, 단말(20)은 그에 대응하는 제어 동작을 수행한다. 예를 들어, 계정 생성을 위한 사용자 입력 또는 계정 로그인을 위한 사용자 입력이 수신되면(510), 단말(20)은 계정 생성 요청 또는 계정 로그인 요청을 서버(10)로 전송할 수 있다(511). 계정 생성 요청 또는 계정 로그인 요청은 사용자의 식별 정보로써, 예를 들어 아이디(ID), 비밀번호(PASSWORD) 등을 포함할 수 있다.
서버(10)는 수신된 요청에 응답하여, 사용자를 위한 계정을 생성하거나 기생성된 사용자 계정에 로그인할 수 있다(512). 구체적으로, 서버(10)는 계정 생성 요청에 포함된 사용자의 식별 정보를 저장하고, 해당 사용자에 관련된 데이터를 사용자의 식별 정보와 연계하여 저장할 수 있도록 데이터 디렉토리를 설정하고 이를 로드할 수 있다. 또는 서버(10)는 계정 로그인 요청에 포함된 사용자의 식별 정보에 매칭되는 기저장된 사용자의 식별 정보를 검색하고, 매칭되는 사용자의 식별 정보가 존재하면 검색된 사용자의 식별 정보에 대응하여 저장된 데이터 디렉토리를 로드할 수 있다.
서버(10)는 단말(20)의 계정 생성 요청 또는 계정 로그인 요청에 대응하는 계정 응답을 단말(20)로 전송할 수 있다(513). 예를 들어, 서버(10)는 로드된 데이터 디렉토리로부터 기저장된 모델링 데이터, 혼합 현실 회의실에 대한 정보를 추출할 수 있다. 서버(10)는 추출된 정보를 혼합 현실 이미지상에 표시될 오브젝트로 구성하여 가상 이미지를 생성하고 이를 단말(20)로 전송할 수 있다. 이때 가상 이미지로 구성되는 오브젝트는, 예를 들어, 모델링 데이터 목록, 혼합 현실 회의실에 대한 목록 등을 포함할 수 있다.
이후에, 서버(10)와 단말(20)은 혼합 현실 서비스를 이용하기 위한 사용자 입력을 기초로 다양한 동작을 수행할 수 있다. 예를 들어, 서버(10)와 단말(20)은 3차원 모델링 데이터의 생성, 편집, 삭제, 관리, 저장, 업로드, 다운로드 등, 혼합 현실 회의실의 생성, 편집, 삭제, 관리, 참여 등에 관한 동작을 수행할 수 있다.
이하에서는, 상기와 같이 혼합 현실 서비스를 통해 수행될 수 있는 다양한 동작들의 실시 예를 보다 구체적으로 설명한다.
도 6은 본 발명에 따른 3차원 모델링 데이터 저장 방법을 나타낸 흐름도이다.
본 발명에 따른 3차원 모델링 데이터 저장 방법은, 상술한 혼합 현실 서비스의 구동 이후에 수행될 수 있다. 일 실시 예에서, 3차원 모델링 데이터 저장 방법은 상술한 계정 로그인 이후에 수행될 수 있으나, 반드시 이에 제한되지는 않는다.
도 6을 참조하면, 단말(20)은 모델링 데이터 업로드를 위한 사용자 입력을 수신할 수 있다(601). 모델링 데이터 업로드를 위한 사용자 입력은 혼합 현실 이미지로 표시된 사용자 인터페이스를 통하여 수신될 수 있다.
단말(20)은 사용자 입력에 대응하여 선택된 모델링 데이터를 서버(10)로 전송할 수 있다(602).
일 실시 예에서, 서버(10)는 수신된 모델링 데이터를 변환할 수 있다(603). 수신된 모델링 데이터가 2차원 모델링 데이터인 경우, 서버(10)는 수신된 모델링 데이터를 기설정된 형식의 3차원 모델링 데이터로 변환할 수 있다. 또는, 수신된 모델링 데이터가 3차원 모델링 데이터이지만 혼합 현실 서비스를 제공하기 위해 서버(10)에서 지원하는 형식이 아닌 경우, 서버(10)는 수신된 모델링 데이터를 기설정된 형식의 3차원 모델링 데이터로 변환할 수 있다.
단말(20)로부터 수신된 모델링 데이터가 이미 기설정된 형식의 3차원 모델링 데이터인 경우, 상술한 변환 과정을 생략될 수 있다.
서버(10)는 3차원 모델링 데이터를 저장할 수 있다(604). 사용자의 계정에 로그인된 상태에서 3차원 모델링 데이터가 생성되는 경우, 서버(10)는 해당 계정에 대응하는 데이터 디렉토리에 3차원 모델링 데이터를 저장할 수 있다.
서버(10)는 성공적으로 저장된 3차원 모델링 데이터에 관한 정보를 포함하는 데이터 업로드 응답을 단말(20)에게 전송할 수 있다(605). 응답은 기저장된 3차원 모델링 데이터의 목록 등을 포함하는 가상 이미지를 포함할 수 있다. 또한, 응답은 3차원 모델링 데이터의 원본 모델링 데이터에 관한 정보, 변환 정보, 업로드된 일시에 관한 정보 등을 더 포함할 수 있다.
추가로, 서버(10)는 단말(20)로부터 수신되는 3차원 모델링 데이터에 대한 편집 및/또는 관리를 위한 요청에 따라 저장된 3차원 모델링 데이터를 편집, 삭제, 관리, 다운로드할 수 있다.
도 7은 본 발명에 따른 혼합 현실 회의실 제공 방법을 나타낸 흐름도이다.
도 7을 참조하면, 단말(20)은 혼합 현실 회의실을 생성하기 위한 사용자 입력을 수신할 수 있다(701). 혼합 현실 회의실 생성을 위한 사용자 입력은 혼합 현실 이미지로 표시된 사용자 인터페이스를 통하여 수신될 수 있다. 혼합 현실 회의실 생성을 위한 사용자 입력은 해당 혼합 현실 회의실에 대응하는 3차원 모델링 데이터, 해당 혼합 현실 회의실에 참석할 수 있도록 허용된 사용자의 목록 등에 관한 정보를 포함할 수 있다. 여기서, 3차원 모델링 데이터는 서버(10)에 기저장된 적어도 하나의 3차원 모델링 데이터 중 어느 하나일 수 있다.
단말(20)은 사용자 입력에 대응하여 혼합 현실 회의실 생성 요청을 서버(10)로 전송할 수 있다(702). 혼합 현실 회의실 생성 요청에는 사용자 입력을 통하여 수신된 정보로써, 혼합 현실 회의실에 대응하는 3차원 모델링 데이터, 참석이 허용된 사용자의 목록 등을 포함할 수 있다.
서버(10)는 혼합 현실 회의실 생성 요청에 응답하여, 혼합 현실 회의실을 생성할 수 있다(703). 서버(10)는 혼합 현실 회의실에 식별 정보를 할당하고 요청에 의해 선택된 3차원 모델링 데이터를 매핑하여 저장할 수 있다. 사용자의 계정에 로그인된 상태에서 혼합 현실 회의실이 생성되는 경우, 서버(10)는 해당 계정에 대응하는 데이터 디렉토리에 혼합 현실 회의실을 저장할 수 있다.
서버(10)는 생성된 혼합 현실 회의실에 관한 정보를 단말(20)에게 응답으로 전송할 수 있다(704). 응답은 기생성된 혼합 현실 회의실의 목록 등을 포함하는 가상 이미지를 포함할 수 있다. 또한, 응답은 생성된 혼합 현실 회의실에 관한 식별 정보, 대응되는 3차원 모델링 데이터에 관한 정보, 참석이 허용된 사용자에 관한 정보, 생성된 일시에 관한 정보 등을 더 포함할 수 있다.
다양한 실시 예에서, 단말(20)에 의해 생성된 혼합 현실 회의실에 관한 정보는, 다른 단말(20')의 요청에 따라(705), 다른 단말(20')로 전송될 수 있다(706). 여기서, 다른 단말(20')은 해당 혼합 현실 회의실에 참석이 허용된 것으로 지정된 사용자의 단말(20')일 수 있다. 다른 실시 예에서, 혼합 현실 회의실에 관한 정보는 단말(20)에 의하여 다른 단말(20')로 전달될 수도 있다.
이하에서, 혼합 현실 회의실을 생성한 단말(20)을 마스터 단말 또는 제1 단말로, 혼합 현실 회의실에 참석하고자 하는 단말(20')을 슬레이브 단말, 게스트 단말 또는 제2 단말로 명명할 수 있다.
적어도 하나의 혼합 현실 회의실이 생성되면, 혼합 현실 서비스 제공 시스템(1) 내에 존재하는 적어도 하나의 단말(20, 20')은 혼합 현실 회의실 참석을 위한 사용자 입력을 수신할 수 있다(707). 이때, 단말(20, 20')은 해당 혼합 현실 회의실을 생성한 단말(20)이 아니어도 무방하다. 일 실시 예에서, 혼합 현실 회의실에 대하여 참석이 허용된 사용자가 지정된 경우, 단말(20, 20')은 참석이 허용된 사용자의 단말(20')일 수 있다.
단말(20, 20')은 사용자 입력에 대응하여 사용자 입력에 대응하는 혼합 현실 회의실에 대한 참석 요청을 서버(10)로 전송할 수 있다(708).
서버(10)는 단말(20, 20')의 참석 요청에 대한 참석 응답을 단말(20, 20')에게 전송할 수 있다(709). 다양한 실시 예에서, 서버(10)는 단말(20, 20')에 대한 장치 인증, 보안 인증 및/또는 참석 허용 여부 검증 등을 수행하여, 단말(20, 20')의 혼합 현실 회의실 참석을 수락할 것인지 여부를 결정하고 단말(20, 20')로 참석 응답을 전송할 수 있다.
혼합 현실 회의실에 대한 참석 응답이 수신되면, 단말(20, 20')은 트랙킹 정보를 실시간으로 수집하고(710), 수집된 트랙킹 정보를 서버(10)로 전송할 수 있다(711).
서버(10)는 수신된 트랙킹 정보를 기초로 가상 이미지를 생성할 수 있다(712). 서버(10)는 혼합 현실 회의실에 대응하는 3차원 모델링 데이터로부터 가상 이미지를 생성할 수 있고, 사용자 인터페이스 오브젝트 및/또는 사용자를 모사하는 오브젝트에 대한 가상 이미지를 생성할 수 있다.
구체적으로, 서버(10)는 트랙킹 정보로부터 공간 식별 정보를 추출하여 현실 공간 내의 특정한 형상의 영역, 예를 들어 면상의 영역(예를 들어, 데스크의 상면)을 판단할 수 있다. 서버(10)는 혼합 현실 회의실에 대응하는 3차원 모델링 데이터를 면상의 영역에 대응하는 좌표에 배치하여 가상 이미지를 생성할 수 있다.
서버(10)는 트랙킹 정보로부터 획득되는 단말(20, 20')의 움직임 정보를 기초로 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정할 수 있다. 예를 들어, 서버(10)는 3차원 회전 정보 또는 이동 정보에 대응하여 회전하거나 이동시킬 수 있다. 또는, 서버(10)는 트랙킹 정보로부터 식별되는 장애물을 기초로 3차원 모델링 데이터의 일부분을 장애물의 형상에 대응하여 제거하거나 음영 처리하여 가상 이미지를 생성할 수 있다.
또한, 서버(10)는 3차원 모델링 데이터가 배치된 위치에 대한 사용자의 위치 및 3차원 회전 방향을 식별할 수 있다. 서버(10)는 사용자를 모사하는 오브젝트, 예를 들어 아바타를 사용자의 3차원 회전 방향에 대응하여 회전시키고, 사용자의 위치에 대응하는 좌표에 배치하여 가상 이미지를 생성할 수 있다.
다양한 실시 예에서, 서버(10)는 해당 사용자의 식별 정보, 예를 들어 아이디를 생성된 아바타와 연계하여 가상 이미지를 생성할 수 있다. 또는, 다양한 실시 예에서, 혼합 현실 회의실이 구동되는 동안 보이스 채팅 또는 그룹 콜 기능이 수행되는 경우에, 서버(10)는 현재 음성이 출력되고 있는 사용자의 식별 정보, 예를 들어 화살표 등의 마커를 아바타와 연계하거나 예를 들어 특정 색상을 아바타와 연계하여 가상 이미지를 생성할 수 있다.
본 발명의 다양한 실시 예에서, 서버(10)는 3차원 스케일링을 적용하여 가상 이미지를 생성할 수 있다.
일 예에서, 제1 단말(20)과 제2 단말(20')이 위치한 현실 공간은 형태와 크기가 상이할 수 있다. 또한, 일 예에서, 제1 단말(20)과 제2 단말(20')에서 식별된 데스크 역시 크기가 상이할 수 있다. 이 경우, 제1 단말(20)과 제2 단말(20')에서 3차원 모델링 데이터가 일정한 크기로 표시되면, 도 9에 도시된 것과 같이 작은 데스크를 구비한 공간에 위치한 단말에서는 3차원 모델링 데이터의 가상 이미지(901)가 적합하게 표시되지 않을 수 있다. 또한, 이 경우, 제1 단말(20)에서 제2 단말(20')의 아바타가 제2 단말(20')의 현실 공간을 기준으로 하는 좌표에 표시되면, 도 9에 도시된 것과 같이 제1 단말(20)의 혼합 현실 이미지상에서 제2 단말(20')의 아바타는 적합한 위치에 배치되지 않거나(902) 공간을 벗어날 수 있다(903).
따라서, 서버(10)는 식별된 면상의 영역의 크기에 대응하여 3차원 모델링 데이터를 확대 또는 축소(스케일링)함으로써 가상 이미지를 생성할 수 있다. 또한, 서버(10)는 현실 공간의 크기에 따라 사용자를 모사하는 오브젝트를 임의의 기준점을 기준으로 결집시키거나 분산하여 가상 이미지를 생성할 수 있다. 여기서 기준점은 3차원 모델링 데이터가 표시된 위치의 중심 좌표, 인지된 면상의 영역의 중심 좌표 또는 인지된 면상의 영역의 형태에 따른 무게 중심 좌표 등일 수 있다. 예를 들어, 제2 단말(20')의 트랙킹 정보를 기초로 제2 단말(20')의 사용자에 대한 아바타의 좌표를 결정할 수 있다. 이때, 제1 단말(20)의 현실 공간의 크기가 제2 단말(20')의 현실 공간의 크기보다 작으면, 서버(10)는 제1 단말(20)의 3차원 모델링 데이터가 표시된 위치의 중심 좌표를 기준으로 제2 단말(20')의 사용자에 대한 아바타를 결집시킴으로써 가상 이미지를 생성할 수 있다.
3차원 스케일링을 통하여 가상 이미지는 도 10에 도시된 것과 같이 어떠한 단말에서도 3차원 모델링 데이터의 가상 이미지(1001)가 식별된 면상의 영역 내에 적합하게 표시되고, 각 사용자의 아바타(1002, 1003)가 3차원 모델링 데이터 주변의 적합한 위치에 배치되어 표시될 수 있도록 구성된다.
서버(10)는 생성된 가상 이미지를 단말(20, 20')로 전송할 수 있다(713). 상술한 바에 따라, 각 단말(20, 20')로 전송되는 가상 이미지는 서로 다른 이미지일 수 있다.
단말(20, 20')은 수신된 가상 이미지를 카메라부(21)를 통하여 촬영되는 현실 이미지에 합성하여 혼합 현실 이미지를 생성하여(714), 표시부(24)를 통해 표시할 수 있다(715).
이와 같이 표시되는 혼합 현실 이미지의 일 예가 도 11에 도시되어 있다. 도 11에서 3차원 모델링 데이터의 가상 이미지(1101)는 인지된 면상의 영역, 즉 데스크 상에 전시된다. 이때, 가상 이미지(1101)는 면상의 영역 내에 적합하게 전시되도록 스케일링 될 수 있다. 또한, 적어도 하나의 다른 단말의 사용자를 모사하는 적어도 하나의 오브젝트들(1102, 1103)이 해당 사용자의 위치 및 회전 방향에 대응하여 배치된다.
또한, 화면상의 일부 영역들에는 혼합 현실 회의실 내에서 이용 가능한 제어를 수행하기 위해 적어도 하나의 사용자 인터페이스 오브젝트(1104, 1105)가 표시될 수 있다. 사용자 인터페이스는 예를 들어, 문자 채팅, 보이스 채팅, 그룹 콜, 메모 생성, 참석자 정보 표시, 참석자 관리, 3차원 모델링 데이터 내의 객체 선택, 3차원 모델링 데이터에 대한 구조, 형태, 치수, 재료, 재질, 색상, 무늬, 설비의 편집 등을 수행하기 위한 인터페이스를 포함할 수 있다.
표시된 혼합 현실 이미지를 통하여, 사용자는 현실 공간의 데스크 상에 3차원 모델링 데이터가 전시되어 있고, 현실 공간 내에 다른 단말(20')의 사용자가 존재하는 것으로 인지할 수 있다. 그에 따라, 사용자는 자신이 위치한 현실 공간 내에서 실제하는 3차원 모델링 데이터에 대해 다른 사용자와 함께 처리 작업을 수행하는 것과 같은 현실감을 느낄 수 있다.
상기한 혼합 현실 회의실에서, 서버(10)와 단말(20, 20')은 실제 회의를 진행하는 것과 같이 3차원 모델링 데이터에 대한 추가 작업을 수행하고 그 결과를 실시간으로 공유할 수 있다. 이에 대하여 도 8을 참조하여 설명한다.
도 8을 참조하면, 단말(20')은 3차원 모델링 데이터의 추가 작업을 위한 사용자 입력을 수신할 수 있다(801). 추가 작업을 위한 사용자 입력은 혼합 현실 이미지 상에 표시된 3차원 모델링 데이터 및/또는 사용자 인터페이스를 통하여 수신될 수 있다. 추가 작업을 위한 사용자 입력은 3차원 모델링 데이터에 대한 구조, 형태, 치수, 재료, 재질, 색상, 무늬, 설비의 편집을 위한 정보를 포함할 수 있다.
단말(20)은 사용자 입력에 대응하여 3차원 모델링 데이터에 대한 처리 요청을 서버(10)로 전송할 수 있다(802).
서버(10)는 3차원 모델링 데이터에 대한 처리 요청에 응답하여, 혼합 현실 회의실에 대응하는 3차원 모델링 데이터를 편집할 수 있다(803). 서버(10)는 3차원 모델링 데이터 내의 처리 요청에 의해 선택된 객체에 대하여, 처리 요청에 대응하여 크기를 변경하거나, 배치를 변경하거나, 색상, 재질, 무늬 등을 변경할 수 있다.
서버(10)는 편집된 3차원 모델링 데이터를 저장하거나, 편집 이전의 3차원 모델링 데이터를 백업용으로 저장하는 등 3차원 모델링 데이터에 대한 관리 및 저장 동작을 수행할 수도 있다.
이후에, 서버(10)는 편집된 3차원 모델링 데이터를 기초로 가상 이미지를 생성하여, 단말(20, 20')로 전송할 수 있다(805). 각 단말(20, 20')은 서버(10)로부터 전송된 가상 이미지를 기초로 혼합 현실 이미지를 생성(806)하고 이를 표시함으로써(807), 임의의 단말(20)에 의한 3차원 모델링 데이터의 편집 상태를 실시간으로 확인하고 공유할 수 있다.
도 12는 본 발명의 추가적인 실시 예에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다. 다양한 실시 예에서, 도 12에 도시된 실시 예의 혼합 현실 서비스 제공 시스템은, 혼합 현실 서비스의 모니터링 시스템, 관리 시스템 및 중계 시스템 등으로 명명될 수 있다.
도 12를 참조하면, 본 발명의 추가적인 실시 예에 따른 혼합 현실 제공 시스템(2)은 혼합 현실 서비스를 이용하는 단말(20)과 모니터링 장치(40)를 포함하여 구성될 수 있다.
도 12의 실시 예에서, 단말(20)은 도 1 내지 도 11을 참조하여 설명된 단말(20)과 동일한 단말(20)일 수 있다. 본 발명의 다양한 실시 예에서, 단말(20)은 표시부(24)를 통하여 표시되는 혼합 현실 이미지를 모니터링 이미지로써 외부의 모니터링 장치(40)로 전송할 수 있다. 모니터링 장치(40)로의 혼합 현실 이미지 전송은 제어부(27) 내에 마련되는 모니터링 제공부 등을 통하여 수행될 수 있다.
다른 실시 예에서, 이러한 모니터링 이미지의 제공은 서버(10)에 의하여 수행될 수 있다. 예를 들어, 서버(10)의 혼합 현실 서비스 제공부(122)는 가상 이미지 생성부(123)에 의하여 생성된 혼합 현실 이미지를 모니터링 이미지로써 모니터링 장치(40)에 전송할 수 있다.
다른 실시 예에서, 모니터링 이미지의 제공은 서버(10) 및 단말(20)과 별도로 마련되는 모니터링 서버(또는 중계 서버) 등에 의하여 수행될 수 있다. 모니터링 서버는 서버(10) 및/또는 단말(20)로부터 수신되는 가상 이미지, 현실 이미지 및 혼합 현실 이미지 중 적어도 하나를 기초로 모니터링 이미지를 생성하고, 이를 모니터링 장치(40)로 전송할 수 있다.
다양한 실시 예에서, 모니터링 이미지는 단말(20)의 표시부(24)를 통하여 표시되는 혼합 현실 이미지와 동일한 이미지일 수 있다. 또는, 모니터링 이미지는 단말(20)의 표시부(24)를 통하여 표시되는 가상 이미지를 포함하여 구성되는 이미지일 수 있다.
도 12에서는 단말(20)이 헤드 마운트 디스플레이로 구성된 예를 도시하였으나, 단말(20)의 종류는 이에 한정되지 않고 상술한 바와 같이 다양한 유형의 단말(20)이 이용될 수 있다.
모니터링 장치(40)는 수신된 모니터링 이미지를 적어도 하나의 표시부를 통하여 표시할 수 있다. 일 실시 예에서, 모니터링 장치(40)는 단일 모니터 장치로 구성될 수 있다.
상기한 본 발명에 따르면, 혼합 현실 제공 시스템(2) 내의 사용자들 중 단말(20)을 직접 이용하거나 착용하지 않은 사용자가 모니터링 장치(40)를 통해 단말(20)을 통해 출력되는 화면을 시각적으로 및 간접적으로 확인할 수 있다. 이러한 실시 예는, 본 발명에 따른 혼합 현실 제공 시스템(1)을 관리하고 개발하기 위해 이용될 수 있으며, 보다 많은 사용자가 혼합 현실 제공 시스템(1)에서 제공하는 혼합 현실 회의실에 직/간접적으로 참여할 수 있도록 한다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 서버의 혼합 현실 서비스를 제공하기 위한 방법으로,
    임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하는 단계;
    상기 혼합 현실 회의실에 참여한 적어도 하나의 단말에서 수집된 트랙킹 정보를 수신하는 단계;
    상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하는 단계; 및
    상기 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 포함하되,
    상기 트랙킹 정보는,
    각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고,
    상기 가상 이미지는,
    상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 가상 이미지를 생성하는 단계는,
    상기 각 단말의 움직임 정보를 기초로 상기 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정하는 단계;
    상기 각 단말의 공간 식별 정보로부터 면상의 영역을 판단하는 단계; 및
    상기 면상의 영역 내에 상기 3차원 모델링 데이터를 배치하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서, 상기 가상 이미지를 생성하는 단계는,
    상기 면상의 영역의 크기에 따라 상기 3차원 모델링 데이터의 크기를 확대 또는 축소하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 가상 이미지를 생성하는 단계는,
    각 단말의 사용자를 모사하는 적어도 하나의 오브젝트를 생성하는 단계; 및
    상기 각 단말의 움직임 정보를 기초로 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서, 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하는 단계는,
    상기 각 단말의 공간 식별 정보로부터 임의의 기준점을 결정하는 단계;
    상기 각 단말의 공간 식별 정보로부터 상기 각 단말의 현실 공간의 크기를 판단하는 단계; 및
    상기 각 단말의 현실 공간의 크기에 따라 상기 임의의 기준점에 대하여 상기 적어도 하나의 오브젝트를 결집 또는 분산하여 배치하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 혼합 현실 이미지 상에 표시되는 적어도 하나의 사용자 인터페이스를 통하여 상기 3차원 모델링 데이터의 처리 요청을 수신하는 단계;
    상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하는 단계;
    상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하는 단계; 및
    상기 재생성된 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 3차원 모델링 데이터는,
    건축물 설계를 위한 모델링 데이터, 제품에 관한 3차원 데이터 및 디자인 단계에서 생상되는 3차원 모델링 데이터 중 어느 하나인 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 단말에서 표시되는 상기 혼합 현실 이미지를 모니터링 장치로 전송하여 상기 단말의 사용자 이외의 적어도 하나의 사용자를 위해 상기 모니터링 장치에서 표시되도록 하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 혼합 현실 서비스를 제공하는 시스템으로,
    혼합 현실 회의실에 참여하는 동안 트랙킹 정보를 수집하여 전송하는 적어도 하나의 단말; 및
    임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하고, 상기 혼합 현실 회의실에 참여하는 상기 적어도 하나의 단말로부터 수신된 상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하여 상기 적어도 하나의 단말로 전송하는 서버를 포함하되,
    상기 트랙킹 정보는,
    각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고,
    상기 적어도 하나의 단말은,
    상기 적어도 하나의 단말에서 촬영되는 현실 이미지와 상기 가상 이미지를 합성하여 혼합 현실 이미지로 표시하는 것을 특징으로 하는 시스템.
  10. 제9항에 있어서, 상기 서버는,
    상기 각 단말의 움직임 정보를 기초로 상기 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정하고, 상기 각 단말의 공간 식별 정보로부터 면상의 영역을 판단하고, 상기 면상의 영역 내에 상기 3차원 모델링 데이터를 배치하여 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  11. 제10항에 있어서, 상기 서버는,
    상기 면상의 영역의 크기에 따라 상기 3차원 모델링 데이터의 크기를 확대 또는 축소하여 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  12. 제9항에 있어서, 상기 서버는,
    각 단말의 사용자를 모사하는 적어도 하나의 오브젝트를 생성하고, 상기 각 단말의 움직임 정보를 기초로 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하여 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서, 상기 서버는,
    상기 각 단말의 공간 식별 정보로부터 임의의 기준점을 결정하고, 상기 각 단말의 공간 식별 정보로부터 상기 각 단말의 현실 공간의 크기를 판단하고, 상기 각 단말의 현실 공간의 크기에 따라 상기 임의의 기준점에 대하여 상기 적어도 하나의 오브젝트를 결집 또는 분산하여 배치하여 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  14. 제9항에 있어서, 상기 단말은,
    상기 혼합 현실 이미지 상에 표시된 적어도 하나의 사용자 인터페이스를 통하여 수신되는 사용자 입력을 기초로, 상기 3차원 모델링 데이터의 처리 요청을 상기 서버로 전송하고,
    상기 서버는,
    상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하고, 상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하고, 상기 재생성된 가상 이미지를 상기 적어도 하나의 단말로 전송하는 것을 특징으로 하는 시스템.
  15. 제9항에 있어서, 상기 3차원 모델링 데이터는,
    건축물 설계를 위한 모델링 데이터, 제품에 관한 3차원 데이터 및 디자인 단계에서 생상되는 3차원 모델링 데이터 중 어느 하나인 것을 특징으로 하는 시스템.
  16. 제9항에 있어서,
    상기 단말로부터 상기 단말에서 표시되는 상기 혼합 이미지를 수신하여 상기 단말의 사용자 이외의 적어도 하나의 사용자를 위해 표시하는 모니터링 장치를 더 포함하는 것을 특징으로 하는 시스템.
PCT/KR2018/013325 2017-12-19 2018-11-05 혼합 현실 서비스 제공 방법 및 시스템 WO2019124726A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/956,360 US11206373B2 (en) 2017-12-19 2018-11-05 Method and system for providing mixed reality service
CN201880082881.2A CN111527525A (zh) 2017-12-19 2018-11-05 混合现实服务提供方法及系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0175373 2017-12-19
KR1020170175373A KR101918262B1 (ko) 2017-12-19 2017-12-19 혼합 현실 서비스 제공 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2019124726A1 true WO2019124726A1 (ko) 2019-06-27

Family

ID=64397855

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013325 WO2019124726A1 (ko) 2017-12-19 2018-11-05 혼합 현실 서비스 제공 방법 및 시스템

Country Status (4)

Country Link
US (1) US11206373B2 (ko)
KR (1) KR101918262B1 (ko)
CN (1) CN111527525A (ko)
WO (1) WO2019124726A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020160168A1 (en) 2019-01-31 2020-08-06 Rypplzz, Inc. Systems and methods for augmented reality with precise tracking
KR102178924B1 (ko) * 2019-02-14 2020-11-13 주식회사 디지포레 Vr을 이용한 시연 제공 방법 및 장치
US10916062B1 (en) * 2019-07-15 2021-02-09 Google Llc 6-DoF tracking using visual cues
US11769301B2 (en) * 2020-08-03 2023-09-26 Urban District Realty, LLC Virtual reality simulations of three-dimensional structures
US11563813B1 (en) 2020-10-16 2023-01-24 Splunk Inc. Presentation of collaboration environments for a networked remote collaboration session
US11544904B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Mesh updates in an extended reality environment
US11776218B1 (en) * 2020-10-16 2023-10-03 Splunk Inc. Networked remote collaboration system
US11546437B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Playback of a stored networked remote collaboration session
US11727643B1 (en) * 2020-10-16 2023-08-15 Splunk Inc. Multi-environment networked remote collaboration system
US11551421B1 (en) 2020-10-16 2023-01-10 Splunk Inc. Mesh updates via mesh frustum cutting
US11127223B1 (en) 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting
US11798235B1 (en) 2020-10-16 2023-10-24 Splunk Inc. Interactions in networked remote collaboration environments
US10952006B1 (en) * 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11790908B2 (en) * 2021-02-09 2023-10-17 International Business Machines Corporation Extended reality based voice command device management
US11347305B1 (en) * 2021-03-03 2022-05-31 Dell Products L.P. Managing software files of a data center via augmented reality
US11334313B1 (en) * 2021-03-30 2022-05-17 Htc Corporation Managing conferences in virtual environment
US11431557B1 (en) 2021-04-13 2022-08-30 Dell Products L.P. System for enterprise event analysis
US11606246B2 (en) 2021-04-28 2023-03-14 Dell Products L.P. System for enterprise alert timeline of a system and service
US11184362B1 (en) * 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
CN113436320A (zh) * 2021-07-01 2021-09-24 山西省交通规划勘察设计院有限公司 基于ifc模型文件的3d模型生成系统及方法
US11831814B2 (en) * 2021-09-03 2023-11-28 Meta Platforms Technologies, Llc Parallel video call and artificial reality spaces
US11921970B1 (en) 2021-10-11 2024-03-05 Meta Platforms Technologies, Llc Coordinating virtual interactions with a mini-map
US11823346B2 (en) * 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법
KR20120019007A (ko) * 2010-08-24 2012-03-06 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
KR20150099401A (ko) * 2014-01-24 2015-08-31 아바야 인코포레이티드 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어
KR20170044318A (ko) * 2015-10-15 2017-04-25 한국과학기술원 헤드 마운트 디스플레이를 이용한 협업 방법
KR20170127802A (ko) * 2016-05-12 2017-11-22 한국전자통신연구원 사용자 감성 기반 3차원 건축 설계 모델 생성 장치 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7119819B1 (en) * 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US7542040B2 (en) * 2004-08-11 2009-06-02 The United States Of America As Represented By The Secretary Of The Navy Simulated locomotion method and apparatus
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
JP6126076B2 (ja) * 2011-03-29 2017-05-10 クアルコム，インコーポレイテッド 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム
KR101923723B1 (ko) * 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
US9854014B2 (en) * 2013-03-14 2017-12-26 Google Inc. Motion data sharing
US9996797B1 (en) * 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
CN105892626A (zh) * 2014-12-15 2016-08-24 普瑞深视科技(北京)有限公司 用于虚拟现实环境中的下肢运动仿真控制设备
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、系统和终端
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
US10735691B2 (en) * 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
WO2018113740A1 (en) * 2016-12-21 2018-06-28 Zyetric Technologies Limited Combining virtual reality and augmented reality
US11132533B2 (en) * 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US11017217B2 (en) * 2018-10-09 2021-05-25 Midea Group Co., Ltd. System and method for controlling appliances using motion gestures
US10678323B2 (en) * 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
US10516853B1 (en) * 2018-10-10 2019-12-24 Plutovr Aligning virtual representations to inputs and outputs
US10838488B2 (en) * 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
CA3146658A1 (en) * 2019-07-11 2021-01-14 Elo Labs, Inc. Interactive personal training system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법
KR20120019007A (ko) * 2010-08-24 2012-03-06 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
KR20150099401A (ko) * 2014-01-24 2015-08-31 아바야 인코포레이티드 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어
KR20170044318A (ko) * 2015-10-15 2017-04-25 한국과학기술원 헤드 마운트 디스플레이를 이용한 협업 방법
KR20170127802A (ko) * 2016-05-12 2017-11-22 한국전자통신연구원 사용자 감성 기반 3차원 건축 설계 모델 생성 장치 및 방법

Also Published As

Publication number Publication date
US11206373B2 (en) 2021-12-21
CN111527525A (zh) 2020-08-11
KR101918262B1 (ko) 2018-11-13
US20200329214A1 (en) 2020-10-15

Similar Documents

Publication Publication Date Title
WO2019124726A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2014204239A1 (en) Electronic device for displaying lock screen and method of controlling the same
WO2019027090A1 (ko) 이동 단말기 및 그 제어 방법
KR102010030B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
CN111462334A (zh) 一种智能互动展馆系统
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2019124818A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
WO2018076454A1 (zh) 一种数据处理方法及其相关设备
CN106875494A (zh) 基于影像和定位的模型vr操作方法
JP3610423B2 (ja) 映像表示システムおよびその臨場感向上方法
WO2021086018A1 (ko) 3차원 증강현실 표시 방법
CN108648266A (zh) 一种全通透扫描3d空间模型的管理方法和系统
WO2023234532A1 (ko) 버추얼 프로덕션의 데이터 기록 방법, 장치 및 시스템
WO2021006648A1 (ko) 아바타를 통한 실시간 vr 서비스 제공 방법
WO2020242064A1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
CN111586470B (zh) 一种多图像显示的控制方法、主控装置及控制系统
WO2021029566A1 (ko) 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
WO2021187647A1 (ko) 가상 공간에서 사용자의 동작을 따라 하는 아바타를 표현하는 방법 및 시스템
WO2012074174A1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
WO2020075925A1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
WO2019066537A1 (ko) 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법
WO2013081304A1 (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치, 방법 및 그에 대한 기록매체
KR102528581B1 (ko) 적응형 동시성 제어가 구현 가능한 확장 현실 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18892012

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18892012

Country of ref document: EP

Kind code of ref document: A1