WO2019124818A1 - 혼합 현실 서비스 제공 방법 및 시스템 - Google Patents

혼합 현실 서비스 제공 방법 및 시스템 Download PDF

Info

Publication number
WO2019124818A1
WO2019124818A1 PCT/KR2018/015197 KR2018015197W WO2019124818A1 WO 2019124818 A1 WO2019124818 A1 WO 2019124818A1 KR 2018015197 W KR2018015197 W KR 2018015197W WO 2019124818 A1 WO2019124818 A1 WO 2019124818A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
virtual image
building
image
information
Prior art date
Application number
PCT/KR2018/015197
Other languages
English (en)
French (fr)
Inventor
김상훈
김경진
Original Assignee
주식회사 동우 이앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180096262A external-priority patent/KR102010030B1/ko
Application filed by 주식회사 동우 이앤씨 filed Critical 주식회사 동우 이앤씨
Priority to CN201880082551.3A priority Critical patent/CN111492396A/zh
Priority to US16/956,392 priority patent/US11030359B2/en
Publication of WO2019124818A1 publication Critical patent/WO2019124818A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the present invention relates to a mixed reality service providing method and system, and more particularly, to provide a mixed reality image of a real building size by providing three-dimensional modeling data corresponding to a building site to facilitate management and maintenance / And more particularly to a method and system for providing a mixed reality service.
  • VR virtual reality
  • AR augmented reality
  • MR Mixed Reality
  • the present invention provides a mixed reality service providing method and system for displaying three-dimensional modeling data corresponding to a building site as mixed reality images of actual building size.
  • the present invention also provides a mixed reality service providing method and system for real-time editing three-dimensional modeling data displayed in a mixed reality space and sharing it with other workers.
  • a method for providing a mixed reality service in a server including loading three-dimensional modeling data including design information on an arbitrary building, Generating three-dimensional modeling data and a virtual image for at least one user interface based on the tracking information transmitted from the terminal, and transmitting the virtual image to the terminal,
  • the virtual image includes at least one of geographical location information of the building, identification information of a real space where the terminal is located, three-dimensional rotation information, and speed information, Is synthesized with the real image at the at least one terminal, And is displayed as an image.
  • the step of generating the virtual image may further include the steps of acquiring an external view or an internal image of the building according to the geographical location information of the terminal, determining, based on the tracking information of the terminal, Extracting one area corresponding to the display area, and generating a virtual image from the extracted one area.
  • the generating of the virtual image may further include acquiring the internal image for any layer selected by the user input or tracking information when the building comprises a plurality of layers .
  • the at least one user interface may include a user interface for at least one of design information addition, editing, deletion, and memo management for the building.
  • the generating of the virtual image may include generating a virtual image by disposing a user interface for the at least one object on at least one object in the building.
  • the method may further include receiving a processing request for the three-dimensional modeling data through the at least one user interface, editing the three-dimensional modeling data corresponding to the processing request, Reproducing the virtual image based on the data, and transmitting the regenerated virtual image to the terminal.
  • a system for providing a mixed reality service including a terminal for collecting and transmitting tracking information while using a mixed reality service, Dimensional modeling data including at least one user interface, and a server for generating the three-dimensional modeling data and the virtual image for at least one user interface based on the tracking information transmitted from the terminal and transmitting the generated virtual image to the terminal,
  • the tracking information includes at least one of geographical position information of the terminal, identification information of a real space in which the terminal is located, three-dimensional rotation information, and speed information, Is generated so that it can be displayed in an actual size, and the at least one stage And is synthesized with a real image in a horse and displayed as a mixed reality image.
  • the server may acquire an external appearance or an internal image of the building according to the geographical position information of the terminal, and, in accordance with the tracking information of the terminal, And the virtual image is generated by extracting the region.
  • the server may acquire the internal image for an arbitrary layer selected by the input or tracking information received from the terminal when the building comprises a plurality of layers.
  • the terminal transmits a processing request for the 3D modeling data to the server, based on a user input received through the at least one user interface, and the server transmits, to the server, Dimensional modeling data and regenerating the virtual image based on the edited three-dimensional modeling data and transmitting the regenerated virtual image to the terminal.
  • the method and system for providing a mixed reality service according to the present invention can easily compare a building with three-dimensional modeling data of an actual building size through a mixed reality image on a building site to facilitate verification, management and maintenance / repair of the building .
  • the mixed reality service providing method and system according to the present invention can edit real-time three-dimensional modeling data displayed as a mixed reality image and share it with other workers.
  • FIG. 1 is a diagram illustrating a network structure of a mixed reality service providing system according to the present invention.
  • FIG. 2 is a diagram illustrating the structure of a server according to the present invention.
  • FIG. 3 is a diagram illustrating a structure of a terminal according to the present invention.
  • FIG. 4 is a diagram illustrating an example in which a terminal according to the present invention is implemented as a head-mounted display device.
  • FIG. 5 is a flowchart illustrating a method of providing a mixed reality service according to the present invention.
  • FIG. 6 is a flowchart illustrating a method for performing processing on 3D modeling data in a mixed reality service providing method according to the present invention.
  • FIG. 7 and 8 are views showing an example of a mixed reality image according to the present invention.
  • the method and system for providing a mixed reality service according to the present invention can be provided for designing a building. More specifically, the method and system for providing a mixed reality service according to the present invention displays design data of a building as a mixed reality to a plurality of user terminals entering a mixed reality conference room as three-dimensional modeling data, Modify / delete, etc.).
  • FIG. 1 is a diagram illustrating a network structure of a mixed reality service providing system according to the present invention.
  • a mixed reality service providing system 1 may include a server 10 for providing a mixed reality service and a terminal 20 for receiving a mixed reality service.
  • the server 10 is provided for providing a mixed reality service according to the present invention, and may be a network server, an application server, a domain server, or the like, which is operated by a provider of a mixed reality service.
  • the server 10 generates a virtual image from the 3D modeling data and provides the virtual image to the terminal 20 when the mixed reality service is requested from the terminal 20.
  • the virtual image provided to the terminal 20 may be combined with the real image photographed by the terminal 20 and displayed as a mixed reality image.
  • the server 10 may also provide the terminal 20 with a virtual image of various user interfaces for performing additional processing on the three-dimensional modeling data.
  • the server 10 can modify and manage the three-dimensional modeling data according to a user command received through a user interface.
  • the terminal 20 performs data communication with the server 10 and receives mixed reality service.
  • the terminal 20 synthesizes a virtual image received from the server 10 with a real image photographed by the terminal 20 to generate a mixed image and displays it as a left eye image and a right eye image, Make modeling data realistic.
  • the three-dimensional modeling data may be modeling data for building design.
  • the three-dimensional modeling data may be Industry Foundation Classes (IFC) data as Building Information Modeling (BIM) data, but is not limited thereto.
  • IFC Industry Foundation Classes
  • BIM Building Information Modeling
  • Three-dimensional modeling data for building design can include information related to the structure, shape, dimensions, materials, materials, colors, patterns, facilities and the like of the building.
  • the server 10 and the terminal 20 are connected to each other through a network to perform data communication and perform a control operation for mixed reality service. A more detailed description thereof will be described later.
  • FIG. 2 is a diagram illustrating the structure of a server according to the present invention.
  • the server 10 may include a communication unit 11, a control unit 12, and a storage unit 13.
  • the communication unit 11 can transmit / receive data to / from the outside via a network.
  • the communication unit 11 receives a request corresponding to a user input and information necessary for generating a virtual image from the terminal 20, and transmits the request to the terminal 20 under the control of the control unit 12 A virtual image can be transmitted.
  • the controller 12 is configured to control the components of the server 10 in order to provide the mixed reality service according to the present invention. More specifically, the control unit 12 may include a mixed reality service providing unit 121 and a virtual image generating unit 122.
  • the mixed reality service providing unit 121 performs various control operations for providing the mixed reality service to the terminal 20.
  • the mixed reality service provider 121 may create and manage a user account of the terminal 20 provided with the mixed reality service.
  • the mixed reality service provider 121 can store and manage data generated or obtained through the mixed reality service in association with a user account.
  • the mixed reality service provider 121 stores and manages an ID, a password, and the like as identification information for identifying a user account, and stores modeling data related to the user account in association with the user account It can be stored and managed in a data directory.
  • the mixed reality service providing unit 121 receives information required for generating a virtual image, for example, tracking information, from the terminal 20 as the mixed reality service is activated at the request of the terminal 20, To the virtual image generating unit 122. [0050] FIG. The mixed reality service providing unit 121 transmits the virtual image generated by the virtual image generating unit 122 to the terminal 20 and generates a mixed reality image by synthesizing the virtual image with the real image in the terminal 20 .
  • the mixed reality service providing unit 121 may process the 3D modeling data, for example, add, edit, delete, and delete the design information according to the user input received from the terminal 20 while the mixed reality service is being provided. Management and so on.
  • the mixed reality service providing unit 121 transmits the edited three-dimensional modeling data to the virtual image generating unit 122 so that a virtual image based on the edited three-dimensional modeling data can be generated.
  • the 3D modeling data is edited by an arbitrary terminal 20, the regenerated virtual image can be transmitted to the terminal 20 and at least one other devices. Accordingly, the devices provided with the mixed reality service can perform collaboration while sharing the editing situation of the three-dimensional modeling data.
  • the virtual image generation unit 122 may generate a virtual image based on the tracking information received from the terminal 20.
  • the tracking information may include, for example, identification information (e.g., mesh network information) about the physical space of the terminal 20 and geolocation information of the terminal 20, three-dimensional rotation information, speed information, .
  • the virtual image generating unit 122 may generate a virtual image from the 3D modeling data based on the tracking information of the terminal 20 received from the terminal 20. [ The virtual image generating unit 122 may generate a virtual image using an actual size of the three-dimensional modeling data, and may generate a virtual image by determining a display area of the three-dimensional modeling data according to the tracking information.
  • the virtual image generating unit 122 may generate a virtual image for processing the three-dimensional modeling data, for example, adding, editing, deleting, and managing the design information (for example, inserting a memo,
  • the user interface can be created as a virtual image.
  • the virtual image generating unit 122 may rotate or magnify / reduce the user interface according to the three-dimensional shape or tracking information of the object to generate a virtual image.
  • control unit 12 may be implemented as physically separate devices in the control unit 12, but the technical idea of the present invention is not limited thereto. That is, the components of the control unit 12 described above can be modularized or programmed in one physical processor. In addition, the components of the control unit 12 described above are merely divided into operational aspects of the control unit 12, and at least one or all of the above-described components can be integrated into one component.
  • the storage unit 13 may store an operating system, a program, a software, and the like necessary for the operation of the server 10. In various embodiments of the present invention, the storage unit 13 may store and manage at least one three-dimensional modeling data. In one embodiment, at least one of the three-dimensional modeling data may be stored in association with user accounts and geo-location information.
  • FIG. 3 is a diagram illustrating a structure of a terminal according to the present invention.
  • the terminal 20 includes a camera unit 21, a sensor unit 22, an input unit 23, a display unit 24, an output unit 25, a communication unit 26, 27, and a storage unit 28.
  • the camera unit 21 includes at least one camera module, and is configured to capture an image of a user in front of the user.
  • the camera portion 32 may be configured to include a depth camera that can identify the shape and depth of the user's real space (the subject).
  • the camera unit 32 may include an infrared camera or the like for photographing a user's hand gesture or the like.
  • the sensor unit 22 may include at least one sensor capable of sensing various information related to the operation of the terminal 20.
  • the sensor portion 22 may include a GPS sensor for sensing the geographic location of the user.
  • the sensor unit 22 may include a gyro sensor, a velocity sensor, an acceleration sensor, and the like for sensing motion such as three-dimensional rotation, tilt, and speed of the terminal 20.
  • the input unit 23 receives various inputs from the user.
  • the input unit 23 may include a touch pad, a keypad, a jog dial, a dome switch, a button, and the like.
  • the input portion 23 when receiving a user's hand gesture as input through the camera portion 21, the input portion 23 is configured to perform an operation to identify the hand gesture taken through the camera portion 21 .
  • the input unit 23 may further include a microphone for receiving sounds such as a user's voice and processing the received sounds as electrical voice data.
  • the display unit 24 can visually display various information processed by the terminal 20.
  • the display unit 24 includes a left-eye display unit for displaying a left-eye image and a right-eye display unit for displaying a right- Lt; / RTI >
  • the output unit 25 is configured to output information processed by the terminal 20 in various forms such as sound, vibration, and light.
  • the output unit 25 may include a speaker, a haptic module, an LED lamp, and the like.
  • the communication unit 26 can transmit / receive data to / from the outside via the network.
  • the communication unit 26 transmits various requests and / or information for receiving the mixed reality service to the server 10 through the control of the control unit 27, and transmits three-dimensional modeling data and / / RTI > and / or a virtual image for various objects.
  • the control unit 27 is configured to control the respective components of the terminal 20 in order to receive the mixed reality service according to the present invention. More specifically, the control unit 27 may include a mixed reality service management unit 271 and a mixed reality generation unit 272.
  • the mixed reality service management unit 271 controls operations related to the mixed reality service provided through the server 10.
  • the mixed reality service management unit 271 may transmit a request to the server 10 to create / manage a user account or log in to the user account in response to a user input.
  • the mixed reality service management unit 271 can input a user ID, a password, and the like to the server 10 as identification information for creating a user account in the server 10 or logging into a user account.
  • the mixed reality service management unit 271 may transmit a request for driving the mixed reality service to the server 10 in response to a user input.
  • the mixed reality service management unit 271 may collect tracking information through the camera unit 21 and / or the sensor unit 22 and transmit the collected tracking information to the server 10 .
  • the mixed reality service management unit 271 can receive the virtual image generated based on the tracking information from the server 10. [
  • the mixed reality service management unit 271 may transmit the received virtual image to the mixed reality generation unit 272 and synthesize the real image and the virtual image captured through the camera unit 21 to generate a mixed reality image .
  • the mixed reality service management unit 271 may receive user input, for example, three-dimensional modeling (e.g., 3D modeling), via at least one user interface received from the server 10 and displayed by the mixed reality generation unit 272, You can receive input for adding, editing, deleting, managing notes, etc. for any object in the data.
  • the mixed reality service management unit 271 processes the user input and transmits the user input to the server 10, and receives the response from the server 10 and processes the input.
  • the mixed reality generation unit 272 generates a mixed reality image by combining the real image photographed through the camera unit 21 and the virtual image received from the server 10. [ The generated mixed reality image can be displayed through the display unit 24.
  • the mixed reality generation unit 272 may generate the left eye image and the right eye image for the mixed reality image .
  • the generated left-eye image and right-eye image can be displayed on the left-eye display unit and the right-eye display unit of the head-mounted display 30, respectively.
  • the storage unit 28 may store an operating system, a program, software, and the like necessary for the operation of the terminal 20.
  • the terminal 20 may be configured as a head-mounted display 30 as shown in Fig.
  • the head mount display 30 may be configured as a frame 29.
  • the frame 29 may be formed of a flexible material so as to be easily worn on a user's head, for example, and may be formed in a shape of a frame to be worn on the face of a user.
  • the frame 29 may be referred to as a body portion or a body portion.
  • the frame 29 may be provided with the camera unit 21, the sensor unit 22, the input unit 23, the display unit 24, and the output unit 25 described above.
  • the display unit 24 may include left and right eye display units 24 corresponding to the left and right eyes, respectively, in a state worn by the user. Accordingly, the head mount display 30 allows the user to feel a sense of depth corresponding to the parallax between the left eye image and the right eye image, and to experience a more realistic mixed reality space.
  • the structure of the head mount display 30 is not limited to that described above, and the head mount display may have various structures and shapes.
  • the mixed reality service providing method described below may be performed through an application program, software, or the like installed in the terminal 20 or through an HTTP based web service.
  • the technical idea of the present invention is not limited to this, and a mixed reality service providing method according to the present invention can be implemented through various methods.
  • FIG. 5 is a flowchart illustrating a method of providing a mixed reality service according to the present invention.
  • the terminal 20 may receive a user input for driving a mixed reality service (501).
  • the user input for driving the mixed reality service may be received through, for example, moving an application, a program, a software for providing a mixed reality service, a web page providing a mixed reality service, or the like.
  • the terminal 20 may transmit the mixed reality service driving request to the server 10 in response to the user input (502).
  • the server 10 may transmit a driving response to the driving request of the terminal 20 to the terminal 20 (503).
  • the server 10 may perform device authentication and / or security authentication on the terminal 20 to determine whether to provide the mixed reality service to the terminal 20, Response can be transmitted.
  • such an authentication process may not be performed separately.
  • the server 10 and the terminal 20 may perform operations for user account creation and / or user account login.
  • the terminal 20 may transmit an account creation request or an account login request to the server 10 according to user input.
  • the account creation request or the account login request is identification information of the user, and may include, for example, an ID, a password, and the like.
  • the server 10 stores the identification information of the user included in the account creation request, and can set and load the data directory so that data related to the user can be stored in association with the identification information of the user.
  • the server 10 may search the stored user's identification information matching the user's identification information included in the account login request, and if the matching user's identification information exists, the stored data directory corresponding to the user's identification information Can be loaded.
  • the server 10 may not separately provide user account related services, the above process may not be performed.
  • the terminal 20 can collect tracking information in real time (504).
  • the terminal 20 may collect tracking information via the camera section 22 and / or the sensor section 23.
  • Tracking information collected at the terminal 20 may include geographical location information, identification information about a physical space, three-dimensional rotation information, speed information, and the like.
  • the terminal 20 can determine the current geographical position of the terminal 20 through the GPS sensor.
  • the terminal 20 can analyze the image of the real space photographed through the camera unit 21 to identify the shape, depth, and the like of the real space. Through the space identification, the terminal 20 can determine the shape, size, position, etc. of the ground, a building, etc., located in front of the user.
  • the terminal 20 can sense movement such as three-dimensional rotation, tilting, and speed (movement) of the terminal 20 through the sensor unit 22.
  • the tracking information collected by the terminal 20 in the present invention is not limited to the above-described space identification information and motion information, but may be various information required for generating a virtual image, for example, marker recognition information, hand gesture identification Information, and the like.
  • the terminal 20 can transmit the collected tracking information to the server 10 in real time (505).
  • the server 10 loads the three-dimensional modeling data (506).
  • the three-dimensional modeling data may be three-dimensional modeling data including a design for a building.
  • the server 10 can load the selected three-dimensional modeling data through the user input or the like at the terminal 20. [ Alternatively, the server 10 can determine the geographical position of the terminal 20 from the received tracking information, and load the previously stored three-dimensional modeling data corresponding to the position. For example, when the terminal 20 is located at a building site of a specific geographical location, the server 10 can load the three-dimensional modeling data of the building designed corresponding to the building site.
  • the server 10 may generate a virtual image of the loaded three-dimensional modeling data based on the received tracking information (507).
  • the server 10 can generate a virtual image so that a building created with three-dimensional modeling data on the real space identified through the tracking information can be displayed at an actual size according to the design information. At this time, the server 10 can arrange the virtual image so that the building can be displayed at the designed position based on the geographical location information.
  • the virtual image can be composed of the exterior of the building or a region inside the building.
  • one area inside the building may correspond to the front display area (display direction) of the terminal 20 extracted based on tracking information, for example, three-dimensional rotation information, from the exterior or internal image of the building.
  • the server 10 may create a virtual image as part of the interior image of the building.
  • the server 10 can create a virtual image of one area inside for any layer selected by user input or the like.
  • the user of the terminal 20 may be physically located in a particular floor of the building.
  • the server 10 may acquire the height information of the terminal 20 from the tracking information, and may generate one area inside the corresponding layer as a virtual image.
  • the server 10 may generate a virtual image as a user interface for performing processing on the three-dimensional modeling data.
  • These user interfaces may include additional features such as structure (location), shape, dimensions, materials, materials, colors, patterns, equipment, etc. of any objects (e.g., walls, ceilings, floors, doors, windows, A user interface for editing, deleting, editing,
  • the user interface may also include a user interface for inserting, editing, and deleting notes for any object in the displayed building.
  • the user interface may also include a user interface for selecting a layer of a building to be displayed or for controlling an indication (e.g., electrical equipment, gas equipment, water supply, etc.) for a particular facility.
  • an indication e.g., electrical equipment, gas equipment, water supply, etc.
  • the server 10 can create a virtual image by placing a user interface on a corresponding object.
  • the server 10 can create a virtual image by disposing the user interface at a specific position on the screen, for example, an upper end, a side, or a lower end.
  • the server 10 may generate a virtual image by rotating or zooming the user interface based on tracking information and / or the placement state of the corresponding object.
  • the server 10 may transmit the generated virtual image to the terminal 20 (508).
  • the terminal 20 may generate a mixed reality image by synthesizing the received virtual image with a real image photographed through the camera unit 21 (509).
  • the mixed reality image thus generated may be an image in which buildings corresponding to the three-dimensional modeling data are arranged at actual sizes on the real space where the terminal 20 is located.
  • the generated mixed reality image may be an image in which at least one user interface capable of performing processing on any object of the displayed building is located at a position corresponding to the object and / or in a specific area on the screen.
  • the terminal 20 can display the generated mixed reality image through the display unit 24 (510).
  • the terminal 20 While the mixed reality image is being displayed, the terminal 20 continuously collects the tracking information in real time and transmits it to the server 10. In addition, the server 10 generates a virtual image based on the tracking information continuously received and transmits the virtual image to the terminal 20.
  • the terminal 20 can display the mixed reality image to the user by synthesizing the virtual image changing according to the real time tracking information into the real image.
  • FIG. 7 An example of the mixed reality image thus displayed is shown in FIGS. 7 and 8.
  • FIG. 7 An example of the mixed reality image thus displayed is shown in FIGS. 7 and 8.
  • the three-dimensional modeling images 701 and 801 are displayed at actual sizes on corresponding building sites.
  • the user can feel as if the actual size building is displayed at the designed position through the displayed mixed reality image.
  • the geographical location of the terminal 20 is inside the building design location, the user may feel as if it is located inside the building constructed by the three-dimensional modeling data, as shown in FIG.
  • a user can indirectly experience a shape realistically when a building is actually constructed on a building site before a building is actually designed.
  • the mixed reality service according to the present invention when used after actually building the building according to the design content of the three-dimensional modeling data, the user compares the constructed building with the three- It is possible to check whether or not the building is built in conformity with the designed modeling data.
  • the constructed building can be compared with the 3D modeling data indicated as the mixed reality, and the damaged or changed part of the building after the construction can be identified and maintenance / repair can be performed.
  • At least one user interface 702, 802 may be displayed on the displayed three-dimensional modeling data to perform the control available for any object as described above.
  • the 3D modeling data can be processed through the user interface. This will be described with reference to FIG.
  • FIG. 6 is a flowchart illustrating a method for performing processing on 3D modeling data in a mixed reality service providing method according to the present invention.
  • the terminal 20 can sense a user input inputted through the camera unit 21, the sensor unit 22 and / or the input unit 23 (601 ).
  • the user input is processing for design information in the three-dimensional modeling data, and may include information for editing the structure, form, dimension, material, material, color, pattern, and equipment for an arbitrary object.
  • the user input may be received via the displayed user interface.
  • the terminal 20 may sense user input through the infrared camera through the user's hand gesture identification.
  • the terminal 20 may sense a user input for executing the user interface displayed at the location to which the finger is pointing.
  • the terminal 20 may sense a user input to display a corresponding menu or list or the like.
  • the terminal 20 can identify the number of user fingers and sense user input to display the mixed reality image in the corresponding layer.
  • the type or form of the user input corresponding to the hand gesture of the user is not particularly limited.
  • the terminal 20 may transmit a processing request for the three-dimensional modeling data to the server 10 in response to the user input (602).
  • the server 10 may process the three-dimensional modeling data (603).
  • the server 10 can change the size, change the arrangement, change the color, material, pattern, and the like of the object selected by the processing request in the three-dimensional modeling data according to the processing request.
  • the server 10 may store the processed three-dimensional modeling data, or store the three-dimensional modeling data before the processing, for backup, and perform a management and storage operation on the three-dimensional modeling data.
  • the server 10 may generate a virtual image based on the edited three-dimensional modeling data (604) and transmit the virtual image to the terminal (605).
  • the terminal 20 generates (607) a mixed reality image based on the virtual image transmitted from the server 10 and displays it (608), thereby displaying various types of objects in the building corresponding to the three- .
  • the terminal 20 can store the three-dimensional modeling data indicated by the mixed reality image in the server 10, thereby enabling the other terminals to check the processing state of the three-dimensional modeling.
  • the terminal 20 can share the 3D modeling data with other terminals in real time through a mixed reality conference or the like.

Abstract

본 발명은 서버의 혼합 현실 서비스를 제공하기 위한 방법으로, 임의의 건축물에 대한 설계 정보를 포함하는 3차원 모델링 데이터를 로드하는 단계, 단말로부터 전송되는 트랙킹 정보를 기초로, 상기 3차원 모델링 데이터 및 적어도 하나의 사용자 인터페이스에 대한 가상 이미지를 생성하는 단계 및 상기 가상 이미지를 상기 단말로 전송하는 단계를 포함하되, 상기 트랙킹 정보는, 상기 단말의 지리적 위치 정보, 상기 단말이 위치한 현실 공간에 대한 식별 정보, 3차원 회전 정보 및 속도 정보 중 적어도 하나를 포함하고, 상기 가상 이미지는, 상기 건축물이 설계 정보에 따라 실제 크기로 표시될 수 있도록 생성되며, 상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되는 것을 특징으로 하는 방법 및 이를 수행하는 시스템에 관한 것이다.

Description

혼합 현실 서비스 제공 방법 및 시스템
본 발명은 혼합 현실 서비스 제공 방법 및 시스템에 관한 것으로, 보다 구체적으로 건축 현장에서 대응되는 3차원 모델링 데이터를 실제 건축물 크기의 혼합 현실 이미지로 제공하여, 건축물의 관리 및 유지/보수를 용이하게 수행할 수 있도록 하는 혼합 현실 서비스 제공 방법 및 시스템에 관한 것이다.
최근 3차원 영상 처리 기술이 급속도로 발전하면서, 영화, 게임, 인테리어 등 다양한 분야에 가상 현실(Virtual Reality; VR) 또는 증강 현실(Augmented Reality; AR)을 이용한 서비스가 제공되고 있다. 증강 현실 이후에 등장한 혼합 현실(Mixed Reality; MR)은 현실의 이미지와 3차원 모델링 데이터로 구현된 가상의 이미지를 합성하여 표시함으로써, 사용자에게 현실과 가상 이미지의 경계가 없는 이미지를 제공한다.
한편, 건축물의 설계 분야에서도 설계 데이터를 3차원 모델링 데이터 화하여 보다 입체감 있게 건축물의 구조를 파악할 수 있도록 하는 기술이 개발되고 있다.
그러나 현재까지의 건축물 설계 분야에서 혼합 현실의 적용은 단순히 현실 공간을 인지하여 가구 등 소규모 인테리어 구조물을 배치하는 수준에 그치고 있다. 실제 설계 현장에서는 수작업으로 건축물의 치수 등을 검증하고 관리하고 있어 많은 인력과 시간이 소모되는 문제가 있다.
본 발명은 상기한 문제점을 해결하기 위한 것으로, 건축 현장에서 대응되는 3차원 모델링 데이터를 실제 건축물 크기의 혼합 현실 이미지로 표시하는 혼합 현실 서비스 제공 방법 및 시스템을 제공한다.
또한, 본 발명은 혼합 현실 공간에서 혼합 현실 이미지로 표시된 3차원 모델링 데이터를 실시간 편집하고 다른 작업자와 공유할 수 있도록 하는 혼합 현실 서비스 제공 방법 및 시스템을 제공한다.
상술한 과제를 해결하기 위한 본 발명에 따른 혼합 현실 서비스 제공 방법은, 서버의 혼합 현실 서비스를 제공하기 위한 방법으로, 임의의 건축물에 대한 설계 정보를 포함하는 3차원 모델링 데이터를 로드하는 단계, 단말로부터 전송되는 트랙킹 정보를 기초로, 상기 3차원 모델링 데이터 및 적어도 하나의 사용자 인터페이스에 대한 가상 이미지를 생성하는 단계 및 상기 가상 이미지를 상기 단말로 전송하는 단계를 포함하되, 상기 트랙킹 정보는, 상기 단말의 지리적 위치 정보, 상기 단말이 위치한 현실 공간에 대한 식별 정보, 3차원 회전 정보 및 속도 정보 중 적어도 하나를 포함하고, 상기 가상 이미지는, 상기 건축물이 상기 설계 정보에 따라 실제 크기로 표시될 수 있도록 생성되며, 상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 생성하는 단계는, 상기 단말의 지리적 위치 정보에 따라, 상기 건축물의 외관 또는 내부 이미지를 획득하는 단계, 상기 단말의 트랙킹 정보에 따라, 상기 획득된 이미지 내에서 상기 단말의 정면 표시 영역에 대응되는 일 영역을 추출하는 단계 및 상기 추출된 일 영역으로부터 가상 이미지를 생성하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 생성하는 단계는, 상기 건축물이 복수의 층으로 구성되는 경우, 사용자 입력 또는 트랙킹 정보에 의해 선택된 임의의 층에 대하여 상기 내부 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 적어도 하나의 사용자 인터페이스는, 상기 건축물에 대한 설계 정보의 추가, 편집, 삭제, 메모 관리 중 적어도 하나를 위한 사용자 인터페이스를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 생성하는 단계는, 상기 건축물 내의 적어도 하나의 객체 상에 상기 적어도 하나의 객체를 위한 사용자 인터페이스를 배치하여 상기 가상 이미지를 생성하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 방법은, 상기 적어도 하나의 사용자 인터페이스를 통하여 상기 3차원 모델링 데이터에 대한 처리 요청을 수신하는 단계, 상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하는 단계, 상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하는 단계 및 상기 재생성된 가상 이미지를 상기 단말로 전송하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 상기 단말로 전송한 이후에, 상기 단말로부터 변경된 트랙킹 정보를 수신하는 단계, 상기 변경된 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 상기 적어도 하나의 사용자 인터페이스에 대한 가상 이미지를 재생성하는 단계 및 상기 재생성된 가상 이미지를 상기 단말로 전송하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 혼합 현실 서비스 제공 시스템은, 혼합 현실 서비스를 제공하는 시스템으로, 혼합 현실 서비스를 이용하는 동안 트랙킹 정보를 수집하여 전송하는 단말 및 임의의 건축물에 대한 설계 정보를 포함하는 3차원 모델링 데이터를 로드하고, 단말로부터 전송되는 트랙킹 정보를 기초로, 상기 3차원 모델링 데이터 및 적어도 하나의 사용자 인터페이스에 대한 가상 이미지를 생성하여 상기 단말로 전송하는 서버를 포함하되, 상기 트랙킹 정보는, 상기 단말의 지리적 위치 정보, 상기 단말이 위치한 현실 공간에 대한 식별 정보, 3차원 회전 정보 및 속도 정보 중 적어도 하나를 포함하고, 상기 가상 이미지는, 상기 건축물이 상기 설계 정보에 따라 실제 크기로 표시될 수 있도록 생성되며, 상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 상기 단말의 지리적 위치 정보에 따라, 상기 건축물의 외관 또는 내부 이미지를 획득하고, 상기 단말의 트랙킹 정보에 따라, 상기 획득된 이미지 내에서 상기 단말의 정면 표시 영역에 대응되는 일 영역을 추출하여 상기 가상 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 상기 건축물이 복수의 층으로 구성되는 경우, 상기 단말로부터 수신되는 입력 또는 트랙킹 정보에 의해 선택된 임의의 층에 대하여 상기 내부 이미지를 획득하는 것을 특징으로 할 수 있다.
또한, 상기 단말은, 상기 적어도 하나의 사용자 인터페이스를 통하여 수신되는 사용자 입력을 기초로, 상기 3차원 모델링 데이터에 대한 처리 요청을 상기 서버로 전송하고, 상기 서버는, 상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하고, 상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하여 상기 단말로 전송하는 것을 특징으로 할 수 있다.
본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은 건축 현장에서 혼합 현실 이미지를 통해 건축물을 실제 건축물 크기의 3차원 모델링 데이터와 비교할 수 있도록 하여, 건축물의 검증, 관리 및 유지/보수를 용이하게 수행할 수 있도록 한다.
또한, 본 발명에 다른 혼합 현실 서비스 제공 방법 및 시스템은 혼합 현실 이미지로 표시된 3차원 모델링 데이터를 실시간으로 편집하고 다른 작업자와 공유할 수 있도록 한다.
도 1은 본 발명에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다.
도 2는 본 발명에 따른 서버의 구조를 나타낸 도면이다.
도 3은 본 발명에 따른 단말의 구조를 나타낸 도면이다.
도 4는 본 발명에 따른 단말이 헤드 마운트 디스플레이 장치로 구현되는 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 혼합 현실 서비스의 제공 방법을 나타낸 흐름도이다.
도 6은 본 발명에 따른 혼합 현실 서비스 제공 방법에 있어서 3차원 모델링 데이터에 대한 처리를 수행하는 방법을 나타낸 흐름도이다.
도 7 및 도 8은 본 발명에 따른 혼합 현실 이미지의 일 예를 나타낸 도면이다.
본 명세서의 실시 예를 설명함에 있어 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우, 그 상세한 설명은 생략될 수 있다.
본 명세서에서 사용되는 "포함한다," "포함할 수 있다." 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 명세서에서, "포함하다." 또는 "가지다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 　
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은 건축물 설계를 위해 제공될 수 있다. 보다 구체적으로, 본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은 3차원 모델링 데이터로써 건축물의 설계 데이터를 혼합 현실 회의실에 입장한 다수의 사용자 단말에 혼합 현실로 표시하고, 설계 정보를 관리(추가/수정/삭제 등)할 수 있도록 하기 위해 구성될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다.
도 1은 본 발명에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 혼합 현실 서비스 제공 시스템(1)은 혼합 현실 서비스를 제공하는 서버(10)와 혼합 현실 서비스를 제공받는 단말(20)을 포함하여 구성될 수 있다.
서버(10)는 본 발명에 따른 혼합 현실 서비스를 제공하기 위하여 마련되는 것으로, 혼합 현실 서비스의 제공자에 의해 운영되는 네트워크 서버, 애플리케이션 서버, 도메인 서버 등일 수 있다.
*30
서버(10)는 단말(20)로부터 혼합 현실 서비스 제공 요청 시, 3차원 모델링 데이터로부터 가상 이미지를 생성하여 단말(20)에게 제공한다. 단말(20)에 제공된 가상 이미지는 단말(20)에서 촬영되는 현실 이미지와 합성되어 혼합 현실 이미지로 표시될 수 있다.
서버(10)는 또한 3차원 모델링 데이터에 대한 부가적인 처리를 수행하기 위한 다양한 사용자 인터페이스를 가상 이미지로 단말(20)에게 제공할 수 있다. 또한, 서버(10)는 사용자 인터페이스를 통하여 수신되는 사용자 명령에 따라 3차원 모델링 데이터를 수정하고 관리할 수 있다.
단말(20)은 서버(10)와 데이터 통신을 수행하여 혼합 현실 서비스를 제공받는다. 단말(20)은 서버(10)로부터 수신되는 가상 이미지를 단말(20)에서 촬영되는 현실 이미지와 합성하여 혼합 이미지를 생성하고 이를 좌안용 및 우안용 영상으로 표시함으로써, 현실 공간에서 사용자가 3차원 모델링 데이터를 사실적으로 체험할 수 있도록 한다.
본 발명의 다양한 실시 예에서 3차원 모델링 데이터는 건축물 설계를 위한 모델링 데이터일 수 있다. 특히, 3차원 모델링 데이터는 빌딩 정보 모델링(Building Information Modeling; BIM) 데이터로써 IFC(Industry Foundation Classes) 데이터일 수 있으나, 이에 한정되지는 않는다. 건축물 설계를 위한 3차원 모델링 데이터는 건축물의 구조, 형태, 치수, 재료, 재질, 색상, 무늬, 설비 등에 관련된 정보를 포함할 수 있다.
서버(10)와 단말(20)은 네트워크를 통해 상호 연결되어 데이터 통신을 수행하며, 혼합 현실 서비스를 위한 제어 동작을 수행한다. 이에 대하여 보다 구체적인 설명은 후술한다.
도 2는 본 발명에 따른 서버의 구조를 나타낸 도면이다.
도 2를 참조하면, 서버(10)는 통신부(11), 제어부(12) 및 저장부(13)를 포함하여 구성될 수 있다.
통신부(11)는 네트워크를 통해 외부와 데이터를 송수신할 수 있다. 일 예로 통신부(11)는 단말(20)로부터 사용자 입력에 대응하는 요청 및 가상 이미지 생성을 위해 필요한 정보 등을 수신하고, 제어부(12)의 제어에 따라 단말(20)로 현실 이미지 상에 합성될 가상 이미지를 전송할 수 있다.
제어부(12)는 본 발명에 따른 혼합 현실 서비스를 제공하기 위하여, 서버(10)의 각 구성 요소들을 제어하도록 구성된다. 보다 구체적으로, 제어부(12)는 혼합 현실 서비스 제공부(121) 및 가상 이미지 생성부(122)를 포함하여 구성될 수 있다.
혼합 현실 서비스 제공부(121)는 단말(20)로 혼합 현실 서비스를 제공하기 위한 각종 제어 동작들을 수행한다.
일 실시 예에서, 혼합 현실 서비스 제공부(121)는 혼합 현실 서비스를 제공받는 단말(20)의 사용자 계정을 생성하고 관리할 수 있다. 혼합 현실 서비스 제공부(121)는 혼합 현실 서비스를 통하여 생성되거나 획득되는 데이터를 사용자 계정과 연계하여 저장하고 관리할 수 있다. 일 예로, 혼합 현실 서비스 제공부(121)는 사용자 계정을 식별하기 위한 식별 정보로써 아이디(ID), 비밀번호(PASSWORD) 등을 저장하고 관리하며, 해당 사용자 계정과 관련된 모델링 데이터를 사용자 계정에 대응되는 데이터 디렉토리에 저장하고 관리할 수 있다.
혼합 현실 서비스 제공부(121)는 단말(20)의 요청에 의해 혼합 현실 서비스가 구동됨에 따라, 단말(20)로부터 가상 이미지 생성을 위해 필요한 정보, 예를 들어 트랙킹 정보를 수신하고, 수신된 정보를 가상 이미지 생성부(122)로 전달할 수 있다. 또한, 혼합 현실 서비스 제공부(121)는 가상 이미지 생성부(122)로부터 생성되는 가상 이미지를 단말(20)로 전달하여, 단말(20)에서 가상 이미지가 현실 이미지와 합성되어 혼합 현실 이미지로 구성될 수 있도록 한다.
혼합 현실 서비스 제공부(121)는 혼합 현실 서비스가 제공되는 동안, 단말(20)로부터 수신되는 사용자 입력에 따라 3차원 모델링 데이터에 대한 처리, 예를 들어 설계 정보에 대한 추가, 편집, 삭제, 메모 관리 등을 적용하여 저장할 수 있다. 혼합 현실 서비스 제공부(121)는 편집된 3차원 모델링 데이터를 가상 이미지 생성부(122)로 전달하여, 편집된 3차원 모델링 데이터에 기초한 가상 이미지가 생성될 수 있도록 한다. 임의의 단말(20)에 의해 3차원 모델링 데이터가 편집되는 경우, 이를 기초로 재생성된 가상 이미지는 해당 단말(20) 및 적어도 하나의 다른 장치들로 전송될 수 있다. 그에 따라, 혼합 현실 서비스를 제공받는 장치들은 3차원 모델링 데이터의 편집 상황을 공유하면서 협업을 수행할 수 있다.
가상 이미지 생성부(122)는 단말(20)로부터 수신된 트랙킹 정보를 기초로 가상 이미지를 생성할 수 있다. 트랙킹 정보는 예를 들어, 단말(20)의 현실 공간에 대한 식별 정보(예를 들어, 메쉬망 정보) 및 단말(20)의 지리적 위치 정보, 3차원 회전 정보, 속도 정보 등을 포함할 수 있다.
가상 이미지 생성부(122)는 단말(20)로부터 수신된 단말(20)의 트랙킹 정보를 기초로 3차원 모델링 데이터로부터 가상 이미지를 생성할 수 있다. 가상 이미지 생성부(122)는 3차원 모델링 데이터의 실측 사이즈로 가상 이미지를 생성하되, 트랙킹 정보에 따라 3차원 모델링 데이터의 표시 영역 등을 결정하여 가상 이미지를 생성할 수 있다.
또한, 가상 이미지 생성부(122)는 3차원 모델링 데이터에 대한 처리, 예를 들어 설계 정보의 추가, 편집, 삭제, 메모 관리(예를 들어, 메모 삽입, 메모 편집, 메모 삭제 등)등을 위한 사용자 인터페이스를 가상 이미지로 생성할 수 있다. 이때, 가상 이미지 생성부(122)는 객체의 3차원 형상이나 트랙킹 정보에 따라 사용자 인터페이스를 회전하거나 확대/축소하여 가상 이미지를 생성할 수 있다.
상술한 제어부(12)의 구성 요소들은 제어부(12) 내에 물리적으로 별개의 장치로써 구현될 수 있으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니다. 즉, 상술한 제어부(12)의 구성 요소들은 하나의 물리적인 프로세서 내에 모듈화되거나, 프로그램될 수 있다. 또한, 상술한 제어부(12)의 구성 요소들은 단순히 제어부(12)의 동작적인 측면으로 구분된 것에 불과하며, 상술한 구성 요소들의 적어도 하나 또는 전부는 하나의 구성 요소로 통합될 수 있다.
저장부(13)는 서버(10)의 동작을 위하여 필요한 운영 체제, 프로그램, 소프트웨어 등을 저장할 수 있다. 본 발명의 다양한 실시 예에서, 저장부(13)는 적어도 하나의 3차원 모델링 데이터를 저장하고 관리할 수 있다. 일 실시 예에서, 적어도 하나의 3차원 모델링 데이터는 사용자 계정 및 지리적 위치 정보 등과 연계하여 저장될 수 있다.
도 3은 본 발명에 따른 단말의 구조를 나타낸 도면이다.
도 3을 참조하면, 본 발명에 따른 단말(20)은 카메라부(21), 센서부(22), 입력부(23), 표시부(24), 출력부(25), 통신부(26), 제어부(27) 및 저장부(28)를 포함하여 구성될 수 있다.
카메라부(21)는 적어도 하나의 카메라 모듈을 구비하여 사용자 전방의 영상을 촬영하도록 형성된다. 본 발명의 다양한 실시 예에서, 카메라부(32)는 사용자의 현실 공간(피사체)의 형태와 깊이감을 식별할 수 있는 깊이 카메라(depth camera)를 포함하여 구성될 수 있다. 또한, 카메라부(32)는 사용자의 핸드 제스처 등을 촬영하기 위한 적외선 카메라 등을 포함하여 구성될 수 있다.
센서부(22)는 단말(20)의 동작에 관한 다양한 정보를 감지할 수 있는 적어도 하나의 센서를 포함하여 구성될 수 있다. 본 발명의 다양한 실시 예에서, 센서부(22)는 사용자의 지리적 위치를 감지하기 위한 GPS 센서를 포함할 수 있다. 또한, 센서부(22)는 단말(20)의 3차원 회전이나 기울임, 속도와 같은 움직임을 감지하기 위한 자이로 센서, 속도 센서, 가속도 센서 등을 포함할 수 있다.
입력부(23)는 사용자의 다양한 입력을 수신한다. 입력부(23)는 터치 패드, 키 패드, 조그 다이얼, 돔 스위치, 버튼 등을 포함할 수 있다. 또는, 일 실시 예에서, 카메라부(21)를 통하여 사용자의 핸드 제스처를 입력으로 수신하는 경우, 입력부(23)는 카메라부(21)를 통하여 촬영된 핸드 제스처를 식별하는 동작을 수행하도록 구성될 수 있다. 또한, 다양한 실시 예에서, 입력부(23)는 사용자의 음성과 같은 음향을 입력받아 전기적인 음성 데이터로 처리하는 마이크를 더 포함할 수 있다.
표시부(24)는 단말(20)에서 처리되는 다양한 정보들을 시각적으로 표시할 수 있다. 본 발명의 다양한 실시 예에서, 단말(20)이 헤드 마운트 디스플레이(30)로 구성되는 경우 표시부(24)는 좌안용 영상을 표시하는 좌안용 표시부 및 우안용 영상을 표시하는 우안용 표시부를 포함하여 구성될 수 있다.
출력부(25)는 단말(20)에서 처리되는 정보들을 음향, 진동, 광 등의 다양한 형태로 출력하도록 구성된다. 이를 위하여, 출력부(25)는 스피커, 햅틱 모듈, LED 램프 등을 포함하여 구성될 수 있다.
통신부(26)는 네트워크를 통해 외부와 데이터를 송수신할 수 있다. 일 예로, 통신부(26)는 제어부(27)의 제어를 통하여, 서버(10)로 혼합 현실 서비스를 제공받기 위한 다양한 요청들 및/또는 정보를 전송하고, 서버(10)로부터 3차원 모델링 데이터 및/또는 다양한 오브젝트들에 대한 가상 이미지를 수신할 수 있다.
제어부(27)는 본 발명에 따른 혼합 현실 서비스를 제공받기 위하여, 단말(20)의 각 구성 요소들을 제어하도록 구성된다. 보다 구체적으로, 제어부(27)는 혼합 현실 서비스 관리부(271) 및 혼합 현실 생성부(272)를 포함하여 구성될 수 있다.
혼합 현실 서비스 관리부(271)는 서버(10)를 통하여 제공되는 혼합 현실 서비스에 관련된 동작을 제어한다.
구체적으로, 혼합 현실 서비스 관리부(271)는 사용자 입력에 대응하여, 서버(10)로 사용자 계정을 생성/관리하거나 사용자 계정에 로그인하기 위한 요청을 전송할 수 있다. 혼합 현실 서비스 관리부(271)는 서버(10)로 사용자 계정을 생성하거나 사용자 계정에 로그인하기 위한 식별 정보로써, 아이디, 비밀번호 등을 사용자에게 입력받고 이를 서버(10)로 전송할 수 있다.
혼합 현실 서비스 관리부(271)는 사용자 입력에 대응하여, 혼합 현실 서비스를 구동하기 위한 요청을 서버(10)로 전송할 수 있다. 혼합 현실 서비스가 구동함에 따라, 혼합 현실 서비스 관리부(271)는 카메라부(21) 및/또는 센서부(22)를 통하여 트랙킹 정보를 수집하고, 수집된 트랙킹 정보를 서버(10)로 전송할 수 있다. 혼합 현실 서비스 관리부(271)는 트랙킹 정보에 기초하여 생성된 가상 이미지를 서버(10)로부터 수신할 수 있다. 혼합 현실 서비스 관리부(271)는 수신된 가상 이미지를 혼합 현실 생성부(272)로 전달하여, 카메라부(21)를 통해 촬영되는 현실 이미지와 가상 이미지를 합성함으로써 혼합 현실 이미지가 생성되도록 할 수 있다.
혼합 현실 서비스 관리부(271)는 혼합 현실 서비스가 제공되는 동안, 서버(10)로부터 수신되고 혼합 현실 생성부(272)에 의해 표시된 적어도 하나의 사용자 인터페이스를 통하여, 사용자 입력, 예를 들어 3차원 모델링 데이터 내의 임의의 객체에 대한 추가, 편집, 삭제, 메모 관리 등을 위한 입력을 수신할 수 있다. 혼합 현실 서비스 관리부(271)는 사용자 입력을 처리하여 서버(10)로 전달하고, 그에 대한 응답을 서버(10)로부터 수신하여 처리할 수 있다.
혼합 현실 생성부(272)는 카메라부(21)를 통해 촬영된 현실 이미지와 서버(10)로부터 수신된 가상 이미지를 합성하여 혼합 현실 이미지를 생성한다. 생성된 혼합 현실 이미지는 표시부(24)를 통해 표시될 수 있다.
일 실시 예에서, 후술되는 바와 같이 단말(20)이 헤드 마운트 디스플레이(30)로 구성되는 경우, 혼합 현실 생성부(272)는 혼합 현실 이미지에 대한 좌안용 영상 및 우안용 영상을 생성할 수 있다. 생성된 좌안용 영상 및 우안용 영상은 헤드 마운트 디스플레이(30)의 좌안용 표시부 및 우안용 표시부에 각각 표시될 수 있다.
저장부(28)는 단말(20)의 동작을 위하여 필요한 운영 체제, 프로그램, 소프트웨어 등을 저장할 수 있다.
한편, 본 발명의 다양한 실시 예에서, 단말(20)은 도 4에 도시된 바와 같이 헤드 마운트 디스플레이(30)로 구성될 수 있다.
헤드 마운트 디스플레이(30)는 프레임(29)으로 구성될 수 있다. 프레임(29)은 사용자의 두부 등에 착용이 용이하도록 플렉서블한 재질로 형성될 수 있으며, 예를 들어 사용자의 안면에 착용 가능하도록 안경형으로 형성될 수 있다. 프레임(29)은 본체부 또는 바디부 등으로 명명될 수 있다. 프레임(29)에는 상술한 카메라부(21), 센서부(22), 입력부(23), 표시부(24) 및 출력부(25) 등이 마련될 수 있다.
표시부(24)는 사용자가 착용한 상태에서 좌안 및 우안에 각각 대응되는 좌안용 및 우안용 표시부(24)를 구비할 수 있다. 그에 따라, 헤드 마운트 디스플레이(30)는 사용자로 하여금 좌안용 영상과 우안용 영상의 시차에 대응하는 깊이감을 느낄 수 있도록 하고 보다 현실성있는 혼합 현실 공간을 체험할 수 있도록 한다.
그러나 헤드 마운트 디스플레이(30)의 구조는 상술한 것에 한정되지 않으며, 헤드 마운트 디스플레이는 다양한 구조 및 형태를 가질 수 있다.
이하에서는, 본 발명에 따른 혼합 현실 서비스 제공 시스템(1)을 통하여 혼합 현실 서비스를 제공하는 방법을 보다 구체적으로 설명한다. 이하에서 설명되는 혼합 현실 서비스 제공 방법은, 단말(20)에 설치되는 애플리케이션, 프로그램, 소프트웨어 등을 통해 수행되거나, HTTP 기반 웹 서비스를 통하여 수행될 수 있다. 그러나 본 발명의 기술적 사상은 이에 한정되지는 않으며, 다양한 방식을 통해 본 발명에 따른 혼합 현실 서비스 제공 방법이 실행될 수 있다.
도 5는 본 발명에 따른 혼합 현실 서비스 제공 방법을 나타낸 흐름도이다.
도 5를 참조하면, 단말(20)은 혼합 현실 서비스의 구동을 위한 사용자 입력을 수신할 수 있다(501). 혼합 현실 서비스의 구동을 위한 사용자 입력은, 예를 들어 혼합 현실 서비스 제공을 위한 애플리케이션, 프로그램, 소프트웨어의 구동, 혼합 현실 서비스를 제공하는 웹 페이지로의 이동 등을 통하여 수신될 수 있다.
단말(20)은 사용자 입력에 대응하여 서버(10)로 혼합 현실 서비스의 구동 요청을 전송할 수 있다(502).
서버(10)는 단말(20)의 구동 요청에 대한 구동 응답을 단말(20)에게 전송할 수 있다(503). 다양한 실시 예에서, 서버(10)는 단말(20)에 대한 장치 인증 및/또는 보안 인증 등을 수행하여, 단말(20)에게 혼합 현실 서비스를 제공할 것인지 여부를 결정하고 단말(20)로 구동 응답을 전송할 수 있다.
다양한 실시 예에서, 상기와 같은 인증 과정은 별도로 수행되지 않을 수 있다.
다양한 실시 예에서, 혼합 현실 서비스의 최초 구동 이후에, 서버(10)와 단말(20)은 사용자 계정 생성 및/또는 사용자 계정 로그인을 위한 동작을 수행할 수 있다. 구체적으로, 단말(20)은 사용자 입력에 따라 계정 생성 요청 또는 계정 로그인 요청을 서버(10)로 전송할 수 있다. 계정 생성 요청 또는 계정 로그인 요청은 사용자의 식별 정보로써, 예를 들어 아이디(ID), 비밀번호(PASSWORD) 등을 포함할 수 있다. 서버(10)는 계정 생성 요청에 포함된 사용자의 식별 정보를 저장하고, 해당 사용자에 관련된 데이터를 사용자의 식별 정보와 연계하여 저장할 수 있도록 데이터 디렉토리를 설정하고 이를 로드할 수 있다. 또는 서버(10)는 계정 로그인 요청에 포함된 사용자의 식별 정보에 매칭되는 기저장된 사용자의 식별 정보를 검색하고, 매칭되는 사용자의 식별 정보가 존재하면 검색된 사용자의 식별 정보에 대응하여 저장된 데이터 디렉토리를 로드할 수 있다.
일부 실시 예들에서, 서버(10)가 사용자 계정 관련 서비스를 별도로 제공하지 않는 경우, 상기한 과정은 수행되지 않을 수 있다.
혼합 현실 서비스의 구동 응답이 수신되면, 단말(20)은 트랙킹 정보를 실시간으로 수집할 수 있다(504). 다양한 실시 예에서, 단말(20)은 카메라부(22) 및/또는 센서부(23)를 통해 트랙킹 정보를 수집할 수 있다. 단말(20)에서 수집되는 트랙킹 정보는 지리적 위치 정보, 현실 공간에 대한 식별 정보, 3차원 회전 정보, 속도 정보 등을 포함할 수 있다.
일 예로, 단말(20)은 GPS 센서를 통하여 단말(20)의 현재 지리적 위치를 판단할 수 있다.
또한, 단말(20)은 카메라부(21)를 통하여 촬영되는 현실 공간에 대한 이미지를 분석하여 현실 공간의 형태, 깊이감 등을 식별할 수 있다. 공간 식별을 통해 단말(20)은 사용자의 전방에 위치한 현실 공간의 지면, 건축물 등의 형태, 크기, 위치 등을 판단할 수 있다.
또한, 일 예로, 단말(20)은 센서부(22)를 통해 단말(20)의 3차원 회전이나 기울임, 속도(이동)와 같은 움직임을 감지할 수 있다.
본 발명에서 단말(20)에 의해 수집되는 트랙킹 정보는 상술한 공간 식별 정보 및 움직임 정보에 한정되는 것은 아니며, 가상 이미지를 생성하기 위해 요구되는 다양한 정보들, 예를 들어 마커 인지 정보, 핸드 제스처 식별 정보 등을 포함할 수 있다.
단말(20)은 수집된 트랙킹 정보를 실시간으로 서버(10)에 전송할 수 있다(505).
서버(10)는 3차원 모델링 데이터를 로드한다(506). 본 발명의 다양한 실시 예에서, 3차원 모델링 데이터는 건축물에 대한 설계를 포함하는 3차원 모델링 데이터일 수 있다.
서버(10)는 단말(20)에서 사용자 입력 등을 통해 선택된 3차원 모델링 데이터를 로드할 수 있다. 또는 서버(10)는 수신된 트랙킹 정보로부터 단말(20)의 지리적 위치를 판단하고, 해당 위치에 대응하는 기저장된 3차원 모델링 데이터를 로드할 수 있다. 예를 들어, 단말(20)이 특정 지리적 위치의 건축 현장에 위치하고 있을 때, 서버(10)는 해당 건축 현장에 대응하여 설계된 건축물의 3차원 모델링 데이터를 로드할 수 있다.
이후에, 서버(10)는 수신된 트랙킹 정보를 기초로 로드된 3차원 모델링 데이터에 대한 가상 이미지를 생성할 수 있다(507).
서버(10)는 트랙킹 정보를 통해 식별된 현실 공간상에 3차원 모델링 데이터로 작성된 건축물이 설계 정보에 따라 실제 크기로 표시될 수 있도록 가상 이미지를 생성할 수 있다. 이때, 서버(10)는 지리적 위치 정보를 기초로, 해당 건축물이 설계된 위치에 표시될 수 있도록 가상 이미지를 배치할 수 있다. 단말(20)의 지리적 위치에 따라 가상 이미지는 건축물의 외관으로 구성되거나 건축물 내부의 일 영역으로 구성될 수 있다. 여기서 건축물 내부의 일 영역은 건축물의 외관 또는 내부 이미지로부터 트랙킹 정보, 예를 들어 3차원 회전 정보를 기초로 추출되는 단말(20)의 정면 표시 영역(표시 방향)에 대응될 수 있다.
단말(20)의 지리적 위치가 건축물의 내부 위치에 대응하는 경우에, 서버(10)는 건축물 내부 이미지의 일부로 가상 이미지를 생성할 수 있다. 건축물이 복수의 층으로 구성되는 경우, 서버(10)는 사용자 입력 등에 의해 선택된 임의의 층에 대하여 내부의 일 영역을 가상 이미지로 생성할 수 있다. 일 실시 예에서, 해당 건축물이 실제로 건축된 이후에 본 발명에 따른 혼합 현실 서비스가 제공되는 경우, 단말(20)의 사용자는 건축물의 특정 층에 실제로 위치할 수 있다. 이 경우, 서버(10)는 트랙킹 정보로부터 단말(20)의 높이 정보를 획득하고, 그에 대응되는 층의 내부의 일 영역을 가상 이미지로 생성할 수 있다.
서버(10)는 3차원 모델링 데이터에 대한 처리를 수행하기 위한 사용자 인터페이스를 가상 이미지로 생성할 수 있다. 이러한 사용자 인터페이스는 표시된 건축물의 임의의 객체(예를 들어, 벽, 천장, 바닥, 문, 창문, 조명 등)의 구조(위치), 형태, 치수, 재료, 재질, 색상, 무늬, 설비 등을 추가, 편집, 삭제하기 위한 사용자 인터페이스를 포함할 수 있다. 또한, 사용자 인터페이스는 표시된 건축물의 임의의 객체에 대해 메모의 삽입, 편집, 삭제를 위한 사용자 인터페이스를 포함할 수 있다. 또한, 사용자 인터페이스는 표시되는 건축물의 층을 선택하거나 특정 설비에 대한 표시(예를 들어, 전기 설비, 가스 설비, 수도 설비 등)를 제어하기 위한 사용자 인터페이스 등을 포함할 수 있다.
서버(10)는 사용자 인터페이스를 대응되는 객체 상에 배치하여 가상 이미지를 생성할 수 있다. 또는, 서버(10)는 사용자 인터페이스를 화면상의 특정 위치, 예를 들어, 상단부, 측부 또는 하단부 등에 배치하여 가상 이미지를 생성할 수 있다. 서버(10)는 트랙킹 정보 및/또는 대응되는 객체의 배치 상태 등을 기초로, 사용자 인터페이스를 회전시키거나 확대/축소시킴으로써 가상 이미지를 생성할 수 있다.
서버(10)는 생성된 가상 이미지를 단말(20)로 전송할 수 있다(508).
단말(20)은 수신된 가상 이미지를 카메라부(21)를 통하여 촬영되는 현실 이미지에 합성하여 혼합 현실 이미지를 생성할 수 있다(509). 이렇게 생성된 혼합 현실 이미지는 단말(20)이 위치한 현실 공간상에 3차원 모델링 데이터에 대응하는 건축물이 실제 크기로 배치된 이미지일 수 있다. 또한, 생성된 혼합 현실 이미지는 표시된 건축물의 임의의 객체에 대한 처리를 수행할 수 있는 적어도 하나의 사용자 인터페이스가 해당 객체에 대응하는 위치에 및/또는 화면상의 특정 영역에 배치된 이미지일 수 있다.
단말(20)은 생성된 혼합 현실 이미지를 표시부(24)를 통해 표시할 수 있다(510).
혼합 현실 이미지가 표시되는 동안, 단말(20)은 계속해서 트랙킹 정보를 실시간으로 수집하고, 이를 서버(10)로 전송한다. 또한, 서버(10)는 계속해서 수신되는 트랙킹 정보를 기초로 가상 이미지를 생성하고 이를 단말(20)로 전송한다. 단말(20)에서는 실시간 트랙킹 정보에 따라 변화하는 가상 이미지를 현실 이미지에 합성하여 혼합 현실 이미지를 사용자에게 표시할 수 있다.
이와 같이 표시되는 혼합 현실 이미지의 일 예가 도 7 및 도 8에 도시되어 있다.
도 7 및 도 8에서 3차원 모델링 이미지(701, 801)는 대응되는 건축 현장에 실제 크기로 전시된다. 단말(20)의 지리적 위치가 건축물 설계 위치의 외부인 경우, 도 7에 도시된 것처럼 사용자는 표시된 혼합 현실 이미지를 통하여 설계된 위치에 실제 크기의 건축물이 전시된 것처럼 느낄 수 있다. 반대로, 단말(20)의 지리적 위치가 건축물 설계 위치의 내부인 경우, 도 8에 도시된 것처럼 사용자는 3차원 모델링 데이터에 의해 건축된 건축물의 내부에 위치하고 있는 것처럼 느낄 수 있다.
본 발명에 따르면, 사용자는 건축물이 실제로 설계되기 이전에 건축 현장에서 건축물이 실제로 건설되었을 때의 형상을 간접적으로 현실감있게 체험할 수 있다. 일 실시 예에서, 3차원 모델링 데이터의 설계 내용에 따라 건축물을 실제로 건축한 이후에 본 발명에 따른 혼합 현실 서비스를 이용하는 경우, 사용자는 건축된 건축물을 혼합 현실로 표시된 3차원 모델링 데이터와 비교하여, 건축물이 설계된 모델링 데이터와 합치되게 건축되었는지 여부를 검수할 수 있다. 또한, 건축된 건축물을 혼합 현실로 표시된 3차원 모델링 데이터와 비교하여, 건축 이후에 건축물이 손상되거나 변경된 부분을 식별하여 그에 대한 유지/보수를 수행할 수 있다.
표시된 3차원 모델링 데이터 상에는 상술한 바와 같이 임의의 객체에 대해 이용 가능한 제어를 수행하기 위해 적어도 하나의 사용자 인터페이스(702, 802)가 표시될 수 있다. 본 발명에서는 이러한 사용자 인터페이스를 통하여 3차원 모델링 데이터에 대한 처리를 수행할 수 있도록 한다. 이에 대하여 도 6을 참조하여 설명한다.
도 6은 본 발명에 따른 혼합 현실 서비스 제공 방법에 있어서 3차원 모델링 데이터에 대한 처리를 수행하는 방법을 나타낸 흐름도이다.
도 6을 참조하면, 혼합 현실 이미지가 표시되는 동안, 단말(20)은 카메라부(21), 센서부(22) 및/또는 입력부(23)를 통하여 입력되는 사용자 입력을 감지할 수 있다(601).
사용자 입력은 3차원 모델링 데이터 내의 설계 정보에 대한 처리로써, 임의의 객체에 대한 구조, 형태, 치수, 재료, 재질, 색상, 무늬, 설비의 편집을 위한 정보를 포함할 수 있다.
사용자 입력은 표시된 사용자 인터페이스를 통하여 수신될 수 있다. 본 발명의 다양한 실시 예에서, 단말(20)은 적외선 카메라를 통하여 사용자의 핸드 제스처 식별을 통해 사용자 입력을 감지할 수 있다. 일 예로, 특정 위치를 손가락으로 포인팅하는 핸드 제스처가 식별되는 경우, 단말(20)은 손가락이 포인팅한 위치에 표시된 사용자 인터페이스를 실행하기 위한 사용자 입력을 감지할 수 있다. 또는, 일 예로, 모든 손가락을 오므렸다 펴는 핸드 제스처가 식별되는 경우, 단말(20)은 그에 대응하는 메뉴 또는 목록 등을 표시하기 위한 사용자 입력을 감지할 수 있다. 또는, 일 예로, 단말(20)은 사용자 손가락의 개수를 식별하여, 그에 대응하는 층에서의 혼합 현실 이미지를 표시하기 위한 사용자 입력을 감지할 수 있다. 본 발명에서 사용자의 핸드 제스처에 대응하는 사용자 입력은 그 종류나 형태를 특별히 제한하지 않는다.
단말(20)은 사용자 입력에 대응하여 3차원 모델링 데이터에 대한 처리 요청을 서버(10)로 전송할 수 있다(602).
서버(10)는 3차원 모델링 데이터에 대한 처리 요청에 응답하여, 3차원 모델링 데이터를 처리할 수 있다(603). 서버(10)는 3차원 모델링 데이터 내의 처리 요청에 의해 선택된 객체에 대하여, 처리 요청에 대응하여 크기를 변경하거나, 배치를 변경하거나, 색상, 재질, 무늬 등을 변경할 수 있다.
서버(10)는 처리된 3차원 모델링 데이터를 저장하거나, 처리되기 이전의 3차원 모델링 데이터를 백업용으로 저장하는 등 3차원 모델링 데이터에 대한 관리 및 저장 동작을 수행할 수도 있다.
이후에, 서버(10)는 편집된 3차원 모델링 데이터를 기초로 가상 이미지를 생성하여(604), 단말(20)로 전송할 수 있다(605). 단말(20)은 서버(10)로부터 전송된 가상 이미지를 기초로 혼합 현실 이미지를 생성(607)하고 이를 표시함으로써(608), 3차원 모델링 데이터에 대응하는 건축물 내의 객체들에 대한 다양한 형태를 가상으로 체험할 수 있다.
다양한 실시 예에서, 단말(20)은 혼합 현실 이미지로 표시된 3차원 모델링 데이터를 서버(10)에 저장함으로써, 다른 단말에서 3차원 모델링의 처리 현황을 확인하게 할 수 있다. 또는 단말(20)은 혼합 현실 회의 등을 통해 3차원 모델링 데이터를 다른 단말과 실시간으로 공유할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 서버의 혼합 현실 서비스를 제공하기 위한 방법으로,
    임의의 건축물에 대한 설계 정보를 포함하는 3차원 모델링 데이터를 로드하는 단계;
    단말로부터 전송되는 트랙킹 정보를 기초로, 상기 3차원 모델링 데이터 및 적어도 하나의 사용자 인터페이스에 대한 가상 이미지를 생성하는 단계; 및
    상기 가상 이미지를 상기 단말로 전송하는 단계를 포함하되,
    상기 트랙킹 정보는,
    상기 단말의 지리적 위치 정보, 상기 단말이 위치한 현실 공간에 대한 식별 정보, 3차원 회전 정보 및 속도 정보 중 적어도 하나를 포함하고,
    상기 가상 이미지는,
    상기 건축물이 상기 설계 정보에 따라 실제 크기로 표시될 수 있도록 생성되며, 상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되며,
    상기 가상 이미지는,
    상기 단말의 지리적 위치가 상기 실제 크기로 표시되는 상기 건축물의 내부 위치에 대응하는 경우 상기 건축물의 내부 이미지를 이용하여 생성되고 상기 건축물의 외부 위치에 대응하는 경우 상기 건축물의 외관 이미지를 이용하여 생성되며,
    상기 가상 이미지를 생성하는 단계는,
    상기 건축물이 복수의 층으로 구성되는 경우, 상기 단말로부터 수신되는 입력 또는 트랙킹 정보에 의해 선택된 임의의 층에 대하여 상기 내부 이미지를 획득하는 단계; 및
    상기 획득된 내부 이미지를 기초로 상기 가상 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 가상 이미지를 생성하는 단계는,
    상기 단말의 지리적 위치 정보에 따라, 상기 건축물의 외관 또는 내부 이미지를 획득하는 단계;
    상기 단말의 트랙킹 정보에 따라, 상기 획득된 이미지 내에서 상기 단말의 정면 표시 영역에 대응되는 일 영역을 추출하는 단계; 및
    상기 추출된 일 영역으로부터 가상 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 적어도 하나의 사용자 인터페이스는,
    상기 건축물에 대한 설계 정보의 추가, 편집, 삭제, 메모 관리 중 적어도 하나를 위한 사용자 인터페이스를 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서, 상기 가상 이미지를 생성하는 단계는,
    상기 건축물 내의 적어도 하나의 객체 상에 상기 적어도 하나의 객체를 위한 사용자 인터페이스를 배치하여 상기 가상 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 적어도 하나의 사용자 인터페이스를 통하여 상기 3차원 모델링 데이터에 대한 처리 요청을 수신하는 단계;
    상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하는 단계;
    상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하는 단계; 및
    상기 재생성된 가상 이미지를 상기 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 가상 이미지를 상기 단말로 전송한 이후에,
    상기 단말로부터 변경된 트랙킹 정보를 수신하는 단계;
    상기 변경된 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 상기 적어도 하나의 사용자 인터페이스에 대한 가상 이미지를 재생성하는 단계; 및
    상기 재생성된 가상 이미지를 상기 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 혼합 현실 서비스를 제공하는 시스템으로,
    혼합 현실 서비스를 이용하는 동안 트랙킹 정보를 수집하여 전송하는 단말; 및
    임의의 건축물에 대한 설계 정보를 포함하는 3차원 모델링 데이터를 로드하고, 상기 단말로부터 전송되는 상기 트랙킹 정보를 기초로, 상기 3차원 모델링 데이터 및 적어도 하나의 사용자 인터페이스에 대한 가상 이미지를 생성하여 상기 단말로 전송하는 서버를 포함하되,
    상기 트랙킹 정보는,
    상기 단말의 지리적 위치 정보, 상기 단말이 위치한 현실 공간에 대한 식별 정보, 3차원 회전 정보 및 속도 정보 중 적어도 하나를 포함하고,
    상기 가상 이미지는,
    상기 건축물이 상기 설계 정보에 따라 실제 크기로 표시될 수 있도록 생성되며, 상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되며,
    상기 가상 이미지는,
    상기 단말의 지리적 위치가 상기 실제 크기로 표시되는 상기 건축물의 내부 위치에 대응하는 경우 상기 건축물의 내부 이미지를 이용하여 생성되고 상기 건축물의 외부 위치에 대응하는 경우 상기 건축물의 외관 이미지를 이용하여 생성되며,
    상기 서버는,
    상기 건축물이 복수의 층으로 구성되는 경우, 상기 단말로부터 수신되는 입력 또는 트랙킹 정보에 의해 선택된 임의의 층에 대하여 상기 내부 이미지를 획득하고, 상기 획득된 내부 이미지를 기초로 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  8. 제7항에 있어서, 상기 서버는,
    상기 단말의 지리적 위치 정보에 따라, 상기 건축물의 외관 또는 내부 이미지를 획득하고, 상기 단말의 트랙킹 정보에 따라, 상기 획득된 이미지 내에서 상기 단말의 정면 표시 영역에 대응되는 일 영역을 추출하여 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  9. 제7항에 있어서, 상기 적어도 하나의 사용자 인터페이스는,
    상기 건축물에 대한 설계 정보의 추가, 편집, 삭제, 메모 관리 중 적어도 하나를 위한 사용자 인터페이스를 포함하는 것을 특징으로 하는 시스템.
  10. 제9항에 있어서, 상기 단말은,
    상기 적어도 하나의 사용자 인터페이스를 통하여 수신되는 사용자 입력을 기초로, 상기 3차원 모델링 데이터에 대한 처리 요청을 상기 서버로 전송하고,
    상기 서버는,
    상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하고, 상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하여 상기 단말로 전송하는 것을 특징으로 하는 시스템.
PCT/KR2018/015197 2017-12-19 2018-12-03 혼합 현실 서비스 제공 방법 및 시스템 WO2019124818A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880082551.3A CN111492396A (zh) 2017-12-19 2018-12-03 混合现实服务提供方法及系统
US16/956,392 US11030359B2 (en) 2017-12-19 2018-12-03 Method and system for providing mixed reality service

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0175376 2017-12-19
KR1020170175376 2017-12-19
KR1020180096262A KR102010030B1 (ko) 2018-08-17 2018-08-17 혼합 현실 서비스 제공 방법 및 시스템
KR10-2018-0096262 2018-08-17

Publications (1)

Publication Number Publication Date
WO2019124818A1 true WO2019124818A1 (ko) 2019-06-27

Family

ID=66994174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015197 WO2019124818A1 (ko) 2017-12-19 2018-12-03 혼합 현실 서비스 제공 방법 및 시스템

Country Status (3)

Country Link
US (1) US11030359B2 (ko)
CN (1) CN111492396A (ko)
WO (1) WO2019124818A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3116629B1 (fr) * 2020-11-25 2024-01-19 Patrick Herbault Outil de suivi de chantier par réalité augmentée
FR3117241A1 (fr) 2020-12-08 2022-06-10 Patrick Herbault Outil de visualisation 3D d’un bâtiment couplé à un planning
CN113239443B (zh) * 2021-06-03 2022-07-05 广州中硕建筑设计院有限公司 一种基于bim软件的智慧空间展示结构设计建模方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090029350A (ko) * 2007-09-18 2009-03-23 에스케이텔레콤 주식회사 모바일 가상세계 서비스 시스템 및 방법
KR20110107542A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR20150058617A (ko) * 2013-11-18 2015-05-29 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
KR20150068088A (ko) * 2013-12-11 2015-06-19 류지혁 3d모델 증강현실 서비스 시스템
KR20160033495A (ko) * 2014-09-18 2016-03-28 서강대학교산학협력단 증강현실을 이용한 가구 배치 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418346B2 (en) * 2013-03-28 2016-08-16 Nokia Technologies Oy Method and apparatus for providing a drawer-based user interface for content access or recommendation
WO2018080552A1 (en) * 2016-10-24 2018-05-03 Carrington Charles C System for generating virtual building plan data based upon stored and scanned building data and related methods
CN107168532B (zh) * 2017-05-05 2020-09-11 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统
CN107222468B (zh) * 2017-05-22 2020-12-18 北京邮电大学 增强现实处理方法、终端、云端服务器和边缘服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090029350A (ko) * 2007-09-18 2009-03-23 에스케이텔레콤 주식회사 모바일 가상세계 서비스 시스템 및 방법
KR20110107542A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR20150058617A (ko) * 2013-11-18 2015-05-29 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
KR20150068088A (ko) * 2013-12-11 2015-06-19 류지혁 3d모델 증강현실 서비스 시스템
KR20160033495A (ko) * 2014-09-18 2016-03-28 서강대학교산학협력단 증강현실을 이용한 가구 배치 장치 및 방법

Also Published As

Publication number Publication date
CN111492396A (zh) 2020-08-04
US11030359B2 (en) 2021-06-08
US20200334396A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
WO2019124726A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2019124818A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2014107068A1 (en) Method for controlling camera operation based on haptic function and terminal supporting the same
KR102010030B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2011031026A2 (ko) 배경 이미지를 이용한 3차원 아바타 서비스 제공 시스템 및 방법
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN108028910A (zh) 信息处理设备、信息处理方法与程序
WO2019017582A1 (ko) 클라우드 소싱 기반의 ar 컨텐츠 템플릿을 수집하여 ar 컨텐츠를 자동으로 생성하는 방법 및 시스템
CN101198945A (zh) 用于富媒体环境的管理系统
JP2021044804A (ja) 映像通話をしながら使用する３６０度パノラマ背景提供方法および装置
US20220301270A1 (en) Systems and methods for immersive and collaborative video surveillance
CN111222190A (zh) 一种古建筑管理系统
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
JP4327545B2 (ja) 現場監視システムおよび現場監視方法
CN108648266A (zh) 一种全通透扫描3d空间模型的管理方法和系统
WO2021086018A1 (ko) 3차원 증강현실 표시 방법
CN109842593B (zh) 信息获取方法、装置及计算机可读存储介质
WO2012074174A1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
WO2018194340A1 (ko) 적층형 홀로그램용 콘텐츠 제공방법 및 제공장치
WO2021029566A1 (ko) 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
KR102010023B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2021101213A1 (ko) 3d 투어 내에서 실제 거리 측정 방법
KR102057845B1 (ko) 단말기와의 연계를 통한 영상 관제 방법 및 이를 이용한 영상 관제 시스템
KR101814962B1 (ko) 수변전설비 관리장치 및 관리방법
JP2021190729A (ja) 画像特定システムおよび画像特定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18891605

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18891605

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02/02/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18891605

Country of ref document: EP

Kind code of ref document: A1