WO2024128819A1 - 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법 및 이를 위한 시스템 - Google Patents

미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법 및 이를 위한 시스템 Download PDF

Info

Publication number
WO2024128819A1
WO2024128819A1 PCT/KR2023/020606 KR2023020606W WO2024128819A1 WO 2024128819 A1 WO2024128819 A1 WO 2024128819A1 KR 2023020606 W KR2023020606 W KR 2023020606W WO 2024128819 A1 WO2024128819 A1 WO 2024128819A1
Authority
WO
WIPO (PCT)
Prior art keywords
miniature
diorama
user terminal
virtual
real
Prior art date
Application number
PCT/KR2023/020606
Other languages
English (en)
French (fr)
Inventor
이수원
Original Assignee
경상국립대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220174709A external-priority patent/KR20240091611A/ko
Priority claimed from KR1020220174712A external-priority patent/KR20240091613A/ko
Application filed by 경상국립대학교산학협력단 filed Critical 경상국립대학교산학협력단
Publication of WO2024128819A1 publication Critical patent/WO2024128819A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof

Definitions

  • the present invention relates to a service provision method and system for augmenting virtual content by reflecting real-time reality information on a miniature diorama.
  • Augmented reality refers to overlaying virtual information on the current world. Augmented reality is also called a reality that is a mixture of virtual reality and the real world, and has been used in various ways since the advent of the Fourth Industrial Revolution.
  • Augmented reality technology uses miniature dioramas, which are scaled-down models.
  • Augmented reality technology using conventional miniature dioramas is being used as a technology that arouses various interests in users. For example, users can create miniature models of tourist attractions, tourist attractions, scenery, etc. using their smartphones.
  • information related to the diorama is displayed as a virtual image on the smartphone screen and is often used to educate the historical background and concepts of the diorama.
  • This technology that combines the conventional digital twin and miniature diorama augments the desired virtual image within the miniature diorama space according to the information entered by the user in real time.
  • this technology can be used for various purposes, the technology In order to do this, it requires the user's active attitude to input data, and the use of the technology itself is difficult for general users to use, and it is difficult to use when monitoring what is actually happening.
  • the present invention was developed with an eye on this problem, and not only can solve the technical problems discussed above, but also provide additional technical elements that cannot be easily devised by those skilled in the art. It has been done.
  • the technical problem that the present invention aims to solve is to augment virtual content reflecting real-time reality information (e.g., people's movements) on a miniature diorama produced by reducing the actual real world, so that the user does not have to go to the real world to check it.
  • the purpose is to provide a service that allows users to understand situations that occur in the real world through augmented virtual content on a miniature diorama.
  • the purpose of the present invention is to provide an augmented reality tour service by displaying virtual objects on a miniature diorama.
  • the method of providing a service that augments virtual content reflecting real-time reality information on a miniature diorama is (a) real-time reality from at least one information acquisition device that monitors a specific real world in real time. Receiving information, (b) identifying and recognizing an object based on the real-time reality information, (c) generating virtual content for the recognized object based on the real-time reality information, and (d) When a user photographs a miniature diorama created by reducing the specific real world through a camera provided in the user terminal, the step of augmenting the virtual content on the user terminal screen may be included.
  • step (c) may include (c-1) mapping first coordinates in a specific real world to the object recognized in step (b).
  • step (d) includes (d-1) generating second coordinates by calculating the first coordinates mapped to the object based on the scale ratio between the miniature diorama and the specific real world, and (d-1) 2) It may include the step of allowing the virtual content to be augmented at a position corresponding to the second coordinates when the virtual content is augmented on the user terminal screen.
  • the method of providing a service for augmenting virtual content reflecting real-time reality information on a miniature diorama includes, after step (d), when the user photographs the miniature diorama through the user terminal at a random location. , the position and direction of the virtual content may be determined and displayed according to the shooting direction.
  • the method of providing a service for augmenting virtual content reflecting real-time reality information on a miniature diorama includes, after step (d), when the user photographs the miniature diorama through the user terminal at a random location.
  • the size of the virtual content may be determined and displayed depending on the distance between the user terminal and the miniature diorama.
  • a method of providing an augmented reality tour service using a miniature diorama includes (a) when a miniature diorama is photographed by a user terminal, identifying the miniature diorama using an identification algorithm, (b) ) Augmenting a first virtual object matching the miniature diorama on the user terminal screen, (c) when a specific location in the miniature diorama is photographed by the user terminal, the specific location is selected using the identification algorithm Identifying and (d) augmenting a second virtual object matching the specific location on the user terminal screen, wherein the first virtual object includes descriptive text, characters, and description related to the miniature diorama.
  • An object containing at least one of an object or an animal, and the second virtual object may be an object containing at least one of a description text, a person, an object, or an animal related to the specific location. .
  • the identification algorithm is based on at least one of the shape, structure, feature point, outline, GPS location of the user terminal, and direction in which the user terminal is photographed, the miniature diorama or a specific location within the miniature diorama. It can be characterized as an algorithm that identifies .
  • step (b) includes (b-1) augmenting a virtual guide object matching the identified miniature diorama on the user terminal screen, and (b-2) allowing the user terminal to select a specific target within the miniature diorama.
  • the method may include causing the virtual guide object to output audio data related to the specific location.
  • the voice data output in step (b-2) may be output based on language information preset by the user terminal.
  • step (c-1) includes the step of augmenting a second virtual object matching the specific location when the user touches and inputs a specific location on the user terminal screen, and the ( The second virtual object in step c-1) may be interacted with by a user's touch input.
  • the present invention has the effect that anyone can easily use it by allowing the user to display virtual content on the captured screen just by shooting a miniature diorama with a camera installed in a mobile terminal such as an HMD terminal or a smartphone.
  • the augmented reality tour server provides a service that allows augmented virtual objects on the user terminal screen to interact with the user's selection input (e.g. touch input) and interaction (e.g. virtual object movement), encouraging active participation of visitors. This has the effect of increasing interest in viewing miniature dioramas.
  • Figure 1 is a diagram schematically showing a service system that augments virtual content reflecting real-time reality information on a miniature diorama produced by reducing the real world of the present invention.
  • Figure 2 is a diagram illustrating through a simple schematic diagram the process by which a service system that augments virtual content reflecting real-time reality information on a miniature diorama produced by reducing the real world of the present invention acquires real-time reality information and creates virtual content. .
  • Figure 3 is a drawing showing the first and second coordinates of the present invention.
  • Figure 4 is a schematic diagram showing the overall configuration of a service system that augments virtual content reflecting real-time reality information on a miniature diorama produced by reducing the real world according to the 1-1 embodiment of the present invention.
  • Figure 5 is a diagram specifically showing a service providing method for augmenting virtual content reflecting real-time reality information on a miniature diorama according to the 1-1 embodiment of the present invention.
  • Figure 6 is a diagram illustrating an example of the use of a service providing method for augmenting virtual content reflecting real-time reality information on a miniature diorama according to embodiments 1 and 2 of the present invention.
  • Figures 7a and 7b are diagrams illustrating examples of the use of a service provision method for augmenting virtual content reflecting real-time reality information on a miniature diorama according to embodiments 1-3 of the present invention.
  • Figure 8 is a schematic diagram showing a service providing method for augmenting virtual content reflecting real-time reality information on a miniature diorama according to embodiments 1-4 of the present invention.
  • Figure 9 is a diagram illustrating an example of the use of a service providing method for augmenting virtual content reflecting real-time reality information on a miniature diorama according to embodiments 1-4 of the present invention.
  • Figure 10 is a schematic diagram showing the overall configuration of an augmented reality tour system using a miniature diorama according to the 2-1 embodiment of the present invention.
  • Figure 11 is a diagram showing an example of the use of an augmented reality tour system using a miniature diorama according to the 2-1 embodiment of the present invention.
  • Figures 12a and 12b are diagrams showing a server according to the 2-1 embodiment of the present invention identifying a miniature diorama through an identification algorithm.
  • Figure 13a is a diagram showing the augmented appearance of the first virtual object on the user terminal screen according to the 2-1 embodiment of the present invention.
  • Figure 13b is a diagram showing an augmented second virtual object on the user terminal screen according to the 2-1 embodiment of the present invention.
  • Figure 13c is a diagram showing an augmented guide virtual object outputting voice data on the user terminal screen according to the 2-1 embodiment of the present invention.
  • Figure 14 is a diagram showing a server according to the 2-1 embodiment of the present invention providing interaction with a virtual object to a user.
  • Figure 15 is a diagram specifically showing a method of providing an augmented reality tour service using a miniature diorama according to the 2-1 embodiment of the present invention.
  • Figure 16 is a schematic diagram showing the overall configuration of the system according to the 2-2 embodiment of the present invention.
  • Figure 17 is a diagram showing an example of the use of an augmented reality tour service using a miniature diorama according to the 2-2 embodiment of the present invention.
  • first and second are used to distinguish one component from another component, and the scope of rights should not be limited by these terms.
  • a first component may be named a second component, and similarly, the second component may also be named a first component.
  • augmentation used in this specification is defined in the dictionary as meaning to make stronger by increasing the number or amount, but in this detailed description, the term “augmentation” used in the term augmented reality is used in the dictionary. Let's understand it in the same sense, that is, implementing virtual information in the real world.
  • filming used in this specification may mean a state in which people, objects, landscapes, etc. are projected while the camera is running, or a state in which the user is staring at an object while holding the camera, etc. It should not be limited to the function of taking photos or videos.
  • the first embodiment relates to “a service provision method for augmenting virtual content reflecting real-time reality information on a miniature diorama,” and the second embodiment relates to “miniature diorama.” “Method of providing augmented reality tour service using diorama”.
  • the first embodiment will be described with reference to FIGS. 1 to 9, and the second embodiment will be described with reference to FIGS. 10 to 17.
  • Figure 1 is a diagram schematically showing a service system 10 that augments virtual content reflecting real-time reality information on a miniature diorama produced by reducing the real world of the present invention.
  • a service system (hereinafter abbreviated as system 10) that augments virtual content reflecting real-time reality information on a miniature diorama produced by reducing the real world is provided by at least one information acquisition device 100 installed in a specific real world.
  • the virtual content system identifies and recognizes the object 20 included in the real-time reality information, creates virtual content 30 based on the recognized object 20, and then the user uses the user terminal (
  • the miniature diorama 200 is photographed through 310, the virtual content 30 is augmented on the screen of the user terminal 310, allowing the user to understand the situation unfolding in a specific real world at a glance.
  • the specific real world referred to in the invention according to the first embodiment refers to a space corresponding to a specific range in which a user wishes to receive services.
  • the miniature diorama 200 is a miniature diorama produced by reducing the area of apartment complex A to a certain scale, the specific real world will be 'apartment complex A'.
  • the object 20 may refer to a moving object 20 such as a person or animal existing in a specific real world, and an immovable object 20 such as a structure or object such as a building or sign. ) may also be included in the object 20.
  • the object 20 may be an object or object for which information is collected by the information acquisition device 100.
  • the information acquisition device 100 is a device that acquires real-time reality information by shooting image data in real time
  • the object 20 is a person, animal, moving vehicle, etc. photographed by the information acquisition device 100. It can be.
  • Real-time reality information may be information including an image of the object 20 detected in a specific real world, the sound of the object, or the motion of the object. For example, if person A and person B are exercising in apartment complex A, 'image' data for each object of person A and person B, 'voice' data generated while person A and person B are exercising, A 'Motion' data, such as the actions/postures taken by people and people B while exercising, and the current 'location' data of people A and B can be real-time reality information of the present invention.
  • This real-time reality information is obtained from the information acquisition device 100, and information included in the real-time reality information may be added depending on the function of the information acquisition device 100. As a specific example, if an IR camera (Infrared Camera) is added to the information acquisition device 100, information about the heat of the object 20 sensed by the IR camera may be included in real-time reality information.
  • IR camera Infrared Camera
  • the virtual content 30 is virtual content in which at least one image data is compressed or restored into two-dimensional image data or three-dimensional image data and visualized and output in the virtual reality world.
  • content about image data it may include content generated based on data that can be obtained from real-time reality information, such as data about voice, data about heat, etc.
  • the virtual content 30 does not output a simple still image of the object 20 on the user's user terminal screen 310 (see Figure 1), but visualizes video images corresponding to the motion of the object existing in a specific real world. and can be output on the user's user terminal screen 310.
  • the image of the object running on the screen of the user terminal 310 may be augmented and output as virtual content 30.
  • Figure 2 is a diagram illustrating through a simple schematic diagram the process by which the system 10 of the present invention acquires real-time reality information and creates virtual content.
  • the information acquisition device 100 must acquire real-time real-time information from a specific real world (1), and recognition
  • the module 320 identifies the object 20 itself by recognizing i) an image, ii) a sound, or iii) a motion included in the acquired real-time reality information (2).
  • Data on objects recognized and identified by the recognition module 320 are transmitted to the virtual content creation unit 340 (3).
  • the virtual content 30 is created by the virtual content generator 340, and the user photographs the miniature diorama 200 produced by reducing the specific real world through the camera 311 of the user terminal 310. Then, the virtual content 30 is output on the screen of the user terminal 310.
  • Figure 3 is a drawing showing the first coordinate (P1) and the second coordinate (P2).
  • the first coordinate P1 is the location of the object 20 in a specific real world. For example, assuming that person A is standing in front of a bench located in an apartment complex park, here, the first arbitrary coordinate value matching 'person A's location', that is, 'in front of the bench located in the apartment complex park A' It can be viewed as coordinates (P1).
  • the first coordinates (P1) are data generated by the calculation unit 330 calculating the location of the object 20 in a specific real world based on the recognition data for the object 20 transmitted from the above-described recognition module 320. .
  • the first coordinate (P1) can be determined based on an arbitrarily defined coordinate system in a specific real world, and this coordinate system is the installation location and information of information acquisition devices (e.g. CCTV, LiDAR sensor, etc.) that exist in a specific real world. It can be defined based on the area of the real world that the acquisition device can cover, landmarks or feature points that exist in a specific real world, etc.
  • the first coordinate (P1) is generated by the calculation unit 330 and then mapped to the object 20, and the first coordinate (P1) mapped to the object 20 is generated by the calculation unit 330 as the second coordinate (P2). It is used as a data resource when creating.
  • the second coordinate (P2) is the actual location of the object 20 in the specific real world, that is, the location on the miniature diorama 200 corresponding to the first coordinate (P1).
  • the 'position of person A' can be
  • the random coordinate value matching 'in front of the bench located in the park of the apartment complex A' is the first coordinate (P1)
  • the coordinate value matching 'in front of the bench model in the miniature diorama (200)' is the second coordinate (P2).
  • the second coordinates (P2) are generated by the calculation unit 330 like the first coordinates (P1).
  • the second coordinate (P2) is a coordinate generated by the calculation unit 330 calculating the first coordinate (P1) mapped to the object 20 based on the scale ratio between the miniature diorama 200 and the specific real world. am.
  • the first coordinates (P1) and the second coordinates (P2) generated from the calculation unit 330 correspond to the actual location of a specific object in the real world. So that it can be output at the location of the miniature diorama (200).
  • Figure 4 is a schematic diagram showing the overall configuration of the system 10 according to the 1-1 embodiment of the present invention.
  • the system 10 according to the 1-1 embodiment of the present invention may include an information acquisition device 100, a miniature diorama 200, and a virtual content system 300.
  • the information acquisition device 100 is a device that acquires at least one piece of data information about a specific real world.
  • the data information of a specific real world refers to the real-time real-time information described above.
  • the information acquisition device 100 may include a camera (eg, CCTV (closed circuit)) that monitors a specific real world in real time and captures real-time image data to generate real-time real-time information.
  • a camera eg, CCTV (closed circuit)
  • CCTV closed circuit
  • the information acquisition device 100 may include a voice acquisition device by acquiring voice data output from a specific real world. Furthermore, the information acquisition device 100 may determine the location of the sound source and the voice data obtained from the voice acquisition device. It may additionally include a sound source location tracking device that measures the distance, and the real-time reality information obtained through the sound source location tracking device is the first coordinate (P1: see FIG. 3) where the calculation unit 330 is the location of the object 20. It can be used as a data resource to calculate .
  • a sound source location tracking device refers to a device that utilizes two or more sensors that transmit and receive voice signals and finds the location and direction of each voice using the time difference or intensity difference of voice signals transmitted and received through each sensor.
  • the information acquisition device 100 may include a 3D Lidar sensor, and measures the arrival time of the laser pulse output by the 3D Lidar sensor to calculate the spatial position coordinates at the time of reflection to provide real-time reality information. It can be generated, and the calculation unit 330 can be implemented to calculate the first coordinate (P1), which is the location of the object 20, based on real-time reality information generated by the 3D LiDAR sensor.
  • P1 the first coordinate
  • the information acquisition device 100 may include an IR camera that detects heat of an object 20 within a specific real world.
  • the real-time reality information generated by the IR camera is such that when the user photographs the miniature diorama 200 through the camera 311 of the user terminal 310, virtual content 30 with columns displayed on the screen of the user terminal 310 is displayed. It is output so that the user can determine at a glance whether the objects 20 located in a specific real world are in a high temperature state or in a normal state.
  • the miniature diorama 200 is a model produced by reducing a specific real world to a certain scale ratio.
  • a miniature diorama 200 of the present invention can be a scaled-down model that allows a user to check a specific real world (eg, an apartment complex) at a glance.
  • the virtual content system 300 may include a user terminal 310, a recognition module 320, an operation unit 330, and a virtual content creation unit 340.
  • the user terminal 310 is a device that implements a virtual world such as augmented reality or virtual reality, and is a terminal that implements the virtual world and simultaneously displays virtual content 30 on the virtual reality.
  • the user terminal 310 may include a Head Mounted Display (HMD) device worn on the user's body, smart glasses, etc., and augments (outputs) the virtual content 30 on the screen provided to the user by the HMD device or smart glasses. )can do.
  • HMD Head Mounted Display
  • the user terminal 310 may be a mobile terminal equipped with at least one communication module, such as a smartphone or tablet PC.
  • the service provision method of the present invention using a mobile terminal is the first-described later-described method of the present invention. 2 This will be explained in more detail when describing the embodiment.
  • the camera 311 is a device included in the user terminal 310 and functions to photograph the miniature diorama 200 within the field of view of the camera 311.
  • the camera 311 basically includes the main function of photographing a subject, so it can serve as another 'eye' for the user when the user receives the service of the present invention by photographing the miniature diorama 200. , the camera 311 serves as a medium that allows the user to receive the service of the present invention through a screen output from the user terminal 310.
  • the recognition module 320 is a device that generates recognition data based on real-time real-time information obtained from the information acquisition device 100.
  • recognition data is data about the results of recognition through data included in real-time reality information. For example, if the CCTV camera of the information acquisition device 100 acquires image data of the object 20 in a specific real world as real-time reality information, the recognition data at this time is the recognition module 320 of the object 20. This is data about the results of analyzing image data to recognize whether the object 20 is a person, an animal, or a car, and what motion the object 20 is currently taking.
  • This recognition module 320 may include an image recognition unit 321, a motion recognition unit 322, and a voice recognition unit 323.
  • the image recognition unit 321 can identify and recognize image data included in real-time real-time information using an AI image algorithm.
  • the AI image algorithm has a plurality of image data pre-learned to identify the object 20, and extracts the image data with the highest similarity to the image data of the acquired object 20 from the plurality of pre-learned image data.
  • the object 20 is recognized by identifying the extracted image data as the obtained object 20.
  • image data for 'person' and image data for 'vehicle' are learned in the AI image algorithm, and the image of the object 20 acquired from the information acquisition device 100 is the image data of 'person A'.
  • the image recognition algorithm determines that the image data for 'person A' is similar among the image data for 'person' and the image data for 'vehicle' that have already been learned, and the image data for 'person' is currently acquired.
  • the image of the object 20 can be identified and recognized as a person.
  • the image recognition unit 321 When the image recognition unit 321 identifies the object 20, the image recognition unit 321 augments only the virtual content 30 desired by the user on the screen of the user terminal 310 when the user receives the service of the present invention. can do. For example, when a user wants to monitor only human objects 20, excluding objects 20 such as vehicles, animals, etc., for a specific real world, the image recognition unit 321 detects a plurality of objects (20) through an AI image algorithm. 20) may be identified, and only recognition data for human objects among the plurality of identified objects 20 may be transmitted to the virtual content generator 340.
  • the motion recognition unit 322 recognizes the motion of an object using a motion detection algorithm and generates recognition data.
  • the motion detection algorithm referred to here is an algorithm included in computer vision software, which analyzes captured images in real-time real-time information transmitted from the information acquisition device 100, analyzes heat signal data captured by a thermal imaging camera, or analyzes optical pulses. It refers to an algorithm that detects the motion of a subject by analyzing data sensed from at least one separate sensor among a detection sensor, an ultrasonic detection sensor, and a continuous wave detection radar.
  • the motion recognition unit 322 can recognize specific motions (e.g., fighting motions, falling motions, etc.) of the object 20, and utilizes these characteristics to allow users to more effectively monitor a specific real world, such motions.
  • specific motions e.g., fighting motions, falling motions, etc.
  • Technology utilizing the characteristics of the recognition unit 320 will be described in more detail when describing embodiments 1-4 of the present invention.
  • the voice recognition unit 323 uses an AI voice recognition algorithm to generate recognition data for voices occurring in a specific real world.
  • the AI voice recognition algorithm referred to here extracts the features of the voice signal that are most similar to the features of the voice signal output at the current time among the features (e.g. frequency, amplitude, period) of a plurality of voice signals that have already been learned, and extracts the extracted voice signal. It is an algorithm that recognizes the characteristics of the signal as the voice output at the current time. Simply put, the AI voice recognition algorithm compares the similarity between the features of the previously learned voice signal and the features of the voice signal to be currently recognized, and recognizes the voice generated by the object 20 (e.g. a human shouting sound) and noise (vehicle noise). It is an algorithm that recognizes and identifies types of voices, such as (of course).
  • the role of the voice recognition unit 323 is to enable the user to distinguish situations that need to be carefully monitored when receiving the service of the present invention. Specifically, if the user is a security guard managing an apartment area, voices made when children run around and announcement sounds made in the apartment lobby are not sounds that the security guard should pay attention to, and sounds such as shouting due to arguments between residents, vehicles, etc. Since noise generated by collisions between devices is a sound that a security guard must pay attention to, the voice recognition unit 323 recognizes all voices occurring in a specific real world, but only uses the voice that a security guard must pay attention to, that is, the user receiving the service. You can distinguish and recognize only the voices you need.
  • the calculation unit 330 generates a first coordinate (P1), which is the location of the object 20 in a specific real world, and a miniature diorama (200) corresponding to the first coordinate (P1) based on real-time reality information acquired from the information acquisition device 100. ) plays the role of calculating the second coordinates (P2), which are the location of the object 20 within. Specifically, the calculation unit 330 generates the first coordinates (P1) based on the result of calculating the spatial position coordinates of the area captured by the CCTV included in the information acquisition device 100, or calculates the first coordinates (P1) using 3D Lidar.
  • the arrival time of the laser pulse output by the sensor is measured, the spatial position coordinates at the time of reflection are calculated, and the first coordinates (P1) are generated based on the resulting value, or the sound source location tracking device included in the information acquisition device 100 is used.
  • the first coordinates (P1) are generated based on the result of calculating the position of the voice generated from the object 20 using the time difference or intensity difference of the transmitted and received voice signal, and the position of the object 20 in a specific real world is calculated. Calculate, map the first coordinate (P1) to the object 20, and calculate the first coordinate (P1) mapped to the object 20 based on the scale ratio between the specific real world and the miniature diorama 200.
  • the virtual content generator 340 serves to generate virtual content 30 to be output on the screen of the user terminal 310 based on real-time reality information and recognition data.
  • real-time reality information includes image data of the object 20, data on voices occurring in a specific real world, heat data of the object 20, movement data of the object 20, etc.
  • recognition data includes It contains data about the recognition results, such as what the object 20 is, what movement the object 20 is making, what the state of the object 20 is (temperature of the object 20), etc.
  • two-dimensional image data or three-dimensional image data for the object 20 are generated, the generated image data is compressed or restored, and separate additional display data (e.g., of the object 20) is generated. temperature, name of the identified object 20, etc.) are inserted and output so that they can be visualized on the screen of the user terminal 310.
  • Figure 5 is a diagram illustrating in detail a service provision method for augmenting virtual content reflecting real-time reality information on a miniature diorama by reducing the real world according to the 1-1 embodiment of the present invention.
  • the service provision method of augmenting virtual content reflecting real-time reality information on a miniature diorama by reducing the real world according to the 1-1 embodiment of the present invention is first, the virtual content system 300 is specified. It begins with a step (S101) of receiving real-time reality information from the information acquisition device 100 installed in the real world.
  • step S102 not only determines whether the object 20 exists in a specific real world, but also determines what the object 20 is, whether the object 20 is speaking, and what is happening to the object 20. This is a step to recognize information about the object 20, such as what it is and what movement the object 20 is making.
  • the virtual content generator 340 generates virtual content 30 to be output on the screen of the user terminal 310 based on real-time reality information and information (recognition data) about recognized objects (S103).
  • step S103 when the virtual content creation unit 340 creates virtual content 30 for the object 20, the calculation unit 330 calculates the location of the object 20 in a specific real world for the corresponding object 20. It may include a step (S103a) of mapping one first coordinate (P1).
  • the virtual content system 300 augments the virtual content 30 on the screen of the user terminal 310 when the user photographs the miniature diorama 200 through the user terminal 310 (S104).
  • Step S104 is a step of generating second coordinates (P2) by calculating the first coordinates (P1) mapped to the object 20 in step S103a based on the scale ratio between the miniature diorama 20 and the specific real world (S104a). And when the virtual content 30 generated in step S103 is augmented on the screen of the user terminal 310, it may include a step (S104b) of augmenting the virtual content 30 at a position corresponding to the second coordinate (P2).
  • Figure 6 is a diagram illustrating an example of the use of a service provision method for augmenting virtual content reflecting real-time reality information on a miniature diorama by reducing the real world according to the first and second embodiments of the present invention.
  • a mobile terminal equipped with at least one communication module such as a smartphone or tablet PC, is used as the user terminal 310a.
  • the role of the virtual content system 300 in the first and second embodiments of the present invention is played by a server-type virtual content server 400, and the virtual content server 400 remotely provides virtual content 30 to the user. provides.
  • the user terminal 310a is pre-installed with an application that is linked to the virtual reality content server 300a.
  • the virtual reality content server 300a provides virtual reality content.
  • 30 is created so that the virtual reality content 30 can be augmented on the screen of the user terminal 310a.
  • Figures 7a and 7b illustrate examples of the use of a service provision method that augments virtual content reflecting real-time reality information on a miniature diorama by reducing the real world of the present invention according to embodiments 1-3 of the present invention. It is a drawing.
  • Embodiments 1-3 of the present invention are the position and direction, or size, of virtual reality content output on the screen of the user terminal 310 according to the relative position and direction of the user or the user terminal 310 and the miniature diorama 200. This is a changing embodiment.
  • the photographing direction when a user photographs the miniature diorama 200 through the user terminal 310 at an arbitrary location in order to receive the service of the present invention, the photographing direction Accordingly, the location and direction of the content can be determined and displayed.
  • the user photographs the front (direction A) of the miniature diorama 200
  • the front of the virtual content 30 is displayed on the screen of the user terminal 310
  • the user moves his/her seat and photographs the miniature diorama (direction A).
  • the side (B direction) of 200 is photographed, the side profile of the virtual content 30 may be displayed on the screen of the user terminal 310.
  • the user terminal 310 and The size of the virtual content 300 may be determined and displayed according to the distance between the miniature dioramas 200. For example, in order for a user to receive the service of the present invention, a miniature diorama is photographed at a distance of L1 based on the miniature diorama 200, and then the miniature diorama is photographed at a distance of L2 based on the miniature diorama 200.
  • the photo was taken across the diorama 200, and assuming that the distance of L1 is longer than the distance of L2, in order to instill the effect of perspective in the virtual content 30, the user shoots the miniature diorama 200 at a distance of L1.
  • the size of the virtual content 30 output on the screen of the user terminal 200 may be displayed to be larger.
  • Figure 8 is a schematic diagram showing a service provision method for augmenting virtual content reflecting real-time reality information on a miniature diorama by reducing the real world of the present invention according to embodiments 1-4 of the present invention.
  • Embodiments 1-4 of the present invention enable users to immediately recognize unexpected events such as dangerous situations, situations requiring help, or situations requiring management that may occur in a specific real world through the service provided by the present invention.
  • the unexpected event referred to in the present invention may be a situation in which a person suddenly falls, a collision between vehicles, a situation in which a person screams, etc.
  • These unexpected events include a person suddenly falling, a specific motion, a collision sound between vehicles, Or, a voice when a person screams “Please help me” or “Please help me”, or an image of a specific object 20 (e.g., an image of a criminal) is a specific motion recognition function of the recognition module 320, voice recognition. It is recognized by the function and image recognition function.
  • the system 10 of the present invention has the information acquisition device 100 acquire real-time information (1), and the recognition module 320 Based on real-time reality information, an unexpected event occurring in a specific real world is recognized (2), and the recognition module 320 specifies an object 20 around the unexpected event that may be the cause of the unexpected event (3),
  • the virtual content generator 340 generates the virtual content 30 by having the recognition module 320 display at least one special effect (e.g., an emphasis effect of light around the object 20) around a specific object (4 ).
  • Figure 9 is a diagram illustrating an example of the use of a service provision method that augments virtual content reflecting real-time reality information on a miniature diorama by reducing the real world of the present invention according to embodiments 1-4 of the present invention.
  • the unexpected event is displayed when the virtual content 30 is displayed on the screen of the user terminal 310 so that the user can immediately recognize this unexpected event.
  • Special effects may be displayed on the target virtual content 30.
  • the special effect may display lights representing at least one color on the border of the virtual content 30, shapes such as circles and squares may be displayed around the virtual content 30, and may indicate danger, caution, unexpected events, etc. Text special effects may be displayed.
  • the miniature diorama (250) mentioned in this detailed description is a miniature model of a tourist attraction, tourist attraction, tourist attraction scenery, museum exhibit, statue, etc., and the miniature diorama is installed with a landscape or painting in the background to depict historical events, natural scenery, or cities. It will be easier to understand the description of the present invention if you understand it as a 'Diorama', which is a creation or arrangement of a specific scene such as a landscape.
  • FIG. 1 is a schematic diagram showing the overall configuration of the system 60 according to the 2-1 embodiment of the present invention.
  • the system 60 according to the 2-1 embodiment of the present invention may include an augmented reality tour service server (hereinafter abbreviated as server 150) and a user terminal 350.
  • server 150 augmented reality tour service server
  • the miniature diorama 250 will be the subject of photography of the user terminal 350.
  • the server 150 is a server that provides an augmented reality tour service to users and includes a communication unit 160, an algorithm execution unit 170, a virtual object creation unit 180, and a voice output 190.
  • the communication unit 160 is a component necessary for the server 150 to transmit and receive data with user terminals or other servers (not shown) connected to a network.
  • the communication unit 160 may include a communication module to support wired communication and a mobile communication module to support wireless communication.
  • the mobile communication module uses technical standards or communication methods for mobile communication (e.g., GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), and EVDO (Enhanced Voice).
  • WCDMA Wideband CDMA
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution
  • LTEA Long Term Evolution-Advanced
  • the algorithm execution unit 170 is a component that executes an 'identification algorithm' so that the user can identify which miniature diorama 250 among the plurality of miniature dioramas 250 is being photographed.
  • the identification algorithm identifies the miniature diorama 250 by recognizing the feature points, feature lines (outlines), and arrangement structure and spacing between feature points of each miniature diorama 250, or identifies the location of the user terminal 350 and the server ( 150) is an algorithm that identifies which miniature diorama 250 the user is photographing by comparing the GPS positions of the miniature diorama 250 previously stored in 150).
  • the identification algorithm can identify a specific location (P) if the user has photographed a specific location (P: see FIG. 3) within the miniature diorama 250. The description of this identification algorithm will be explained once again when explaining terms frequently used in the present invention.
  • the virtual object creation unit 180 is basically a component whose main function is to augment virtual objects on the screen of the user terminal 350.
  • the virtual object creation unit 180 may immediately augment the virtual object related to the miniature diorama 250 on the screen of the user terminal 350.
  • the virtual object creation unit 180 may augment the virtual object related to the specific location (P).
  • the virtual object generator 180 causes a virtual object to be augmented in the touched area, or when the augmented virtual object is touched again, the virtual object is It can be made to interact (e.g. move).
  • the audio output unit 190 may output audio data (eg, narration) so that the augmented virtual object on the screen of the user terminal 350 explains the corresponding miniature diorama 250 or a specific location (P).
  • audio data eg, narration
  • the voice output unit 190 is a component that utilizes TTS (Text to Speech: voice synthesis) technology, and when the user photographs the miniature diorama 250 or photographs a specific location (P) of the miniature diorama 250, , Text data matched with the corresponding miniature diorama 250 or a specific location (P) can be converted into voice data and output.
  • TTS Text to Speech: voice synthesis
  • the voice output unit 190 may output the voice data based on language information preset by the user terminal 350. Specifically, text data composed of multiple languages is matched to each of the miniature diorama 250 or a specific location P, and the audio output unit 190 outputs text data composed of multiple languages (e.g. Korean) when audio is to be output. , English, French, Japanese, etc.), text data corresponding to language information (e.g. Korean) preset by the user through the user terminal 350 is extracted, and the extracted text data is converted into voice data and output.
  • language information e.g. Korean
  • the audio output unit 190 can output audio data matched to the miniature diorama 250 or a specific location (P) as is.
  • the voice output unit 190 at this time does not convert text data into voice data.
  • Voice data previously recorded by a user e.g., a voice actor
  • a specific location (P) can be output as is.
  • the user terminal 350 may be a terminal of a visitor viewing a tourist attraction, attraction, or museum exhibit. Since the user terminal 350 requires portability or mobility in order to receive the service provided by the server 150 and must include a camera 370 to photograph the miniature diorama 250, the user terminal of the present invention It would be desirable for 350 to be a terminal that includes a camera 370 and is easy to carry, such as a smartphone or tablet PC.
  • the user terminal 350 may include a communication unit 360 and a camera 370 to receive an augmented reality tour service from the server 150.
  • the communication unit 360 is a component necessary to transmit and receive data with the server 150.
  • This communication unit 360 may include a communication module to support wired communication and a mobile communication module to support wireless communication, and provides a description of the mobile communication module and Since technical standards or communication methods have been previously described in the communication unit of the server 150, they will be omitted to prevent redundant explanation.
  • the camera 370 is basically a component whose main function is to photograph a subject, and can serve as another 'eye' for the user when the user receives an augmented reality tour service by photographing the miniature diorama 250. .
  • the camera 370 serves as a medium that allows the user to receive an augmented reality tour service along with the screen of the user terminal 350.
  • Figure 2 is a diagram showing an example of the use of the augmented reality tour system 60 using a miniature diorama according to the 2-1 embodiment of the present invention.
  • the user can photograph the miniature diorama 250 or a specific location (P) of the miniature diorama 250 through the camera 370 of the user terminal 350. there is.
  • the miniature diorama 250 referred to in the present invention can be a 'Diorama' in which a specific scene such as a historical event, natural scenery, or cityscape is created or arranged by installing a scale model with a landscape or painting as the background.
  • the miniature diorama 250 of the present invention can be a scaled-down model of Dokdo's topography and surrounding scenery (e.g., the sea) so that the user can see it at a glance.
  • the miniature diorama 250 can be implemented as a moving model rather than a fixed model.
  • this steam engine model can also be a miniature diorama 250 of the present invention, and the user can view the train rails through the camera 370 of the user terminal 350.
  • a virtual object related to the steam engine may be augmented on the user terminal 350.
  • the specific position (P) referred to in the present invention refers to a specific position of a part within the miniature diorama 250.
  • the position of the 'sailboat' may be a specific position (P) of the present invention.
  • This specific location (P) is a location preset by the manager who manages the exhibition hall or museum through the server 150, and the manager places a virtual object related to the specific location (P) at the specific location (P) through the server 150. , can be set to match text data and voice data.
  • This specific location (P) is identified by an identification algorithm that will be described later. At this time, the identification algorithm is based on the actual GPS coordinates of the specific location (P), the distribution of feature points of the miniature diorama 250, and the positional relationship between each feature point. A specific location (P) can be identified.
  • the identification algorithm identifies which miniature diorama 250 the user is photographing among the plurality of miniature dioramas 250, and determines which specific position (P) of the miniature diorama 250 when the user photographs the miniature diorama 250. It is an algorithm that identifies whether a camera is being filmed.
  • the identification algorithm identifies the miniature diorama 250 by comparing the GPS location of the user terminal 350 with the GPS location of the miniature diorama 250 or other indoor location information.
  • the server 150 identifies Through an algorithm, it is detected that the GPS location of the user terminal 350 or other indoor location information is adjacent to 'Space A', and it is identified that the user is filming the miniature diorama 250 placed in 'Space A'.
  • the identification algorithm extracts the outline of the miniature diorama 250 and identifies the miniature diorama 250 by comparing and analyzing the location, arrangement spacing, etc. of the extracted outlines.
  • the extracted outlines have different shapes, positions, and arrangement intervals depending on the miniature diorama 250, and the miniature diorama 250 is created based on this. Identify.
  • This method of extracting and identifying the outline of the miniature diorama 250 can improve the speed of comparing and analyzing each data because the amount of data of the extracted outline is small and the data format is relatively simple.
  • the identification algorithm can also identify the miniature diorama (250) using learned AI artificial intelligence technology. Specifically, the identification algorithm selects image data with the highest similarity to the image data of the miniature diorama 250 currently being photographed by the user among the image data of the plurality of pre-learned miniature dioramas 250 to the miniature diorama 250 currently being photographed by the user. ) can be identified.
  • Figures 12a and 12b are diagrams showing the server 150 according to the 2-1 embodiment of the present invention identifying the miniature diorama 250 through an identification algorithm.
  • the identification algorithm may identify the miniature diorama 250 based on the first feature point (Q1) and the second feature point (Q2) of the miniature diorama 250.
  • the identification algorithm may identify the miniature diorama 250 based on the first feature point Q1.
  • the first characteristic point (Q1) refers to a characteristic when the miniature diorama 250 shows its own shape, such as a protruding point or a concave point, when the structure and shape of the miniature diorama 250 are analyzed in detail. I can say something worthwhile.
  • These feature points can preferably be searched for in an area that is distinguished from the background in the image, that is, in an area on the miniature diorama 250 when the color of the miniature diorama 250 and the color of the background can be identified differently, Even within the area on the miniature diorama 250, a point that can be distinguished from the surrounding area by structure, color, or other characteristics, such as a protruding point, a recessed point, or a point where a specific object is placed, may be defined as a feature point. Additionally, the feature points may be defined along the lines of the extracted outline.
  • the identification algorithm may identify the miniature diorama 250 by analyzing the arrangement spacing, arrangement shape, and distribution between the first feature points Q1 of the miniature diorama 250.
  • the identification algorithm may identify the miniature diorama 250 based on the second feature point (Q2).
  • the second feature point Q2 is a point indicating the positions of objects constituting one miniature diorama 250.
  • objects representing four auxiliary islands and a sailboat are arranged around an object representing Dokdo.
  • the point indicating the location of each object is the second feature point (Q2).
  • the second feature points (Q2) are not shown as one point, but the positions of objects such as each attached island or sailboat can be defined as arbitrary points, and the arrangement spacing, arrangement shape, and distribution shape of these points are etc. can be reference materials for identifying the miniature diorama 250.
  • a plurality of objects may be displayed on the screen on the user terminal, and the positions of each object are defined as random points, so 2 Once the pattern of feature points (arrangement interval, arrangement shape, or distribution shape of points) is obtained, it will be possible to identify the corresponding miniature diorama 250 based on this.
  • the virtual object is generated by the virtual object creation unit 180 of the server 150 when the user photographs the miniature diorama 250 or a specific location (P) of the miniature diorama 250 using the user terminal 350.
  • (350) It is an object that is augmented on the screen, that is, created on the screen.
  • the virtual object may be in the form of text data, image data, or moving video data, and the types of data listed above may be mixed.
  • the virtual objects at this time are objects that could not be expressed in the miniature diorama 250, e.g. For example, black-tailed gulls flying in the sky, ships moving along the sea level, guards guarding an island, and an operating lighthouse can become virtual objects.
  • the virtual object may include at least a first virtual object 70a, a second virtual object 70b, and a guide virtual object 70c.
  • the first virtual object 70a, the second virtual object 70b, and the guide virtual object 70c will be described with reference to FIGS. 13A, 13B, and 13C, respectively.
  • Figure 13a is a diagram showing the augmented appearance of the first virtual object 70a on the screen of the user terminal 350 according to the 2-1 embodiment of the present invention.
  • the first virtual object 70a is created immediately when the user photographs the miniature diorama 250 through the camera 370 provided in the user terminal 350 or through a user touch input (virtual object augmentation on/ It is a virtual object 70a augmented by (off).
  • This first virtual object 70a is a first virtual object 70a related to the miniature diorama 250 that is augmented without the user having to photograph a specific location P.
  • the corresponding first virtual object 70a is automatically displayed or displayed according to the user's touch input. It can be.
  • the first virtual object 70a includes the name of the miniature diorama 250, a description related to the miniature diorama 250, a description of the objects constituting the miniature diorama 250, or a person related to the miniature diorama 250, It can be an object such as an object or animal.
  • text data of 'Dokdo' and 'sea' that display the objects constituting the miniature diorama 250 are displayed.
  • text data containing the main topic (e.g. Dokdo tour) of the miniature diorama 250 or a description of Dokdo may be augmented as the first virtual object 70a. .
  • Figure 13b is a diagram showing the augmented appearance of the second virtual object 70b on the screen of the user terminal 350 according to the 2-1 embodiment of the present invention.
  • the second virtual object 70b is a virtual object that is augmented by the virtual object creation unit 180 of the server 150 only when the user photographs a specific location P.
  • the second virtual object 70b is a virtual object such as a person, animal, or object related to a specific location P.
  • a virtual object such as a person, animal, or object related to a specific location P.
  • the specific A second virtual object 70b in the shape of a 'sailboat' is augmented at the location P or a location close to the specific location P.
  • FIG. 13C is a diagram showing an augmented guide virtual object 70c outputting voice data on the screen of the user terminal 350 according to the 2-1 embodiment of the present invention.
  • the guide virtual object 70c is a virtual object that is augmented on the user terminal screen and explains part or all of the miniature diorama 250 when the user photographs the miniature diorama 250 and receives an augmented reality tour service.
  • the guide virtual object 70c has the shape of a human as shown in FIG. 13c, but is not limited thereto, and may be an animal related to the miniature diorama 250, or an object symbolizing the miniature diorama 250. It could be this. Additionally, in some cases, the guide virtual object 70c may be implemented to output only voice data without a separate visible entity.
  • the voice data is data matched to each of the miniature dioramas 250 or data matched to each specific position (P) of the miniature diorama 250.
  • the guide virtual object 70c may have the properties of the first virtual object 70a or the second virtual object 70b.
  • the guide virtual object 70c is augmented on the screen of the user terminal 350 as a default to create a miniature diorama. It can be implemented to explain (250), and when the user photographs a specific location (P) of the miniature diorama (250), the fact that the location (P) is being photographed is identified and implemented to be augmented on the screen of the user terminal (350). It could be.
  • the specific position P of the miniature diorama 250 shown in Figure 13c is the position of the black-tailed gull model in the overall structure of the miniature diorama 250, and this specific position ( Assuming that voice data or text data about a black-tailed gull is matched to P), when a user photographs a black-tailed gull at a specific location (P) of the miniature diorama 250, the audio output unit 190 of the server 150 ) outputs pre-recorded voice data that was matched to a specific location (P) through the user terminal, or converts text data that was matched to a specific location (P) into voice data and outputs it, allowing the user to use the guide virtual Allows you to hear an explanation about black-tailed gulls from the object 70c.
  • the third virtual object is a virtual object 70 implemented to enable interaction between a specific location (P) within the miniature diorama 250 and the first and second virtual objects 70a and 70b augmented within the screen of the user terminal 350. am.
  • the third virtual object may refer to the area itself created within a certain radius of the touch-input area when the user touches an area on the screen of the user terminal 350, and is preferably the third virtual object.
  • the shape of may be a sphere.
  • the third virtual object which is an area created by a user's touch input, allows a specific location P to interact with virtual objects 70 adjacent to the area.
  • the server 150 of the present invention provides an augmented reality tour service to the user through a miniature diorama 250, which is a miniature diorama 250 of the scenery surrounding Dokdo, and the user can view the 'wharf', which is a specific location (P), and the first virtual object ( 70a)
  • a third virtual object is created in the touch-input area, and 'wharf' and 'sailboat' come into contact with the third virtual object, thereby creating a third virtual object.
  • An interaction can be carried out in which a 'sailboat' in contact with an object is docked at a 'wharf'.
  • the third virtual object may have a transparent color that cannot be visually identified by the user and may be implemented so as not to reduce the user's sense of immersion.
  • Figure 14 is a diagram showing the server 150 according to the 2-1 embodiment of the present invention providing interaction with a virtual object to the user.
  • the virtual object generator 180 of the present invention not only allows virtual objects to be augmented on the user terminal 350, but also, when a user touches an area on the screen of the user terminal 350, a virtual object is added to the touched area.
  • a virtual object is added to the touched area.
  • interactions such as allowing the user to selectively create a virtual object can be provided.
  • the augmented virtual object is touched again, the virtual object can show a different response.
  • a black-tailed seagull which is an augmented virtual object
  • an interaction in which the black-tailed seagull flies away in surprise can be provided to the user.
  • Figure 15 is a diagram specifically showing a method of providing an augmented reality tour service using a miniature diorama according to the 2-1 embodiment of the present invention.
  • the server 150 uses an identification algorithm. It begins with a step (S1001) of executing and identifying which miniature diorama 250 the user terminal 350 photographed is among the plurality of miniature dioramas 250.
  • the identification algorithm here identifies the miniature diorama 250 by comparing the GPS information of the user terminal 350 and the location of the miniature diorama 250, extracts the outline of the miniature diorama 250, and determines the location of the extracted outlines, Identify the miniature diorama 250 by comparing and analyzing the placement interval, etc., identify the miniature diorama 250 using learned AI artificial intelligence technology, or identify the first feature point (Q1) and the second feature point of the miniature diorama 250. It may refer to an algorithm that can identify the miniature diorama (250) based on the feature point (Q2).
  • the server 150 may augment the first virtual object 70a matching the identified miniature diorama 250 on the screen of the user terminal 350 (S1002).
  • the first virtual object 70a will be a virtual object related to the identified 'miniature diorama 250'.
  • the first virtual object at this time (70a) may be an image or video object such as an animal inhabiting Dokdo or a security guard working on Dokdo, or a text object explaining a miniature diorama 250 or a text object explaining a place name in Dokdo.
  • step S1002 may include steps S1002-1 and S1002-2.
  • Step S1002-1 is a step in which the server 150 augments the virtual guide object 70c matching the miniature diorama 250 identified on the screen of the user terminal 350 (S1002-1).
  • the virtual guide object 70c is a virtual object that is augmented on the screen of the user terminal 20 and explains part or all of the miniature diorama 250 when the user photographs the miniature diorama 250 and receives an augmented reality tour service. is an object of
  • step S1002-2 when the user terminal 350 photographs a specific location (P) in the miniature diorama 250, the virtual guide object converts text data related to the specific location into voice data and outputs it. am.
  • step S1002 when the user terminal 350 photographs a specific location (P) of the miniature diorama 250, the server 150 executes an identification algorithm to identify the specific location (P) (S1003).
  • the specific location (P) referred to herein refers to a specific location of a part within the miniature diorama 250.
  • step S1003 may include step S1003-1.
  • step S1003-1 when the user touches a specific location (P) displayed on the screen of the user terminal 350, the server 150 augments the second virtual object 70b matching the specific location (P). This is the step, and in this step (S1003-1), the augmented second virtual object 70b can be interacted with by the user's touch input.
  • the server 150 may augment the second virtual object 70b matching the identified specific location P on the screen of the user terminal 350 (S1004).
  • the second virtual object 70b will be a virtual object related to the identified 'specific location (P)'.
  • the identified specific location (P) is the location of the 'Dokdo sea lion' model swimming on the sea surface of Dokdo
  • the second virtual object 70b may be an image or video data of squid and mackerel, which are the main food of 'Dokdo sea lions'.
  • Figure 16 is a schematic diagram showing the overall configuration of the system 60' according to the 2-2 embodiment of the present invention.
  • the system 60' includes a server 150, a guide terminal 351, a visitor terminal 352, and a miniature diorama 250.
  • the difference between the system 60' according to the 2-2 embodiment of the present invention and the system 60 according to the 2-1 embodiment of the present invention is that in addition to the visitor terminal 352 that receives the augmented reality tour service, the server In connection with (150), the 'guide terminal (351)' of the actual guide that provides additional explanation of the miniature diorama (250) to the viewer has been added.
  • the spectator terminal 352 according to the 2-2 embodiment of the present invention is the same as the user terminal according to the 2-1 embodiment of the present invention.
  • the guide terminal 351 photographs the miniature diorama 250 through a camera provided in the guide terminal 351, and the guide terminal 351 uses the augmented reality tour service provided by the server 150.
  • the first to third virtual objects 70a, 70b, and 70c are augmented on the screen, but include an additional function that can provide additional explanation to visitors viewing the actual miniature diorama 250. That is, a separate application may be provided for the guide terminal 351, which may be a different version from the application installed on the visitor terminal 352.
  • the special function of the guide terminal 351 is i) the function of forming an online guide community and inviting at least one visitor terminal 352. Specifically, the guide terminal 351 requests the server 150 to create an online guide community, and when the online guide community is created, it is located within a short range based on the guide terminal 351 based on a short-range communication protocol (e.g. Bluetooth). The visitor terminal 352 can be invited.
  • a short-range communication protocol e.g. Bluetooth
  • Another special function of the guide terminal 351 is ii) when the guide touches a specific part on the screen of the guide terminal 351, a virtual object is created in the specific part, and the specific part is also displayed on the screen of the visitor terminal 352. Virtual objects are created in certain areas to allow the actual guide to provide richer explanations. Conversely, when a visitor touches a specific part on the screen of the visitor terminal 352 for which he or she wants to hear an explanation, a virtual object (e.g. an arrow) indicating the specific part may be augmented on the screen of the guide terminal 351. .
  • a virtual object e.g. an arrow
  • FIG. 17 is a diagram showing an example of the use of an augmented reality tour service using a miniature diorama according to the 2-2 embodiment of the present invention. Specifically, FIG. 17 is a diagram showing an example of utilization of the special function ii) of the guide terminal 351 described above.
  • a black-tailed gull is displayed in the specific part on the screen of the visitor terminal 352.
  • Virtual objects can be augmented. Through this, the guide can provide richer and more creative explanations to visitors. Additionally, when the visitor touches a specific part on the screen of the visitor terminal 352 for which he or she wants to hear an explanation, a question point indicating the specific part may be displayed with an arrow on the screen of the guide terminal 351. Through this, visitors can have a new experience combining augmented reality technology and miniature dioramas (250), and at the same time have the effect of listening to explanations from an experienced guide.
  • the method of providing an augmented reality tour service is a method for providing a more detailed and precise explanation of the overall configuration of the miniature diorama 250 to the user. Specifically, when the miniature diorama 250 is produced, the production object is reduced to a certain ratio and produced as a model. At this time, if the actual size gap between the ‘main production object (e.g. Dokdo)’ and the ‘accessory production object (e.g.
  • Dokdo’s annexed islands)’ is large, when produced as a scaled-down model, the ‘accessory object’
  • the method of providing augmented reality tour service according to the 2-3 embodiment of the present invention sets the location of the 'attached production object' to the 'specific location (P)' described above, and sets the location of the 'attached production object' to the 'specific location (P)' described above.
  • the ‘position (P)’ is matched with 2-dimensional image data or 3-dimensional image data produced similar to the actual photograph of the ‘attached production object’.
  • the 'particularity' matching the 'specific position (P)' is displayed on the user terminal 350.
  • the image data of the 'production object' is augmented as a virtual object, and when a user photographs the augmented virtual object at an arbitrary location, the position and direction of the virtual object may be determined and displayed depending on the direction of photographing. That is, in the case of small objects that are difficult to produce in detail due to the nature of the miniature diorama 250, no information may be displayed even if users take pictures. However, in the present invention, as long as it exists on the miniature diorama 250, the user can control the object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 미니어처 디오라마 상에 증강 현실을 제공하는 것으로, 보다 자세하게는, 특정 현실세계에 설치된 적어도 하나 이상의 정보 획득 장치가 실시간 현실 정보를 획득하면, 가상 콘텐츠 시스템이 실시간 현실 정보에 포함된 객체를 식별하여 인식하고, 인식된 객체를 토대로 가상 콘텐츠를 생성하여, 사용자가 사용자 단말을 통하여 미니어처 디오라마를 촬영하면, 사용자 단말 화면 상에 가상콘텐츠가 증강되어 디스플레이되도록 하거나, 또는 사용자 단말을 통하여 미니어처 디오라마를 촬영하면, 사용자 단말 화면 상에 촬영된 미니어처 디오라마와 관련된 가상 객체와 특정 위치에 관련된 가상 객체를 각각 증강하여 제공하는 방법에 관한 것이다.

Description

미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법 및 이를 위한 시스템
본 발명은 미니어처 디오라마 상에 실시간 현실 정보를 반영하여 가상 콘텐츠를 증강하는 서비스 제공 방법 및 이를 위한 시스템에 관한 것이다.
증강현실은 현재 세계에 가상의 정보를 덧씌운 것을 말한다. 증강현실은 가상현실과 현실세계가 혼합된 현실이라고도 불리며, 4차 산업혁명이 도래된 시점부터 다양한 방면으로 활용되고 있다.
현재 상용화 되어 있는 증강현실 기술 중 축소된 모형인 미니어처 디오라마가 함께 활용되는 증강현실 기술이 있다. 종래의 미니어처 디오라마를 활용한 증강현실 기술은 사용자들에게 다양한 흥미를 유발하는 기술로 활용되고 있는데, 예를 들어, 사용자가 스마트폰으로 관광지, 관광 명소, 관광지의 풍경, 등을 축소한 모형인 미니어처 디오라마를 촬영하면 스마트폰 화면 상에 해당 디오라마와 관련된 정보들이 가상의 이미지로서 출력되어 해당 디오라마의 역사적 배경, 개념들을 교육하는 용도로 자주 활용되고 있다.
그러나, 종래의 미니어처 디오라마를 활용한 증강현실 기술은 고정된 미니어처 디오라마에 대한 고정된 정보만을 제공하고 있기에 이미 한번 해당 기술을 경험한 사용자는 쉽게 흥미를 잃을 수 있으며, 실시간으로 획득되는 정보를 기반으로 제공되는 정보가 아니므로 교육, 또는 흥미 유발에 대한 목적 외의 다양한 목적으로 활용되기 어렵다. 또한, 미니어처 디오라마 전시물의 경우 관람객이 소극적이고 수동적으로 전시물을 관람하도록 유도하며, 특히 관람객의 시각적인 감각에만 의존하여 전시물을 설명하기에 능동적이고 참여적인 관람 서비스를 제공할 수 없다는 문제가 있다.
한편, 이러한 종래의 미니어처 디오라마를 활용한 증강현실 기술의 문제점을 해결하고자, 디지털 트윈과 미니어처 디오라마를 결합한 기술이 개발되었다. 이 기술은 사용자가 원하는 정보를 얻기 위한 데이터를 입력시켜 실물과 똑같은 가상의 이미지 생성하고, 생성된 가상의 이미지가 실물의 미니어처 디오라마 공간에 증강되어 실제 제품을 만들기 이전, 또는 실제 공정이 실시되기 이전에 모의 시험(시뮬레이션)을 하여 모의시험을 통하여 발생할 수 있는 문제점을 파악하고 해결하는 기술이다.
이러한 종래의 디지털 트윈과 미니어처 디오라마를 결합한 기술은 사용자가 실시간으로 입력한 정보에 따라 원하는 가상의 이미지가 미니어처 디오라마 공간 내에 증강되는 바, 이러한 기술이 다양한 목적으로도 활용될 수 있으나, 해당 기술이 활용되기 위해서는 데이터를 입력해야 하는 사용자의 능동적인 자세를 요하며, 기술의 사용 자체가 난해하여 일반적인 사용자가 이용하기에는 어려움이 있고, 현재 실제로 일어나고 있는 상황에 대한 모니터링을 할 때에는 활용되기 어렵다.
본 발명은 이와 같은 문제점에 착안하여 도출된 것으로, 이상에서 살핀 기술적 문제점을 해소시킬 수 있음은 물론, 본 기술분야에서 통상의 지식을 가진 자가 용이하게 고안할 수 없는 추가적인 기술요소들을 제공하기 위해 발명되었다.
본 발명이 해결하고자 하는 기술적 과제는 실제 현실세계를 축소하여 제작한 미니어처 디오라마 상에 실시간 현실 정보(예. 사람들의 움직임)를 반영한 가상 콘텐츠를 증강시켜, 사용자가 실제 현실세계에 굳이 나아가 확인할 필요 없이 실제 현실세계에서 발생하는 상황을 미니어처 디오라마 상에 증강된 가상 콘텐츠를 통하여 파악할 수 있도록 하는 서비스를 제공하는 것을 목적으로 한다.
또한 본 발명은 미니어처 디오라마 상에 가상 객체가 출력되도록 함으로써 증강 현실 투어 서비스를 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
위와 같은 문제점을 해결하기 위하여, 본 발명에 따른 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법은 (a)특정 현실세계를 실시간으로 모니터링하는 적어도 하나 이상의 정보 획득 장치로부터 실시간 현실 정보를 수신하는 단계, (b)상기 실시간 현실 정보를 기반으로 객체를 식별하고 인식하는 단계, (c)상기 실시간 현실 정보를 기반으로 상기 인식된 객체에 대한 가상 콘텐츠를 생성하는 단계 및 (d)사용자가 사용자 단말에 구비된 카메라를 통하여 상기 특정 현실세계를 축소하여 제작한 미니어처 디오라마를 촬영할 시, 상기 사용자 단말 화면 상에 상기 가상 콘텐츠가 증강되도록 하는 단계를 포함할 수 있다.
또한, 상기 (c) 단계는, (c-1)상기 (b) 단계에서 인식된 객체에 특정 현실세계 내에서의 제1 좌표를 맵핑하는 단계를 포함할 수 있다.
또한, 상기 (d) 단계는, (d-1)상기 객체에 맵핑된 제1좌표를 상기 미니어처 디오라마와 상기 특정 현실세계간의 축척비율을 기반으로 연산하여 제2 좌표를 생성하는 단계 및 (d-2)상기 가상 콘텐츠가 상기 사용자 단말 화면 상에 상기 가상 콘텐츠가 증강될 시, 상기 제2 좌표에 대응되는 위치에 증강되도록 하는 단계를 포함할 수 있다.
또한, 본 발명에 따른 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법은 상기 (d) 단계 이후에, 상기 사용자가 임의의 위치에서 상기 사용자 단말을 통하여 상기 미니어처 디오라마를 촬영할 시, 촬영하는 방향에 따라 상기 가상 콘텐츠의 위치 및 방향이 결정되어 디스플레이되는 것을 특징으로 할 수 있다.
또한, 본 발명에 따른 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법은 상기 (d) 단계 이후에, 상기 사용자가 임의의 위치에서 상기 사용자 단말을 통하여 상기 미니어처 디오라마를 촬영할 시, 상기 사용자 단말과 상기 미니어처 디오라마간의 거리에 따라 상기 가상 콘텐츠의 크기가 결정되어 디스플레이되는 것을 특징으로 할 수 있다.
한편, 본 발명의 또 다른 실시예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법은 (a) 사용자 단말에 의해 미니어처 디오라마가 촬영되면, 식별 알고리즘을 이용하여 상기 미니어처 디오라마를 식별하는 단계, (b) 상기 사용자 단말 화면 상에 상기 미니어처 디오라마와 매칭되는 제1 가상 객체가 증강되도록 하는 단계, (c) 상기 사용자 단말에 의해 상기 미니어처 디오라마 내의 특정 위치가 촬영되면, 상기 식별 알고리즘을 이용하여 상기 특정 위치를 식별하는 단계 및 (d) 상기 사용자 단말 화면 상에 상기 특정 위치에 매칭되는 제2 가상 객체가 증강되도록 하는 단계를 포함하고, 상기 제1 가상 객체는, 상기 미니어처 디오라마와 관련된 설명텍스트, 인물, 사물, 또는 동물 중 적어도 하나 이상이 포함된 객체이며, 상기 제2 가상 객체는, 상기 특정 위치와 관련된 설명텍스트, 인물, 사물, 또는 동물 중 적어도 하나 이상이 포함된 객체인 것을 특징으로 할 수 있다.
또한, 상기 식별 알고리즘은 상기 미니어처 디오라마의 형상, 구조, 특징점, 외곽선, 상기 사용자 단말의 GPS 위치, 상기 사용자 단말이 촬영하는 방향 중 적어도 하나 이상을 기초로, 상기 미니어처 디오라마 또는 상기 미니어처 디오라마 내의 특정 위치를 식별하는 알고리즘인 것을 특징으로 할 수 있다.
또한, 상기 (b) 단계는 (b-1)상기 사용자 단말 화면 상에 상기 식별된 미니어처 디오라마와 매칭되는 가상 가이드 객체가 증강되도록 하는 단계 및 (b-2)상기 사용자 단말이 상기 미니어처 디오라마 내의 특정 위치를 촬영한 경우, 상기 가상 가이드 객체가 상기 특정 위치와 관련된 음성 데이터를 출력하게 하는 단계를 포함할 수 있다.
또한, 상기 (b-2) 단계에서 출력되는 음성 데이터는 상기 사용자 단말이 기 설정한 언어 정보를 토대로 출력되는 것을 특징으로 할 수 있다.
또한, 상기 (c)단계 이후에, (c-1)사용자가 상기 사용자 단말 화면 상에 특정 위치를 터치 입력하면, 상기 특정 위치와 매칭되는 제2 가상 객체가 증강되는 단계를 포함하고, 상기 (c-1) 단계에서의 상기 제2 가상 객체는 사용자의 터치 입력에 의하여 인터랙션되는 것을 특징으로 할 수 있다.
상기와 같은 본 발명에 따르면, 사용자에게 현실세계를 축소하여 제작한 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스를 제공함으로써, 사용자들이 실제 현실세계에 나아가 확인할 필요 없이 사용자 단말을 통하여 미니어처 디오라마를 촬영하는 간단한 방법만으로 실제 현실세계에서 발생하는 상황을 단번에 파악할 수 있는 효과가 있다.
또한, 본 발명은 사용자가 HMD 단말 또는 스마트폰과 같은 모바일 단말 내에 구비된 카메라를 미니어처 디오라마를 촬영하는 것만으로도 촬영된 화면 상에 가상 콘텐츠가 디스플레이 되도록 함으로써 누구나 손쉽게 사용할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 사용자가 사용자 단말을 통하여 미니어처 디오라마 또는 미니어처 디오라마의 특정 위치를 촬영하면 관련된 가상 객체, 특히 관광 콘텐츠가 디오라마 상에 출력되도록 함으로써 미니어처 디오라마를 관람하는 사용자에게 색다른 경험을 느끼도록 해주는 효과가 있다.
또한, 관련된 설명이 포함된 음성 데이터가 출력되도록 함으로써, 시각적인 감각으로만 미니어처 디오라마를 관람하였던 사용자에게 청각적인 감각으로도 미니어처 디오라마를 관람할 수 있도록 하여 보다 생동감 있는 관람을 할 수 있도록 하는 효과가 있다.
또한, 증강현실 투어 서버가 사용자 단말 화면 상에 증강된 가상 객체가 사용자의 선택 입력(예. 터치 입력)과 인터랙션(예. 가상 객체가 움직임)하도록 서비스를 제공함으로써, 관람객의 능동적인 관람 참여를 유도하여 미니어처 디오라마 관람에 대한 흥미를 향상시키는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 현실세계를 축소하여 제작한 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 시스템을 개괄적으로 나타낸 도면이다.
도 2는 본 발명의 현실세계를 축소하여 제작한 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 시스템이 실시간 현실 정보를 획득하여 가상 콘텐츠를 생성하는 과정을 간단한 모식도를 통하여 나타낸 도면이다.
도 3은 본 발명의 제1 좌표 및 제2 좌표를 그림을 통하여 나타낸 도면이다.
도 4는 본 발명의 제1-1 실시 예에 따른 현실세계를 축소하여 제작한 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 시스템의 전체적인 구성을 모식도로 나타낸 도면이다.
도 5는 본 발명의 제1-1 실시 예에 따른 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법을 구체적으로 나타낸 도면이다.
도 6은 본 발명의 제1-2 실시 예에 따른 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법의 활용 예를 그림을 통하여 나타낸 도면이다.
도 7a 및 도7b는 본 발명의 제1-3 실시 예에 따른 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법의 활용 예를 그림을 통하여 나타낸 도면이다.
도 8은 본 발명의 제1-4 실시 예에 따른 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법을 모식도로 나타낸 도면이다.
도 9는 본 발명의 제1-4 실시 예에 따른 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법의 활용 예를 그림을 통하여 나타낸 도면이다.
도 10은 본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 시스템의 전체적인 구성을 모식도로 나타낸 도면이다.
도 11은 본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 시스템의 활용 예를 나타낸 도면이다.
도 12a 및 도 12b는 본 발명의 제2-1 실시 예에 따른 서버가 식별 알고리즘을 통하여 미니어처 디오라마를 식별하는 모습을 나타낸 도면이다.
도 13a는 본 발명의 제2-1 실시 예에 따른 사용자 단말 화면 상에 제1 가상 객체가 증강된 모습을 나타낸 도면이다.
도 13b는 본 발명의 제2-1 실시 예에 따른 사용자 단말 화면 상에 제2 가상 객체가 증강된 모습을 나타낸 도면이다.
도 13c는 본 발명의 제2-1 실시 예에 따른 사용자 단말 화면 상에 증강된 가이드 가상 객체가 음성 데이터를 출력하는 모습을 나타낸 도면이다.
도 14는 본 발명의 제2-1 실시 예에 따른 서버가 사용자에게 가상 객체와의 인터랙션을 제공하는 모습을 나타낸 도면이다.
도 15는 본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강 현실 투어 서비스 제공방법을 구체적으로 나타낸 도면이다.
도 16은 본 발명의 제2-2 실시 예에 따른 시스템의 전체적인 구성을 모식도로 나타낸 도면이다.
도 17은 본 발명의 제2-2 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스의 활용 예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 사용되는 "포함한다 (Comprises)" 및/또는 "포함하는 (Comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한 본 명세서에서 사용되는 "증강"이라는 용어는, 사전적으로는 수나 양을 늘려 더 강하게 한다는 뜻으로 정의되어 있으나, 본 상세한 설명 내에서는 증강현실(augmented reality)이라는 용어 내에서 사용된 '증강'과 같은 의미, 즉 현실 세계에 가상의 정보를 구현(implement)하는 것으로 이해하기로 한다.
또한 본 명세서에서 사용되는 "촬영"한다는 표현은 카메라가 구동 중인 상태에서 사람, 사물, 풍경 따위가 비추어지는 상태, 사용자가 카메라가 들고 있는 채로 대상물을 향해 응시하고 있는 상태 등을 의미할 수 있으며, 사진 또는 동영상을 찍는 기능으로만 한정 해석되어서는 안될 것이다.
참고로 본 명세서 내에서는 크게 두 가지의 실시예가 설명되는데, 제1 실시예는 “미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법”에 관한 것이고, 제2 실시예는 “미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법”에 관한 것이다. 아래 설명에서는 제1 실시예에 대한 설명을 도 1 내지 도 9를 참고하여 먼저 하고, 제2 실시예에 대한 설명을 도 10 내지 도 17을 참고하여 하기로 한다.
먼저 도 1 내지 도 9를 참고하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스에 대해 설명하기로 한다.
도 1은 본 발명의 현실세계를 축소하여 제작한 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 시스템(10)을 개괄적으로 나타낸 도면이다.
현실세계를 축소하여 제작한 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 시스템(이하 시스템(10)이라 약칭함)은 특정 현실세계에 설치된 적어도 하나 이상의 정보 획득 장치(100)가 실시간 현실 정보를 획득하면, 가상 콘텐츠 시스템이 실시간 현실 정보에 포함된 객체(20)를 식별하여 인식하고, 인식된 객체(20)를 토대로 가상 콘텐츠(30)를 생성하며, 이후에 사용자가 사용자 단말(310)을 통하여 미니어처 디오라마(200)를 촬영하면, 사용자 단말(310) 화면 상에 가상 콘텐츠(30)가 증강되도록 하여, 사용자가 특정 현실세계에서 펼쳐지는 상황을 한눈에 파악할 수 있도록 한다.
이러한 시스템(10)의 전체적인 구성과 시스템(10)이 사용자에게 서비스를 제공하는 방법을 살펴보기 이전에, 본 발명에서 자주 이용되는 용어를 간략히 살펴보도록 한다.
[특정 현실세계]
제1 실시예에 따른 발명에서 말하는 특정 현실세계는 사용자가 서비스를 제공받고자 하는 특정 범위에 해당하는 공간을 말한다. 쉬운 예로, 미니어처 디오라마(200)가 A 아파트 단지 영역을 일정 축척으로 축소하여 제작한 미니어처 디오라마라면, 특정 현실세계는 'A 아파트 단지'가 될 것이다.
[객체(20)]
제1 실시예에 있어서 객체(20)는 특정 현실세계에 존재하는 사람, 동물 등의 움직이는 객체(20)를 말할 수 있으며, 건물, 표지판 등과 같은 건축물, 물체와 같은 부동(不動)의 객체(20)도 객체(20)에 포함될 수 있다.
객체(20)는 정보 획득 장치(100)에 의하여 정보가 수집되는 대상체 또는 대상물이 될 수 있다. 예를 들어, 정보 획득 장치(100)가 실시간으로 이미지 데이터를 촬영하여 실시간 현실 정보를 획득하는 장치라면, 이러한 정보 획득 장치(100)로부터 촬영된 사람, 동물, 움직이는 차량 등이 객체(20)가 될 수 있다.
[실시간 현실 정보]
실시간 현실 정보는 특정 현실세계에서 감지되는 객체(20)의 이미지, 또는 객체의 소리, 객체의 모션(움직임) 등을 포함한 정보일 수 있다. 예를 들어, A 아파트 단지에 A 사람과 B 사람이 운동을 하고 있다면, A 사람, B 사람 각각의 객체에 대한 '이미지'데이터, A 사람과 B 사람이 운동하면서 발생하는 '음성'데이터, A사람과 B사람이 운동하면서 취하는 동작/자세와 같은 '모션(움직임)'데이터, A사람과 B사람의 현재 '위치' 데이터가 본 발명의 실시간 현실 정보가 될 수 있다.
이러한 실시간 현실 정보는 정보 획득 장치(100)로부터 획득되며, 정보 획득 장치(100)의 기능에 따라 실시간 현실 정보에 포함되는 정보가 추가될 수 있다. 구체적인 예로, 만일, 정보 획득 장치(100)에 IR카메라(Infrared Camera: 열적외선 카메라)가 추가된다면, IR 카메라로부터 센싱된 객체(20)의 열에 대한 정보가 실시간 현실 정보에 포함될 수 있다.
[가상 콘텐츠(30)]
가상 콘텐츠(30)는 적어도 하나 이상의 이미지 데이터가 2차원 형태의 이미지 데이터 또는 3차원 형태의 이미지 데이터로 압축 또는 복원되어 가상현실 세계 상에 가시화되어 출력되는 가상의 콘텐츠이며, 가상 콘텐츠(30)는 이미지 데이터에 대한 콘텐츠뿐만 아니라 음성에 대한 데이터, 열에 대한 데이터 등과 같이 실시간 현실 정보로부터 획득될 수 있는 데이터를 기반으로 생성된 콘텐츠를 포함할 수 있다.
가상 콘텐츠(30)는 객체(20)에 대한 단순 정지 이미지를 사용자의 사용자 단말 화면(310: 도1 참고) 상에 출력하는 것이 아니라 특정 현실세계에 존재하는 객체의 모션과 대응되는 영상 이미지들이 가시화되어 사용자의 사용자 단말 화면(310) 상에 출력될 수 있다. 예를 들면, 특정 현실세계에서 객체(20)가 달리기를 하고 있다면, 사용자 단말(310) 화면 상에 객체가 달리는 모습이 가상 콘텐츠(30)로서 증강되어 출력될 수 있다.
도 2는 본 발명의 시스템(10)이 실시간 현실 정보를 획득하여 가상 콘텐츠를 생성하는 과정을 간단한 모식도를 통하여 나타낸 도면이다.
도2를 참고하면, 본 발명의 시스템(10)에 의하여 가상 콘텐츠(20)가 생성되기 위해서는, 먼저, 정보 획득 장치(100)가 특정 현실세계로부터 실시간 현실 정보를 획득해야 하며(①), 인식 모듈(320)이 획득된 실시간 현실 정보에 포함된 ⅰ) 이미지를 인식하거나, ⅱ) 소리를 인식하거나, 또는 ⅲ) 모션(움직임)을 인식하여 객체(20) 자체를 식별한다(②). 이렇게 인식 모듈(320)로부터 인식 및 식별된 객체에 대한 데이터들은 가상 콘텐츠 생성부(340)에 전달된다(③). 이후에 가상 콘텐츠 생성부(340)에 의하여 가상 콘텐츠(30)가 생성하고, 사용자가 사용자 단말(310)의 카메라(311)를 통하여 상기 특정 현실세계를 축소하여 제작한 미니어처 디오라마(200)를 촬영하면, 사용자 단말(310) 화면 상에 가상 콘텐츠(30)가 출력된다.
[제1 좌표(P1) 및 제2 좌표(P2)]
도 3은 제1 좌표(P1) 및 제2 좌표(P2)를 그림을 통하여 나타낸 도면이다.
도 3을 참고하면, 제1 좌표(P1)는 실제 특정 현실세계에서의 객체(20)의 위치이다. 예를 들어, A 아파트 단지 공원 내의 위치한 벤치 앞에 A 사람이 서 있다고 가정하였을 때, 여기서 'A 사람의 위치', 즉 'A 아파트 단지 공원 내의 위치한 벤치 앞'에 매칭되는 임의의 좌표값이 제1 좌표(P1)라고 볼 수 있다.
제1 좌표(P1)는 연산부(330)가 전술한 인식모듈(320)로부터 전달된 객체(20)에 대한 인식 데이터를 토대로 실제 특정 현실세계의 객체(20)의 위치를 연산하여 생성한 데이터이다. 제1 좌표(P1)는 특정 현실세계에서 임의로 정의된 좌표계를 기준으로 정해질 수 있으며, 이러한 좌표계는 특정 현실세계에 존재하는 정보 획득 장치(예. CCTV, 라이다 센서 등)의 설치 위치, 정보 획득 장치가 커버할 수 있는 현실세계의 영역, 특정 현실세계에 존재하는 랜드마크 또는 특징점 등을 기준으로 정의될 수 있다.
제1 좌표(P1)는 연산부(330)에 의하여 생성된 이후에 객체(20)에 맵핑되고, 객체(20)에 맵핑된 제1 좌표(P1)는 연산부(330)가 제2 좌표(P2)를 생성할 때의 데이터 리소스로 활용된다.
제2 좌표(P2)는 실제 특정 현실세계의 객체(20)의 위치 즉, 제1 좌표(P1)에 대응되는 미니어처 디오라마(200) 상에서의 위치이다. 예를 들어, A 아파트 단지 공원 내 위치한 벤치 앞에 A 사람이 서 있으며, A 아파트 단지 공원을 축소하여 제작한 미니어처 디오라마(200)가 마련되어 있다고 가정하였을 때, 'A 사람의 위치'라고 볼 수 있는 'A 아파트 단지 공원 내 위치한 벤치 앞'에 매칭되는 임의의 좌표값이 제1 좌표(P1)이며, '미니어처 디오라마(200) 내의 벤치 모형 앞'에 매칭되는 좌표값이 제2 좌표(P2)가 되는 것이다.
제2 좌표(P2)는 제1 좌표(P1)와 마찬가지로 연산부(330)에 의하여 생성된다. 구체적으로, 제2 좌표(P2)는 연산부(330)가 객체(20)에 맵핑된 제1좌표(P1)를 미니어처 디오라마(200)와 상기 특정 현실세계간의 축척비율을 기반으로 연산하여 생성된 좌표이다.
이렇게 연산부(330)로부터 생성된 제1 좌표(P1) 및 제2 좌표(P2)는 가상 콘텐츠(30)가 사용자 단말(310) 화면 상에 출력 될 때, 실제 특정 현실세계의 객체의 위치와 대응되는 미니어처 디오라마(200)의 위치에 출력될 수 있도록 한다.
이상 본 발명에서 자주 이용되는 용어를 간략히 살펴보았다.
다음으로, 본 발명의 제1-1 실시 예에 따른 시스템(10)의 전체적인 구성에 대하여 살펴보도록 한다.
<제1-1 실시 예>
도 4는 본 발명의 제1-1 실시 예에 따른 시스템(10)의 전체적인 구성을 모식도로 나타낸 도면이다. 도 4를 참고하면, 본 발명의 제1-1 실시 예에 따른 시스템(10)은 정보 획득 장치(100), 미니어처 디오라마(200) 및 가상 콘텐츠 시스템(300)을 포함할 수 있다.
[정보 획득 장치(100)]
정보 획득 장치(100)는 특정 현실세계에 대한 적어도 하나 이상의 데이터 정보를 획득하는 장치이다. 여기서, 특정 현실세계의 데이터 정보란, 앞서 설명한 실시간 현실 정보를 말한다.
정보 획득 장치(100)는 특정 현실세계를 실시간으로 모니터링 하여 실시간의 이미지 데이터를 촬영하여 실시간 현실 정보를 생성하는 카메라(예. CCTV(폐쇄회로))를 포함할 수 있다.
정보 획득 장치(100)는 특정 현실세계에서 출력되는 음성 데이터를 획득하여 음성 획득 장치를 포함할 수 있으며, 나아가, 정보 획득 장치(100)는 음성 획득 장치로부터 획득된 음성 데이터를 통하여 음원의 위치 및 거리를 측정하는 음원 위치 추적 장치를 추가로 포함할 수 있으며, 음원 위치 추적 장치를 통하여 획득된 실시간 현실 정보는 연산부(330)가 객체(20)의 위치인 제1 좌표(P1: 도 3 참고)를 연산하는 데이터 리소스로 활용될 수 있다. 참고로 음원 위치 추적 장치는 음성 신호를 송수신하는 둘 이상의 센서를 활용하여, 각각 센서들을 통하여 송수신된 음성 신호의 시간차나 세기차를 이용하여 각 음성들의 위치와 방향을 찾아내는 장치를 말한다.
정보 획득 장치(100)는 3차원 라이다(Lidar) 센서를 포함할 수 있으며, 3차원 라이다 센서가 출력한 레이저 펄스의 도달시간을 측정하여 반사 시점의 공간 위치 좌표를 연산하여 실시간 현실 정보를 생성할 수 있으며, 3차원 라이다 센서가 생성한 실시간 현실 정보를 토대로 연산부(330)가 객체(20)의 위치인 제1 좌표(P1)를 연산하도록 구현할 수도 있다.
정보 획득 장치(100)는 특정현실 세계 내의 객체(20)의 열을 감지하는 IR카메라를 포함할 수 있다. 이렇게 IR 카메라가 생성한 실시간 현실 정보는 사용자가 사용자 단말(310)의 카메라(311)를 통하여 미니어처 디오라마(200)를 촬영할 시, 사용자 단말(310) 화면 상에 열이 표시된 가상 콘텐츠(30)가 출력될 수 있도록 하여 사용자가 특정 현실세계 내의 위치한 객체(20)들이 고열 상태인지 정상 상태인지 한눈에 파악할 수 있도록 한다.
[미니어처 디오라마(200)]
미니어처 디오라마(200)는 앞서 설명하였듯이 특정 현실세계를 일정한 축척비율로 축소하여 제작한 모형이다. 쉽게 말해, 도 1에 도시된 바와 같이 사용자가 특정 현실세계(예. 아파트 단지)를 한 눈에 확인할 수 있도록 축소된 모형이 본 발명의 미니어처 디오라마(200)가 될 수 있다.
[가상 콘텐츠 시스템(300)]
본 발명의 제1-1 실시 예에 따른 가상 콘텐츠 시스템(300)은 사용자 단말(310), 인식 모듈(320), 연산부(330) 및 가상 콘텐츠 생성부(340)를 포함할 수 있다.
[사용자 단말(310)]
사용자 단말(310)은 증강현실 또는 가상현실과 같은 가상의 세계를 구현하는 장치이며, 가상의 세계를 구현함과 동시에 가상의 현실 상에 가상 콘텐츠(30)가 디스플레이되도록 하는 단말이다.
사용자 단말(310)은 사용자 신체에 착용되는 HMD(Head Mounted Display)장치, 스마트 글래스 등을 포함할 수 있으며, HMD 장치 또는 스마트 글래스가 사용자에게 제공하는 화면 상에 가상 콘텐츠(30)를 증강(출력)할 수 있다.
한편, 사용자 단말(310)은 스마트폰, 태블릿 PC등과 같이 적어도 하나 이상의 통신모듈을 구비한 모바일 단말이 활용될 수 있으며, 모바일 단말을 이용한 본 발명의 서비스 제공방법은 본 발명의 후술될 제1-2 실시 예를 설명할 때에 보다 자세히 설명하도록 한다.
[카메라(311)]
카메라(311)는 사용자 단말(310)에 포함된 장치로서, 카메라(311) 시야 내의 미니어처 디오라마(200)를 촬영하는 역할을 수행한다.
또한. 카메라(311)는 기본적으로 피사체를 촬영하는 것을 주된 기능을 포함하고 있어, 사용자가 미니어처 디오라마(200)를 촬영함으로써 본 발명의 서비스를 제공받을 때에 사용자의 또 다른 '눈'이 되어줄 수 있는 바, 카메라(311)는 사용자가 사용자 단말(310)에서 출력하는 화면을 통하여 본 발명의 서비스를 제공받을 수 있게 하는 매개체 역할을 수행한다.
[인식 모듈(320)]
인식 모듈(320)은 정보 획득 장치(100)로부터 획득된 실시간 현실 정보를 기반으로 인식 데이터를 생성하는 장치이다. 여기서, 인식 데이터는 실시간 현실 정보 내에 포함된 데이터들을 통하여 인식한 결과에 대한 데이터이다. 예를 들면, 정보 획득 장치(100)의 CCTV 카메라가 실시간 현실 정보로서 특정 현실세계 내의 객체(20)의 이미지 데이터를 획득하였다면, 이때의 인식 데이터는, 인식 모듈(320)이 객체(20)의 이미지 데이터를 분석하여 해당 객체(20)가 사람인지, 동물인지 또는 자동차 인지, 객체(20)가 현재 어떠한 모션을 취하고 있는지 등을 인식한 결과에 대한 데이터이다.
이러한 인식 모듈(320)은 이미지 인식부(321), 모션 인식부(322) 및 음성 인식부(323)를 포함할 수 있다.
[이미지 인식부(321)]
이미지 인식부(321)는 AI 이미지 알고리즘을 활용하여 실시간 현실 정보에 포함된 이미지 데이터를 식별하고 인식할 수 있다. 구체적으로, AI 이미지 알고리즘에는 객체(20)를 식별하기 위하여 복수의 이미지 데이터들이 기 학습되어 있으며, 복수의 기 학습된 이미지 데이터 중에서 획득된 객체(20)의 이미지 데이터와 가장 유사도 높은 이미지 데이터를 추출하여, 추출된 이미지 데이터가 획득된 객체(20)라고 식별함으로써 객체(20)를 인식한다. 구체적인 예로, AI 이미지 알고리즘에 '사람'에 대한 이미지 데이터와 '차량'에 대한 이미지 데이터가 학습되어 있으며, 정보 획득 장치(100)로부터 획득된 객체(20)의 이미지가 'A 사람'의 이미지 데이터라고 가정하면, 이미지 인식 알고리즘은 ' A 사람'의 이미지 데이터가 기 학습된 '사람'에 대한 이미지 데이터와 '차량'에 대한 이미지 데이터 중에서 '사람'에 대한 이미지 데이터가 유사하다고 판단하여, 현재 획득된 객체(20)의 이미지가 사람이라고 식별하여 인식할 수 있다.
이렇게 이미지 인식부(321)가 객체(20)를 식별하면, 이미지 인식부(321)는 사용자가 본 발명의 서비스를 제공받을 때에 사용자 단말(310) 화면 상에 사용자 원하는 가상 콘텐츠(30)만을 증강할 수 있다. 예를 들어, 사용자가 특정 현실세계에 대하여 차량, 동물 등과 같은 객체(20)를 제외하고 사람 객체(20)만을 모니터링하고자 할 때, 이미지 인식부(321)는 AI 이미지 알고리즘을 통하여 복수의 객체(20)를 식별하고, 복수의 식별된 객체(20) 중 사람 객체에 대한 인식 데이터만을 가상 콘텐츠 생성부(340)에 전달할 수 있다.
[모션 인식부(322)]
모션 인식부(322)는 모션 감지 알고리즘을 활용하여 객체의 모션을 인식하여 인식 데이터를 생성하는 역할을 수행한다. 여기서 말하는 모션 감지 알고리즘이란 컴퓨터 비전 소프트웨어에 포함되는 알고리즘으로서, 정보 획득 장치(100)로부터 전달된 실시간 현실 정보 내의 캡쳐된 이미지를 분석하거나, 열화상 카메라가 촬영한 열 신호 데이터를 분석하거나, 광 펄스 감지 센서, 초음파 감지 센서, 연속파 감지레이더 중 적어도 하나 이상의 별도의 센서로부터 센싱된 데이터를 분석하여 피사체의 모션을 감지하는 알고리즘을 말한다.
모션 인식부(322)는 객체(20)의 특정한 모션(예. 싸우는 모션, 쓰러지는 모션 등)인식할 수 있으며, 이러한 특징을 활용하여 사용자가 특정 현실세계를 보다 효과적으로 모니터링 할 수 있도록 하며, 이러한 모션 인식부(320)의 특징을 활용한 기술에 대해서는 본 발명의 제1-4 실시 예를 설명할 때에 보다 자세히 설명하도록 한다.
[음성 인식부(323)]
음성 인식부(323)은 AI 음성 인식 알고리즘을 활용하여 특정 현실세계에서 발생되는 음성에 대한 인식 데이터를 생성하는 역할을 수행한다. 여기서 말하는 AI 음성 인식 알고리즘은 기 학습된 복수의 음성 신호의 특징(예. 주파수, 진폭, 주기)들 중에서 현재 시점에서 출력된 음성 신호의 특징과 가장 유사한 음성 신호의 특징을 추출하여, 추출된 음성 신호의 특징이 현재 시점에서 출력된 음성이라고 인식하는 알고리즘이다. 쉽게 말해, AI 음성 인식 알고리즘은 기 학습된 음성 신호의 특징들과 현재 인식하고자 하는 음성 신호 특징의 유사도를 비교하여 객체(20)에 의하여 발생되는 음성(예. 사람의 고함 소리), 소음(차량의 클락션) 등과 같은 음성의 종류를 인식하여 식별하는 알고리즘이다.
이러한 음성 인식부(323)의 역할은 사용자가 본 발명의 서비스를 제공받을 때에 주의하여 모니터링 해야 할 상황을 구분할 수 있도록 한다. 구체적으로, 사용자가 아파트 구역을 관리하는 경비원이라면, 아이들이 뛰어 놀 때에 발생하는 음성, 아파트 로비에서 발생하는 안내음 등은 경비원으로서 주의해야 할 소리가 아닐 것이며, 입주자 간의 다툼에 의한 고함 소리, 차량 간의 충돌에 의하여 발생하는 소음, 등이 경비원으로서 주의해야 할 소리이므로, 음성 인식부(323)는 특정 현실세계에서 발생하는 모든 음성을 인식하되, 경비원으로서 주의해야 할 음성, 즉 서비스를 제공받는 사용자에게 필요한 음성만을 구분하여 인식할 수 있다.
[연산부(330)]
연산부(330)는 정보 획득 장치(100)로부터 획득된 실시간 현실 정보를 토대로 특정 현실세계 내의 객체(20)의 위치인 제1 좌표(P1)과 제1 좌표(P1)와 대응되는 미니어처 디오라마(200) 내의 객체(20)의 위치인 제2 좌표(P2)를 연산하는 역할을 수행한다. 구체적으로, 연산부(330)는 정보 획득 장치(100)에 포함된 CCTV에 의해 촬영된 영역의 공간 위치 좌표를 연산한 결과 값을 토대로 제1 좌표(P1)를 생성하거나, 3차원 라이다(Lidar) 센서가 출력한 레이저 펄스의 도달시간을 측정하여 반사 시점의 공간 위치 좌표를 연산한 결과 값을 토대로 제1 좌표(P1)를 생성하거나, 정보 획득 장치(100)에 포함된 음원 위치 추적 장치가 송수신된 음성 신호의 시간차나 세기차를 이용하여 객체(20)로부터 발생된 음성의 위치를 연산한 결과 값을 토대로 제1 좌표(P1)를 생성하여, 특정 현실세계 내의 객체(20)의 위치를 연산하고, 해당 객체(20)에 제1 좌표(P1)를 맵핑하고, 객체(20)에 맵핑된 제1 좌표(P1)를 특정 현실세계와 미니어처 디오라마(200) 간의 축척 비율을 기반으로 연산하여 제2 좌표(P2)를 생성한다.
[가상 콘텐츠 생성부(340)]
가상 콘텐츠 생성부(340)는 실시간 현실 정보 및 인식 데이터를 토대로 사용자 단말(310) 화면 상에 출력될 가상 콘텐츠(30)를 생성하는 역할을 수행한다. 구체적으로, 실시간 현실 정보에는 객체(20)의 이미지 데이터, 특정 현실세계에서 발생하는 음성에 대한 데이터, 객체(20)의 열 데이터, 객체(20)의 움직임 데이터 등이 포함되어 있으며, 인식 데이터에는 해당 객체(20)가 무엇인지, 객체(20)가 어떠한 움직임을 취하고 있는지, 객체(20)의 상태가 어떠한지(객체(20)의 온도), 등이 인식된 결과에 대한 데이터를 포함하고 있으며, 이러한 데이터들을 토대로 객체(20)에 대한 2차원 형태의 이미지 데이터 또는 3차원 형태의 이미지 데이터를 생성하고, 생성된 이미지 데이터를 압축 또는 복원시키며, 별도의 추가 표시 데이터(예. 객체(20)의 온도, 식별된 객체(20)의 이름 등)를 삽입하여 사용자 단말(310) 화면 상에 가시화될 수 있도록 출력한다.
이상 본 발명의 제1-1 실시 예에 따른 시스템(10)의 전체적인 구성에 대하여 살펴보았다.
다음으로, 본 발명의 제1-1 실시 예에 따른 현실세계를 축소하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법을 구체적으로 살펴보도록 한다.
도 5는 본 발명의 제1-1 실시 예에 따른 현실세계를 축소하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법을 구체적으로 나타낸 도면이다.
도 5를 참고하면, 본 발명의 제1-1 실시 예에 따른 현실세계를 축소하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법은 먼저, 가상 콘텐츠 시스템(300)이 특정 현실세계 내에 설치된 정보 획득 장치(100)로부터 실시간 현실 정보를 수신하는 단계(S101)에서 시작된다.
이후에, 인식 모듈(320)이 객체(20)를 인식한다(S102). 여기서 S102 단계는 특정 현실세계 내에서 객체(20)가 있는지 여부를 판단하는 것뿐만 아니라 해당 객체(20)가 무엇인지, 객체(20)가 발화하고 있는지, 객체(20)에게 발생하고 있는 상황이 무엇인지, 객체(20)가 어떤 움직임을 취하고 있는지 등 객체(20)에 대한 정보를 인식하는 단계이다.
다음으로, 가상 콘텐츠 생성부(340)는 실시간 현실 정보와 인식된 객체에 대한 정보(인식 데이터)를 기반으로 사용자 단말(310) 화면 상에 출력될 가상 콘텐츠(30)를 생성한다(S103).
S103 단계는 가상 콘텐츠 생성부(340)가 객체(20)에 대한 가상 콘텐츠(30)를 생성할 때, 연산부(330)가 해당 객체(20)에 특정 현실세계 내의 객체(20)의 위치를 연산한 제1 좌표(P1)를 맵핑하는 단계(S103a)를 포함할 수 있다.
이후에, 가상 콘텐츠 시스템(300)은 사용자가 사용자 단말(310)을 통하여 미니어처 디오라마(200)를 촬영할 시, 사용자 단말(310) 화면 상에 가상 콘텐츠(30)를 증강한다(S104).
S104 단계는 S103a 단계에서 객체(20)에 맵핑된 제1 좌표(P1)를 미니어처 디오라마(20)와 특정 현실세계 간의 축척 비율을 기반으로 연산하여 제2 좌표(P2)를 생성하는 단계(S104a) 및 S103 단계에서 생성된 가상 콘텐츠(30)가 사용자 단말(310) 화면 상에 증강될 시, 제2 좌표(P2)에 대응되는 위치에 증강되도록 하는 단계(S104b)를 포함할 수 있다.
이상, 본 발명의 제1-1 실시 예에 따른 현실세계를 축소하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법을 구체적으로 살펴보았다.
다음으로, 본 발명의 제1-2 내지 제1-4 실시 예에 따른 본 발명의 현실세계를 축소하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법에 대하여 살펴보도록 한다.
<제1-2 실시 예>
도 6은 본 발명의 제1-2 실시 예에 다른 현실세계를 축소하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법의 활용 예를 그림을 통하여 나타낸 도면이다.
도 6을 참고하면, 본 발명의 제1-2 실시 예는 사용자 단말(310a) 로서 스마트폰, 태블릿 PC등과 같은 적어도 하나 이상의 통신모듈을 구비한 모바일 단말이 활용된다.
본 발명의 제1-2 실시 예서의 가상 콘텐츠 시스템(300)의 역할은 서버 형태의 가상 콘텐츠 서버(400)가 역할을 대신하고, 가상 콘텐츠 서버(400)는 원격으로 사용자에게 가상 콘텐츠(30)를 제공해준다. 구체적으로. 사용자 단말(310a)에는 가상현실 콘텐츠 서버(300a)와 연동되는 애플리케이션이 기 설치되어 있으며, 사용자가 상기 애플리케이션을 실행하여 미니어처 디오라마(200)를 촬영하면, 가상현실 콘텐츠 서버(300a)가 가상현실 콘텐츠(30)를 생성하여 사용자 단말(310a) 화면 상에 가상현실 콘텐츠(30)가 증강될 수 있도록 한다.
본 발명의 제1-2 실시 예는 모바일 단말인 사용자 단말(310a)에 구비된 카메라를 통하여 실물의 미니어처 디오라마(200)를 촬영하면, 특정 현실세계 내의 객체(20)에 대응되는 가상 콘텐츠(30)가 사용자 단말(310a) 화면 상에 증강되는 것인 바, 현실 세계에 가상의 콘텐츠가 증강되는 AR(Augmented Reality) 기술이 활용된 실시 예라고 볼 수 있다.
본 발명의 제1-2 실시 예는 사용자 단말(310a)로서 스마트 폰, 태블릿 PC와 같은 모바일 단말을 활용함으로써, 가상 콘텐츠 서버(400)에서 제공하는 애플리케이션을 설치하기만 하여도 본 발명의 서비스를 제공받을 수 있어, 서비스의 범용성과 활용성을 극대화하는 효과가 있다.
<제1-3 실시 예>
도 7a 및 도 7b는 본 발명의 제1-3 실시 예에 따른 본 발명의 현실세계를 축소하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법의 활용 예를 그림을 통하여 나타낸 도면이다.
본 발명의 제1-3 실시 예는 사용자 또는 사용자 단말(310)과 미니어처 디오라마(200)의 상대적인 위치와 방향에 따라 사용자 단말(310) 화면 상에 출력되는 가상현실 콘텐츠의 위치와 방향, 또는 크기가 변화하는 실시 예이다.
도 7a를 참고하면, 본 발명의 제1-3 실시 예는 사용자가 본 발명의 서비스를 제공받고자, 임의의 위치에서 사용자 단말(310)을 통하여 미니어처 디오라마(200)를 촬영할 시, 촬영하는 방향에 따라 상기 콘텐츠의 위치 및 방향이 결정되어 디스플레이 되도록 할 수 있다. 예를 들어, 사용자가 미니어처 디오라마(200)의 전면(A 방향)을 촬영하였을 때, 사용자 단말(310) 화면 상에 가상 콘텐츠(30)의 전면이 디스플레이 되고 있다면, 사용자가 자리를 옮겨 미니어처 디오라마(200)의 측면(B 방향)을 촬영하면 사용자 단말(310) 화면 상에 가상 콘텐츠(30)의 옆모습이 디스플레이될 수 있다.
도 7b를 참고하면, 본 발명의 제3 실시 예는 사용자가 본 발명의 서비스를 제공받고자, 임의의 위치에서 사용자 단말(310)을 통하여 미니어처 디오라마(200)를 촬영할 시, 사용자 단말(310)과 미니어처 디오라마(200) 간의 거리에 따라 가상 콘텐츠(300)의 크기가 결정되어 디스플레이되도록 할 수 있다. 예를 들어, 사용자가 본 발명의 서비스를 제공받기 위하여, 미니어처 디오라마(200)를 기준으로 L1의 이격 거리에서 미니어처 디오라마를 촬영한 이후에 미니어처 디오라마(200)를 기준으로 L2의 이격 거리만큼 떨어져 미니어처 디오라마(200)를 걸쳐 촬영하였고, L1의 거리가 L2의 거리보다 길다고 가정하였을 때, 가상 콘텐츠(30)에 원근감의 효과를 심어주기 위하여, 사용자가 L1의 이격 거리에서 미니어처 디오라마(200) 촬영했을 때 보다 L2의 이격 거리에서 촬영했을 때, 사용자 단말(200) 화면 상의 출력되는 가상 콘텐츠(30)의 크기가 커지도록 디스플레이 될 수 있다.
<제1-4 실시 예>
도 8은 본 발명의 제1-4 실시 예에 따른 본 발명의 현실세계를 축소하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법을 모식도로 나타낸 도면이다.
본 발명의 제1-4 실시 예는 특정 현실 세계에서 발생할 수 있는 위험한 상황, 도움이 필요한 상황, 또는 관리가 필요한 상황 등의 돌발 이벤트를 사용자가 본 발명에서 제공하는 서비스를 통하여 단번에 인식할 수 있도록 하는 실시 예이다. 구체적으로, 본 발명에서 말하는 돌발 이벤트는 사람이 갑자기 쓰러지는 상황, 차량 간의 충돌이 발생한 상황, 사람이 소리지르는 상황 등이 될 수 있으며, 이러한 돌발 이벤트는 사람이 갑자기 쓰러지는 것과 특정 모션, 차량간의 충돌음, 또는 사람이 "살려주세요" 또는 "도와주세요"라는 소리를 질렀을 때의 음성, 또는 특정 객체(20)의 이미지(예. 범죄자의 이미지)가 인식 모듈(320)의 특정 모션 인식기능, 음성 인식기능, 이미지 인식기능에 의하여 인식된 것이다.
이러한 본 발명의 제1-4 실시 예에 따른 서비스를 사용자에게 제공하기 위하여, 본 발명의 시스템(10)은 정보 획득 장치(100)가 실시간 정보를 획득하고(①), 인식 모듈(320)이 실시간 현실 정보를 기반으로 특정 현실 세계에서 일어나고 있는 돌발 이벤트를 인식하며(②), 인식 모듈(320)이 돌발 이벤트의 원인이 될 수 있는 돌발 이벤트 주변의 객체(20)를 특정하고(③), 가상 콘텐츠 생성부(340)가 인식 모듈(320)이 특정한 객체 주변에 적어도 하나 이상의 특수효과(예. 객체(20) 주변에 불빛의 강조효과)를 표시하여 가상 콘텐츠(30)를 생성한다(④).
도 9는 본 발명의 제1-4 실시 예에 따른 본 발명의 현실세계를 축소하여 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법의 활용 예를 그림을 통하여 나타낸 도면이다.
도 9를 참고하면, 특정 현실 세계에서 사람이 쓰러지는 돌발 이벤트가 발생하면, 사용자가 이러한 돌발 이벤트를 단번에 인지할 수 있도록 사용자 단말(310) 화면 상에 가상 콘텐츠(30)가 디스플레이 될 때에 돌발 이벤트의 대상이 되는 가상 콘텐츠(30)에 특수 효과 표시되어 디스플레이 될 수 있다. 여기서 특수 효과는 가상 콘텐츠(30) 테두리에 적어도 하나 이상의 색을 나타내는 불빛이 표시될 수 있으며, 원형, 사각형 등의 도형이 가상 콘텐츠(30) 주변에 표시될 수 있으며, 위험, 주의, 돌발 등의 텍스트 특수 효과가 표시될 수 있다.
다음으로 도 10 내지 도 17을 참고하여 미니어처 디오라마를 이용한 증강현실 투어 시스템에 대해 설명하기로 한다.
<제2-1 실시 예>
본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법은 사용자(예. 관람객)가 사용자 단말(350)을 통하여 미니어처 디오라마(250)를 촬영하면, 사용자 단말(350) 화면 상에 촬영된 미니어처 디오라마(250)와 관련된 가상 객체가 증강되도록 하고, 해당 미니어처 디오라마(250)의 설명이 포함된 음성데이터를 출력되도록 하고, 가상 객체가 사용자의 터치 입력에 의하여 인터랙션(예. 가상 객체가 움직임)되도록 하여, 사용자가 보다 능동적으로 관광지를 관람할 수 있도록 하며, 해당 미니어처 디오라마(250)에 대한 흥미를 극대화시킬 수 있도록 하는 서비스 제공방법이다.
본 상세한 설명에서 언급되는 미니어처 디오라마(250)는 관광지, 관광 명소, 관광지의 풍경, 박물관 전시물, 동상 등을 축소한 모형이며, 풍경이나 그림을 배경으로 두고 축소 모형을 설치해 역사적 사건이나 자연 풍경, 도시 경관 등 특정한 장면을 만들거나 배치한 것인 '디오라마(Diorama)'라고 이해하면 본 발명의 설명을 이해하기 쉬울 것이다.
[증강현실 투어 시스템(60)]
도 1은 본 발명의 제2-1 실시 예에 따른 시스템(60)의 전체적인 구성을 모식도로 나타낸 것이다. 도 1을 참고하면, 본 발명의 제2-1 실시 예에 따른 시스템(60)은 증강현실 투어 서비스 서버(이하, 서버(150)라 약칭함), 및 사용자 단말(350)을 포함할 수 있으며, 미니어처 디오라마(250)는 사용자 단말(350)의 촬영대상이 될 것이다.
[서버(150)]
서버(150)는 사용자에게 증강현실 투어 서비스를 제공하는 서버이며, 통신부(160), 알고리즘 실행부(170), 가상 객체 생성부(180) 및 음성 출력(190)를 포함한다.
[통신부(160)]
통신부(160)는 서버(150)가 네트워크로 연결되어 있는 사용자 단말기들, 또는 타 서버(미도시)들과 데이터를 송수신 하기 위해 필요한 구성이다. 통신부(160)는 유선 통신을 지원하기 위한 통신 모듈과, 무선 통신을 지원하기 위한 이동통신 모듈을 포함할 수 있다. 이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EVDO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국 및 외부의 사용자 단말기, 또는 참여자 단말과 무선 신호를 송수신하며, 이를 통해 사용자 간의 양방향 통신이 가능해지는 것이다.
[알고리즘 실행부(170)]
알고리즘 실행부(170)는 사용자가 복수의 미니어처 디오라마(250) 중 어떠한 미니어처 디오라마(250)를 촬영하고 있는지 식별할 수 있도록 '식별 알고리즘'을 실행하는 구성요소이다. 여기서, 식별 알고리즘은 각각의 미니어처 디오라마(250)의 특징점, 특징선(외곽선), 특징점들 간의 배치 구조 및 간격을 인식하여 미니어처 디오라마(250)를 식별하거나, 사용자 단말(350)의 위치와 서버(150) 내에 기 저장된 미니어처 디오라마(250)의 GPS 위치를 비교하여 사용자가 어떠한 미니어처 디오라마(250)를 촬영하고 있는지 식별하는 알고리즘이다. 또한, 식별 알고리즘은 사용자가 해당 미니어처 디오라마(250) 내에서의 특정 위치(P: 도 3 참고)를 촬영하였다면, 이 특정 위치(P)를 식별할 수 있다. 이러한 식별 알고리즘에 대한 설명은 본 발명에서 자주 사용되는 용어를 설명할 때에 다시 한번 설명하도록 한다.
[가상 객체 생성부(180)]
가상 객체 생성부(180)는 기본적으로 사용자 단말(350) 화면 상에 가상 객체가 증강되도록 하는 것을 주된 기능으로 하는 구성요소이다.
가상 객체 생성부(180)는 알고리즘 실행부(170)가 미니어처 디오라마(250)를 식별하면, 즉시 사용자 단말(350) 화면 상에 해당 미니어처 디오라마(250)와 관련된 가상 객체가 증강되도록 할 수 있다.
가상 객체 생성부(180)는 알고리즘 실행부(170)가 해당 미니어처 디오라마(250)의 특정 위치(P)를 식별한 경우, 해당 특정 위치(P)와 관련된 가상 객체가 증강되도록 할 수 있다.
또한, 가상 객체 생성부(180)는 사용자가 사용자 단말(350) 화면 상의 어느 한 영역에 터치 입력하면, 터치 된 영역에 가상 객체가 증강되도록 하거나, 증강된 가상 객체를 다시 한번 터치하면, 가상 객체가 인터랙션(예. 움직임)되도록 할 수 있다.
[음성 출력부(190)]
음성 출력부(190)는 사용자 단말(350) 화면 상에 증강된 가상 객체가 해당 미니어처 디오라마(250) 또는 특정 위치(P)를 설명하도록 음성데이터(예. 내레이션)를 출력할 수 있다.
음성 출력부(190)는 TTS(Text to Speech: 음성합성)기술이 활용되는 구성요소이며, 사용자가 미니어처 디오라마(250)를 촬영하거나, 해당 미니어처 디오라마(250)의 특정 위치(P)를 촬영하면, 해당 미니어처 디오라마(250) 또는 특정 위치(P)와 매칭된 텍스트 데이터를 음성 데이터로 변환하여 출력할 수 있다.
음성 출력부(190)는 음성 데이터를 출력할 때에 사용자 단말(350)이 기 설정한 언어 정보를 토대로 출력할 수 있다. 구체적으로, 해당 미니어처 디오라마(250) 또는 특정 위치(P) 각각에는 텍스트 데이터가 다국어로 구성된 채로 매칭되어 있으며, 음성 출력부(190)는 음성이 출력되어야 할 때에 다국어로 구성된 텍스트 데이터(예. 한국어, 영어, 불어, 일본어 등) 중 사용자가 사용자 단말(350)을 통하여 기 설정한 언어 정보(예. 한국어)에 해당하는 텍스트 데이터를 추출하여, 추출된 텍스트 데이터를 음성 데이터로 변환하여 출력한다.
한편, 음성 출력부(190)는 미니어처 디오라마(250) 또는 특정 위치(P)에 매칭되어 있는 음성 데이터를 그대로 출력할 수 있다. 다시 말해, 이 때의 음성 출력부(190)는 텍스트 데이터를 음성 데이터로 변환하지 않고. 미니어처 디오라마(250) 또는 특정 위치(P)에 매칭되어 있는, 사용자(예. 성우)에 의하여 기 녹음된 음성데이터를 그대로 출력할 수 있다.
[사용자 단말(350)]
본 발명의 제2-1 실시 예에 따른 사용자 단말(350)은 관광지, 명소, 박물관 전시물을 관람하는 관람객의 단말일 수 있다. 사용자 단말(350)은 서버(150)에서 제공하는 서비스를 제공받기 위해서는 휴대성 또는 이동성이 필요하고, 미니어처 디오라마(250)를 촬영해야 할 카메라(370)가 포함되어 있어야 하므로, 본 발명의 사용자 단말(350)은 스마트폰, 태블릿 PC와 같이 단말 내에 카메라(370)가 포함되어 있으면서, 휴대하기 용이한 단말인 것이 바람직할 것이다.
사용자 단말(350)은 서버(150)로부터 증강현실 투어 서비스를 제공받기 위하여 통신부(360) 및 카메라(370)를 포함할 수 있다.
[통신부(360)]
통신부(360)는 서버(150)와 데이터를 송수신 하기 위해 필요한 구성이다. 이러한 통신부(360)는 서버(150)의 통신부와 마찬가지로 유선 통신을 지원하기 위한 통신 모듈과, 무선 통신을 지원하기 위한 이동통신 모듈을 포함할 수 있으며, 이동통신 모듈에 대한 설명과 이동통신을 위한 기술표준들 또는 통신방식은 앞서 서버(150)의 통신부에서 한번 설명하였으므로, 중복 설명을 방지하고자 생략하도록 한다.
[카메라(370)]
카메라(370)는 기본적으로 피사체를 촬영하는 것을 주된 기능으로 하는 구성요소이며, 사용자가 미니어처 디오라마(250)를 촬영함으로써 증강현실 투어 서비스를 제공받을 때에 사용자의 또 다른 '눈'이 되어줄 수 있다. 또한, 카메라(370)는 사용자 단말(350)의 화면과 더불어 사용자가 증강현실 투어 서비스를 제공받을 수 있게 하는 매개체 역할을 수행한다.
도 2는 본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 시스템(60)의 활용 예를 나타낸 도면이다.
도2를 참고하면, 사용자는 증강현실 투어 서비스를 제공받기 위하여, 사용자 단말(350)의 카메라(370)를 통하여 미니어처 디오라마(250) 또는 해당 미니어처 디오라마(250)의 특정 위치(P)를 촬영할 수 있다.
[미니어처 디오라마(250)]
본 발명에서 말하는 미니어처 디오라마(250)는 앞서 한번 설명하였듯이 풍경이나 그림을 배경으로 두고 축소 모형을 설치해 역사적 사건이나 자연 풍경, 도시 경관 등 특정한 장면을 만들거나 배치한 '디오라마(Diorama)'가 될 수 있다. 예를 들어, 도2에 도시된 바와 같이 독도의 지형과 주변 풍경(예. 바다)이 사용자가 한 눈에 확인할 수 있도록 축소된 모형이 본 발명의 미니어처 디오라마(250)가 될 수 있다.
한편, 미니어처 디오라마(250)는 고정된 모형이 아닌 움직이는 모형으로도 구현될 수 있다. 구체적인 예로, 기차 레일을 타고 움직이는 증기기관 모형이 있다고 가정하면, 이 증기기관 모형도 본 발명의 미니어처 디오라마(250)가 될 수 있으며, 사용자가 사용자 단말(350)의 카메라(370)를 통하여 기차 레일을 타고 움직이는 증기기관을 따라 촬영하면, 사용자 단말(350) 상에 증기기관과 관련된 가상 객체가 증강될 수 있다.
[특정 위치(P)]
본 발명에서 말하는 특정 위치(P)는 미니어처 디오라마(250) 내에서의 어느 한 부분의 특정한 위치를 말한다. 예를 들어, 도시된 도 2에는 독도의 주변 경관이 축소된 모형인 미니어처 디오라마(250)가 있다고 가정하였을 때, 독도 주변 경관을 한눈에 바라볼 수 있는 전체 미니어처 디오라마(250)의 구조 내에서 '돛단배'의 위치가 본 발명의 특정 위치(P)가 될 수 있다.
이러한 특정 위치(P)는 전시관 또는 박물관을 관리하는 관리자가 서버(150)를 통하여 기 설정한 위치이며, 관리자는 서버(150)를 통하여 특정 위치(P)에 특정 위치(P)와 관련된 가상 객체, 텍스트 데이터, 음성 데이터를 매칭시키도록 설정할 수 있다.
이러한 특정 위치(P)는 후술할 식별 알고리즘에 의하여 식별되며, 이 때 식별 알고리즘은 특정 위치(P)의 실제 GPS 좌표, 미니어처 디오라마(250)의 특징점의 분포, 각 특징점들 간의 위치 관계 등을 통하여 특정 위치(P)를 식별할 수 있다.
이상 본 발명의 시스템(60)의 전체적인 구성에 대하여 간략히 살펴보았다.
다음으로, 본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법에서 자주 사용되는 용어를 설명할 때에 보다 자세히 설명하도록 한다.
[식별 알고리즘]
식별 알고리즘은 사용자가 복수의 미니어처 디오라마(250) 중 어떠한 미니어처 디오라마(250)를 촬영하고 있는지 식별하고, 사용자가 해당 미니어처 디오라마(250)를 촬영할 때에 해당 미니어처 디오라마(250)의 어떠한 특정 위치(P)를 촬영하고 있는 지를 식별하는 알고리즘이다.
식별 알고리즘은 사용자 단말(350)의 GPS위치와 미니어처 디오라마(250)의 GPS위치 또는 그 밖의 실내위치정보를 비교하여 미니어처 디오라마(250)를 식별한다. 구체적인 예로, 어느 한 박물관에 두 개의 미니어처 디오라마(250)가 'A공간', 'B공간' 각각에 배치되고, 사용자가 'A 공간'에 인접하여 위치하고 있다고 가정하였을 때, 서버(150)는 식별 알고리즘을 통하여 사용자 단말(350)의 GPS 위치 또는 그 밖의 실내위치정보가 'A공간'에 인접하다는 것을 감지하여 사용자가 'A공간'에 배치된 미니어처 디오라마(250)를 촬영하고 있다고 식별한다.
식별 알고리즘은 미니어처 디오라마(250)의 외곽선을 추출하고, 추출된 외곽선들의 위치, 배치 간격, 등을 비교 분석하여 미니어처 디오라마(250)를 식별할 수 있다. 다시 말해, 각각의 미니어처 디오라마(250)들의 외곽선들을 추출하면, 추출된 외곽선들이 미니어처 디오라마(250)에 따라 형상, 위치, 배치 간격 등이 상이하다는 특징을 활용하여 이를 기반으로 미니어처 디오라마(250)를 식별한다. 이렇게 미니어처 디오라마(250)의 외곽선을 추출하여 식별하는 방법은 추출된 외곽선의 데이터 양이 적고, 데이터 형식이 비교적 단순해지므로, 각 데이터들을 비교 분석하는 속도를 향상시킬 수 있다. 특히, 하나의 미니어처 디오라마(250) 전체 구조에서 어느 한 지점의 위치와 또 다른 지점의 외곽선의 형상, 주변 외곽선들 간의 배치 간격이 상이하므로, 외곽선을 추출하여 식별하는 방법을 활용하여 미니어처 디오라마(250)에서의 특정 위치(P)를 식별할 때에도 용이하게 활용될 수 있다.
식별 알고리즘은 학습된 AI 인공지능 기술을 활용하여 미니어처 디오라마(250)를 식별할 수도 있다. 구체적으로, 식별 알고리즘은 복수의 기 학습된 미니어처 디오라마(250)의 이미지 데이터 중에서 현재 사용자가 촬영 중인 미니어처 디오라마(250)의 이미지 데이터와 가장 유사도가 높은 이미지 데이터를 현재 사용자가 촬영 중인 미니어처 디오라마(250)로 식별할 수 있다.
도 12a 및 도 12b는 본 발명의 제2-1 실시 예에 따른 서버(150)가 식별 알고리즘을 통하여 미니어처 디오라마(250)를 식별하는 모습을 나타낸 도면이다.
식별 알고리즘은 미니어처 디오라마(250)의 제1 특징점(Q1) 및 제2 특징점(Q2)을 토대로 미니어처 디오라마(250)를 식별할 수 있다.
도 12a를 참고하면, 식별 알고리즘은 제1 특징점(Q1)을 토대로 미니어처 디오라마(250)를 식별할 수 있다. 여기서, 제1 특징점(Q1)이란 미니어처 디오라마(250)의 구조와 형상을 세밀하게 분석하였을 때에 돌출되어 튀어나온 점, 오목한 점과 같이 미니어처 디오라마(250)가 그 자체의 형상을 나타낼 때에 특징이 될 만한 점을 말할 수 있다. 이러한 특징점들은, 바람직하게는 영상 내에서 배경과 구별되는 영역, 즉, 미니어처 디오라마(250)의 색깔과 배경의 색깔이 달리 식별될 수 있을 때에 미니어처 디오라마(250) 상의 영역 내에서 탐색될 수 있으며, 미니어처 디오라마(250) 상의 영역 내에서도 돌출된 지점, 오목하게 파인 지점, 특정 물체가 배치되어 있는 지점 등 주변과 구조 또는 색깔, 그 밖의 특징으로 구별될 수 있는 지점이 특징점으로 정의될 수 있다. 또한, 상기 특징점은 추출된 외곽선의 선상에서 정의될 수도 있다.
식별 알고리즘은 미니어처 디오라마(250)의 제1 특징점(Q1)들 간의 배치 간격, 배치 형상, 분포를 분석하여 미니어처 디오라마(250)를 식별할 수 있다.
도 12b를 참고하면, 식별 알고리즘은 제2 특징점(Q2)을 토대로 미니어처 디오라마(250)를 식별할 수 있다. 여기서, 제2 특징점(Q2)이란 하나의 미니어처 디오라마(250)를 구성하는 객체들의 위치를 나타내는 점이다. 구체적인 예로, 도시된 도 12b에는 독도를 나타내는 객체를 중심으로, 4개의 부속 섬과 돛단배를 나타내는 객체들이 배치되어 있다. 이 때 각각의 객체의 위치를 나타내는 점이 제2 특징점(Q2)이다. 도면에서는 제2 특징점(Q2)들이 하나의 점으로 도시되어 있지는 않으나, 각각의 부속 섬, 돛단배 등 객체들의 위치는 임의의 일점들로 정의될 수 있으며, 이들 일점들의 배치 간격, 배치 형상, 분포 형상 등은 미니어처 디오라마(250)를 식별하기 위한 참고자료가 될 수 있다. 가령, 180cm의 사용자가 특정 방향에서 미니어처 디오라마(250)를 촬영하였다고 가정할 때, 사용자 단말 상에서의 화면에는 복수 개의 객체들이 표시될 수 있고, 각 객체들의 위치들이 임의의 일점들로 정의됨으로 인해 제2 특징점들의 패턴(일점들의 배치 간격, 배치 형상, 또는 분포 형상)이 획득되면, 이를 토대로 해당 미니어처 디오라마(250)가 어떤 것인지를 식별할 수 있을 것이다.
[가상 객체]
가상 객체는 사용자가 사용자 단말(350)로 하여금 미니어처 디오라마(250) 또는 해당 미니어처 디오라마(250)의 특정 위치(P)를 촬영하였을 때, 서버(150)의 가상 객체 생성부(180)가 사용자 단말(350) 화면 상에 증강시키는, 다시 말해 화면 상에 생성시키는 객체이다. 가상 객체는 텍스트 데이터, 이미지 데이터, 또는 움직이는 영상 데이터 형태일 수 있으며, 앞서 나열된 데이터의 형태들이 혼용될 수도 있다.
구체적인 예로, 독도 주변 경관을 축소한 미니어처 디오라마(250)를 통하여 사용자에게 증강현실 투어 서비스를 제공한다고 가정하였을 때, 이 때의 가상 객체는 미니어처 디오라마(250)에는 표현되지 못하였던 객체들, 예를 들어 하늘을 날아 다니는 괭이 갈매기, 해수면을 따라 움직이는 배, 섬을 지키는 경비대원, 가동 중인 등대 등이 가상 객체가 될 수 있다.
한편, 가상 객체에는 적어도 제1 가상 객체(70a), 제2 가상 객체(70b) 및 가이드 가상 객체(70c)가 포함될 수 있다. 이러한 제1 가상 객체(70a), 제2 가상 객체(70b) 및 가이드 가상 객체(70c)는 각각 도 13a, 도 13b 및 도 13c를 참고하여 설명하도록 한다.
도 13a는 본 발명의 제2-1 실시 예에 따른 사용자 단말(350) 화면 상에 제1 가상 객체(70a)가 증강된 모습을 나타낸 도면이다.
[제1 가상 객체(70a)]
도 13a를 참고하면, 제1 가상 객체(70a)는 사용자가 사용자 단말(350)에 구비된 카메라(370)를 통하여 미니어처 디오라마(250)를 촬영하였을 때에 즉시 또는 사용자 터치 입력(가상 객체 증강 on/off)에 의하여 증강되는 가상 객체(70a)이다. 이러한 제1 가상 객체(70a)는 사용자가 특정 위치(P)를 촬영하지 않아도 증강되는 미니어처 디오라마(250)와 관련된 제1 가상 객체(70a)이다. 다시 말해, 사용자가 미니어처 디오라마(250)의 전체 또는 일부만 촬영하였을 때 해당 미니어처 디오라마(250)가 정상적으로 식별되면 이에 대한 제1 가상 객체(70a)가 자동적으로, 또는 사용자의 터치 입력에 따라 표시되도록 구현될 수 있다.
제1 가상 객체(70a)는 해당 미니어처 디오라마(250)의 이름, 해당 미니어처 디오라마(250)와 관련된 설명, 미니어처 디오라마(250)를 구성하는 객체에 대한 설명 또는 해당 미니어처 디오라마(250)와 관련된 인물, 사물, 동물 등의 객체가 될 수 있다.
구체적인 예로, 사용자가 사용자 단말(350)을 통하여 독도의 주변 경관이 축소된 미니어처 디오라마(250)를 촬영하면, 미니어처 디오라마(250)를 구성하는 객체를 표시하는 '독도', '바다'의 텍스트 데이터가 사용자 단말(350) 화면 상에 증강되거나, 해당 미니어처 디오라마(250)의 메인 주제(예. 독도 투어) 또는 독도에 대한 설명이 포함된 텍스트 데이터가 제1 가상 객체(70a)로서 증강될 수 있다.
도 13b는 본 발명의 제2-1 실시 예에 따른 사용자 단말(350) 화면 상에 제2 가상 객체(70b)가 증강된 모습을 나타낸 도면이다.
[제2 가상 객체(70b)]
제2 가상 객체(70b)는 사용자가 특정 위치(P)를 촬영해야만 서버(150)의 가상 객체 생성부(180)에 의하여 증강되는 가상 객체이다.
제2 가상 객체(70b)는 특정 위치(P)와 관련된 인물, 동물, 사물 등의 가상 객체이다. 구체적인 예로, 도 13b를 참고하면, 사용자가 사용자 단말(350)을 통하여 독도의 주변 경관이 축소된 미니어처 디오라마(250)를 촬영할 때에, 어느 한 해수면의 특정 위치(P)를 촬영하게 되면, 해당 특정 위치(P) 또는 해당 특정 위치(P)에 근접한 위치에'돛단배' 형상의 제2 가상 객체(70b)가 증강된다.
도 13c는 본 발명의 제2-1 실시 예에 따른 사용자 단말(350) 화면 상에 증강된 가이드 가상 객체(70c)가 음성 데이터를 출력하는 모습을 나타낸 도면이다.
[가이드 가상 객체(70c)]
가이드 가상 객체(70c)는 사용자가 미니어처 디오라마(250)를 촬영하여 증강현실 투어 서비스를 제공받을 때에 사용자 단말 화면 상에 증강되어 미니어처 디오라마(250)의 일부 또는 전체를 설명해주는 가상 객체이다. 참고로, 가이드 가상 객체(70c)는 도 13c에 도시된 바와 같이 사람의 형상을 가지고 있지만, 이에 국한되지 않으며, 해당 미니어처 디오라마(250)와 관련된 동물, 또는 해당 미니어처 디오라마(250)를 상징하는 사물이 될 수도 있다. 또한, 경우에 따라 가이드 가상 객체(70c)는 별도의 보여지는 실체 없이 음성 데이터만 출력하게 구현될 수도 있다.
여기서의 음성 데이터는 미니어처 디오라마(250) 각각에 매칭된 데이터이거나, 해당 미니어처 디오라마(250)의 특정 위치(P) 각각에 매칭된 데이터이다.
참고로, 가이드 가상 객체(70c)는 제1 가상 객체(70a)의 속성을 가질 수도 있고, 제2 가상 객체(70b)의 속성을 가질 수도 있다. 다시 말해, 가이드 가상 객체(70c)는 사용자가 미니어처 디오라마(250)의 전체 또는 일부를 촬영할 때 해당 미니어처 디오라마(250)가 식별되었다면 디폴트(default)로 사용자 단말(350) 화면 상에 증강되어 미니어처 디오라마(250)를 설명하게 구현될 수 있으며, 사용자가 미니어처 디오라마(250)의 특정 위치(P)를 촬영할 때 해당 위치(P)가 촬영 중인 사실이 식별되어 사용자 단말(350) 화면 상에 증강되도록 구현될 수도 있다.
가이드 가상 객체(70c)의 구체적인 예를 살펴보기 위하여, 도 13c에 도시된 미니어처 디오라마(250)의 특정 위치(P)가 미니어처 디오라마(250) 전체 구조 중 괭이 갈매기 모형의 위치이며, 이 특정 위치(P)에 괭이 갈매기에 대한 음성 데이터 또는 텍스트 데이터가 매칭되어 있다고 가정할 때, 사용자가 미니어처 디오라마(250)의 특정 위치(P)인 괭이 갈매기를 촬영하면, 서버(150)의 음성 출력부(190)가 특정 위치(P)에 매칭되어 있던 기 녹음된 음성 데이터를 사용자 단말을 통해 출력하게 하거나, 특정 위치(P)에 매칭되어 있던 텍스트 데이터를 음성 데이터로 변환하여 출력하게 함으로써, 사용자가 가이드 가상 객체(70c)로부터 괭이 갈매기에 대한 설명을 들을 수 있도록 한다.
[제3 가상 객체(미도시)]
제3 가상 객체는 미니어처 디오라마(250) 내에 특정 위치(P)와 사용자 단말(350) 화면 내에 증강된 제1 및 제2 가상객체(70a, 70b) 간의 인터랙션이 가능하도록 구현된 가상 객체(70)이다.
제3 가상 객체는 사용자가 사용자 단말(350) 화면 상에 어느 한 영역을 터치 입력하면, 상기 터치 입력한 영역에 일정한 반경 범위 내에 생성되는 영역 그 자체를 말할 수 있으며, 바람직하게는 제3 가상 객체의 형상은 구 형상(sphere)일 수 있다.
사용자의 터치 입력에 의하여 생성된 영역인 제3 가상 객체는 상기 영역에 접하는 가상 객체(70)들과 특정 위치(P)가 인터랙션할 수 있도록 한다. 구체적인 예로, 본 발명의 서버(150)가 독도 주변 경관을 축소한 미니어처 디오라마(250)를 통하여 사용자에게 증강현실 투어 서비스를 제공하였고 사용자가 특정 위치(P)인 '선착장'과 제1 가상 객체(70a)인 '돛단배'사이의 영역을 터치 입력하였다고 가정하였을 때에, 상기 터치 입력된 영역에 제3 가상 객체가 생성되고, 제3 가상 객체에 '선착장'과 '돛단배'가 접하게 됨으로써, 제3 가상 객체와 접하는 '돛단배'가 '선착장'에 정박하는 인터랙션이 실시될 수 있다.
참고로 제3 가상 객체는 사용자가 시각적으로 식별할 수 없는 투명한 색을 가져 사용자의 몰입감을 저하시키지 않도록 구현될 수 있다.
도 14는 본 발명의 제2-1 실시 예에 따른 서버(150)가 사용자에게 가상 객체와의 인터랙션을 제공하는 모습을 나타낸 도면이다.
[인터랙션]
본 발명의 가상 객체 생성부(180)는 사용자 단말(350) 상에 가상 객체가 증강되도록 할 뿐만 아니라, 사용자가 사용자 단말(350) 화면 상의 어느 한 영역에 터치 입력하면, 터치가 된 영역에 가상 객체가 증강되도록 하여 사용자가 선택적으로 가상 객체를 생성할 수 있게 하는 등의 인터랙션을 제공할 수 있으며, 또한 증강된 가상 객체를 다시 한번 터치하면 가상 객체가 또 다른 반응을 보이도록 할 수 있다. 구체적인 예로, 도 5를 참고하면, 사용자가 사용자 단말(350) 화면 상에 증강된 가상 객체인 괭이 갈매기를 터치하면, 괭이 갈매기가 놀라서 날아가는 인터랙션을 사용자에게 제공할 수 있다.
이상 본 발명의 제2-1 실시 예에 따른 시스템(60)의 구성과 본 발명에서 자주 사용되는 용어들을 간략히 살펴보았다.
다음으로, 본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법에 대하여 자세히 살펴보도록 한다.
도 15는 본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강 현실 투어 서비스 제공방법을 구체적으로 나타낸 도면이다.
도 15를 참고하면, 본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강 현실 투어 서비스 제공방법은 사용자 단말(350)이 미니어처 디오라마(250)를 촬영하면, 서버(150)가 식별 알고리즘을 실행하여 복수의 미니어처 디오라마(250) 중 사용자 단말(350)이 촬영한 미니어처 디오라마(250)가 어떤 미니어처 디오라마(250)인지 식별하는 단계(S1001)에서 시작된다. 여기서의 식별 알고리즘은 사용자 단말(350)의 GPS정보와 미니어처 디오라마(250)의 위치를 비교하여 미니어처 디오라마(250)를 식별하거나, 미니어처 디오라마(250)의 외곽선을 추출하고, 추출된 외곽선들의 위치, 배치 간격, 등을 비교 분석하여 미니어처 디오라마(250)를 식별하거나, 학습된 AI 인공지능 기술을 활용하여 미니어처 디오라마(250)를 식별하거나, 미니어처 디오라마(250)의 제1 특징점(Q1) 및 제2 특징점(Q2)을 토대로 미니어처 디오라마(250)를 식별할 수 있는 알고리즘을 의미할 수 있다.
이후에, 서버(150)는 식별된 미니어처 디오라마(250)에 매칭되는 제1 가상 객체(70a)를 사용자 단말(350) 화면 상에 증강시킬 수 있다 (S1002). 여기서의 제1 가상 객체(70a)는 식별된'미니어처 디오라마(250)'와 관련된 가상 객체일 것이며, 예를 들어 식별된 미니어처 디오라마(250)가 독도의 주변 경관이라면, 이 때의 제1 가상 객체(70a)는 독도에 서식하는 동물, 독도에 근무하는 경비대와 같은 이미지 또는 영상 객체이거나 미니어처 디오라마(250)를 설명하는 텍스트, 독도 내의 지명을 설명하는 텍스트 객체일 것이다.
한편, S1002 단계에는 S1002-1단계 및 S1002-2 단계가 포함될 수 있다.
S1002-1 단계는, 서버(150)가 사용자 단말(350) 화면 상에 식별된 미니어처 디오라마(250)와 매칭되는 가상 가이드 객체(70c)를 증강시키는 단계(S1002-1)이다. 여기서, 가상 가이드 객체(70c)는 사용자가 미니어처 디오라마(250)를 촬영하여 증강현실 투어 서비스를 제공받을 때에 사용자 단말(20) 화면 상에 증강되어 미니어처 디오라마(250)의 일부 또는 전체를 설명해주는 가상의 객체이다.
S1002-2단계는, 사용자 단말(350)이 상기 미니어처 디오라마(250) 내의 특정 위치(P)를 촬영한 경우, 상기 가상 가이드 객체가 상기 특정 위치와 관련된 텍스트 데이터를 음성 데이터로 변환하여 출력하는 단계이다.
S1002 단계 이후에, 사용자 단말(350)이 미니어처 디오라마(250)의 특정 위치(P)를 촬영한 경우, 서버(150)가 식별 알고리즘을 실행하여 특정 위치(P)를 식별한다(S1003). 여기서 말하는 특정 위치(P)는 특정 위치(P)는 미니어처 디오라마(250) 내에서의 어느 한 부분의 특정한 위치를 말한다.
다른 한편, S1003 단계에는 S1003-1 단계가 포함될 수 있다.
S1003-1 단계는, 서버(150)는 사용자가 사용자 단말(350) 화면 상에 출력되는 특정 위치(P)를 터치 입력하면, 특정 위치(P)와 매칭되는 제2 가상 객체(70b)가 증강되는 단계이며, 이 단계(S1003-1)에서, 증강된 제2 가상 객체(70b)는 사용자의 터치 입력에 의하여 인터랙션 될 수 있다.
S1003 단계 이후에는, 서버(150)는 식별된 특정 위치(P)에 매칭되는 제2 가상 객체(70b)를 사용자 단말(350) 화면 상에 증강시킬 수 있다(S1004). 여기서의 제2 가상 객체(70b)는 식별된 '특정 위치(P)'관련된 가상 객체일 것이며, 예를 들어 식별된 특정 위치(P)가 독도의 해수면에서 헤엄치는 '독도 강치'모형의 위치라면, 이 때의 제2 가상 객체(70b)는 '독도 강치'의 주요 먹이인 오징어, 고등어의 이미지 또는 영상 데이터일 수 있다.
이상 본 발명의 제2-1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법에 대하여 구체적으로 살펴보았다.
다음으로, 본 발명의 제2-2 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 시스템에 대하여 살펴보도록 한다.
<제2-2 실시 예>
도 16은 본 발명의 제2-2 실시 예에 따른 시스템(60′)의 전체적인 구성을 모식도로 나타낸 도면이다.
본 발명의 제2-2 실시 예에 따른 시스템(60′)은 서버(150), 가이드 단말(351), 관람객 단말(352) 및 미니어처 디오라마(250)를 포함한다.
본 발명의 제2-2 실시 예에 따른 시스템(60′)이 본 발명의 제2-1 실시 예에 따른 시스템(60)과 상이한 점은 증강현실 투어 서비스를 제공받는 관람객 단말(352) 말고도 서버(150)와 연계되어 관람객에게 미니어처 디오라마(250)를 부가적으로 설명해주는 실제 가이드의 '가이드 단말(351)'이 추가된 것이다. 참고로, 본 발명의 제2-2 실시 예에 따른 관람객 단말(352)은 본 발명의 제2-1 실시 예에 따른 사용자 단말과 동일한 것임을 이해한다.
가이드 단말(351)은 관람객 단말(352)과 마찬가지로 가이드 단말(351) 내에 구비된 카메라를 통하여 미니어처 디오라마(250)를 촬영하면, 서버(150)가 제공하는 증강현실 투어 서비스에 의하여 가이드 단말(351) 화면 상에 제1 내지 제3 가상 객체(70a, 70b, 70c)가 증강되지만, 실제 미니어처 디오라마(250)를 관람하는 관람객에게 부가적인 설명을 제공할 수 있는 부가적인 기능을 포함한다. 즉, 가이드 단말(351)용으로 별도의 어플리케이션이 제공될 수 있으며, 이는 관람객 단말(352)에 설치되는 어플리케이션과 다른 버전의 것일 수 있다.
가이드 단말(351)의 특수한 기능은 ⅰ) 온라인 가이드 커뮤니티를 형성하여 적어도 하나 이상의 관람객 단말(352)을 초대하는 기능이다. 구체적으로, 가이드 단말(351)은 서버(150)에 온라인 가이드 커뮤니티 생성을 요청하고, 온라인 가이드 커뮤니티가 생성되면, 근거리 통신 프로토콜(예. 블루투스)을 기반으로 가이드 단말(351) 기준 근거리 범위 내에 위치한 관람객 단말(352)을 초대할 수 있다.
가이드 단말(351)의 또 다른 특수한 기능은 ⅱ) 가이드가 가이드 단말(351) 화면 상에 어느 한 특정 부분을 터치하면 상기 특정 부분에 가상 객체가 생성되고, 관람객 단말(352) 화면 상에도 상기 특정 부분에 가상 객체가 생성되어 실제 가이드가 보다 풍부한 설명을 할 수 있도록 한다. 반대로, 관람객이 관람객 단말(352) 화면 상에 설명 듣고자 하는 어느 한 특정 부분을 터치하면, 가이드 단말(351) 화면 상에 상기 특정 부분을 지시하는 가상 객체(예. 화살표)가 증강될 수 있다.
도 17은 본 발명의 제2-2 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스의 활용 예를 나타낸 도면이다. 구체적으로, 도 17은 앞서 설명한 가이드 단말(351)의 특수한 기능 ⅱ)의 활용 예를 나타낸 도면이다.
도 17을 참고하면, 가이드는 가이드 단말(351)의 어느 한 특정한 부분을 터치하여, 터치 된 부분에 괭이 갈매기의 가상 객체를 삽입하면, 관람객 단말(352) 화면 상에서의 상기 특정한 부분에 괭이 갈매기의 가상 객체가 증강될 수 있다. 이를 통해 가이드는 관람객에게 보다 풍부하고 창의적인 설명을 제공할 수 있다. 또한 관람객은 관람객 단말(352) 화면 상에 설명 듣고자 하는 어느 한 특정 부분을 터치하면, 가이드 단말(351) 화면 상에 상기 특정 부분을 지시하는 질문 포인트가 화살표와 함께 디스플레이 될 수 있다. 이를 통해 관람객은 증강현실 기술과 미니어처 디오라마(250)가 접목된 새로운 경험을 할 수 있으며, 이와 동시에 숙련된 실제 가이드의 설명을 들을 수 있는 효과가 있다.
이상 본 발명의 제2-2 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법에 대하여 구체적으로 살펴보았다.
다음으로, 본 발명의 제2-3 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 제공방법에 대하여 살펴보도록 한다.
<제2-3 실시 예>
본 발명의 제2-3 실시 예에 따른 이용한 증강현실 투어 서비스 제공 방법은 사용자에게 미니어처 디오라마(250)의 전체 구성을 보다 세밀하고 정밀하게 설명해주기 위한 제공방법이다. 구체적으로, 미니어처 디오라마(250)는 제작될 때에 제작 대상물을 일정한 비율로 축소하여 모형으로 제작한다. 이 때, '메인이 되는 제작 대상물(예. 독도)'과 '부속이 되는 제작 대상물(예. 독도의 부속 도서)'의 실제 크기 격차가 크면, 축소한 모형으로 제작되었을 때, '부속이 되는 제작 대상물'은 매우 작은 크기로 제작되는 경우가 발생하며, 이 경우, 사용자는 '부속이 되는 제작 대상물'을 시각적으로 확인하기 어렵다. 이러한 불편함을 해결하고자 본 발명의 제2-3 실시 예에 따른 이용한 증강현실 투어 서비스 제공 방법은 '부속이 되는 제작 대상물'의 위치를 앞서 설명한 '특정 위치(P)'로 설정하고, '특정 위치(P)'에 '부속이 되는 제작 대상물'을 실제로 촬영하거나 실제와 비슷하게 제작된 2차원 이미지 데이터 또는 3차원 이미지 데이터를 매칭시킨다. 이후에, 사용자가 사용자 단말(350)을 통하여 '부속이 되는 제작 대상물'의 '특정 위치(P)'를 촬영하면, 사용자 단말(350)에 '특정 위치(P)'와 매칭된 '부속이 되는 제작 대상물'의 이미지 데이터가 가상 객체로서 증강되며, 사용자가 임의의 위치에서 상기 증강된 가상 객체를 촬영하면, 촬영하는 방향에 따라 상기 가상 객체의 위치 및 방향이 결정되어 디스플레이 될 수 있다. 즉, 미니어처 디오라마(250)의 특성 상 세밀한 제작이 어려운 작은 대상물들의 경우 자칫 사용자들이 촬영을 하더라도 아무런 정보가 표시되지 않을 수 있으나, 본 발명에서는 미니어처 디오라마(250) 상에 존재하는 한 사용자가 어떠한 대상물을 촬영하더라도 해당 대상물에 대한 설명 또는 증강현실이 제공될 수 있도록 구현될 수 있다. 특히, 작은 대상물을 촬영하는 각도에 따라 실시간으로 해당 대상물과 매칭된 3차원 모델링 또는 실제 해당 대상물을 해당 각도에서 촬영한 사진이 표시되도록 함으로써 사용자가 현장감을 느낄 수 있게 할 수 있다.
본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 구별되어 이해되어서는 안 될 것이다.

Claims (10)

  1. 가상 콘텐츠 시스템이 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스를 제공하는 방법에 있어서,
    (a)특정 현실세계를 실시간으로 모니터링하는 적어도 하나 이상의 정보 획득 장치로부터 실시간 현실 정보를 수신하는 단계;
    (b)상기 실시간 현실 정보를 기반으로 객체를 식별하고 인식하는 단계;
    (c)상기 실시간 현실 정보를 기반으로 상기 인식된 객체에 대한 가상 콘텐츠를 생성하는 단계; 및
    (d)사용자가 사용자 단말에 구비된 카메라를 통하여 상기 특정 현실세계를 축소하여 제작한 미니어처 디오라마를 촬영할 시, 상기 사용자 단말 화면 상에 상기 가상 콘텐츠가 증강되도록 하는 단계;
    를 포함하는,
    미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법.
  2. 제1 항에 있어서,
    상기 (c) 단계는,
    (c-1)상기 (b) 단계에서 인식된 객체에 특정 현실세계 내에서의 제1 좌표를 맵핑하는 단계;
    를 포함하는,
    미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 (d) 단계는,
    (d-1)상기 객체에 맵핑된 제1좌표를 상기 미니어처 디오라마와 상기 특정 현실세계간의 축척비율을 기반으로 연산하여 제2 좌표를 생성하는 단계; 및
    (d-2)상기 가상 콘텐츠가 상기 사용자 단말 화면 상에 상기 가상 콘텐츠가 증강될 시, 상기 제2 좌표에 대응되는 위치에 증강되도록 하는 단계;
    를 포함하는,
    미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법.
  4. 제1항에 있어서,
    상기 (d) 단계 이후에,
    상기 사용자가 임의의 위치에서 상기 사용자 단말을 통하여 상기 미니어처 디오라마를 촬영할 시, 촬영하는 방향에 따라 상기 가상 콘텐츠의 위치 및 방향이 결정되어 디스플레이되는 것을 특징으로 하는,
    미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법.
  5. 제1항에 있어서,
    상기 (d) 단계 이후에,
    상기 사용자가 임의의 위치에서 상기 사용자 단말을 통하여 상기 미니어처 디오라마를 촬영할 시, 상기 사용자 단말과 상기 미니어처 디오라마간의 거리에 따라 상기 가상 콘텐츠의 크기가 결정되어 디스플레이되는 것을 특징으로 하는,
    미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법.
  6. 증강현실 투어 서버가 미니어처 디오라마를 이용한 증강현실 투어 서비스를 제공하는 방법에 있어서,
    (a) 사용자 단말에 의해 미니어처 디오라마가 촬영되면, 식별 알고리즘을 이용하여 상기 미니어처 디오라마를 식별하는 단계;
    (b) 상기 사용자 단말 화면 상에 상기 미니어처 디오라마와 매칭되는 제1 가상 객체가 증강되도록 하는 단계;
    (c) 상기 사용자 단말에 의해 상기 미니어처 디오라마 내의 특정 위치가 촬영되면, 상기 식별 알고리즘을 이용하여 상기 특정 위치를 식별하는 단계; 및
    (d) 상기 사용자 단말 화면 상에 상기 특정 위치에 매칭되는 제2 가상 객체가 증강되도록 하는 단계;
    를 포함하고,
    상기 제1 가상 객체는,
    상기 미니어처 디오라마와 관련된 설명텍스트, 인물, 사물, 또는 동물 중 적어도 하나 이상이 포함된 객체이며,
    상기 제2 가상 객체는,
    상기 특정 위치와 관련된 설명텍스트, 인물, 사물, 또는 동물 중 적어도 하나 이상이 포함된 객체인 것을 특징으로 하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
  7. 제6항에 있어서,
    상기 식별 알고리즘은,
    상기 미니어처 디오라마의 형상, 구조, 특징점, 외곽선, 상기 사용자 단말의 GPS 위치, 상기 사용자 단말이 촬영하는 방향 중 적어도 하나 이상을 기초로, 상기 미니어처 디오라마 또는 상기 미니어처 디오라마 내의 특정 위치를 식별하는 알고리즘인 것을 특징으로 하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
  8. 제6항에 있어서,
    상기 (b) 단계는,
    (b-1)상기 사용자 단말 화면 상에 상기 식별된 미니어처 디오라마와 매칭되는 가상 가이드 객체가 증강되도록 하는 단계; 및
    (b-2)상기 사용자 단말이 상기 미니어처 디오라마 내의 특정 위치를 촬영한 경우, 상기 가상 가이드 객체가 상기 특정 위치와 관련된 음성 데이터를 출력하게 하는 단계;
    를 포함하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
  9. 제8항에 있어서,
    상기 (b-2) 단계에서 출력되는 음성 데이터는,
    상기 사용자 단말이 기 설정한 언어 정보를 토대로 출력되는 것을 특징으로 하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
  10. 제6항에 있어서,
    상기 (c)단계 이후에,
    (c-1)사용자가 상기 사용자 단말 화면 상에 특정 위치를 터치 입력하면, 상기 특정 위치와 매칭되는 제2 가상 객체가 증강되는 단계;
    를 포함하고,
    상기 (c-1) 단계에서의 상기 제2 가상 객체는 사용자의 터치 입력에 의하여 인터랙션되는 것을 특징으로 하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
PCT/KR2023/020606 2022-12-14 2023-12-14 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법 및 이를 위한 시스템 WO2024128819A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0174709 2022-12-14
KR1020220174709A KR20240091611A (ko) 2022-12-14 2022-12-14 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법 및 이를 위한 시스템
KR1020220174712A KR20240091613A (ko) 2022-12-14 2022-12-14 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법 및 이를 위한 시스템
KR10-2022-0174712 2022-12-14

Publications (1)

Publication Number Publication Date
WO2024128819A1 true WO2024128819A1 (ko) 2024-06-20

Family

ID=91486058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/020606 WO2024128819A1 (ko) 2022-12-14 2023-12-14 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법 및 이를 위한 시스템

Country Status (1)

Country Link
WO (1) WO2024128819A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR20190092806A (ko) * 2018-01-31 2019-08-08 호남대학교 산학협력단 뎁스 카메라를 이용한 전시 시스템
KR20220001375A (ko) * 2020-06-29 2022-01-05 주식회사 코아소프트 증강현실을 이용한 부동산 분양 홍보 장치
KR20220072597A (ko) * 2020-11-25 2022-06-02 유엔젤주식회사 IoT 플랫폼을 이용한 MES 부하 경감 지원 시스템 및 방법
KR20220087265A (ko) * 2020-12-17 2022-06-24 주식회사 아이오테드 인공지능 기반 IoT 서비스를 이용한 관광 안내 시스템
KR102425846B1 (ko) * 2021-01-25 2022-07-27 목포대학교산학협력단 시나리오 기반으로 동작하는 증강 현실 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR20190092806A (ko) * 2018-01-31 2019-08-08 호남대학교 산학협력단 뎁스 카메라를 이용한 전시 시스템
KR20220001375A (ko) * 2020-06-29 2022-01-05 주식회사 코아소프트 증강현실을 이용한 부동산 분양 홍보 장치
KR20220072597A (ko) * 2020-11-25 2022-06-02 유엔젤주식회사 IoT 플랫폼을 이용한 MES 부하 경감 지원 시스템 및 방법
KR20220087265A (ko) * 2020-12-17 2022-06-24 주식회사 아이오테드 인공지능 기반 IoT 서비스를 이용한 관광 안내 시스템
KR102425846B1 (ko) * 2021-01-25 2022-07-27 목포대학교산학협력단 시나리오 기반으로 동작하는 증강 현실 시스템 및 방법

Similar Documents

Publication Publication Date Title
WO2020141729A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2014014238A1 (en) System and method for providing image
WO2016190458A1 (ko) Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
EP2943860A1 (en) Method and apparatus for preventing a collision between subjects
EP3248383A1 (en) Apparatus and method for editing content
WO2019045183A1 (ko) 음성 인식 영상 피드백 제공 시스템 및 방법
WO2021060680A1 (en) Methods and systems for recording mixed audio signal and reproducing directional audio
WO2017007166A1 (ko) 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2021029497A1 (en) Immersive display system and method thereof
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2020241920A1 (ko) 장치 정보에 기반하여, 다른 장치를 제어할 수 있는 인공 지능 장치
WO2020241951A1 (ko) 인공지능 학습방법 및 이를 이용하는 로봇의 동작방법
WO2021010784A2 (ko) 객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법
EP3931676A1 (en) Head mounted display device and operating method thereof
WO2020159077A1 (ko) 동공 중심간 거리를 측정하는 장치 및 방법
WO2016021907A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2024128819A1 (ko) 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법 및 이를 위한 시스템
WO2022164094A1 (ko) Hmd(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 hmd
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2022080549A1 (ko) 이중 라이다 센서 구조의 모션 트래킹 장치
WO2019039632A1 (ko) 사용자 단말들 간을 그룹으로서 연결하고, 그룹과 연관된 콘텐츠를 포함하는 서비스를 제공하는 방법 및 장치
WO2020189923A1 (ko) 광학 장치 및 이를 구비하는 카메라 장치와 전자기기
WO2024117473A1 (ko) 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템
WO2021033790A1 (ko) 전자 기기
WO2024063302A1 (ko) 개체에 다른 개체와의 인터랙션을 적용하는 가상 공간을 제공하기 위한 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23904018

Country of ref document: EP

Kind code of ref document: A1