WO2018088700A1 - Mr 콘텐츠 제작 장치 및 그 방법 - Google Patents

Mr 콘텐츠 제작 장치 및 그 방법 Download PDF

Info

Publication number
WO2018088700A1
WO2018088700A1 PCT/KR2017/011156 KR2017011156W WO2018088700A1 WO 2018088700 A1 WO2018088700 A1 WO 2018088700A1 KR 2017011156 W KR2017011156 W KR 2017011156W WO 2018088700 A1 WO2018088700 A1 WO 2018088700A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
marker
object marker
event
Prior art date
Application number
PCT/KR2017/011156
Other languages
English (en)
French (fr)
Inventor
김영덕
Original Assignee
주식회사 팝스라인
김영덕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팝스라인, 김영덕 filed Critical 주식회사 팝스라인
Publication of WO2018088700A1 publication Critical patent/WO2018088700A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Definitions

  • the present invention relates to an apparatus and method for producing MR content, and in particular, to an apparatus and method for producing MR content by adding one or more markers to the panorama image information based on the panorama image information photographed through a camera. It is about.
  • VRML Virtual Reality Modeling
  • VRML97 Java-based Java3D
  • Cult3D Cult3D
  • Microsoft MetaStream Microsoft MetaStream
  • Apple's QuickTimeVR The technologies used for virtual reality on the Web include VRML (Virtual Reality Modeling (3D)), VRML97, Java-based Java3D, Cult3D, Microsoft MetaStream, and Apple's QuickTimeVR.
  • Another object of the present invention is to provide an MR content producing apparatus and method for adding a promotion marker, a creator marker, and the like, when adding one or more markers to panorama image information.
  • Another object of the present invention is based on one or more event information collected by the server on the screen displayed through the virtual reality or augmented reality using the MR content generated by the MR content production device and the position information of the avatar on the screen
  • An apparatus and method for producing MR content for providing one or more path information corresponding to event information in progress in an adjacent area where the avatar is located are provided.
  • Another object of the present invention is one or more corresponding to the event information in progress in the adjacent area of the corresponding location displayed on one side in the screen displayed through the virtual reality or augmented reality using the MR content generated by the MR content production device or In the case where any one of the plurality of route information is selected, the remaining distance information from the location to the destination based on the selected route information, and the MR content for automatically moving from the location to the destination are produced.
  • An apparatus and a method thereof are provided.
  • An MR content production method includes the steps of: displaying, by a display unit, panoramic image information on an image display area of the display unit; When the first object marker selected from the plurality of object markers displayed in the object marker display area of the display unit is dropped to the first area on the image display area by a drag-and-drop function, the control unit may control the first object marker in the image display area.
  • the panoramic image information may include an image / video, a code related to an object included in the image / video, unique identification information of a code, a type of code, and location information of a code within the image / video. And at least one of category information, a camera number, a panoramic image file number, a shooting date and time information, run time information, and image type information related to the image / video.
  • the object marker may include at least one of a shop camera object marker, a product object marker, a company object marker, a promotion object marker, and a creator object marker.
  • the attribute information on the first object marker may include an image, a product name, a product unique code, price information, a video link related to the product, a detailed description, and a catalog when the object marker is a product. And at least one of a detailed page address link stored externally, and when the object marker is a shop camera, a link of at least one camera among one or more cameras related to the panoramic image information, wherein the object marker is a business. And at least one of a business name, an image of the business, a business logo, a business unique code, a video link to the business, a business description, a catalog, and an externally stored business detail page address link, wherein the object marker is a promotion.
  • Promo name e.g., Promo name, image / video for the promo, promo unique code, promo description
  • the marker object may include a creator one time, at least one of a creator name, image / video, creator and creator describes specific code.
  • the setting of the attribute information on the first object marker may include: when the first object marker is disposed while the panoramic image information is a video, the first object marker is displayed in the video.
  • the first object marker may be additionally applied to the previous frame and the subsequent frame as many as the predetermined number of frames from the arranged position.
  • a preset preview menu displayed on the display unit when a preset preview menu displayed on the display unit is selected, a result screen of one or more object markers arranged in the panoramic image information of the image display area is popped up by the controller.
  • the method may further include displaying on the display unit.
  • the generating of the MR content may include: for all object markers included in the panoramic image information of the image display area when a preset storage menu displayed on the display unit is selected; Checking whether the attribute information setting is completed; And generating MR content including one or more object markers disposed on the panoramic image information when the property information setting of the object marker is completed for all the object markers included in the panoramic image information. Process may be included.
  • the MR content may include an image / video, a code related to an object included in the image / video, unique identification information of a code, a kind of code, location information of a code in the image / video, Category information related to the image / video, camera number, panoramic image file number, shooting date and time information, run time information, image type information, object marker disposed in the image / video, object marker in the image / video It may include at least one of position information of the and property information of the object marker.
  • the event information may include at least one of an event period set in a specific store, an event time zone, an event product or service type, and a discount rate.
  • the route information may include at least one of lane information, road information, driving speed limit information, turn-by-turn information, traffic safety information, traffic guidance information, vehicle information, path finding information, and passage information in a building.
  • Information may include
  • the displaying of the event name and the generated at least one route information by overlapping the screen on the screen may include a turn-by-turn arrow or line form for going to a destination corresponding to the event information.
  • the route information may be displayed as.
  • the overlapping of the event name and the generated at least one path information on the screen may include displaying the event name and the event time zone in the event information within a preset threshold.
  • the thickness of the arrow or line included in the route information may be displayed to be thicker than the thickness of the arrow or line included in the route information when the event period and the event time zone in the event information remain above the threshold.
  • displaying a continuous screen that is changed according to performing the automatic moving function in the first screen may include: a remaining distance to a destination corresponding to the selected route information on one side of the continuous screen; At least one of average travel time information or average travel time information to a destination and event information corresponding to the selected route information may be displayed.
  • the method may further include displaying a screen related to a destination corresponding to the selected route information when the pressure intensity detected according to the selection of the route information is greater than or equal to a preset reference value. have.
  • MR content production apparatus includes a display unit for displaying the panoramic image information in the image display area; And when a first object marker selected from a plurality of object markers displayed in the object marker display area of the display unit is dropped onto the first area on the image display area by a drag and drop function, the first object marker on the first area within the image display area. Place the selected first object marker, set attribute information for the selected first object marker based on a user input when the first object marker disposed in the image display area is selected, and display the display unit in advance.
  • the controller may include a controller configured to generate MR content including one or more object markers disposed on the panoramic image information of the image display area when the set storage menu is selected.
  • the controller may determine a predetermined number of frames from the position where the first object marker is arranged in the video.
  • the first object marker may be additionally applied to the previous frame and the subsequent frame.
  • the controller displays a result screen of one or more object markers arranged in the panoramic image information of the image display area in a pop-up form. It can be displayed on the display unit.
  • the preset storage menu displayed on the display unit when the preset storage menu displayed on the display unit is selected, setting of the attribute information of the object marker is completed for all object markers included in the panoramic image information of the image display area.
  • the communication unit may receive at least one event information related to a current location of a terminal or an avatar.
  • the display unit may include an aerial view, a street view, a road view, and a foreground view of the MR content type.
  • a screen of any one type wherein the controller corresponds to the at least one event information based on the received at least one event information and the current position of the terminal or the avatar on the screen displayed on the display unit.
  • MR contents are created by adding one or more markers to the panoramic image information based on the panoramic image information captured by the camera, thereby providing various additional information in relation to an object included in the panoramic image information. It has the effect of causing interest and improving convenience.
  • the present invention adds one or more markers to the panorama image information, by adding a promotional marker, creator markers, etc. to create MR content, the MR content to which the marker is added is produced by simple operation, and associated with the marker. By providing an image for the creator or the shopping host together, it is possible to increase the reliability of the MR information or additional information related to the marker.
  • the present invention is the avatar based on the at least one event information collected by the server on the screen displayed through the virtual reality or augmented reality using the MR content generated by the MR content production device and the position information of the avatar on the screen Providing one or more or a plurality of path information corresponding to event information in progress in an adjacent area where is located, thereby providing path information related to an ongoing event corresponding to a position on a screen displayed through virtual reality or augmented reality. Accordingly, there is an effect that can maximize the marketing effect and induce the user's attention to the event.
  • the present invention is one or more or a plurality of event information corresponding to the ongoing information in the adjacent area of the location displayed on one side in the screen displayed through the virtual reality or augmented reality using the MR content generated by the MR content production device
  • the user of the terminal may perform the remaining distance information from the corresponding position to the destination and the automatic movement from the corresponding position to the destination based on the selected route information. It is possible to check the route from the current location where the event is located to the destination where the event is in progress, thereby improving user convenience.
  • FIG. 1 is a block diagram showing the configuration of an apparatus for producing MR contents according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of producing MR content according to a first embodiment of the present invention.
  • 3 to 11 illustrate screens of an MR content producing apparatus according to a first embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method of producing MR content according to a second embodiment of the present invention.
  • FIGS. 13 to 21 are diagrams illustrating screens of an MR content producing apparatus according to a second embodiment of the present invention.
  • FIG. 22 is a flowchart illustrating a method of producing MR content according to a third embodiment of the present invention.
  • 23 to 30 are diagrams illustrating screens of an MR content producing device according to a third embodiment of the present invention.
  • FIG. 31 is a block diagram illustrating a configuration of an apparatus for providing route information according to an event using MR content according to another embodiment of the present invention.
  • FIG. 32 is a block diagram illustrating a configuration of a terminal or an MR content producing device according to another embodiment of the present invention.
  • FIG. 33 is a flowchart illustrating a path information providing method according to an event using MR content according to a fourth embodiment of the present invention.
  • 34 to 39 illustrate screens of a terminal according to a fourth embodiment of the present invention.
  • first and second used in the present invention may be used to describe components, but the components should not be limited by the terms. The terms are used only to distinguish one component from another.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a block diagram showing the configuration of an MR content producing apparatus 100 according to an embodiment of the present invention.
  • the MR content producing apparatus 100 includes a communication unit 110, a storage unit 120, a display unit 130, a voice output unit 140, and a controller 150. Not all components of the MR content production apparatus 100 illustrated in FIG. 1 are essential components, and the MR content production apparatus 100 may be implemented by more components than those illustrated in FIG. 1. MR content production apparatus 100 may also be implemented by fewer components.
  • the MR content producing apparatus 100 includes a smart phone, a portable terminal, a mobile terminal, a personal digital assistant (PDA), a portable multimedia player (PMP) terminal, and telematics.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • Telematics navigation terminals, personal computers, notebook computers, slate PCs, tablet PCs, ultrabooks, wearable devices, e.g. , Watch type terminal (Smartwatch), glass type terminal (Smart Glass), HMD (Head Mounted Display), etc., Wibro terminal, IPTV (Internet Protocol Television) terminal, smart TV, digital broadcasting terminal, AVN (Audio) It can be applied to various terminals such as a video navigation terminal, an audio / video system, a flexible terminal, and the like.
  • the communication unit 110 communicates with any component inside or any at least one terminal outside via a wired / wireless communication network.
  • the external arbitrary terminal It may include a server (not shown), another terminal (not shown), and the like.
  • the wireless Internet technologies include a wireless LAN (WLAN), a digital living network alliance (DLNA), a wireless broadband (Wibro), a WiMAX (World Interoperability for Microwave Access: Wimax), and an HSDPA (High Speed Downlink Packet Access). ), HSUPA (High Speed Uplink Packet Access), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service (WMBS), etc.
  • WLAN wireless LAN
  • DLNA digital living network alliance
  • Wibro wireless broadband
  • WiMAX Worldwide Interoperability for Microwave Access: Wimax
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • the communication unit 110 transmits and receives data according to at least one wireless Internet technology in a range including Internet technologies not listed above.
  • near field communication technologies include Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Near Field Communication (NFC).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field Communication
  • Ultrasound Communication USC
  • VLC Visible Light Communication
  • Wi-Fi Direct Wi-Fi Direct
  • the wired communication technology may include power line communication (PLC), USB communication, Ethernet, serial communication, serial communication, optical / coaxial cable, and the like.
  • the communication unit 110 may mutually transmit information with an arbitrary terminal through a universal serial bus (USB).
  • USB universal serial bus
  • the communication unit 110 may be a technical standard or a communication method for mobile communication (for example, Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (EV), EV).
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • EV Code Division Multi Access 2000
  • EV Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (DO), Wideband CDMA (WCDMA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), LTE-A (Long Term Evolution-Advanced) and the like to transmit and receive a radio signal with the base station, the server, the other terminal and the like on a mobile communication network.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • EV Code Division Multi Access 2000
  • EV Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (DO)
  • WCDMA Wideband CDMA
  • HSDPA High Speed Downlink
  • the communication unit 110 receives one or more panorama image information provided from the server under the control of the controller 150.
  • the panoramic image information includes an image, a video, and the like.
  • the panorama image information may include, in addition to the image / video, a code related to an object included in the image / video, a unique identification information of a code, a kind of a code, position information of a code in an image / video, a kind of a code.
  • the corresponding temporary marker (or preliminary marker), the location information of the temporary marker in the image / movie, the category information related to the image / video (e.g., major, medium, and minor classification information), camera number, panoramic image file number , Shooting date and time information, run time information, image type information (including VOD, live broadcast, unset, etc.), and the like.
  • the storage unit 120 stores various user interfaces (UIs), graphical user interfaces (GUIs), and the like.
  • UIs user interfaces
  • GUIs graphical user interfaces
  • the storage unit 120 stores data and programs required for the MR content production apparatus 100 to operate.
  • the storage unit 120 stores a plurality of application programs or applications that are driven by the MR content producing apparatus 100, data for operating the MR content producing apparatus 100, and instructions. Can be stored. At least some of these applications may be downloaded from an external server via wireless communication. In addition, at least some of these applications may be placed on the MR content production device 100 from the time of shipment for basic functions (eg, call forwarding, outgoing function, message reception, outgoing function) of the MR content production device 100. May exist.
  • the application program is stored in the storage unit 120, is installed in the MR content producing apparatus 100, the controller 150 is driven to perform the operation (or function) of the MR content producing apparatus 100. Can be.
  • the storage unit 120 may include a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, SD or XD). Memory, etc.), magnetic memory, magnetic disks, optical disks, random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), It may include at least one storage medium of the PROM (Programmable Read-Only Memory).
  • the MR content production apparatus 100 may operate a web storage that performs a storage function of the storage 120 on the Internet, or may operate in connection with the web storage.
  • the storage unit 120 stores one or more panorama image information received through the communication unit 110.
  • the storage unit 120 displays (or outputs) the panoramic image information provided from the server under the control of the controller 150 or edits the panoramic image information to provide MR content (Mixed Reality Contents) (or Store (or install) a specific app (or application) for generating an MR image).
  • MR content Mated Reality Contents
  • Store or install
  • a specific app or application
  • the display unit 130 may display various contents such as various menu screens using a user interface and / or a graphic user interface stored in the storage unit 120 under the control of the controller 150.
  • the content displayed on the display unit 130 includes various text or image data (including various information data) and a menu screen including data such as icons, list menus, combo boxes, and the like.
  • the display unit 130 may be a touch screen.
  • the display unit 130 may include a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display.
  • the display device may include at least one of a flexible display, a 3D display, an e-ink display, and a light emitting diode (LED).
  • the display unit 130 displays one or more panorama image information received through the communication unit 110 through a specific app installed in the MR content producing apparatus 100 under the control of the controller 150.
  • the voice output unit 140 outputs voice information included in a signal processed by a predetermined signal by the controller 150.
  • the voice output unit 140 may include a receiver, a speaker, a buzzer, and the like.
  • the voice output unit 140 outputs the guide voice generated by the controller 150.
  • the audio output unit 140 outputs audio information corresponding to one or more panorama image information received through the communication unit 110 by the controller 150.
  • the controller 150 executes an overall control function of the MR content producing apparatus 100.
  • the controller 150 executes an overall control function of the MR content producing apparatus 100 using the program and data stored in the storage 120.
  • the controller 150 may include a RAM, a ROM, a CPU, a GPU, a bus, and the RAM, a ROM, a CPU, a GPU, and the like may be connected to each other through a bus.
  • the CPU may access the storage unit 120 to perform booting using the O / S stored in the storage unit 120, and various operations using various programs, contents, data, etc. stored in the storage unit 120. Can be performed.
  • controller 150 receives one or more panorama image information provided from the server through the communication unit 110.
  • the panorama image information is provided from the server or another terminal.
  • the controller 150 may generate the panorama image information.
  • the controller 150 recognizes a code (or sticker) included in an image captured by a 360 degree camera (not shown) provided in a specific store.
  • the code (or sticker) relates to a product in a corresponding store, a point of purchase (POP), a leaflet, a banner advertisement, a billboard advertisement, a poster advertisement, a billboard, a price tag, and the like. It includes information (or category information) and can be generated by a combination of numbers, letters, symbols, figures, and the like.
  • the 360-degree camera can take a panorama image of a two-dimensional or three-dimensional form.
  • the controller 150 may also include a temporary marker corresponding to the recognized code type, position information of the temporary marker in the image, and the image (eg, an image or a video) in relation to the recognized code.
  • Related category information e.g., major classification, middle classification, small classification information, etc.
  • camera number of the 360 degree camera e.g., camera number of the 360 degree camera
  • file number of the image e.g., file number of the image (or panoramic image)
  • shooting date and time information e.g. including VOD, live, unset, etc.
  • the controller 150 is a temporary marker corresponding to the recognized code, the unique identification information of the recognized code, the type of the recognized code, the location information of the code in the image, the type of the recognized code.
  • Location information of the temporary marker in the image category information (e.g., major classification, middle classification, small classification information, etc.) related to the image (including images, videos, etc.), camera number, panoramic image file number, Create panorama image information by linking information such as shooting date and time information, run time information, image type information (including VOD, live, unset, etc.) with the corresponding image (including images, videos, etc.) do.
  • the controller 150 stores the panorama image information generated based on the image photographed by the specific 360 degree camera provided in the specific store in the storage unit 120.
  • the controller 150 transmits panoramic image information generated based on an image photographed by a specific 360 degree camera provided in the specific store, through the communication unit 110 to the server, the other terminal, and the like.
  • the panoramic image information may be generated by the server and the other terminal, and then provided to the MR content producing apparatus 100 or generated by the MR content producing apparatus 100 itself.
  • the controller 150 determines whether an app for displaying the panoramic image information is installed in the MR content producing apparatus 100. Check it.
  • the controller 150 produces the MR content by interworking with the server. It installs in the apparatus 100.
  • the controller 150 displays the app execution result screen on the display unit 130.
  • the app execution result screen may include exhibition management items (or menus / buttons) for exhibition management (including, for example, creation, deletion, modification, and addition of exhibitions), MR content management items for editing and generating MR content, MR content distribution items and the like for sharing MR content.
  • the app execution result screen may further include a member information item for receiving or transmitting member information, a setting item for setting an app function, a my page item for managing MR content editing history information, and the like.
  • the MR content producing device 100 communicates with a server related to the app in a background state.
  • the controller 150 generates a panoramic image information request signal for requesting panoramic image information related to a specific store, a specific exhibition, and the like.
  • the controller 150 transmits the generated panoramic image information request signal, identification information of the MR content producing apparatus 100, and the like to the server through the communication unit 110.
  • the identification information of the MR content producing apparatus 100 includes a mobile directory number (MDN), a mobile IP, a mobile MAC, a subscriber identity module (SIM) card unique information, a serial number, and the like.
  • the controller 150 receives specific panoramic image information related to a specific store, a specific exhibition, etc. transmitted from the server in response to the transmitted panoramic image information request signal through the communication unit 110.
  • controller 150 stores the received specific panoramic image information in the storage 120.
  • the controller 150 When a preset menu (or button) in the app execution result screen displayed on the display unit 130 is selected, the controller 150 is stored in the storage unit 120 in the list / list display area of the display unit 130. Displays a list (or list) of one or more panorama image information.
  • the panoramic image information includes an image, a video, and the like.
  • the panorama image information may include, in addition to the image / video, a code related to an object included in the image / video, a unique identification information of a code, a kind of a code, position information of a code in an image / video, a kind of a code.
  • the corresponding temporary marker (or preliminary marker), the location information of the temporary marker in the image / movie, the category information related to the image / video (e.g., major, medium, and minor classification information), camera number, panoramic image file number , Shooting date and time information, run time information, image type information (including VOD, live broadcast, unset, etc.), and the like.
  • the screen according to the preset menu selection may include a first area (or an image display area) for displaying a panoramic image, a second area (or category area) for displaying a category classification, and a third for displaying an object marker.
  • the first area is an area for displaying an image, a video, or the like corresponding to the panoramic image.
  • the video is displayed on one side of the first region, and a menu for playing, pausing, double speed forward / reverse playback, etc. of the video on the other side of the first region; , A menu indicating the highlight playback point, a menu indicating the total run time of the video and the time of the playback point, and the like.
  • the second area is an area for displaying one or more exhibition items set (or registered) through the exhibition management menu in the form of a list box, a combo box, or the like.
  • the category region may be divided into a plurality of category regions by a large classification, a middle classification, a small classification, and the like.
  • the controller 150 displays a list including panorama image information corresponding to the selected category in the fifth area.
  • the third area is an area for displaying a predetermined object marker (eg, a shop camera (or camera), a product, a company, event information, etc.) that can be added to the panorama image information. to be.
  • a predetermined object marker eg, a shop camera (or camera), a product, a company, event information, etc.
  • the controller 150 selects the selected specific object marker on one side of the third region. Further displays a screen for setting attribute information for.
  • the fourth area is an area for displaying menu items such as a preview function, a delete function, a save function, and a cancel function with respect to the panorama image information being edited.
  • the fifth area is an area for displaying a list (or list) of one or more panorama image information stored in the storage unit 120.
  • the controller 150 displays the selected panorama image information in the first area (or Video display area).
  • the panorama image information displayed on the first area of the display unit 130 may be in a state in which at least one temporary marker related to the code is included, in addition to an image or video including a code photographed through a camera (not shown). have.
  • the temporary marker is for displaying the code type in relation to the code, and is used for displaying a shop camera, a product, a company, event information, and the like.
  • the temporary marker may indicate a shop camera temporary marker (for example, denoted as 'CM') for representing a shop camera, a product temporary marker (for example, denoted as 'PD') for representing a product, and a company.
  • Vendor temporary marker e.g., labeled "CO”
  • event information temporary marker e.g., labeled "EV”
  • promotion information temporary marker e.g., labeled "EV”
  • PR promotional information temporary marker
  • the temporary marker may be dotted with the border of the temporary marker, set the background color to be transparent, or set to a specific color until it is replaced (or replaced / changed) with the actual object marker to distinguish it from the object marker. Display as status.
  • controller 150 may display a panning button for panning up, down, left, and right of the 360 degree panoramic image on the other side of the panoramic image information displayed on the display unit 130.
  • the controller 150 may correspond to the one or more panorama image information displayed on the second area (or category area) in the screen displayed on the display unit 130 according to a user selection (or user touch / user input).
  • the user may select information on a category and display any panorama image information selected from at least one panorama image information corresponding to the selected category information on the first area (or image display area) of the display unit 130. have.
  • the controller 150 may select any one or more object markers displayed in the third area (or object marker display area) according to a user input (or control / operation command / user touch / user selection related to MR content production). After one object marker is selected, when a specific region (or a specific position) on the first region (or the image display region) is selected, a code type corresponding to the selected specific region (or a specific position) and the selected object marker Compare the types.
  • the code type corresponding to the specific area (or a specific location) (or the type of temporary marker corresponding to the code type) may be any one of a shop camera, a product, a company, event information, and no related data.
  • the type of the object marker may be any one of a shop camera, a product, a company, and event information.
  • the controller 150 checks (or determines) whether a preset code type (or a type of a temporary marker corresponding to the code type) and a type of the selected object marker match for the specific region.
  • the controller 150 selects any one object marker among the object markers in the third area (or the object marker display area) by using a drag & drop function for the display unit 130. (Or dragged), and then, when dropped to a specific area (or a specific location) on the first area (or an image display area) by a drag and drop function, the specific area (or specific location) from which the object marker is dropped.
  • the code type corresponding to may be compared with the type of the selected one object marker.
  • the controller 150 may be configured to be disposed in the specific region (or a specific position) in the same kind as the temporary marker (or the same / similar field / Verify whether or not it corresponds to a marker).
  • the code type corresponding to the comparison result (or the verification / decision result), the selected specific region (or specific position) is no related data, or the code type corresponding to the selected specific region (or specific position) and the selected If the types of the object markers do not match, the controller 150 displays information indicating that the object marker setting has failed in a pop-up form or the like on a portion of the display unit 130 or in the image display area.
  • the controller 150 releases the selected object marker (or the dropped Deletes an object marker), continuously displays a temporary marker corresponding to the selected specific region (or a specific position), and switches to a state for selecting an object marker.
  • the control unit 150 controls the specific area ( Or a specific position).
  • the controller 150 may place the object marker at another preset position corresponding to the specific region / specific position. At this time, the controller 150 deletes the temporary marker located in the specific region (or specific position) according to the arrangement of the object marker.
  • the controller 150 replaces (or updates / converts) the temporary marker that has been disposed corresponding to the specific region with the object marker. / Change / apply).
  • the controller 150 may select any one or more object markers displayed in the third area (or object marker display area) according to a user input (or control / operation command / user touch / user selection related to MR content production). After one object marker is selected, when a specific region (or a specific position) on the first region (or an image display region) is selected, the object marker is disposed in the specific region (or specific position). Herein, the controller 150 may place the object marker at another preset position corresponding to the specific region / specific position.
  • the type of the object marker may be any one of a shop camera, a product, a company, a promotion, and a creator.
  • the border of the object marker may be processed with a solid line.
  • the controller 150 selects (or drags) an object marker of any one of the object markers in the third area (or the object marker display area) by using a drag and drop function for the display unit 130. Then, when the object marker is dropped to a specific region (or a specific position) on the first region (or an image display region) by a drag and drop function, the object marker is placed on the dropped specific region (or a specific position). You can also place it.
  • the controller 150 may replace (or arrange) the temporary marker with an object marker of the same type as the temporary marker.
  • the controller 150 may place an object marker according to a user selection at a specific position in the panoramic image information.
  • the controller 150 places the object marker according to the user's selection at another specific position where the temporary marker is not located, and the same type as the temporary marker. You can also replace (or place) the temporary marker with another object marker.
  • the controller 150 replaces the temporary marker and arranges an object marker of the same type as the temporary marker, or newly sets the object at a specific position in the panoramic image information. Markers can be placed.
  • the controller 150 may input a user input.
  • Set attribute information on the selected object marker based on (or user touch / user selection).
  • the attribute information on the object marker may vary according to the type of object marker.
  • the controller 150 links to / adds an image, a product name, a product unique code, price information, a video related to the product, a detailed description, a catalog, and an external page address link. Set (or edit / modify / delete / add).
  • the controller 150 sets (or edits / modifies / deletes / adds) a link of at least one camera among one or more cameras related to the panorama image.
  • the controller 150 is a company name, an image for the company, a business logo, a company unique code, a video link / addition related to the company, company description, catalog, outside Set (or edit / modify / delete / add) the stored vendor detail page address link.
  • the controller 150 sets an event name, an image / video for the event, an event unique code, an event description, and an external event detail description page address link. (Or edit / modify / delete / add).
  • the controller 150 displays one or more promotion information stored in advance in the storage 120 on the display unit 130.
  • the controller 150 checks a specific promotion (or specific promotion information) according to a user selection among one or more promotion information displayed on the display unit 130.
  • the controller 150 sets (or edits / edits / sets a promotion name included in the selected promotion information, an image / video for the promotion, a promotion unique code, a description of the promotion, a link to a detailed description page of an externally stored promotion, etc.). Delete / add).
  • the controller 150 displays one or more creator (or shopping host) information previously stored in the storage 120 on the display unit 130.
  • the controller 150 checks a specific creator (or specific creator information) according to a user selection among one or more creator information displayed on the display unit 130.
  • the controller 150 sets (or edits / modifies / deletes / adds) a creator name, an image (or a video), a creator unique code, a creator description, and the like included in the selected creator information.
  • the controller 150 sets (or confirms) a specific object marker size (or object marker size information) for setting a size of an object marker according to a user selection among a plurality of object marker sizes displayed on the display unit 130. )do.
  • the controller 150 selects an object marker according to the user input and arranges the selected object marker in a specific area on a first area (or an image display area), and sets attribute information on the arranged object marker.
  • the process is repeated to edit (or produce / create) MR content by performing object marker placement and property information setting process on all the temporary markers included in the selected panorama image information.
  • the controller 150 may input a user (or user selection / user).
  • the object markers are replaced by the one or more temporary markers, and the attribute information on the arranged object markers is set for all temporary markers included in the panoramic image information.
  • the controller 150 controls the image related to the object marker.
  • the object (or code related to the object, the temporary marker related to the object / code) included in the video is stored in association with the object marker.
  • the controller 150 extends the outline of the arranged object marker to the outline of the object corresponding to the temporary marker associated with the object marker included in the image / video. That is, the controller 150 matches and stores the coordinate values of the outline of the arranged object markers with the coordinate values of the outline of the object corresponding to the temporary marker associated with the object marker.
  • control unit 150 replaces the temporary marker associated with the object corresponding to the ABCD signboard, and the event information object marker is disposed, and when the attribute information setting for the arranged event information object marker is completed, the arrangement The coordinate value of the outline of the event information object marker is matched (or extended) with the coordinate value of the outline of the ABCD sign.
  • an effect of selecting the corresponding object marker may be obtained even when the corresponding object is selected later.
  • the controller 150 displays a result screen of one or more object markers arranged in the panorama image information in a popup form. It is displayed on the display unit 130.
  • the controller 150 may determine a resultant image (or one or more object markers arranged in the panoramic image information) of MR content creation. Screen for attribute information) is displayed on the display unit 130 in a preview form.
  • the controller 150 controls a plurality of panoramic image information of the first region (or the image display region).
  • Create MR content including (or one or more) object markers.
  • the MR content may include the panorama image information (eg, image / video), a code related to an object included in the image / video, unique identification information of the code, a type of code, location information of the code within the image, and a code.
  • Temporary marker corresponding to the type of information on the location of the temporary marker in the image / movie, category information (e.g., major classification, classification, small classification information, etc.) related to the image / movie, camera number, panoramic image file number, shooting
  • category information e.g., major classification, classification, small classification information, etc.
  • image type information e.g., including VOD, live broadcast, unset, etc.
  • object markers corresponding to code types, and object markers placed within images / movies e.g., For example, shop cameras, products, companies, promotions, creators, etc.
  • the location information of the object markers in the image / video e.g., shop cameras, products, companies, promotions, creators, etc.
  • the property information of the object markers e.g., and the like.
  • the controller 150 arranges object markers according to a user selection for all temporary markers included in the panorama image information of the first area. Check whether all the property information of the object marker is completed.
  • the object marker arrangement according to the user selection and the attribute information setting of the object marker are not completed.
  • Guidance information on object marker placement and / or property information setting of the object marker for the temporary marker that is not displayed is displayed on one side of the display unit 130.
  • the control unit 150 determines the first information.
  • MR content including a plurality of (or one or more) object markers disposed on the panoramic image information of one region (or the image display region) is generated.
  • the controller 150 may complete setting of all the property information of the object marker for all the object markers included in (or arranged in) the panoramic image information of the first area. Check whether it is in a state.
  • the controller 150 may display the property information among all the object markers. Display one or more object markers for which the setting is not completed on the display unit 130, and display guide information for setting the attribute information of the object marker for which the property information of the object information is not completed on one side of the display unit 130. do.
  • the controller 150 may control the first region (or the image display region). Generate MR content including a plurality of (or one or more) object markers disposed on the panorama image information.
  • the controller 150 Is based on the unique identification information of the code related to the temporary marker on which the object marker is placed (or the unique identification information of the code on the area / location where the object marker is placed), and the code and the temporary marker included in the video.
  • the related information is changed (or matched / interlocked / updated) to all the object markers (or object markers including attribute information of the object markers) to be set and stored.
  • the controller 150 may temporarily store, in the storage unit 120, object marker arrangement and property information set up to a corresponding point in time, information on a temporary marker remaining without being set as an object marker, and the like. .
  • the controller 150 Is based on the unique identification information of the code corresponding to the object marker (or the unique identification information of the code related to the area / location where the object marker is placed / information on the area / location where the object marker is placed), Change (or match / interlock / update / apply) all of the object markers (or object markers including the property information of the object markers) to be set and stored in the region / location where the object markers are placed in the video. do.
  • the controller 150 may apply the object markers set to the previous / rear frames by the number of frames preset based on the position where the object markers are arranged in the video.
  • the controller 150 adds one or more exhibition-related information based on a user input.
  • the controller 150 includes a category item for specific panorama image information selected from one or more panorama image information previously stored in the storage unit 120. , Exhibition items, etc. are newly added (or linked / matched), changed (or updated), or deleted.
  • the controller 150 is one or more other terminals, servers, and MRs connected through the communication unit 110.
  • the MR content is transmitted (or shared) from at least one MR content stored in the storage 120 to a social networking service (SNS) related to the content producing apparatus 100.
  • SNS social networking service
  • MR content may be produced by adding one or more markers to the panorama image information based on the panorama image information photographed by the camera.
  • MR content may be produced by adding a promotion marker, a creator marker, and the like.
  • FIG. 2 is a flowchart illustrating a method of producing MR content according to a first embodiment of the present invention.
  • the controller 150 is stored in the storage unit 120 in the list / list display area of the display unit 130.
  • the panoramic image information includes an image, a video, and the like.
  • the panorama image information may include, in addition to the image / video, a code related to an object included in the image / video, a unique identification information of a code, a kind of a code, position information of a code in an image / video, a kind of a code.
  • the corresponding temporary marker (or preliminary marker), the location information of the temporary marker in the image / movie, the category information related to the image / video (e.g., major, medium, and minor classification information), camera number, panoramic image file number , Shooting date and time information, run time information, image type information (including VOD, live broadcast, unset, etc.), and the like.
  • the screen according to the preset menu selection may include a first area (or an image display area) for displaying a panoramic image, a second area (or category area) for displaying a category classification, and a third for displaying an object marker.
  • the controller 150 displays the first area (or image display). Area 310, second area (or category area) 320, third area (or object marker display area) 330, fourth area (or setting area) 340, and fifth area (or list) / List display area) (350) is displayed on the display unit 130, the MR content management screen (300). In addition, as shown in FIG. 3, the controller 150 stores five panorama image information (for example, pre-stored in the storage unit 120) in the fifth region (or list / list display region) 350.
  • the controller 150 stores five panorama image information (for example, pre-stored in the storage unit 120) in the fifth region (or list / list display region) 350.
  • a list related to the first to fifth panoramic image information is displayed, information for category classification (eg, major classification, middle classification, etc.) is displayed in the second area 320, and the third area 330 is displayed.
  • the menu is displayed (S210).
  • the controller 150 transmits the selected panorama image information to the first region (or the first region of the display unit 130).
  • Video display area the panorama image information displayed on the first area of the display unit 130 may include a temporary marker related to the code in addition to an image or video including a code photographed through a camera (not shown).
  • the temporary marker is for displaying the code type in relation to the code, and is used for displaying a shop camera, a product, a company, event information, and the like.
  • the temporary marker may indicate a shop camera temporary marker (for example, denoted as 'CM') for representing a shop camera, a product temporary marker (for example, denoted as 'PD') for representing a product, and a company. And a temporary marker for a company (for example, denoted as 'CO'), and an event information temporary marker (for example, denoted as 'EV') for indicating event information.
  • the temporary marker may be dotted with the border of the temporary marker, the background color may be transparent, or may be set to a specific color until it is replaced (or replaced / changed / updated) with the actual object marker to distinguish it from the object marker. Display in the set state.
  • the controller 150 may display an enlarged item, a reduced item, and the like on one side of the panoramic image information displayed on the display unit 130.
  • the controller 150 may display a panning button for panning up, down, left, and right of the 360 degree panoramic image on the other side of the panoramic image information displayed on the display unit 130.
  • the controller 150 may correspond to the one or more panorama image information displayed on the second area (or category area) in the screen displayed on the display unit 130 according to a user selection (or user touch / user input).
  • the user may select information on a category and display any panorama image information selected from at least one panorama image information corresponding to the selected category information on the first area (or image display area) of the display unit 130. have.
  • the controller 150 may include the first portion of the display unit 130.
  • the selected fourth panorama image information 410 is displayed in an area.
  • the fourth panoramic image information is indicated by one or more temporary markers (for example, CM, PD, CO, EV, etc.) related to one or more codes included in the fourth panoramic image information, in addition to the original image. It includes (S220).
  • the controller 150 may select any one or more object markers displayed in the third area (or object marker display area) according to a user input (or control / operation command / user touch / user selection related to MR content production).
  • a specific region (or a specific position) on the first region (or the image display region) is selected, a code type corresponding to the selected specific region (or a specific position) and the selected object marker Compare the types.
  • the code type corresponding to the specific area (or a specific location) (or the type of temporary marker corresponding to the code type) may be any one of a shop camera, a product, a company, event information, and no related data.
  • the type of the object marker may be any one of a shop camera, a product, a company, and event information.
  • the object marker may solidify the edge of the object marker to distinguish it from the temporary marker.
  • the controller 150 checks (or determines) whether a preset code type (or a type of a temporary marker corresponding to the code type) and a type of the selected object marker match for the specific region.
  • the controller 150 selects (or drags) an object marker of any one of the object markers in the third area (or the object marker display area) by using a drag and drop function for the display unit 130. After that, when a drop is made to a specific region (or a specific position) on the first region (or an image display region) by a drag and drop function, a code type corresponding to the specific region (or specific position) from which the object marker is dropped And the type of the selected one object marker may be compared.
  • the shop camera object marker 331 is selected from among a plurality of object markers included in the third area (or object marker display area) 330 illustrated in FIG. 4, the shop camera object marker 331 is selected.
  • the controller 150 controls a code type (eg, commodity) corresponding to the selected commodity temporary marker area.
  • the code type corresponding to the temporary marker 'product') is compared with the type of the selected shop camera object marker 331 (for example, the object marker type 'camera' corresponding to the shop camera object marker).
  • the controller 150 may select the selected (or dragged) event information object marker 334. ) (Eg, 'event information' which is an object marker type corresponding to the event information object marker) and a code type (eg, corresponding to the event information temporary marker) corresponding to the dropped event information temporary marker area 520. Compare 'event information').
  • the event information object marker 334 is dragged among the plurality of object markers included in the third region (or object marker display region) 330 illustrated in FIG. 4, the event information object marker 334 is dragged.
  • the controller 150 sorts the selected (or dragged) event information object marker 334.
  • 'event information' which is an object marker type corresponding to an event information object marker
  • a code type corresponding to the area 530 on the dropped empty background e.g., 'type of code corresponding to an empty background
  • the code type corresponding to the comparison result (or the verification / decision result), the selected specific region (or specific position) is no related data, or the code type corresponding to the selected specific region (or specific position) and the selected If the types of the object markers do not match, the controller 150 displays information indicating that the object marker setting has failed in a pop-up form or the like on a portion of the display unit 130 or in the image display area.
  • the controller 150 releases the selected object marker (or the dropped Deletes an object marker), continuously displays a temporary marker corresponding to the selected specific region (or a specific position), and switches to a state for selecting an object marker.
  • a code type corresponding to the selected product temporary marker region for example, 'product' which is a code type corresponding to a product temporary marker
  • a type of the selected shop camera object marker 331 for example, a shop camera object
  • the controller 150 displays information 610 indicating that object marker setting has failed. Display in a pop-up form on some areas of.
  • the controller 150 displays a previous screen (eg, an object) for selecting an object. For example, FIG. 4 is displayed on the display unit 130.
  • the controller 150 displays information indicating that object marker setting has failed. Some areas of the display 130 are displayed in a pop-up form (S240).
  • the control unit 150 controls the specific area ( Or a specific position).
  • the controller 150 may place the object marker at another preset position corresponding to the specific region / specific position. At this time, the controller 150 deletes the temporary marker located in the specific region (or specific position) according to the arrangement of the object marker.
  • the type of the selected (or dragged) event information object marker 334 for example, 'event information' which is an object marker type corresponding to the event information object marker
  • the dropped event information temporary marker area 520 When the code type corresponding to (eg, 'event information' which is a code type corresponding to the event information temporary marker) is matched, as shown in FIG. 7, the controller 150 indicates that the event information has been previously displayed. Delete the temporary marker ('EV marker' in FIG. 4), and select the selected (or point / position) 710 in the area (or point / position) 710 where the temporary marker ('EV marker' in FIG. 4) was located. Or (drag / position) the event information object marker dragged.
  • the type of the selected (or dragged) event information object marker 334 for example, 'event information' which is an object marker type corresponding to the event information object marker
  • the dropped event information temporary marker area When the code type corresponding to 520 (for example, 'event information' which is a code type corresponding to the event information temporary marker) is matched, as shown in FIG. 8, the controller 150 displays the previously displayed event information. Delete the temporary marker ('EV marker' in FIG. 4), and set another preset corresponding to the area (or point / position) where the temporary marker ('EV marker' in FIG. 4) is located.
  • the selected (or dragged) event information object marker is placed in a specific area (or point / position) 810 (S250).
  • the controller 150 inputs a user input.
  • Set attribute information on the selected object marker based on (or user touch / user selection).
  • the attribute information on the object marker may vary according to the type of object marker.
  • the controller 150 links to / adds an image, a product name, a product unique code, price information, a video related to the product, a detailed description, a catalog, and an external page address link. Set (or edit / modify / delete / add).
  • the controller 150 sets (or edits / modifies / deletes / adds) a link of at least one camera among one or more cameras related to the panorama image.
  • the controller 150 is a company name, an image for the company, a business logo, a company unique code, a video link / addition related to the company, company description, catalog, outside Set (or edit / modify / delete / add) the stored vendor detail page address link.
  • the controller 150 sets an event name, an image / video for the event, an event unique code, an event description, and an external event detail description page address link. (Or edit / modify / delete / add).
  • the controller 150 selects an object marker according to the user input and arranges the selected object marker in a specific area on a first area (or an image display area), and sets attribute information on the arranged object marker.
  • the process is repeated to edit (or produce / create) MR content by performing object marker placement and property information setting process on all the temporary markers included in the selected panorama image information.
  • the controller 150 may identify unique identification information of a code corresponding to the temporary marker (or On the basis of the unique identification information of the code related to the area / location in which the object marker is disposed, the information related to the temporary marker and the code included in the video includes the set object marker (or attribute information of the object marker) Object markers) to change (or match / link / update) all at once.
  • the event information object marker 710 when the event information object marker 710 is double-clicked while the event information object marker 710 is disposed on the display unit 130, the event information object marker 710 is shown in FIG. 9.
  • the controller 150 displays one or more event information 910 related to the selected object marker 710 in the third area (or object marker display area).
  • the controller 150 controls the selected special sale event information 912. ) Is set as attribute information of the object marker 710.
  • the special sale event information 912 may include an event name (for example, a special sale), an image for the event, an event unique code (for example, 2016100100001), an event description (for example, limited time period (2016.10.01 to 2016.10). .31.), Including 10% off all items).
  • an event name for example, a special sale
  • an image for the event for example, an event unique code (for example, 2016100100001), an event description (for example, limited time period (2016.10.01 to 2016.10). .31.), Including 10% off all items).
  • controller 150 edits MR content as shown in FIG. 10 by repeatedly performing the process of selecting and arranging the object markers of FIGS. 5 and 7 to 9 and setting attribute information of the object markers (S260). .
  • the controller 150 displays the result screen for one or more object markers arranged in the panoramic image information on the display unit 130 in a pop-up form.
  • the controller 150 displays a result image of the MR content creation (or a screen for attribute information of one or more object markers disposed in the panorama image information). It is displayed on the display unit 130 in a preview form.
  • the controller 150 controls the fourth panorama.
  • the image information the company marker 1010 and the event information marker 1020 associated with the ABCD name, the product marker 1030 associated with the television product, the product marker 1040 associated with the first monitor, and the shop camera marker 1050, 2
  • the resultant image 1110 of the MR content authoring corresponding to the commodity marker 1060 and the shop camera marker 1070 related to the monitor is displayed on the display unit 130 in a pop-up form (S270).
  • the controller 150 may select a plurality of (or one or more) object markers disposed on the panoramic image information of the first area (or the image display area). Generates MR content that includes.
  • the MR content may include the panorama image information (eg, image / video), a code related to an object included in the image / video, unique identification information of the code, a type of code, location information of the code within the image, and a code.
  • Temporary marker corresponding to the type of information on the location of the temporary marker in the image / movie, category information (e.g., major classification, classification, small classification information, etc.) related to the image / movie, camera number, panoramic image file number, shooting
  • category information e.g., major classification, classification, small classification information, etc.
  • image type information including VOD, live broadcast, unset, etc.
  • object markers corresponding to code types and position information of object markers in an image / movie It further includes attribute information of the object marker.
  • the controller 150 determines that all the temporary markers included in the panoramic image information of the first area are set to the object marker according to the user's selection and the property information of the object marker. Check to see if it is complete.
  • the object marker arrangement according to the user selection and the attribute information setting of the object marker are not completed.
  • Guidance information on object marker placement and / or property information setting of the object marker for the temporary marker that is not displayed is displayed on one side of the display unit 130.
  • the control unit 150 determines the first information.
  • MR content including a plurality of (or one or more) object markers disposed on the panoramic image information of one region (or the image display region) is generated.
  • the controller 150 Is based on the unique identification information of the code related to the temporary marker on which the object marker is placed (or the unique identification information of the code on the area / location where the object marker is placed), and the code and the temporary marker included in the video.
  • the relevant information is changed (or matched / interlocked / updated) to all the object markers (or object markers including attribute information of the object markers) to be set and stored.
  • the controller 150 may convert the fourth panoramic image information to the fourth panoramic image information.
  • the fourth MR content is generated by matching (or linking with) each attribute information of the.
  • the controller 150 changes the information on the temporary markers associated with all ABCD names included in the fourth panoramic image information into the company marker 1010 and the event information marker 1020 associated with the ABCD names.
  • the controller 150 replaces all temporary markers included in the fourth panoramic image information.
  • guide information on the marker arrangement and attribute information setting for the television product is displayed on the display unit 130 (S280).
  • FIG. 12 is a flowchart illustrating a method of producing MR content according to a second embodiment of the present invention.
  • the controller 150 is stored in the storage unit 120 in the list / list display area of the display unit 130.
  • the panoramic image information includes an image, a video, and the like.
  • the panorama image information may include, in addition to the image / video, a code related to an object included in the image / video, a unique identification information of a code, a kind of a code, position information of a code in an image / video, a kind of a code.
  • the corresponding temporary marker (or preliminary marker), the location information of the temporary marker in the image / movie, the category information related to the image / video (e.g., major, medium, and minor classification information), camera number, panoramic image file number , Shooting date and time information, run time information, image type information (including VOD, live broadcast, unset, etc.), and the like.
  • the screen according to the preset menu selection may include a first area (or an image display area) for displaying a panoramic image, a second area (or category area) for displaying a category classification, and a third for displaying an object marker.
  • the controller 150 displays the first area (or image display). Area 1310, second area (or category area) 1320, third area (or object marker display area) 1330, fourth area (or setting area) 1340, and fifth area (or list) (MR list management area) 1350 is displayed on the display unit 130.
  • the controller 150 stores five panorama image information (for example, pre-stored in the storage unit 120) in the fifth area (or list / list display area) 1350.
  • a list related to the first to fifth panoramic image information is displayed, information for category classification (eg, major classification, middle classification, etc.) is displayed in the second area 1320, and the third area 1330 is displayed.
  • Displays one or more object markers which are authoring tools for creating (or editing) MR content related to panoramic image information, and performs preview, deletion, storage, and cancellation functions on the fourth region 1340.
  • the menu is displayed (S1210).
  • the controller 150 transmits the selected panorama image information to the first region (or the first region of the display unit 130).
  • Video display area the controller 150 may display an enlarged item, a reduced item, and the like on one side of the panoramic image information displayed on the display unit 130.
  • the controller 150 may display a panning button for panning up, down, left, and right of the 360 degree panoramic image on the other side of the panoramic image information displayed on the display unit 130.
  • the controller 150 may correspond to the one or more panorama image information displayed on the second area (or category area) in the screen displayed on the display unit 130 according to a user selection (or user touch / user input).
  • the user may select information on a category and display any panorama image information selected from at least one panorama image information corresponding to the selected category information on the first area (or image display area) of the display unit 130. have.
  • the controller 150 may include a first image of the display unit 130.
  • the selected third panorama image information 1410 is displayed in an area (S1220).
  • the controller 150 may select any one or more object markers displayed in the third area (or object marker display area) according to a user input (or control / operation command / user touch / user selection related to MR content production). After one object marker is selected, when a specific region (or a specific position) on the first region (or an image display region) is selected, the object marker is disposed in the specific region (or specific position). Herein, the controller 150 may place the object marker at another preset position corresponding to the specific region / specific position.
  • the type of the object marker may be any one of a shop camera, a product, a company, a promotion, and a creator.
  • the border of the object marker may be processed with a solid line.
  • the controller 150 selects (or drags) an object marker of any one of the object markers in the third area (or the object marker display area) by using a drag and drop function for the display unit 130. Then, when the object marker is dropped to a specific region (or a specific position) on the first region (or an image display region) by a drag and drop function, the object marker is placed on the dropped specific region (or a specific position). You can also place it.
  • the promotion marker 1334 is selected from the plurality of object markers included in the third region (or object marker display region) 1330 illustrated in FIG. 14, the first marker is displayed as shown in FIG. 15.
  • the controller 150 controls the selected eleventh region. Place the selected (or drag and drop) promotional object marker 1610 (or location / display) in (or area / branch / location under company name) 1510.
  • the creator marker 1335 is selected from the plurality of object markers included in the third region (or object marker display region) 1330 illustrated in FIG. 14, the creator marker 1335 is selected as shown in FIG. 15.
  • the controller 150 controls the selected agent.
  • the selected (or dragged and dropped) Creator object marker 1710 is placed (or positioned / displayed) in a 12 region (or region / point / location next to the television) 1520 (S1230).
  • the controller 150 inputs a user input.
  • Set attribute information on the selected object marker based on (or user touch / user selection).
  • the attribute information on the object marker may vary according to the type of object marker.
  • the controller 150 sets (or edits / modifies / deletes / adds) a link of at least one camera among one or more cameras related to the panorama image.
  • the controller 150 may link to / add an image, a product name, a product unique code, a price information, a video related to the product, a detailed description, a catalog, and an external page address link. Set (or edit / modify / delete / add).
  • the controller 150 is a company name, an image for the company, a business logo, a company unique code, a video link / addition related to the company, company description, catalog, outside Set (or edit / modify / delete / add) the stored vendor detail page address link.
  • the controller 150 displays one or more promotion information stored in advance in the storage 120 on the display unit 130.
  • the controller 150 checks a specific promotion (or specific promotion information) according to a user selection among one or more promotion information displayed on the display unit 130.
  • the controller 150 sets (or edits / edits / sets a promotion name included in the selected promotion information, an image / video for the promotion, a promotion unique code, a description of the promotion, a link to a detailed description page of an externally stored promotion, etc.). Delete / add).
  • the controller 150 displays one or more creator (or shopping host) information previously stored in the storage 120 on the display unit 130.
  • the controller 150 checks a specific creator (or specific creator information) according to a user selection among one or more creator information displayed on the display unit 130.
  • the controller 150 sets (or edits / modifies / deletes / adds) a creator name, an image (or a video), a creator unique code, a creator description, and the like included in the selected creator information.
  • the controller 150 sets (or confirms) a specific object marker size (or object marker size information) according to a user selection among a plurality of object marker sizes displayed on the display unit 130.
  • the controller 150 selects an object marker according to the user input and arranges the selected object marker in a specific area on a first area (or an image display area), and sets attribute information on the arranged object marker.
  • the process is repeated to edit (or produce / create) MR content by performing object marker placement and attribute information setting process for all object markers included in the selected panorama image information.
  • the controller 150 may identify unique identification information of a code corresponding to the object marker (or a code related to an area / location where the object marker is disposed).
  • the object marker (or property information of the object marker) set in the region / position in which the object marker is disposed in the video, based on the unique identification information / information on the region / location in which the object marker is disposed.
  • the controller 150 may further apply the object markers set to the front / rear frames by the number of frames preset based on the position of the object markers in the corresponding video.
  • the controller 150 displays a plurality of promotion information 1800 stored in the storage 120 on the display 130.
  • the controller 150 selects the selected 'period sale'.
  • the information on the 'milk powder' promotion 1810 is set as attribute information of the promotion object marker 1610.
  • the content of the 'period sale-powdered milk' promotion 1810 may include a promotion name (for example, 'period sale-powdered milk' promotion), an image for the promotion, a promotion unique code (for example, 2016100110001), a description of the promotion ( For example, a limited time period (including Oct. 1, 2016 to Nov. 30, 2016, 15% sale, etc.), a promotion detail page address (for example, http://popsline.co.kr/promotion/1003), and the like.
  • the controller 150 may select a specific object marker size (for example, small 120 * 60) according to a user's selection from among the plurality of object marker sizes 1820 displayed on the display unit 130 illustrated in FIG. 18. Set (or check).
  • the creator object marker 1710 when the creator object marker 1710 is double-clicked while the creator object marker 1710 is disposed on the display unit 130, the creator object marker 1710 is illustrated in FIG. 19.
  • the controller 150 displays a plurality of creator (or shopping host) information 1900 previously stored in the storage 120 on the display 130.
  • the controller 150 controls the selected 'constant sky' creator 1910.
  • the contents of the 'jeong ha sky' creator 1910 may include a creator name (eg 'jeong ha sky'), a picture or video, a creator unique code (eg 2016300100003), a description of a creator (eg ABC broadcasting company shopping host, etc.). And the like). Also, the controller 150 may select a specific object marker size (for example, small 120 * 60) according to a user's selection from among the plurality of object marker sizes 1920 displayed on the display unit 130 illustrated in FIG. 19. Set (or check).
  • a specific object marker size for example, small 120 * 60
  • controller 150 edits MR content as shown in FIG. 20 by repeatedly performing the process of selecting and arranging the object markers of FIG. 15 to FIG. 19 and setting attribute information of the object markers (S1240).
  • the controller 150 displays the result screen for one or more object markers arranged in the panoramic image information on the display unit 130 in a popup form. .
  • the controller 150 displays a result image of the MR content creation (or a screen for attribute information of one or more object markers disposed in the panorama image information). It is displayed on the display unit 130 in a preview form.
  • the controller 150 controls the third panorama.
  • the image 2110 is displayed on the display unit 130 in a popup form (S1250).
  • the controller 150 may select a plurality of (or one or more) object markers disposed on the panoramic image information of the first area (or the image display area).
  • the MR content is the panorama image information (e.g. image / video), a code related to an object included in the image / video, unique identification information of the code, type of code, location information of the code in the image, image / Category information related to the video (e.g., major, mid, and small), camera number, panoramic video file number, date and time of recording, run time information, video type information (e.g. VOD, live broadcast, US Object markers (e.g., shop cameras, merchandise, businesses, promotions, creators, etc.), location information of the object markers in the image / video, object markers It further includes attribute information.
  • the panorama image information e.g. image / video
  • unique identification information of the code e.g., type of code, location information of the code in the image
  • image / Category information related to the video
  • the controller 150 is configured to complete the property information setting of all object markers of all the object markers included in (or disposed in) the panoramic image information of the first area. Check whether it is in a state.
  • the controller 150 may display the property information among all the object markers. Display one or more object markers for which the setting is not completed on the display unit 130, and display guide information for setting the attribute information of the object marker for which the property information of the object information is not completed on one side of the display unit 130. do.
  • the controller 150 may control the first region (or the image display region). Generate MR content including a plurality of (or one or more) object markers disposed on the panorama image information.
  • the controller 150 Is based on the unique identification information of the code corresponding to the object marker (or the unique identification information of the code related to the area / location where the object marker is placed / information on the area / location where the object marker is placed), Change (or match / interlock / update / apply) all of the object markers (or object markers including the property information of the object markers) to be set and stored in the region / location where the object markers are placed in the video. do.
  • the controller 150 may apply the object markers set to the previous / rear frames by the number of frames preset based on the position where the object markers are arranged in the video.
  • the controller 150 may convert the third panoramic image information to the third panoramic image information.
  • the third MR content is generated by matching (or linking with) location information of each of the plurality of markers 2010 to 2030 and attribute information of each of the plurality of markers 2010 to 2030.
  • the controller 150 starts from the time when the creator marker 2030 is disposed based on the time point at which the creator marker 2030 is disposed among the third panorama image information.
  • the creator marker 2030 associated with the specific television product is applied to a frame after a preset 200 frame (or the number of frames corresponding to 10 seconds of playing time) (S1260).
  • FIG. 22 is a flowchart illustrating a method of producing MR content according to a third embodiment of the present invention.
  • the controller 150 is stored in the storage unit 120 in the list / list display area of the display unit 130.
  • the panoramic image information includes an image, a video, and the like.
  • the panorama image information may include, in addition to the image / video, a code related to an object included in the image / video, a unique identification information of a code, a kind of a code, position information of a code in an image / video, a kind of a code.
  • the corresponding temporary marker (or preliminary marker), the location information of the temporary marker in the image / movie, the category information related to the image / video (e.g., major, medium, and minor classification information), camera number, panoramic image file number , Shooting date and time information, run time information, image type information (including VOD, live broadcast, unset, etc.), and the like.
  • the screen according to the preset menu selection may include a first area (or an image display area) for displaying a panoramic image, a second area (or category area) for displaying a category classification, and a third for displaying an object marker.
  • the controller 150 displays the first area (or image display). Area 2310, second area (or category area) 2320, third area (or object marker display area) 2330, fourth area (or setting area) 2340, and fifth area (or list) / List display area) (2350) is displayed on the display unit 130, the MR content management screen (2300).
  • the controller 150 may include five pieces of panoramic image information (for example, previously stored in the storage unit 120) in the fifth area (or list / list display area) 2350.
  • a list related to the first to fifth panoramic image information is displayed, information for category classification (eg, major classification, middle classification, etc.) is displayed in the second area 2320, and the third area 2330 is displayed.
  • the menu is displayed (S2210).
  • the controller 150 transmits the selected panorama image information to the first region (or the first region of the display unit 130).
  • Video display area the panorama image information displayed on the first area of the display unit 130 may include a temporary marker related to the code in addition to an image or video including a code photographed through a camera (not shown).
  • the temporary marker is for displaying the code type in relation to the code, and is used for displaying a shop camera, a product, a company, a promotion (or promotion information / event information).
  • the temporary marker may indicate a shop camera temporary marker (for example, denoted as 'CM') for representing a shop camera, a product temporary marker (for example, denoted as 'PD') for representing a product, and a company.
  • Company temporary markers e.g., labeled 'CO'
  • promotion temporary markers e.g., labeled 'PR'
  • the temporary marker may be dotted with the border of the temporary marker, the background color may be transparent, or may be set to a specific color until it is replaced (or replaced / changed / updated) with the actual object marker to distinguish it from the object marker. Display in the set state.
  • the controller 150 may display an enlarged item, a reduced item, and the like on one side of the panoramic image information displayed on the display unit 130.
  • the controller 150 may display a panning button for panning up, down, left, and right of the 360 degree panoramic image on the other side of the panoramic image information displayed on the display unit 130.
  • the controller 150 may correspond to the one or more panorama image information displayed on the second area (or category area) in the screen displayed on the display unit 130 according to a user selection (or user touch / user input).
  • the user may select information on a category and display any panorama image information selected from at least one panorama image information corresponding to the selected category information on the first area (or image display area) of the display unit 130. have.
  • the controller 150 may include the first portion of the display unit 130.
  • the selected fifth panorama image information 2410 is displayed in an area.
  • the fifth panoramic image information is indicated by one or more temporary markers (for example, CM, PD, CO, PR, etc.) related to one or more codes included in the fifth panoramic image information, in addition to the original image. It includes (S2220).
  • the controller 150 may select any one or more object markers displayed in the third area (or object marker display area) according to a user input (or control / operation command / user touch / user selection related to MR content production). After one object marker is selected, when a specific region (or a specific position) on the first region (or an image display region) is selected, the object marker is disposed in the specific region (or specific position). Herein, the controller 150 may place the object marker at another preset position corresponding to the specific region / specific position.
  • the type of the object marker may be any one of a shop camera, a product, a company, a promotion, and a creator.
  • the object marker may solidify the edge of the object marker to distinguish it from the temporary marker.
  • the controller 150 selects (or drags) an object marker of any one of the object markers in the third area (or the object marker display area) by using a drag and drop function for the display unit 130. Then, when the object marker is dropped to a specific region (or a specific position) on the first region (or an image display region) by a drag and drop function, the object marker is placed on the dropped specific region (or a specific position). You can also place it.
  • the first marker is displayed as shown in FIG. 25.
  • the controller 150 controls the selected twenty-first region. Place (or position / display) the selected (or drag and drop) Creator object marker 2610 in (or region / point / position under the television) 2510.
  • the temporary marker may be selected from among one or more object markers displayed in the third region (or an object marker display region) while the panorama image information includes a temporary marker related to the code, in addition to an image or a video including a code.
  • the controller 150 may select the selected other specific region (or The code type corresponding to another specific position) and the type of the selected other object marker.
  • the code type corresponding to the other specific area (or other specific location) (or the type of temporary marker corresponding to the code type) may be any one of a shop camera, a product, a company, a promotion, and no related data.
  • the temporary marker related to the code is included, and any other one related to the temporary marker among one or more object markers displayed on the display unit 130.
  • the controller 150 may select a code type preset for the other specific area. Or the type of the temporary marker corresponding to the code type) and the type of the selected other object marker are checked (or determined).
  • the controller 150 selects (or drags) any one of the other object markers among the object markers in the third area (or the object marker display area) by using a drag and drop function for the display unit 130. And then drop by the drag and drop function to another specific area (or other specific location) on the first area (or image display area), the other specific area (or specific location) from which the other object marker is dropped.
  • the code type corresponding to may be compared with the type of any one selected other object marker.
  • the code type corresponding to the comparison result (or the verification / decision result), the selected other specific region (or other specific position) is no related data, or the code corresponding to the selected other specific region (or other specific position) If the type does not match the type of the selected other object marker, the controller 150 displays information indicating that the object marker setting has failed in a pop-up form or the like on the partial region of the display unit 130 or the image display area. Mark on.
  • the controller 150 releases the selected other object marker (or the drop). Delete other object markers), and display a temporary marker corresponding to the selected other specific region (or another specific position) and switch to the state for selecting the object marker.
  • the controller 150 may be configured to perform the comparison. Place the other object marker in another specific area (or another specific location). Here, the controller 150 may place the other object marker at another preset position corresponding to the other specific region / other specific position. In this case, the controller 150 deletes the temporary marker located in the corresponding specific region (or another specific position) according to the arrangement of the other object markers.
  • the third region (or object marker display region) 2330 illustrated in FIG. 26 is illustrated.
  • a product marker (2332) is selected among the plurality of object markers included in, as illustrated in FIG. 25, the product temporary marker region 2520 next to the monitor on the first region (or image display region) 1310.
  • the control unit 150 is the control unit 150 is a code type corresponding to the selected product temporary marker area (for example, 'product' which is a code type corresponding to a product temporary marker) and the selected product
  • the type of the object marker 1332 (for example, an object marker type 'product' corresponding to the product object marker) is compared.
  • the type of the selected (or dragged) commodity object marker 1332 for example, an object marker type corresponding to the commodity object marker 'product'
  • the selected (or dropped) commodity temporary marker area When the code type corresponding to 2520 (for example, 'product' which is a code type corresponding to a product temporary marker) is matched, as shown in FIG. 27, the controller 150 indicates that the product information is displayed previously. Delete the temporary marker ('PD marker' in FIG. 26) and select the selected (or point / position) 2710 in the area (or point / position) 2710 where the temporary marker ('PD marker' in FIG. 26) was located. Place (or position / display) the dragged product information object marker.
  • the controller 150 may select at least one of a shop camera object marker, a product object marker, a company object marker, a promotion object marker, and a creator object marker at a specific position according to a user's selection with respect to the panoramic image information including the temporary marker. Can be placed.
  • the controller 150 allows (or permits) the placement of the object marker by replacing the temporary marker with respect to the object marker of the same type as the temporary marker.
  • the temporary marker is replaced to disallow the placement of the object marker.
  • the controller 150 may include the temporary marker in another area adjacent to the temporary marker instead of the area in which the temporary marker is located. You can also place other kinds of object markers.
  • the controller 150 intends to place another kind of object marker selected from among a plurality of object markers displayed on the object marker display area of the display unit 130 in another specific area on the image display area, Check whether there is a temporary marker (or location) in another specific area.
  • the controller 150 places the another specific object marker in the another specific region.
  • the controller 150 determines whether the type of the temporary marker is the same as the type of the another specific object marker.
  • the controller 150 places the another specific object marker in the corresponding another specific region instead of the temporary marker.
  • the information indicating that the controller 150 cannot replace the temporary marker with another specific object marker may be disposed. Is displayed on one side of the display unit 130.
  • the controller 150 may place a promotional object marker and / or a creator object marker adjacent to the temporary marker or object marker. There is (S2230).
  • the controller 150 inputs a user input.
  • Set attribute information on the selected object marker based on (or user touch / user selection).
  • the attribute information on the object marker may vary according to the type of object marker.
  • the controller 150 sets (or edits / modifies / deletes / adds) a link of at least one camera among one or more cameras related to the panorama image.
  • the controller 150 may link to / add an image, a product name, a product unique code, a price information, a video related to the product, a detailed description, a catalog, and an external page address link. Set (or edit / modify / delete / add).
  • the controller 150 is a company name, an image for the company, a business logo, a company unique code, a video link / addition related to the company, company description, catalog, outside Set (or edit / modify / delete / add) the stored vendor detail page address link.
  • the controller 150 displays one or more promotion information stored in advance in the storage 120 on the display unit 130.
  • the controller 150 checks a specific promotion (or specific promotion information) according to a user selection among one or more promotion information displayed on the display unit 130.
  • the controller 150 sets (or edits / edits / sets a promotion name included in the selected promotion information, an image / video for the promotion, a promotion unique code, a description of the promotion, a link to a detailed description page of an externally stored promotion, etc.). Delete / add).
  • the controller 150 displays one or more creator (or shopping host) information previously stored in the storage 120 on the display unit 130.
  • the controller 150 checks a specific creator (or specific creator information) according to a user selection among one or more creator information displayed on the display unit 130.
  • the controller 150 sets (or edits / modifies / deletes / adds) a creator name, an image (or a video), a creator unique code, a creator description, and the like included in the selected creator information.
  • the controller 150 sets (or confirms) a specific object marker size (or object marker size information) according to a user selection among a plurality of object marker sizes displayed on the display unit 130.
  • the controller 150 selects an object marker according to the user input and arranges the selected object marker in a specific area on a first area (or an image display area), and sets attribute information on the arranged object marker.
  • the process is repeated to edit (or produce / create) MR content by performing object marker placement and attribute information setting process for all object markers included in the selected panorama image information.
  • the controller 150 may identify unique identification information of a code corresponding to the temporary marker (or On the basis of the unique identification information of the code related to the area / location in which the object marker is disposed, the information related to the temporary marker and the code included in the video includes the set object marker (or attribute information of the object marker) Object markers) to change (or match / link / update) all at once.
  • the controller 150 may identify unique identification information of a code corresponding to the object marker (or a code related to an area / location where the object marker is disposed).
  • the object marker (or property information of the object marker) set in the region / position in which the object marker is disposed in the video, based on the unique identification information / information on the region / location in which the object marker is disposed.
  • the controller 150 may further apply the object markers set to the front / rear frames by the number of frames preset based on the position of the object markers in the corresponding video.
  • the controller 150 displays a plurality of creator (or shopping host) information 2800 pre-stored in the storage 120 on the display 130.
  • the controller 150 selects the selected 'Kim Nara' creator 2810. ) Is set as attribute information of the creator object marker 2610.
  • the content of the 'Kim Nara' creator 2810 may include a creator name (for example, 'Kim Nara'), a picture or video, a creator unique code (for example, 2016300100001), a creator description (for example, an ABC broadcasting company shopping host) And the like).
  • the controller 150 may select a specific object marker size (for example, small 120 * 60) according to a user's selection from among the plurality of object marker sizes 2820 displayed on the display unit 130 illustrated in FIG. 28. Set (or check).
  • controller 150 edits the MR content as shown in FIG. 29 by repeatedly performing the process of selecting and arranging the object markers of FIGS. 25 to 28 and setting attribute information of the object markers (S2240).
  • the controller 150 displays the result screen for one or more object markers arranged in the panoramic image information on the display unit 130 in a popup form. .
  • the controller 150 displays a result image of the MR content creation (or a screen for attribute information of one or more object markers disposed in the panorama image information). It is displayed on the display unit 130 in a preview form.
  • the controller 150 controls the fifth panorama.
  • the company marker (or company object marker) 2910 associated with the ABCD name the product marker (or product object marker) 2920 and creator marker 2930 associated with the television product
  • the product marker associated with the first monitor 2940, a creator marker 2950, a shop camera marker 2960, a merchandise marker 2970 related to the second monitor, a shop camera marker 2980, etc.
  • the display unit 130 displays (S2250).
  • the controller 150 may select a plurality of (or one or more) object markers disposed on the panoramic image information of the first area (or the image display area). Generates MR content that includes.
  • the MR content may include the panorama image information (eg, image / video), a code related to an object included in the image / video, unique identification information of the code, a type of code, location information of the code within the image, and a code.
  • Temporary marker corresponding to the type of information on the location of the temporary marker in the image / movie, category information (e.g., major classification, classification, small classification information, etc.) related to the image / movie, camera number, panoramic image file number, shooting
  • category information e.g., major classification, classification, small classification information, etc.
  • image type information including VOD, live broadcast, unset, etc.
  • object markers placed within images / videos e.g., shop cameras, merchandise, businesses, promotions
  • Creator etc.
  • the controller 150 controls all object markers included in (or disposed in) the panoramic image information of the first area (eg, objects disposed by replacing the temporary markers). For markers, object markers newly placed at a specific position, etc.), whether the object marker arrangement according to the user's selection and the attribute information setting of the object marker are all completed.
  • the display unit may include a temporary marker in which object marker placement and / or attribute information setting of the object marker is not completed among all the temporary markers, and one or more object markers in which attribute information setting is not completed among the plurality of newly arranged object markers. Displayed at 130, the guide information for the object marker placement and / or property information setting of the object marker for the temporary marker for which the object marker arrangement and / or property information setting of the object marker is not completed, the property of the object information
  • One side of the display unit 130 provides guidance information on setting attribute information of the object marker for which information setting is not completed. Displays.
  • the controller 150 controls the controller. 150 generates MR content including a plurality of (or one or more) object markers disposed on the panoramic image information of the first area (or the image display area).
  • the controller 150 Is based on the unique identification information of the code corresponding to the object marker (or the unique identification information of the code related to the area / location where the object marker is placed / information on the area / location where the object marker is placed), Changes (or matches / interacts / updates / applies) all of the set object markers (or including attribute information of the object markers) in the region / location in which the object markers are arranged in the video.
  • the controller 150 may apply the object markers set to the previous / rear frames by the number of frames preset based on the position where the object markers are arranged in the video.
  • the controller 150 may convert the fifth panoramic image information to the fifth panoramic image information.
  • the fifth MR content is generated by matching (or linking) each location information of 2980 with each piece of property information of the plurality of markers 2910 to 2980.
  • the controller 150 determines that the creator markers 2930 and 2950 are based on a time point at which the creator markers 2930 and 2950 are disposed among the fifth panoramic image information.
  • the creator markers 2930 and 2950 associated with the specific television product are applied to the frames after the arrangement point 200 frames after the preset 200 frames (or the number of frames corresponding to 10 seconds of playback time) (S2260).
  • FIG. 31 is a block diagram illustrating a configuration of an apparatus 10 for providing route information according to an event using MR content according to another exemplary embodiment.
  • the route information providing apparatus 10 includes a terminal 100 and a server 200. Not all components of the path information providing apparatus 10 illustrated in FIG. 31 are essential components, and the path information providing apparatus 10 may be implemented by more components than those shown in FIG. 31. The path information providing apparatus 10 may be implemented by fewer components.
  • the terminal 100 may be the MR content producing apparatus 100 or any other terminal.
  • the terminal 100 has GPS in addition to the communication unit 110, the storage unit 120, the display unit 130, the voice output unit 140, and the controller 150 configured in FIG. 1.
  • the receiver 160 may further include a camera 170.
  • the terminal 100 includes a communication unit 110, a storage unit 120, a display unit 130, a voice output unit 140, a controller 150, a GPS receiver 160, and the like. It consists of a camera 170. Not all components of the terminal 100 illustrated in FIG. 22 are essential components, and the terminal 100 may be implemented by more components than those illustrated in FIG. 22, or by fewer components. The terminal 100 may be implemented.
  • the communication unit 110 corresponds to a current position of the terminal 100 transmitted from the server 200 or a search word transmitted from the terminal 100 to the server 200 under the control of the controller 150.
  • Receive aerial view or sky view / road view / foreground view).
  • the storage unit 120 is an aerial view (or sky view / corresponding to the current location of the terminal 100 received through the communication unit 110 or a search word transmitted from the terminal 100 to the server 200). Save the load view / foreground view.
  • the display unit 130 is an aerial view (or sky) corresponding to the received current location of the terminal 100 or a search word transmitted from the terminal 100 to the server 200 under the control of the controller 150. View / load view / foreground view).
  • the voice output unit 140 is an aerial view (or sky) corresponding to the current location of the terminal 100 received by the controller 150 or a search word transmitted from the terminal 100 to the server 200. Voice information corresponding to a view / load view / foreground view) is output.
  • the controller 150 executes an overall control function of the terminal 100.
  • controller 150 performs a member registration procedure with respect to the user of the terminal 100 to the server 200 by interworking with the server 200.
  • the controller 150 when performing a membership registration process, the controller 150 must complete an authentication function through an identity verification means (for example, a mobile phone, a credit card, an i-pin, an email, etc.) and a membership registration procedure for the server 200. Can be completed normally.
  • an identity verification means for example, a mobile phone, a credit card, an i-pin, an email, etc.
  • the controller 150 provides user information, such as date of birth, male / female information, telephone number, email, password, name, address, etc. to the server 200 through the communication unit 110. do.
  • the controller 150 displays an app execution result screen on the display unit 130.
  • the app execution result screen includes a member information item (or menu / button) for receiving or transmitting member information, an image information item for providing an image or a 3D panoramic image, a setting item for setting an app function, and a terminal.
  • My page items for managing the purchase history information for the goods or services purchased through the (100) and the like.
  • the terminal 100 communicates with the server 200 related to the app in the background state.
  • the controller 150 receives member information for receiving (or receiving) member information corresponding to the selected member information item.
  • the screen is displayed on the display unit 130.
  • the controller 150 receives member information according to a user input (or user touch).
  • the member information includes a name, an address, a language used, shipping information, a type of shopping object (eg, an avatar type, an emoticon type, etc.).
  • the controller 150 transmits the received member information, identification information of the terminal 100, etc. to the server 200 through the communication unit 110.
  • the identification information of the purchase terminal 100 includes a mobile directory number (MDN), a mobile IP, a mobile MAC, a subscriber identity module (SIM) card unique information, a serial number, and the like.
  • the controller 150 provides the aerial view (or street view / road view / foreground view) provided from the server 200. Receives through the communication unit 110. In this case, the controller 150 receives a search word according to a user input, transmits the received search word to the server 200 through the communication unit 110, and transmits the received search word from the server 200 in response to the transmission.
  • the aerial view (or street view / road view / foreground view) may be received through the communication unit 110.
  • the aerial view, the street view, the road view, the foreground view, or the like may be implemented in virtual reality, or may be an image (or image) previously photographed through a camera or the like, or MR content previously produced. .
  • the aerial view described in the present invention represents an image taken through a camera (not shown) provided in the aircraft, the street view (or road view / foreground view) is the camera 170 on the road (or sidewalk) or building, etc. ) Or a dedicated camera (not shown).
  • the controller 150 when checking the image of the area where the terminal 100 is located through the camera 170, the controller 150 is an image (for example, street view (or road view) confirmed through the camera 170) / View) is displayed on the display unit 130 (or view finder).
  • an image for example, street view (or road view) confirmed through the camera 170) / View
  • the controller 150 may determine the current location of the terminal 100 and information on an object in the displayed street view (or road view / foreground view) (for example, the street view (or road view / foreground view)). Augmented reality information related to the corresponding Street View is checked based on a signboard included therein).
  • the controller 150 may apply the identified augmented reality information to the street view (or road view / foreground view) to display an image to which the augmented reality information is applied to an image previously identified through the camera 170. It is displayed on the display unit 130.
  • the aerial view, the street view, the road view, the foreground view, etc. may be provided in the form of a real image, a virtual reality, an augmented reality, or the like.
  • the controller 150 is the current of the terminal 100 on the screen displayed on the terminal 100 transmitted from the server 200 (or the position or coordinate information associated with the avatar / corresponding screen on the screen) At least one event information related to a location is received through the communication unit 110.
  • the controller 150 controls the received at least one event information and the terminal 100 on the screen displayed on the display unit 130 (or location / coordinate information related to the avatar / the corresponding screen on the screen). At least one path information corresponding to the at least one event information is generated based on the current location.
  • the route information may include driving (or lane information, road information, driving speed limit information, turn-by-turn information, traffic safety information, traffic guidance information, vehicle information, path finding information, passage (or corridor) information in a building, or the like).
  • driving or lane information, road information, driving speed limit information, turn-by-turn information, traffic safety information, traffic guidance information, vehicle information, path finding information, passage (or corridor) information in a building, or the like.
  • driving or lane information, road information, driving speed limit information, turn-by-turn information, traffic safety information, traffic guidance information, vehicle information, path finding information, passage (or corridor) information in a building, or the like.
  • driving or lane information, road information, driving speed limit information, turn-by-turn
  • the controller 150 displays the event name and the generated at least one route information by overlapping the screen on the screen (eg, the aerial view, the street view, the road view, the foreground view, etc.) of the display unit 130. do.
  • the route information may be displayed in the form of an arrow or line in the form of a turn-by-turn for going to a destination corresponding to the event information.
  • the controller 150 ends the event based on the event period and event time zone information in the event information.
  • Event deadline or when the event duration and event time zone are within preset thresholds
  • the thickness of the arrow or line included in the corresponding route information is displayed in relatively bold, and remains above the preset threshold until the end of the event. If present, the thickness of the arrow or line included in the corresponding path information may be displayed relatively thinner than when the event is near the end.
  • the terminal 100 displaying a screen expressed in virtual reality or augmented reality, at least one event corresponding to the position of the terminal 100 or the avatar on the screen. If the information exists, the terminal 100 receives at least one event information provided from the server 200, generates at least one path information corresponding to the received at least one event information, respectively, although displaying the event name corresponding to the generated at least one path information and the event information is overlapped and displayed on the screen, the present invention is not limited thereto, and before the screen is displayed in the virtual reality or augmented reality, the corresponding event name is displayed.
  • the presence of event information corresponding to the position of the terminal 100 or the avatar on the screen is confirmed in advance , It may generate the path information in the presence of the event information corresponding to the position of the terminal 100 or avatar on the screen and configured to display the path information and an event name applied screen.
  • the terminal 100 receives a plurality of event information from the server 200 and stores the terminal information in the terminal 100.
  • the terminal 100 on the screen displayed on the terminal 100 or When there is one or more event information corresponding to the location of the avatar, one or more path information corresponding to the one or more event information is generated, and the generated one or more path information is displayed on the screen displayed on the terminal 100. As the display overlaps, the load of the server 200 may be reduced.
  • the terminal 100 generates at least one path information based on at least one event information provided from the server 200, and then displays the generated at least one path information on the screen.
  • the server 200 generates at least one path information based on the at least one event information and the location information of the terminal 100 or the avatar.
  • the generated at least one path information is provided to the terminal 100.
  • the server 200 generates a new screen by overlapping the generated at least one path information on the screen, and the terminal (100) is the terminal (100 screen to which the at least one path information is applied). ) Can be provided.
  • the terminal 100 receives at least one path information provided from the server 200, and displays the received at least one path information by overlapping the screen displayed on the terminal 100. have.
  • the terminal 100 May generate route information according to the changed event information, delete route information corresponding to event information for which application of event information is released, and display route information according to the generated changed event information.
  • the terminal 100 corresponds to a position of an avatar in the 3D panoramic image related to the AAA department store first floor escalator among the plurality of event information.
  • the event information is provided from the server 200.
  • the at least one event information corresponding to the position of the avatar in the 3D panoramic image associated with the AAA department store first floor escalator is at least one corresponding to the position of the avatar in the 3D panoramic image in the lobby of the first floor of the AAA department store.
  • the event information related to the discount event of the 1st floor fishery corner is maintained, but the event information related to the discount event of the 3rd floor clothing section is not included. It may include a state of the event information associated with the discount event of the.
  • the terminal 100 generates eleventh route information related to a discount event of the first floor fishery corner of the basement based on the received one or more event information, and a twelfth related to a discount event of the second floor consumer electronics corner. Generate route information. In addition, the terminal 100 overlaps the generated eleventh route information, twelfth route information, and the like on a 3D panoramic image related to the AAA department store 1F escalator.
  • the terminal 100 may generate route information by applying the corresponding event information in real time and display the generated route information.
  • the terminal 100 may provide real-time path information according to the current position of the terminal 100 or the avatar by applying an interactive concept according to the movement of the position of the terminal 100 or the avatar.
  • the terminal 100 receives time sale event information provided from the server 200.
  • the time sale event (or time sale event) may be an event of discounting prices on some products or services in a state of setting a time zone.
  • the terminal 100 may further display the received type sale event information on the other side of the screen to which the event name and the generated at least one path information are applied.
  • the terminal 100 displays a detailed screen of the selected time sale event information or 3D panorama related to the selected time sale event information. Display the video.
  • the controller 150 is connected to a starting point (or a reference point / starting point). Remaining distance from the location on the screen (or the current location of the terminal 100 / avatar in the screen) where the corresponding at least one route information is overlapped and the destination corresponding to the selected route information, the average to the destination Travel time information (or average travel time information), event information related to the corresponding route information, etc. are displayed on one side of the screen in which at least one route information of the display unit 130 is overlapped and displayed, and the corresponding destination at the position on the screen. Continuously displaying the screen on which the automatic moving function (or the automatic driving function) is performed at the preset speed up to .
  • the controller 150 senses a pressure corresponding to a touch state in which any one path information selected from at least one path information displayed on the display unit 130 is selected.
  • the controller 150 may perform another function according to the strength of the sensed pressure (or touch pressure).
  • the controller 150 is included in the terminal 100 while the state in which any one path information is selected (or touched / clicked) from the at least one path information displayed on the display unit 130 is maintained.
  • the sensor unit (not shown) senses the pressure according to the selection (or touch).
  • the controller 150 selects the at least one path information corresponding to the starting point (or reference point / starting point) from the selected position on the screen.
  • the controller 150 displays a screen related to the final destination corresponding to the selected route information on the screen to which at least one route information displayed on the display unit 130 is applied. It is displayed on the display unit 130.
  • the controller 150 may return to a destination displayed on the display unit 130 in relation to the selected route information.
  • the display of the screen according to the automatic moving function (or the automatic driving function) is stopped, and the display unit 130 displays a screen on which the at least one route information is overlapped.
  • the GPS receiver 160 receives a GPS signal transmitted from a satellite, generates location data of the terminal 100 in real time based on a longitude coordinate and a latitude coordinate included in the received GPS signal, and generates the generated data.
  • the position data is output to the controller 150.
  • the generated position data is defined as the current position (or current position data) of the terminal 100.
  • the location information may be received through Wi-Fi or Wibro as well as the GPS receiver 160.
  • the signal received through the GPS receiver 160 is 802.11, Bluetooth, which is a standard of a wireless network for a wireless LAN including wireless LAN and some infrared communication proposed by the Institute of Electrical and Electronics Engineers (IEEE) 802.15, the standard for wireless personal area networks (PANs), including UWB, Zigbee, and wireless metro area networks (MAN), including broadband wireless access (FWA), and broadband wireless access Access: Wireless communication methods such as 802.16, which is a standard for BWA, and 802.20, which is a standard for the mobile Internet, for wireless MAN (MBWA) including Wibro, WiMAX, etc. It may be configured to provide the terminal 100 with location information of the terminal.
  • IEEE Institute of Electrical and Electronics Engineers
  • PANs personal area networks
  • MAN wireless metro area networks
  • FWA broadband wireless access
  • Wireless communication methods such as 802.16, which is a standard for BWA, and 802.20, which is a standard for the mobile Internet, for wireless MAN (MBWA) including Wibro, WiMAX, etc
  • the camera 170 processes an image frame such as a still image or a video obtained by an image sensor (camera module or camera) in a video call mode, a shooting mode, a video conference mode, and the like. That is, corresponding image data obtained by the image sensor is encoded / decoded according to each standard according to a codec.
  • the processed image frame may be displayed on the display unit 130 under the control of the controller 150.
  • the camera 170 photographs an object (or a subject) (a user image or a video conference person), and outputs a video signal corresponding to the captured image (subject image).
  • the image frame processed by the camera 170 may be stored in the storage unit 120 or transmitted to an external terminal (including another terminal, the server 200, etc.) through the communication unit 110. have.
  • the server 200 communicates with the terminal 100 and the like.
  • the server 200 performs a member registration procedure for the user of the terminal 100 by interworking with the terminal 100.
  • the server 200 is one or more stores on the offline or street stores, goods in the store, exhibition products, POP, flyers, banner advertisements, bulletin board through a plurality of cameras (not shown) included in the server 200
  • the first image and the second image including the advertisement, the poster advertisement, the signboard, the price tag, and the like are photographed.
  • the store includes a department store, a shopping mall, an outlet, a restaurant, a hospital, a building (or a building), and the like.
  • the server 200 checks the location information (including GPS location information, etc.) of the point at which the first image and the second image are photographed, and checks the checked location information with the first image. Matching (or linking) with the second image and storing the same.
  • the point of purchase refers to an advertisement providing information on goods and / or services on the spot to customers who visit the store.
  • the leaflet or leaflet advertisement / leaflet / leaflet advertisement
  • the banner advertisement represents an advertisement installed at a specific location of a store and providing information on a specific product and / or service.
  • the poster advertisement (billing) represents a paper produced and pasted for promotional purposes, and is produced by considering letters, figures, sentences, etc. to attract attention because it is appealing to the time.
  • the signboard represents a plate displaying a company name, a store name, a product name, a service name, and the like associated with a store.
  • the server 200 obtains an overlapped region in which the first image and the second image overlap with respect to the photographed first image and the second image based on the pixel orientation.
  • the server 200 generates a preliminary panoramic image by synthesizing the first image and the second image based on the obtained overlapped region.
  • the server 200 may generate a preliminary panoramic image by synthesizing the first and second images photographed by various known synthesis methods.
  • the generated preliminary panoramic image includes (or linked / matched) location information about a first object, a product, a point (or a coordinate) included in the preliminary panoramic image.
  • the preliminary panoramic image is not only an image but also a corresponding preliminary search for (or checking) a 3D panoramic image corresponding to the location information (for example, the location information of the purchase terminal 100, etc.) of the terminal in the future. It is configured to include location information on the first object, goods, points, etc. included in the panoramic image.
  • the first and second images are synthesized based on the obtained overlapping area, and thus the preliminary panoramic image is generated.
  • the preliminary panoramic image may be generated by synthesizing the captured first image and the second image by various known synthesis methods.
  • the server 200 is based on the first image and the second image photographed through a plurality of cameras (for example, a plurality of cameras configured for a special device for photographing a 3D panoramic image, a special vehicle, etc.).
  • the preliminary panoramic image may be generated.
  • the server 200 recognizes one or more first objects included in the preliminary panoramic image, respectively.
  • the first object may be each store located on the offline store, a point of purchase, a leaflet, a banner advertisement, a poster located on the offline store, or located in each store. It may include an advertisement, a signboard, a price tag, and the like.
  • the first object in the present invention may be in a state of excluding or including goods and services provided by each store.
  • the POP, flyer, banner advertisement, poster advertisement, signage, etc. may represent a discount event code
  • the price tag may represent a product code.
  • the server 200 recognizes each of one or more stores included in the preliminary panoramic image, or recognizes a POP, a flyer, a banner advertisement, a poster advertisement, a signboard, a price list, and the like included in the preliminary panoramic image, respectively.
  • the server 200 may include a sales advertisement, an enlarged image, a video (or a promotional video), a coupon (eg, a discount coupon, a free coupon, etc.), a donation, a comment, respectively, corresponding to the recognized one or more first objects.
  • An object for providing information, and / or another additional object for screen switching, is added (or inserted) to a part of the area on the first object in the preliminary panoramic image or adjacently within a preset distance from the first object. Add (or insert) to create a 3D panoramic image.
  • the server 200 adds (or inserts) an object related to the sales advertisement corresponding to the recognized one or more first objects to a partial region on the corresponding first object in the preliminary panoramic image, or from the first object.
  • a 3D panoramic image is generated by adding (or inserting) adjacently within a preset distance.
  • the sale advertisement includes a POP, a flyer, a banner advertisement, a poster advertisement, a signboard, a price tag, and the like.
  • the server 200 adds (or inserts) an object for providing an enlarged image corresponding to the recognized one or more first objects to a partial region on the corresponding first object in the preliminary panoramic image, or the first object.
  • a 3D panoramic image is generated by adding (or inserting) adjacently within a preset distance from the object.
  • the enlarged image may be an internal picture (or an additional image related to the product) of a product such as a refrigerator or a washing machine, or an enlarged picture of a fresh food.
  • the enlarged image may be arranged in a slide order.
  • the server 200 may add (or insert) an object for providing a video (or a promotional video) corresponding to the recognized one or more first objects to a partial region on the first object in the preliminary panoramic image, or Alternatively, the 3D panorama image may be generated by adding (or inserting) adjacently within a preset distance from the first object.
  • the video (or promotional video) is a video related to the product and / or service, a video related to the use of the product (for example, a video on how to use cosmetics, a video about wearing clothes, a video about how to assemble a toy , Video about how to use the tool, video about how to cook, etc.), and may include text and / or voice messages.
  • the server 200 adds (or inserts) an object for providing a coupon corresponding to the recognized one or more first objects to a partial region on the corresponding first object in the preliminary panoramic image, or the first object.
  • a 3D panoramic image is generated by adding (or inserting) adjacently within a preset distance from.
  • the coupon is a coupon to which a discount is applied when purchasing the corresponding product, and in the case of a plurality of coupons, the coupon is arranged in order by a slide method and may be downloaded to the purchase terminal 100 according to a user selection.
  • the server 200 adds an object for providing donation information provided when purchasing goods and / or services related to the recognized one or more first objects to a partial region on the first object in the preliminary panoramic image ( Or insert (or insert) adjacently within a predetermined distance from the first object to generate a 3D panoramic image.
  • the donation displays detailed guide information on the donation information applied when the corresponding product is purchased, and in a plurality of cases, the donation may be arranged in a slide manner.
  • the server 200 adds (or inserts) an object for providing comment information on goods and / or services related to the recognized one or more first objects to a partial region on the corresponding first object in the preliminary panoramic image.
  • 3D panorama image is generated by adding (or inserting) adjacently within a predetermined distance from the first object.
  • the comment includes information related to the corresponding product and / or service registered by another terminal that purchased the corresponding product and / or service (eg, a purchase testimonial, a user review, etc.).
  • the object and / or other additional object added to the preliminary panoramic image information gradually increases in the maximum state of the light (or a specific color) with respect to the corresponding object at a predetermined period so as to easily identify the corresponding object (or the other additional object). It may be a state in which the effect of repeatedly changing from the off state to the maximum state again, the light flickering effect, the neon sign effect, and the color of the light changes to different colors at predetermined cycles may be applied.
  • various effects may be applied to the object added to the preliminary panoramic image information and / or other additional objects, and may be configured to facilitate identification in the 3D panoramic image information.
  • the generated 3D panoramic image includes (or linked / matched) location information about a first object, a product, a point (or a coordinate) included in the 3D panoramic image.
  • the server 200 may generate the 3D panoramic image for each language in consideration of language-specific characteristics.
  • the 3D panoramic image generated according to an embodiment of the present invention includes (or linked / matches) location information on the first object, product, point (or coordinate) included in the 3D panoramic image.
  • the 3D panoramic image is not only an image but also a corresponding 3D panoramic image so that a 3D panoramic image corresponding to an arbitrary terminal (for example, location information of the purchase terminal 100, etc.) can be searched (or confirmed) later. It is configured to include location information about the first object, goods, branches, and the like contained in the.
  • the server 200 when the arbitrary terminal requests a 3D panoramic image corresponding to the location information, the server 200 includes a plurality of 3D panoramic image information including location information of one or more objects, goods, and points stored in advance.
  • the 3D panoramic image information corresponding to the specific location information requested from the arbitrary terminal may be checked and the checked 3D panoramic image information may be provided to the corresponding terminal.
  • the server 200 may include an object corresponding to 123-45 Yeoksam-ro, Gangnam-gu, Seoul, which is location information of the arbitrary terminal, from 3D panoramic image information linked to a plurality of objects and / or product location information. You can check the included 3D panoramic image information.
  • the server 200 may check 3D panoramic image information including objects and / or merchandise similar to location information of the terminal (including 123-44 or 123-46 or Yeoksam-ro, Gangnam-gu, Seoul, etc.). .
  • the server 200 is based on the location information of the arbitrary terminal and the GPS information configured at the predetermined interval based on the arbitrary One piece of 3D panoramic image information corresponding to (or similar / related to) location information of the terminal may be checked.
  • a method of checking 3D panoramic image information corresponding to specific location information among a plurality of 3D panoramic image information stored in advance in the server 200 may apply techniques utilized in a map search service.
  • the 3D panoramic image information generated by the present invention is linked to the position information, and among the plurality of 3D panoramic image information previously stored in the server 200 with respect to specific position information transmitted from any terminal.
  • the 3D panoramic image information corresponding to the specific location information may be checked and the checked 3D panoramic image information may be provided to the corresponding terminal that has transmitted the specific location information.
  • the server 200 repeatedly performs the preceding steps at a predetermined period (including 10 seconds, 1 minute, etc.) to generate a new 3D panoramic image.
  • the server 200 generates a new preliminary panoramic image by synthesizing the images taken in real time through the plurality of cameras at a predetermined period (including 10 seconds, 1 minute, etc.), and generates the new Recognizing one or more first objects included in the preliminary panoramic image, and generating a new 3D panoramic image by adding a first code corresponding to the recognized one or more first objects in the new preliminary panoramic image.
  • the server 200 acquires (or extracts) an outline of the person in the new preliminary panoramic image, and the new preliminary panoramic image.
  • the new 3D panorama is removed by removing a recognized person and adding a first code corresponding to the recognized one or more first objects and an outline of the acquired (or extracted) person in the new preliminary panoramic image from which the person has been removed. Create an image.
  • the server 200 adds the contour of the acquired person to the position of the person in the new preliminary panoramic image.
  • the server 200 maintains only the outline of the person with respect to the person included in the new preliminary panoramic image for privacy protection.
  • the internal area may be processed to be an empty space or to be replaced with a screen of a previous preliminary panoramic image generated in a previous step.
  • the server 200 checks a difference between the generated new 3D panoramic image and the previously generated 3D panoramic image (or the generated new 3D panoramic image information and the previously generated 3D panoramic image information).
  • the server 200 maintains the latest 3D panoramic image by compensating the identified difference in real time to the previously generated 3D panoramic image.
  • the server 200 may include one or more first objects included in the previously generated 3D panoramic image and And / or determines that there is no change in the state of the product, and maintains the 3D panoramic image generated earlier as the latest 3D panoramic image.
  • the server 200 compensates the changed portion (or the identified difference) to the previously generated 3D panoramic image. (Or reflecting), a 3D panoramic image compensated for the difference between the 3D panoramic image to be compared is generated as a new new 3D panoramic image.
  • the server 200 is included in the new 3D panoramic image in the previously generated 3D panoramic image.
  • a 3D panoramic image including the contour-shaped person may be generated as the latest new 3D panoramic image.
  • the server 200 maintains only the outline of the person with respect to the person included in the new 3D panoramic image for privacy protection.
  • the internal area may be processed to be an empty space or to be replaced with a screen of a previous 3D panoramic image generated in a previous step.
  • the server 200 contours the person included in the new 3D panoramic image, and the contoured person internal region is immediately generated in the previous step. As the screen of the 3D panoramic image is displayed, it is possible to prevent an object, a product, etc. in the 3D panoramic image from being hidden and hidden by the person.
  • the server 200 may compensate only the difference in the previously generated 3D panoramic image, and replace the generated new 3D panoramic image with the latest new 3D panoramic image instead of the previously generated 3D panoramic image. You may.
  • the server 200 may maintain the latest 3D panoramic image in real time through background modeling.
  • the server 200 receives a search word transmitted from the terminal 100, identification information of the terminal 100, location information of the terminal 100, and the like.
  • the server 200 checks a 3D panoramic image or image corresponding to the search word among a plurality of 3D panoramic images or images.
  • the server 200 transmits a 3D panoramic image or image corresponding to the identified search word to the terminal 100.
  • the server 200 may be located in a position related to the terminal 100 (or an avatar / the corresponding screen on the screen) on the screen displayed on the terminal 100 among a plurality of event information stored in advance in the server 200.
  • the event information includes an event period set in a specific store, an event time zone, an event product or service type, a discount rate, and the like.
  • the server 200 is connected to the current location of the terminal 100 on the screen displayed on the terminal 100 (or an avatar / position or coordinate information related to the corresponding screen) on the screen and the server 200.
  • the check result (or determination result), the position of the terminal 100 on the screen displayed on the terminal 100 (or a location on the screen corresponding to the avatar / the corresponding screen) among a plurality of event information stored in advance in the server 200. If there is no event information related to the current position of the coordinate information), the server 200 is the event related to the current position of the terminal 100 / Avatar on the screen displayed on the terminal 100 among the plurality of event information previously Return to the process of checking whether there is information.
  • the server 200 transmits the at least one event information to the terminal 100.
  • the server 200 confirms a 3D panoramic image or image corresponding to the search word from among a plurality of 3D panoramic images or images while receiving a search word, location information of the terminal 100, etc. from the terminal 100. And a current position of the terminal 100 (or an avatar / position or coordinate information related to the corresponding screen) on the screen displayed on the terminal 100 among a plurality of event information stored in advance in the server 200.
  • the server 200 may transmit the 3D panoramic image or image corresponding to the identified search word, the at least one event information, etc. to the terminal 100.
  • the server 200 may provide the plurality of event information updated in real time to the connected terminal 100 in real time.
  • the server 200 confirms a 3D panoramic image or image corresponding to the search word from among a plurality of 3D panoramic images or images while receiving a search word, location information of the terminal 100, etc. from the terminal 100. And a current position of the terminal 100 (or an avatar / position or coordinate information related to the corresponding screen) on the screen displayed on the terminal 100 among a plurality of event information stored in advance in the server 200. If there is at least one event information related to the present invention, the server 200 generates at least one path information based on the at least one event information and the location information of the terminal 100 or the avatar. Thereafter, the server 200 generates a new 3D panoramic image or image applying the generated at least one path information to the 3D panoramic image or image corresponding to the identified search word.
  • the server 200 provides the at least one path to the generated at least one path information, the 3D panoramic image or image corresponding to the identified search word, and the 3D panoramic image / image corresponding to the generated search word.
  • a new 3D panoramic image / image to which the information is applied may be provided to the terminal 100.
  • the application state of the at least one event information is changed as the location of the terminal 100 or the avatar is changed on the screen to which the event name and the generated at least one path information displayed on the terminal 100 are applied.
  • the server 200 provides the changed event information and the changed screen according to the screen change to the terminal 100 in real time.
  • the newly registered time sale event is related to the current location of the terminal 100 or the avatar on the screen on which the terminal 100 is displayed.
  • the server 200 provides the time sale event information to the terminal 100.
  • the time sale event (or time sale event) may be an event of discounting prices on some products or services in a state of setting a time zone.
  • the server 200 responds to the request of the corresponding time sale event information of the terminal 100 in detail information about the time sale event information.
  • the terminal 100 provides information such as a 3D panoramic image or an image related to the time sale event information.
  • the avatar is located based on one or more event information collected by the server and the location information of the avatar on the screen in a screen displayed through the virtual reality or the augmented reality using the MR content generated by the MR content production device.
  • One or more path information corresponding to event information in progress in an adjacent area may be provided.
  • the remaining distance information from the location to the destination and the automatic movement from the location to the destination may be performed based on the selected route information.
  • FIG. 33 is a flowchart illustrating a path information providing method according to an event using MR content according to a fourth embodiment of the present invention.
  • the terminal 100 displays a screen such as an aerial view, a street view, a road view, and a foreground view.
  • the aerial view, the street view, the road view, and the foreground view may be implemented in virtual reality or may be an image (or image) captured by a camera.
  • the street view, the road view, the foreground view, etc. may be implemented in augmented reality through the camera 170 and the display unit 130 provided in the terminal 100 or may be MR content produced in advance.
  • the screen may be provided as a 2D image or a 3D panoramic image in 3D.
  • the terminal 100 receives an aerial view (or street view / road view / foreground view) provided from the server 200 after accessing the server 200.
  • the received aerial view (or street view / road view / foreground view) is displayed.
  • the terminal 100 displays a street view (or a road view / foreground view) through the camera 170 and the display unit 130 (or the view finder) included in the terminal 100 ( Alternatively, the camera 170 and the display unit 130 display an image including one or more objects (eg, buildings, signs, etc.). Then, the current location of the terminal 100, information about the object in the displayed street view (or road view / foreground view) (for example, including a signboard included in the street view (or road view / foreground view)) Augmented reality information related to the corresponding street view is confirmed, and the identified augmented reality information is applied to the street view (or road view / foreground view).
  • a street view or a road view / foreground view
  • the camera 170 and the display unit 130 display an image including one or more objects (eg, buildings, signs, etc.).
  • the embodiment according to the present invention may use a screen such as an aerial view, a street view, a road view, a foreground view, and the like provided in the form of a real image, virtual reality, augmented reality, and the like.
  • the first terminal 100 accesses the server 200 through an app pre-installed in the corresponding first terminal or a web site related to the specific server 200. Thereafter, the first terminal receives the first 3D panoramic image related to the AAA department store provided from the server 200.
  • the first 3D panoramic image may be a 3D panoramic image corresponding to a search word (for example, an AAA department store) transmitted from the first terminal to the server 200.
  • the first terminal displays the received first 3D panoramic image (or first 3D panoramic image associated with the AAA department store) 3400.
  • the avatar 3410 may be displayed in the first 3D panoramic image 3400 to check the current location.
  • the second terminal 100 is an area (eg, reverse three-way crossroad range) in which the corresponding second terminal is located through the camera 170 and the display unit 130 provided in the second terminal. ),
  • the image (or the first street view) 3500 of the CHA hospital cross-section that is the north direction is displayed.
  • augmented reality information related to the corresponding image is checked based on a current position of the second terminal, information on an object included in the checked image, and the like.
  • the second terminal applies the identified augmented reality information to the image.
  • the second terminal displays a first street view 3600 to which the augmented reality information is applied.
  • the second terminal is connected to the first street view 3600. It is checked whether there is an object related to the selected specific category among one or more objects included. Subsequently, when there is at least one object related to the selected specific category among one or more objects included in the first street view 3600, the second terminal transmits information related to the at least one object to the first street. It may be displayed on one side of the view 3600 (S3310).
  • the server 200 may be located in a position related to the terminal 100 (or an avatar / screen corresponding to the screen) on the screen displayed on the terminal 100 among a plurality of event information stored in advance in the server 200.
  • the event information includes an event period set in a specific store, an event time zone, an event product or service type, a discount rate, and the like.
  • the server 200 is connected to the current location of the terminal 100 on the screen displayed on the terminal 100 (or an avatar / position or coordinate information related to the corresponding screen) on the screen and the server 200.
  • the server 200 may set a predetermined distance from the current location (eg, AAA department store 1F lobby) of the avatar displayed on the first terminal among a plurality of event information stored in the server 200. For example, check whether there is event information in progress within 1000 meters).
  • the current location eg, AAA department store 1F lobby
  • the server 200 may set a predetermined distance from the current location (eg, AAA department store 1F lobby) of the avatar displayed on the first terminal among a plurality of event information stored in the server 200. For example, check whether there is event information in progress within 1000 meters).
  • the server 200 may set a preset radius (eg, reverse three-way range) of the second terminal displayed on the second terminal among a plurality of event information stored in the server 200 in advance. For example, it is checked whether there is event information in progress within 700 meters (S3320).
  • a preset radius eg, reverse three-way range
  • the check result (or determination result), the position of the terminal 100 on the screen displayed on the terminal 100 (or a location on the screen corresponding to the avatar / the corresponding screen) among a plurality of event information stored in advance in the server 200. If there is no event information related to the current position of the coordinate information), the server 200 is the event related to the current position of the terminal 100 / Avatar on the screen displayed on the terminal 100 among the plurality of event information previously Return to the process of checking whether there is information.
  • the server 200 sets a predetermined distance (eg, AAA department store 1F lobby) of the avatar displayed on the first terminal among the plurality of event information.
  • a preset distance for example, 1000 meters
  • the server 200 sets a predetermined distance (eg, AAA department store 1F lobby) of the avatar displayed on the first terminal among the plurality of event information.
  • the process of checking whether there is event information in progress within 1000 meters) is repeated (S3330).
  • the server 200 transmits the at least one event information to the terminal 100.
  • the server 200 may set a predetermined distance from the current location (eg, AAA department store 1F lobby) of the avatar displayed on the first terminal among a plurality of event information stored in the server 200. For example, 20% discount on seafood from 10 am to 10 pm Jan. 1-Jan. 30, 2016, at a number of event information (for example, 450 m away) Event, including a 30% discount on men's wear from January 1st to January 10th, 10am to 10pm, etc., at the 3rd floor clothing corner, 750 meters away.
  • the current location eg, AAA department store 1F lobby
  • Event including a 30% discount on men's wear from January 1st to January 10th, 10am to 10pm, etc., at the 3rd floor clothing corner, 750 meters away.
  • the event information (for example, 20% discount of seafood products from January 1st to January 30th, 10am to 10pm, at the underground 1F seafood corner, 450 meters away, January 1st-January 10th, 2016 And 10% to 10 pm, including men's 30% discount event) is transmitted to the first terminal.
  • the server 200 may be a preset radius (eg, reverse three-way range) of the second terminal displayed on the second terminal among a plurality of event information stored in the server 200.
  • a number of events in progress for example, 700 meters
  • BBB coffee shop 200 meters away from Gangnam Station 20% discount on all items from 8 am to 12 pm on the day, CCC 150 meters away from Seolleung Station
  • the server 200 will be able to receive the event information (for example, at the BBB coffee shop located 200 meters away from Gangnam Station, for example). 20% discount on all items from 8 am to 12 pm, 10% discount on all items from 7 am to 9 pm on the same day at CCC Bakery, 150 meters away from Seolleung Station Included) is transmitted to the second terminal (S3340).
  • the terminal 100 displays a current state of the terminal 100 (or an avatar / position or coordinate information related to the corresponding screen) on the screen displayed on the terminal 100 transmitted from the server 200.
  • the terminal 100 of the at least one event information received and the terminal 100 on the screen displayed on the terminal 100 (or the avatar / location or coordinate information associated with the corresponding screen on the screen)
  • At least one path information corresponding to the at least one event information is generated based on the current location.
  • the route information may include driving (or lane information, road information, driving speed limit information, turn-by-turn information, traffic safety information, traffic guidance information, vehicle information, path finding information, passage (or corridor) information in a building, or the like).
  • driving or lane information, road information, driving speed limit information, turn-by-turn information, traffic safety information, traffic guidance information, vehicle information, path finding information, passage (or corridor) information in a building, or the like.
  • driving or lane information, road information, driving speed limit information, turn-by-turn information, traffic safety information, traffic guidance information, vehicle information, path finding information, passage (or corridor) information in a building, or the like.
  • driving or lane information, road information, driving speed limit information, turn-by-turn
  • the terminal 100 displays the event name and the generated at least one route information by overlapping the screen on the screen (eg, aerial view, street view, road view, foreground view, etc.).
  • the route information may be displayed in the form of an arrow or line in the form of a turn-by-turn for going to a destination corresponding to the event information.
  • the route information is determined to be near the end of the event (or event close) based on the event period and event time zone information in the event information (or when the event period and event time zone is within a preset threshold), the corresponding route information
  • the thickness of the arrow or line included in the display is relatively thick, and the predetermined threshold value remains until the end of the event, the thickness of the arrow or line included in the corresponding path information may be displayed relatively thinner than when the event is near the end. .
  • the first terminal is a plurality of event information transmitted from the server 200 (for example, from 1 January 2016 ⁇ 30 January 10 am at the fishery corner of the basement 1 floor at a distance of 450 meters 20% off seafood from 10pm to 10pm, including 30% off men's wear from January 1st to January 10th, 10am to 10pm, at the clothing floor on the third floor above the ground. Receive.
  • the first terminal is based on the received plurality of event information based on the first event information (for example, underground 1 located 450 meters away from the AAA department store ground floor lobby, which is the current location of the avatar in the first 3D panoramic image).
  • first event information for example, underground 1 located 450 meters away from the AAA department store ground floor lobby, which is the current location of the avatar in the first 3D panoramic image.
  • second event information e.g., the first 30% discount on men's wear from January 1st to January 10th, 10:00 am to 10:00 pm, at the Clothing Corner on the 3rd floor above ground level, 750 meters from the AAA Department Store 1st floor lobby, the avatar's current location in the 3D panoramic image.
  • second path information according to "
  • the first terminal includes a first event name (eg, a seafood discount) corresponding to the first event information on the first 3D panoramic image 3400 and the generated first.
  • the route information 3710 and the second event name corresponding to the second event information (for example, men's wear discount) and the generated second route information 3720 overlap each other and displayed 3700.
  • the second terminal discounts 20% of all items from 8 am to 12 pm on the same day at the BBB coffee specialty store 200 meters away from the plurality of event information transmitted from the server 200 (for example, 200 meters in the direction of Gangnam Station).
  • Event including a 10% discount on all items from 7:00 am to 9:00 pm on the day at CCC Bakery, 150 meters away from Seolleung Station.
  • the second terminal is 200 meters in the direction of Gangnam Station from the Yeoksam Station Intersection, which is the current location of the second terminal in the first Street View in which the augmented reality is applied, based on the received plurality of event information.
  • the BBB coffee shop on the street generates third route information according to a 20% discount on all items from 8 am to 12 pm on the day, and generates fourth event information (e.g., within the first Street View to which the augmented reality is applied).
  • a fourth route information according to a 10% discount event for all items from 7 am to 9 pm of the day is generated.
  • the second terminal may include a third event name (for example, a BBB coffee shop) corresponding to the third event information in the first street view 3600 to which the augmented reality information is applied.
  • the generated third path information 3810 and the fourth event name (for example, CCC bakery) corresponding to the fourth event information and the generated fourth path information 3820 overlap each other and are displayed (3800). (S3350).
  • the terminal 100 is located at a starting point (or a reference point / starting point). Remaining distance from the location on the screen (or the current location of the terminal 100 / avatar in the screen) where the corresponding at least one route information is overlapped and the destination corresponding to the selected route information, the average to the destination Travel time information (or average travel time information), event information related to the corresponding route information, etc. are displayed on one side of the screen in which the at least one route information is overlapped and displayed, and a preset speed from the position on the screen to the corresponding destination. Displays the screen on which the auto move function (or auto drive function) is performed continuously.
  • the The first terminal continuously changes and displays 3900 the screen as an image of moving the first 3D panoramic image 3400 to the corner of the first floor fishery, which is a destination corresponding to the selected first route information 3710, Remaining distance (for example, 440 meters) 3910 to the first basement fishery corner of the destination on one side of the changing screen, average travel time information (for example, 6 minutes and 36 seconds) 3920 to the corresponding destination, First event information corresponding to the first route information 3710 (for example, 20% discount of seafood products from 10 am to 10 pm on Jan. 1-Jan. 30, 2016, at the Seafood Corner, B1) 3930 and the like.
  • Remaining distance for example, 440 meters
  • average travel time information for example, 6 minutes and 36 seconds
  • the terminal 100 may detect a pressure in a state in which the one path information is selected, and may perform another function according to the sensed pressure.
  • the terminal 100 according to the selection (or touch) is maintained in a state in which one of the at least one path information displayed on the terminal 100 is selected (or touched / clicked). Sense the pressure.
  • the terminal 100 is displayed with overlapping the at least one route information corresponding to the starting point (or reference point / starting point) as described above
  • the at least one route information overlaps a remaining distance from a location on a screen to a destination corresponding to the selected route information, average travel time information (or average travel time information) to the corresponding destination, event information related to the route information, and the like.
  • the terminal 100 displays a screen related to the final destination corresponding to the selected route information.
  • the pressure according to the user touch is increased.
  • the second terminal displays a screen corresponding to a BBB coffee shop, which is the final destination in the third event information associated with the third route information provided from the server 200 (for example, a BBB coffee shop).
  • a 3D panoramic image related to the operation) (S3360).
  • the terminal 100 stops performing the automatic moving function according to the selected path information and displays the at least one path information on the screen (eg, For example, the screen returns to the screen overlapping and displaying on the aerial view, street view, road view, foreground view, and the like.
  • the first terminal moves to a basement first floor fishery corner that is a destination corresponding to the first route information 3710 of FIG. 39.
  • the process of continuously changing and displaying the screen with an image is stopped, and the generated first path information 3710 and second path information 3720 are respectively displayed on the first 3D panoramic image 3400 of FIG. 37. It returns to the screen 3700 which overlaps and displays (S3370).
  • an embodiment of the present invention adds one or more markers to the panorama image information based on the panorama image information photographed by the camera to produce MR content, and relates to an object included in the panorama image information.
  • MR markers are added by a simple operation by creating MR contents by adding promotion markers, creator markers, and the like.
  • the reliability of the MR content or the additional information related to the marker may be increased.
  • an embodiment of the present invention may include at least one event information collected by a server on a screen displayed through virtual reality or augmented reality using MR content generated by an MR content production device, and an avatar on the screen. Based on the location information, one or more or a plurality of path information corresponding to the event information in progress in the adjacent region where the avatar is located is provided, and the current ongoing event corresponding to the position on the screen displayed through virtual reality or augmented reality. Providing path information related to this, the marketing effect can be maximized and users can be interested in the event.
  • the embodiment of the present invention as described above, the ongoing event in the adjacent area of the corresponding location displayed on one side in the screen displayed through the virtual reality or augmented reality using the MR content generated by the MR content production device
  • the remaining distance information from the location to the destination the automatic movement from the location to the destination based on the selected route information
  • MR contents are created by adding one or more markers to the panoramic image information based on the panoramic image information captured by the camera, thereby providing various additional information in relation to an object included in the panoramic image information. It can be used in a wide range of applications such as virtual reality, augmented reality, mixed reality (MR), terminal, panoramic image, shopping information, marketing, server, etc. Can be.
  • MR mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 MR 콘텐츠 제작 장치 및 그 방법을 개시한다. 즉, 본 발명은 카메라를 통해 촬영된 파노라마 영상 정보를 근거로 상기 파노라마 영상 정보에 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작함으로써, 해당 파노라마 영상 정보에 포함된 객체와 관련하여 다양한 부가 정보를 제공하며, 사용자의 흥미를 유발하고 편의성을 향상시킬 수 있다.

Description

MR 콘텐츠 제작 장치 및 그 방법
본 발명은 MR 콘텐츠 제작 장치 및 그 방법에 관한 것으로, 특히 카메라를 통해 촬영된 파노라마 영상 정보를 근거로 상기 파노라마 영상 정보에 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하는 MR 콘텐츠 제작 장치 및 그 방법에 관한 것이다.
웹상에서 구현되는 가상현실에 사용되는 기술은 VRML(가상현실모델링(3D)), VRML97, 자바를 기반으로 한 Java3D, Cult3D, 마이크로소프트사의 MetaStream, 애플사의 QuickTimeVR 등이 있다.
이러한 기술들은 자사만의 포맷을 사용하고 있어 많은 개발자나 일반인들이 쉽게 접근할 수 없어 광범위한 기술 개발이 어렵고, 활용성에 제한이 있다.
본 발명의 목적은 카메라를 통해 촬영된 파노라마 영상 정보를 근거로 상기 파노라마 영상 정보에 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하는 MR 콘텐츠 제작 장치 및 그 방법을 제공하는 데 있다.
본 발명의 다른 목적은 파노라마 영상 정보에 하나 이상의 마커를 추가하는 경우, 프로모션 마커, 크리에이터 마커 등을 추가하는 MR 콘텐츠 제작 장치 및 그 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 MR 콘텐츠 제작 장치에 의해 생성된 MR 콘텐츠를 이용한 가상 현실 또는 증강 현실을 통해 표시되는 화면에서 서버에 의해 수집되는 하나 이상의 이벤트 정보 및 상기 화면상의 아바타의 위치 정보를 근거로 상기 아바타가 위치한 인접 지역에서 진행 중인 이벤트 정보에 대응하는 하나 이상의 또는 복수의 경로 정보를 제공하는 MR 콘텐츠 제작 장치 및 그 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 MR 콘텐츠 제작 장치에 의해 생성된 MR 콘텐츠를 이용한 가상 현실 또는 증강 현실을 통해 표시되는 화면 내의 일측에 표시되는 해당 위치의 인접 지역에서 진행 중인 이벤트 정보에 대응하는 하나 이상의 또는 복수의 경로 정보 중에서 어느 하나의 경로 정보가 선택된 상태가 유지되는 경우, 상기 선택된 경로 정보를 근거로 해당 위치에서 목적지까지의 남은 거리 정보, 해당 위치에서 목적지까지의 자동 이동 기능을 수행하는 MR 콘텐츠 제작 장치 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 MR 콘텐츠 제작 방법은 표시부에 의해, 파노라마 영상 정보를 상기 표시부의 영상 표시 영역에 표시하는 단계; 상기 표시부의 객체 마커 표시 영역에 표시되는 복수의 객체 마커 중에서 선택된 제 1 객체 마커가 드래그 앤 드랍 기능에 의해 상기 영상 표시 영역 상의 제 1 영역에 드랍될 때, 제어부에 의해, 상기 영상 표시 영역 내의 제 1 영역에 상기 선택된 제 1 객체 마커를 배치하는 단계; 상기 영상 표시 영역 내에 배치된 제 1 객체 마커가 선택될 때, 상기 제어부에 의해, 사용자 입력을 근거로 상기 선택된 제 1 객체 마커에 대한 속성 정보를 설정하는 단계; 및 상기 표시부에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 제어부에 의해, 상기 영상 표시 영역의 상기 파노라마 영상 정보 상에 배치된 하나 이상의 객체 마커를 포함하는 MR 콘텐츠를 생성하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 파노라마 영상 정보는, 이미지/동영상, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 상기 이미지/동영상 내에서의 코드의 위치 정보, 상기 이미지/동영상과 관련한 카테고리 정보, 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보 및 영상 유형 정보 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 객체 마커는, 샵카메라 객체 마커, 상품 객체 마커, 업체 객체 마커, 프로모션 객체 마커 및 크리에이터 객체 마커 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제 1 객체 마커에 대한 속성 정보는, 상기 객체 마커가 상품일 때, 상품에 대한 이미지, 상품명, 상품 고유 코드, 가격 정보, 상품과 관련한 동영상 링크, 상세 설명, 카탈로그 및 외부에 저장된 상세 페이지 주소 링크 중 적어도 하나를 포함하며, 상기 객체 마커가 샵카메라일 때, 상기 파노라마 영상 정보와 관련한 하나 이상의 카메라 중에서 적어도 하나의 카메라의 링크를 포함하며, 상기 객체 마커가 업체일 때, 업체명, 업체에 대한 이미지, 업체 로고, 업체 고유 코드, 업체와 관련한 동영상 링크, 업체 설명, 카탈로그 및 외부에 저장된 업체 상세 설명 페이지 주소 링크 중 적어도 하나를 포함하며, 상기 객체 마커가 프로모션일 때, 프로모션명, 프로모션에 대한 이미지/동영상, 프로모션 고유 코드, 프로모션 설명 및 외부에 저장된 프로모션 상세 설명 페이지 주소 링크 중 적어도 하나를 포함하며, 상기 객체 마커가 크리에이터일 때, 크리에이터명, 이미지/동영상, 크리에이터 고유 코드 및 크리에이터 설명 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제 1 객체 마커에 대한 속성 정보를 설정하는 단계는, 상기 파노라마 영상 정보가 동영상인 상태에서 상기 제 1 객체 마커가 배치될 때, 상기 동영상 중에서 상기 제 1 객체 마커가 배치되는 위치부터 미리 설정된 프레임의 개수만큼의 전 프레임 및 후 프레임에 상기 제 1 객체 마커를 추가 적용할 수 있다.
본 발명과 관련된 일 예로서 상기 표시부에 표시되는 미리 설정된 미리보기 메뉴가 선택될 때, 상기 제어부에 의해, 상기 영상 표시 영역의 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커에 대한 결과 화면을 팝업 형태로 상기 표시부에 표시하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 MR 콘텐츠를 생성하는 단계는, 상기 표시부에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 영상 표시 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 완료된 상태인지 여부를 확인하는 과정; 및 상기 확인 결과, 상기 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 완료된 상태일 때, 상기 파노라마 영상 정보 상에 배치된 하나 이상의 객체 마커를 포함하는 MR 콘텐츠를 생성하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 MR 콘텐츠는, 이미지/동영상, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 상기 이미지/동영상 내에서의 코드의 위치 정보, 상기 이미지/동영상과 관련한 카테고리 정보, 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보, 상기 이미지/동영상 내에 배치된 객체 마커, 상기 이미지/동영상 내에서의 객체 마커의 위치 정보 및 상기 객체 마커의 속성 정보 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 표시부를 통해, 항공뷰, 상기 MR 콘텐츠 형태의 스트리트 뷰, 로드 뷰 및 전경 뷰 중 어느 하나의 형태의 화면을 표시하는 단계; 통신부를 통해, 서버로부터 전송되는 상기 표시부에 표시되는 화면 상에서의 단말이나 아바타의 현재 위치와 관련한 적어도 하나의 이벤트 정보를 수신하는 단계; 상기 제어부를 통해, 상기 수신된 적어도 하나의 이벤트 정보 및 상기 표시부에 표시되는 화면 상에서의 단말이나 아바타의 현재 위치를 근거로 상기 적어도 하나의 이벤트 정보에 대응하는 적어도 하나의 경로 정보를 각각 생성하는 단계; 상기 표시부를 통해, 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 제 1 화면을 표시하는 단계; 상기 표시부에 표시되는 적어도 하나의 경로 정보 중에서 어느 하나의 경로 정보를 선택한 상태가 유지되는 동안, 상기 표시부를 통해, 상기 제 1 화면에서 상기 선택된 경로 정보에 대응하는 목적지까지의 미리 설정된 속도로 자동 이동 기능을 수행에 따라 변화하는 연속된 화면을 표시하는 단계; 및 상기 어느 하나의 경로 정보를 선택한 상태가 해제될 때, 상기 표시부를 통해, 상기 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 제 1 화면을 표시하는 화면으로 복귀하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 이벤트 정보는, 특정 매장에서 설정한 이벤트 기간, 이벤트 시간대, 이벤트 상품이나 서비스 종류 및 할인율 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 경로 정보는, 차선 정보, 도로 정보, 주행 제한 속도 정보, 턴바이턴 정보, 교통 안전 정보, 교통 안내 정보, 차량 정보, 길 찾기 정보 및 건물 내의 통로 정보 중 적어도 하나의 정보를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 표시하는 단계는, 상기 이벤트 정보에 대응하는 목적지를 가기 위한 턴바이턴 형태의 화살표 또는 선 형태로 상기 경로 정보를 표시할 수 있다.
본 발명과 관련된 일 예로서 상기 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 표시하는 단계는, 상기 이벤트 정보 내의 이벤트 기간 및 이벤트 시간대가 미리 설정된 임계값 이내일 때의 상기 경로 정보에 포함된 화살표나 선의 굵기를 상기 이벤트 정보 내의 이벤트 기간 및 이벤트 시간대가 상기 임계값보다 이상 남아 있을 때의 상기 경로 정보에 포함된 화살표나 선의 굵기보다 굵게 표시할 수 있다.
본 발명과 관련된 일 예로서 상기 제 1 화면에서 자동 이동 기능 수행에 따라 변화하는 연속된 화면을 표시하는 단계는, 상기 연속된 화면의 일측에 상기 선택된 경로 정보에 대응하는 목적지까지의 남은 거리, 상기 목적지까지의 평균 이동 시간 정보 또는 평균 주행 시간 정보 및, 상기 선택된 경로 정보에 대응하는 이벤트 정보 중 적어도 하나를 표시할 수 있다.
본 발명과 관련된 일 예로서 상기 경로 정보의 선택에 따라 감지된 압력 세기가 미리 설정된 기준값 이상일 때, 상기 표시부를 통해, 상기 선택된 경로 정보에 대응하는 목적지와 관련한 화면을 표시하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 MR 콘텐츠 제작 장치는 파노라마 영상 정보를 영상 표시 영역에 표시하는 표시부; 및 상기 표시부의 객체 마커 표시 영역에 표시되는 복수의 객체 마커 중에서 선택된 제 1 객체 마커가 드래그 앤 드랍 기능에 의해 상기 영상 표시 영역 상의 제 1 영역에 드랍될 때, 상기 영상 표시 영역 내의 제 1 영역에 상기 선택된 제 1 객체 마커를 배치하고, 상기 영상 표시 영역 내에 배치된 제 1 객체 마커가 선택될 때 사용자 입력을 근거로 상기 선택된 제 1 객체 마커에 대한 속성 정보를 설정하고, 상기 표시부에 표시되는 미리 설정된 저장 메뉴가 선택될 때 상기 영상 표시 영역의 상기 파노라마 영상 정보 상에 배치된 하나 이상의 객체 마커를 포함하는 MR 콘텐츠를 생성하는 제어부를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 파노라마 영상 정보가 동영상인 상태에서 상기 제 1 객체 마커가 배치될 때, 상기 동영상 중에서 상기 제 1 객체 마커가 배치되는 위치부터 미리 설정된 프레임의 개수만큼의 전 프레임 및 후 프레임에 상기 제 1 객체 마커를 추가 적용할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 표시부에 표시되는 미리 설정된 미리보기 메뉴가 선택될 때, 상기 영상 표시 영역의 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커에 대한 결과 화면을 팝업 형태로 상기 표시부에 표시할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 표시부에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 영상 표시 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 완료된 상태인지 여부를 확인하고, 상기 확인 결과, 상기 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 완료된 상태일 때, 상기 파노라마 영상 정보 상에 배치된 하나 이상의 객체 마커를 포함하는 MR 콘텐츠를 생성할 수 있다.
본 발명과 관련된 일 예로서 단말이나 아바타의 현재 위치와 관련한 적어도 하나의 이벤트 정보를 수신하는 통신부;를 더 포함하며, 상기 표시부는, 상기 MR 콘텐츠 형태의 항공뷰, 스트리트 뷰, 로드 뷰 및 전경 뷰 중 어느 하나의 형태의 화면을 표시하며, 상기 제어부는, 상기 수신된 적어도 하나의 이벤트 정보 및 상기 표시부에 표시되는 화면 상에서의 단말이나 아바타의 현재 위치를 근거로 상기 적어도 하나의 이벤트 정보에 대응하는 적어도 하나의 경로 정보를 각각 생성하고, 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 제 1 화면을 표시하도록 상기 표시부를 제어하고, 상기 표시부에 표시되는 적어도 하나의 경로 정보 중에서 어느 하나의 경로 정보를 선택한 상태가 유지되는 동안, 상기 제 1 화면에서 상기 선택된 경로 정보에 대응하는 목적지까지의 미리 설정된 속도로 자동 이동 기능을 수행에 따라 변화하는 연속된 화면을 표시하도록 상기 표시부를 제어할 수 있다.
본 발명은 카메라를 통해 촬영된 파노라마 영상 정보를 근거로 상기 파노라마 영상 정보에 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작함으로써, 해당 파노라마 영상 정보에 포함된 객체와 관련하여 다양한 부가 정보를 제공하며, 사용자의 흥미를 유발하고 편의성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 파노라마 영상 정보에 하나 이상의 마커를 추가하는 경우, 프로모션 마커, 크리에이터 마커 등을 추가하여 MR 콘텐츠를 제작함으로써, 간편 조작에 의해 마커가 추가된 MR 콘텐츠를 제작하며, 해당 마커와 관련한 크리에이터 또는 쇼핑 호스트에 대한 이미지를 함께 제공함에 따라 해당 MR 콘텐츠 또는 해당 마커와 관련한 부가 정보에 대한 신뢰성을 높일 수 있는 효과가 있다.
또한, 본 발명은 MR 콘텐츠 제작 장치에 의해 생성된 MR 콘텐츠를 이용한 가상 현실 또는 증강 현실을 통해 표시되는 화면에서 서버에 의해 수집되는 하나 이상의 이벤트 정보 및 상기 화면상의 아바타의 위치 정보를 근거로 상기 아바타가 위치한 인접 지역에서 진행 중인 이벤트 정보에 대응하는 하나 이상의 또는 복수의 경로 정보를 제공함으로써, 가상 현실 또는 증강 현실을 통해 표시되는 화면에서의 위치에 대응하는 현재 진행 중인 이벤트와 관련한 경로 정보를 제공함에 따라 마케팅 효과를 극대화하고 해당 이벤트에 대한 사용자의 관심을 유발할 수 있는 효과가 있다.
또한, 본 발명은 MR 콘텐츠 제작 장치에 의해 생성된 MR 콘텐츠를 이용한 가상 현실 또는 증강 현실을 통해 표시되는 화면 내의 일측에 표시되는 해당 위치의 인접 지역에서 진행 중인 이벤트 정보에 대응하는 하나 이상의 또는 복수의 경로 정보 중에서 어느 하나의 경로 정보가 선택된 상태가 유지되는 경우, 상기 선택된 경로 정보를 근거로 해당 위치에서 목적지까지의 남은 거리 정보, 해당 위치에서 목적지까지의 자동 이동 기능을 수행함으로써, 단말의 사용자가 위치한 현재 위치에서 이벤트가 진행 중인 목적지까지의 경로를 확인할 수 있어 사용자의 편의성을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 MR 콘텐츠 제작 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 제 1 실시예에 따른 MR 콘텐츠 제작 방법을 나타낸 흐름도이다.
도 3 내지 도 11은 본 발명의 제 1 실시예에 따른 MR 콘텐츠 제작 장치의 화면을 나타낸 도이다.
도 12는 본 발명의 제 2 실시예에 따른 MR 콘텐츠 제작 방법을 나타낸 흐름도이다.
도 13 내지 도 21은 본 발명의 제 2 실시예에 따른 MR 콘텐츠 제작 장치의 화면을 나타낸 도이다.
도 22는 본 발명의 제 3 실시예에 따른 MR 콘텐츠 제작 방법을 나타낸 흐름도이다.
도 23 내지 도 30은 본 발명의 제 3 실시예에 따른 MR 콘텐츠 제작 장치의 화면을 나타낸 도이다.
도 31은 본 발명의 다른 실시예에 따른 MR 콘텐츠를 이용한 이벤트에 따른 경로 정보 제공 장치의 구성을 나타낸 블록도이다.
도 32는 본 발명의 다른 실시예에 따른 단말 또는 MR 콘텐츠 제작 장치의 구성을 나타낸 블록도이다.
도 33은 본 발명의 제 4 실시예에 따른 MR 콘텐츠를 이용한 이벤트에 따른 경로 정보 제공 방법을 나타낸 흐름도이다.
도 34 내지 도 39는 본 발명의 제 4 실시예에 따른 단말의 화면을 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 MR 콘텐츠 제작 장치(100)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, MR 콘텐츠 제작 장치(100)는 통신부(110), 저장부(120), 표시부(130), 음성 출력부(140) 및 제어부(150)로 구성된다. 도 1에 도시된 MR 콘텐츠 제작 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 MR 콘텐츠 제작 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 MR 콘텐츠 제작 장치(100)가 구현될 수도 있다.
상기 MR 콘텐츠 제작 장치(100)는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기에 적용될 수 있다.
상기 통신부(110)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 서버(미도시), 다른 단말(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(110)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 통신부(110)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 통신부(110)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버, 상기 다른 단말 등과 무선 신호를 송수신한다.
또한, 상기 통신부(110)는 상기 제어부(150)의 제어에 의해 상기 서버로부터 제공되는 하나 이상의 파노라마 영상 정보를 수신한다. 여기서, 상기 파노라마 영상 정보는 이미지, 동영상 등을 포함한다. 또한, 상기 파노라마 영상 정보는 상기 이미지/동영상 외에, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 이미지/동영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커(또는 예비 마커), 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등을 포함한다.
상기 저장부(120)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 상기 저장부(120)는 상기 MR 콘텐츠 제작 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
즉, 상기 저장부(120)는 상기 MR 콘텐츠 제작 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), MR 콘텐츠 제작 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 MR 콘텐츠 제작 장치(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 MR 콘텐츠 제작 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(120)에 저장되고, MR 콘텐츠 제작 장치(100)에 설치되어, 제어부(150)에 의하여 상기 MR 콘텐츠 제작 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 상기 저장부(120)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, MR 콘텐츠 제작 장치(100)는 인터넷(internet)상에서 저장부(120)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.
또한, 상기 저장부(120)는 상기 통신부(110)를 통해 수신된 하나 이상의 파노라마 영상 정보를 저장한다.
또한, 상기 저장부(120)는 상기 제어부(150)의 제어에 의해 상기 서버로부터 제공되는 상기 파노라마 영상 정보를 표시(또는 출력)하거나 상기 파노라마 영상 정보를 편집하여 MR 콘텐츠(Mixed Reality Contents)(또는 MR 영상)를 생성하기 위한 특정 앱(또는 애플리케이션)을 저장(또는 설치)한다.
상기 표시부(130)는 상기 제어부(150)의 제어에 의해 상기 저장부(120)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(130)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(130)는 터치 스크린 일 수 있다.
또한, 상기 표시부(130)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 표시부(130)는 상기 제어부(150)의 제어에 의해 상기 MR 콘텐츠 제작 장치(100)에 설치된 특정 앱을 통해 상기 통신부(110)를 통해 수신된 하나 이상의 파노라마 영상 정보 등을 표시한다.
상기 음성 출력부(140)는 상기 제어부(150)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(140)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 상기 음성 출력부(140)는 상기 제어부(150)에 의해 생성된 안내 음성을 출력한다.
또한, 상기 음성 출력부(140)는 상기 제어부(150)에 의해 상기 통신부(110)를 통해 수신된 하나 이상의 파노라마 영상 정보 등에 대응하는 음성 정보를 출력한다.
상기 제어부(150)는 상기 MR 콘텐츠 제작 장치(100)의 전반적인 제어 기능을 실행한다.
또한, 제어부(150)는 저장부(120)에 저장된 프로그램 및 데이터를 이용하여 MR 콘텐츠 제작 장치(100)의 전반적인 제어 기능을 실행한다. 제어부(150)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부(120)에 액세스하여, 저장부(120)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 저장부(120)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 상기 제어부(150)는 상기 서버로부터 제공되는 하나 이상의 파노라마 영상 정보를 상기 통신부(110)를 통해 수신한다.
본 발명의 실시예에서는, 상기 파노라마 영상 정보를 상기 서버 또는 다른 단말로부터 제공받는 것을 설명하고 있으나, 상기 제어부(150)에서 상기 파노라마 영상 정보를 생성할 수도 있다.
즉, 상기 제어부(150)는 특정 매장에 구비된 360도 카메라(미도시)를 통해 촬영된 영상에 포함된 코드(또는 스티커)를 인식한다. 여기서, 상기 코드(또는 스티커)는 해당 매장 내의 상품, POP(Point of Purchase), 전단(leaflet), 배너광고(banner advertisement), 게시판 광고, 포스터 광고(billing), 간판(signboard), 가격표 등과 관련한 정보(또는 카테고리 정보)를 포함하며, 숫자, 문자, 기호, 도형 등의 조합에 의해 생성될 수 있다. 이때, 상기 360도 카메라는 2차원 또는 3차원 형태의 파노라마 영상을 촬영할 수 있다.
또한, 상기 제어부(150)는 상기 인식된 코드와 관련하여 상기 인식된 코드의 종류에 대응하는 임시 마커, 상기 영상 내에서의 임시 마커의 위치 정보, 상기 영상(예를 들어 이미지, 동영상 등 포함)과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 상기 360도 카메라의 카메라 번호, 상기 영상(또는 파노라마 영상)의 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 라이브, 미설정 등 포함) 등을 각각 확인한다.
또한, 상기 제어부(150)는 상기 인식된 코드, 상기 인식된 코드의 고유 식별 정보, 상기 인식된 코드의 종류, 상기 영상 내에서의 코드의 위치 정보, 상기 인식된 코드의 종류에 대응하는 임시 마커, 상기 영상 내에서의 임시 마커의 위치 정보, 상기 영상(예를 들어 이미지, 동영상 등 포함)과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 라이브, 미설정 등 포함) 등의 정보를 해당 영상(예를 들어 이미지, 동영상 등 포함)과 연동하여 파노라마 영상 정보를 생성한다.
또한, 상기 제어부(150)는 상기 특정 매장에 구비된 특정 360도 카메라를 통해 촬영된 영상을 근거로 생성된 파노라마 영상 정보를 상기 저장부(120)에 저장한다.
또한, 상기 제어부(150)는 상기 특정 매장에 구비된 특정 360도 카메라를 통해 촬영된 영상을 근거로 생성된 파노라마 영상 정보를 상기 통신부(110)를 통해 상기 서버, 상기 다른 단말 등에 전송한다.
이와 같이, 상기 파노라마 영상 정보는 상기 서버, 상기 다른 단말에서 생성된 후, 상기 MR 콘텐츠 제작 장치(100)에 제공되거나 또는, 상기 MR 콘텐츠 제작 장치(100) 자체에서 생성할 수 있다.
또한, 상기 표시부(130)에 상기 수신된 파노라마 영상 정보를 표시하고자 하는 경우, 상기 제어부(150)는 상기 파노라마 영상 정보를 표시하기 위한 앱이 상기 MR 콘텐츠 제작 장치(100)에 설치된 상태인지 여부를 확인한다.
상기 확인 결과, 상기 파노라마 영상 정보를 표시하기 위한 앱이 상기 MR 콘텐츠 제작 장치(100)에 설치되지 않은 상태인 경우, 상기 제어부(150)는 상기 서버와의 연동에 의해 해당 앱을 상기 MR 콘텐츠 제작 장치(100)에 설치한다.
또한, 상기 확인 결과, 상기 MR 콘텐츠 제작 장치(100)에 설치된 앱이 실행되는 경우, 상기 제어부(150)는 앱 실행 결과 화면을 상기 표시부(130)에 표시한다. 여기서, 상기 앱 실행 결과 화면은 전시회 관리(예를 들어 전시회 생성, 삭제, 수정, 추가 등 포함)를 위한 전시회 관리 항목(또는 메뉴/버튼), MR 콘텐츠를 편집하고 생성하기 위한 MR 콘텐츠 관리 항목, MR 콘텐츠를 공유하기 위한 MR 콘텐츠 배포 항목 등을 포함한다. 상기 앱 실행 결과 화면은 회원 정보를 입력받거나 전송하기 위한 회원 정보 항목, 앱의 기능을 설정하기 위한 설정 항목, MR 콘텐츠 편집 이력 정보 등을 관리하기 위한 마이 페이지 항목 등을 더 포함할 수도 있다. 이때, 상기 MR 콘텐츠 제작 장치(100)는 백그라운드 상태로 해당 앱과 관련한 서버와 통신한다.
또한, 상기 제어부(150)는 특정 매장, 특정 전시회 등과 관련한 파노라마 영상 정보를 요청하기 위한 파노라마 영상 정보 요청 신호를 생성한다.
또한, 상기 제어부(150)는 상기 생성된 파노라마 영상 정보 요청 신호, 상기 MR 콘텐츠 제작 장치(100)의 식별 정보 등을 상기 통신부(110)를 통해 상기 서버에 전송한다. 여기서, 상기 MR 콘텐츠 제작 장치(100)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscriber identity module: 가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
또한, 상기 제어부(150)는 상기 전송된 파노라마 영상 정보 요청 신호에 응답하여 상기 서버로부터 전송되는 특정 매장, 특정 전시회 등과 관련한 특정 파노라마 영상 정보를 상기 통신부(110)를 통해 수신한다.
또한, 상기 제어부(150)는 상기 수신된 특정 파노라마 영상 정보를 상기 저장부(120)에 저장한다.
상기 표시부(130)에 표시되는 앱 실행 결과 화면 내의 미리 설정된 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 상기 표시부(130)의 목록/리스트 표시 영역에 저장부(120)에 저장된 하나 이상의 파노라마 영상 정보에 대한 목록(또는 리스트)을 표시한다. 여기서, 상기 파노라마 영상 정보는 이미지, 동영상 등을 포함한다. 또한, 상기 파노라마 영상 정보는 상기 이미지/동영상 외에, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 이미지/동영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커(또는 예비 마커), 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등을 포함한다. 이때, 상기 미리 설정된 메뉴 선택에 따른 화면은 파노라마 영상을 표시하기 위한 제 1 영역(또는 영상 표시 영역), 카테고리 분류를 표시하기 위한 제 2 영역(또는 카테고리 영역), 객체 마커를 표시하기 위한 제 3 영역(또는 객체 마커 표시 영역), 설정 메뉴를 표시하기 위한 제 4 영역(또는 설정 영역), 하나 이상의 파노라마 영상 정보를 포함하는 목록을 표시하기 위한 제 5 영역(또는 목록/리스트 표시 영역) 등을 포함할 수 있다.
또한, 상기 제 1 영역(또는 영상 표시 영역)은 상기 파노라마 영상에 해당하는 이미지, 동영상 등을 표시하는 영역이다. 이때, 상기 파노라마 영상이 동영상인 경우, 상기 제 1 영역의 일측에 상기 동영상을 표시하고, 상기 제 1 영역의 다른 일측에 해당 동영상의 재생, 일시정지, 2배속 정방향/역방향 재생 등을 위한 메뉴와, 하이라이트 재생 지점을 나타내는 메뉴와, 해당 동영상의 전체 런 타임과 재생 중인 지점의 시간 등을 나타내는 메뉴 등을 표시할 수 있다.
또한, 상기 제 2 영역(또는 카테고리 영역)은 상기 전시회 관리 메뉴 등을 통해 설정된(또는 등록된) 하나 이상의 전시회 항목을 리스트 박스, 콤보 박스 등의 형태로 표시하는 영역이다. 이때, 상기 카테고리 영역은 대분류, 중분류, 소분류 등에 의한 복수의 카테고리 영역으로 구분할 수 있다. 또한, 상기 카테고리 영역을 통해 어느 하나의 카테고리가 선택되는 경우, 상기 제어부(150)는 상기 선택된 카테고리에 대응하는 파노라마 영상 정보를 포함하는 목록을 상기 제 5 영역에 표시한다.
또한, 상기 제 3 영역(또는 객체 마커 표시 영역)은 파노라마 영상 정보에 추가될 수 있는 미리 설정된 객체 마커(예를 들어 샵카메라(또는 카메라), 상품, 업체, 이벤트 정보 등 포함)를 표시하는 영역이다. 이때, 특정 객체 마커가 상기 파노라마 영상 정보에 배치된 이후 해당 특정 객체 마커가 선택(또는 터치/더블 클릭 등 포함)되는 경우, 상기 제어부(150)는 상기 제 3 영역의 일측에 상기 선택된 특정 객체 마커에 대한 속성 정보를 설정하기 위한 화면을 추가로 표시한다.
또한, 상기 제 4 영역(또는 설정 영역)은 편집 중인 파노라마 영상 정보에 대해서 미리보기 기능, 삭제 기능, 저장 기능, 취소 기능 등의 메뉴 항목을 표시하는 영역이다.
또한, 상기 제 5 영역(또는 목록/리스트 표시 영역)은 상기 저장부(120)에 저장된 하나 이상의 파노라마 영상 정보에 대한 목록(또는 리스트)을 표시하는 영역이다.
또한, 상기 표시부(130)에 표시되는 하나 이상의 파노라마 영상 정보 중에서 어느 하나의 파노라마 영상 정보가 선택되는 경우, 상기 제어부(150)는 상기 선택된 파노라마 영상 정보를 상기 표시부(130)의 제 1 영역(또는 영상 표시 영역)에 표시한다. 이때, 상기 표시부(130)의 제 1 영역에 표시되는 파노라마 영상 정보는 카메라(미도시)를 통해 촬영된 코드가 포함된 이미지 또는 동영상 외에, 상기 코드와 관련한 하나 이상의 임시 마커가 포함된 상태일 수 있다. 여기서, 상기 임시 마커는 상기 코드와 관련하여 상기 코드 종류를 표시하기 위한 것으로, 샵카메라, 상품, 업체, 이벤트 정보 등을 표시하기 위한 용도이다. 또한, 상기 임시 마커는 샵카메라를 나타내기 위한 샵카메라 임시 마커(예를 들어 'CM'으로 표시), 상품을 나타내기 위한 상품 임시 마커(예를 들어 'PD'로 표시), 업체를 나타내기 위한 업체 임시 마커(예를 들어 'CO'로 표시), 이벤트 정보를 나타내기 위한 이벤트 정보 임시 마커(예를 들어 'EV'로 표시), 프로모션 정보를 나타내기 위한 프로모션 정보 임시 마커(예를 들어 'PR'로 표시) 등을 포함한다. 또한, 상기 임시 마커는 객체 마커와의 구분을 위해서, 실제 객체 마커로 대체(또는 교체/변경)되기 이전까지는 해당 임시 마커의 테두리를 점선 처리하거나, 배경색을 투명하게 설정하거나 또는 특정 색상으로 설정한 상태로 표시한다.
또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 파노라마 영상 정보의 다른 일측에 360도 파노라마 영상의 상/하/좌/우로 패닝(panning)하기 위한 패닝 버튼 등을 표시할 수 있다.
이때, 상기 제어부(150)는 사용자 선택(또는 사용자 터치/사용자 입력)에 따라 상기 표시부(130)에 표시되는 화면 내의 제 2 영역(또는 카테고리 영역)에 표시되는 상기 하나 이상의 파노라마 영상 정보에 대응하는 카테고리에 대한 정보를 선택하고, 상기 선택된 카테고리 정보에 대응하는 적어도 하나의 파노라마 영상 정보 중에서 선택되는 어느 하나의 파노라마 영상 정보를 상기 표시부(130)의 제 1 영역(또는 영상 표시 영역)에 표시할 수도 있다.
또한, 상기 제어부(150)는 사용자 입력(또는 MR 콘텐츠 제작에 관한 제어/조작 명령/사용자 터치/사용자 선택)에 따라 상기 제 3 영역(또는 객체 마커 표시 영역)에 표시되는 하나 이상의 객체 마커 중에서 어느 하나의 객체 마커가 선택된 후, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)이 선택되는 경우, 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 코드 종류와 상기 선택된 객체 마커의 종류를 비교한다. 여기서, 상기 특정 영역(또는 특정 위치)에 대응하는 코드 종류(또는 상기 코드 종류에 대응하는 임시 마커의 종류)는 샵카메라, 상품, 업체, 이벤트 정보, 관련 데이터 없음 중 어느 하나일 수 있다. 또한, 상기 객체 마커의 종류는 샵카메라, 상품, 업체, 이벤트 정보 중 어느 하나일 수 있다.
즉, 상기 표시부(130)에 표시되는 하나 이상의 객체 마커 중에서 어느 하나의 객체 마커가 선택된 후, 상기 표시부(130)에 표시되는 파노라마 영상 정보 상의 특정 영역에 상기 선택된 객체 마커를 배치하고자 하는 경우, 상기 제어부(150)는 상기 특정 영역에 대해서 미리 설정된 코드 종류(또는 상기 코드 종류에 대응하는 임시 마커의 종류)와 상기 선택된 객체 마커의 종류가 일치하는지 여부를 확인(또는 판단)한다.
이때, 상기 제어부(150)는 상기 표시부(130)에 대한 드래그 앤 드롭(drag & drop) 기능을 사용하여 상기 제 3 영역(또는 객체 마커 표시 영역)에서의 객체 마커 중 어느 하나의 객체 마커가 선택(또는 드래그)된 후, 드래그 앤 드랍 기능에 의해, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)에 드랍될 때, 상기 객체 마커가 드랍된 특정 영역(또는 특정 위치)에 대응하는 코드 종류와, 상기 선택된 어느 하나의 객체 마커의 종류를 비교할 수도 있다.
이와 같이, 상기 제어부(150)는 상기 특정 영역(또는 특정 위치)에 배치하고자 하는 객체 마커에 대해서, 상기 객체 마커가 상기 특정 영역에 대응하여 미리 설정된 임시 마커와 동일한 종류(또는 동일/유사 분야/카테고리)의 마커에 해당하는지 여부를 검증한다.
상기 비교 결과(또는 상기 확인/판단 결과), 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 코드 종류가 관련 데이터 없음이거나 또는, 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 코드 종류와 상기 선택된 객체 마커의 종류가 일치하지 않는 경우, 상기 제어부(150)는 객체 마커 설정이 실패하였음을 나타내는 정보를 상기 표시부(130)의 일부 영역에 팝업 형태 등으로 표시하거나 상기 영상 표시 영역에 표시한다.
또한, 상기 표시부(130)에 표시되는 객체 마커 설정이 실패하였음을 나타내는 정보의 일측에 표시되는 미리 설정된 확인 버튼이 선택되는 경우, 상기 제어부(150)는 상기 선택된 객체 마커를 해제(또는 상기 드랍된 객체 마커를 삭제)하고, 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 임시 마커를 계속하여 표시하고, 객체 마커를 선택하기 위한 상태로 전환한다.
또한, 상기 비교 결과(또는 상기 확인/판단 결과), 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 코드 종류와 상기 선택된 객체 마커의 종류가 일치하는 경우, 상기 제어부(150)는 상기 특정 영역(또는 특정 위치)에 상기 객체 마커를 배치한다. 여기서, 상기 제어부(150)는 상기 특정 영역/특정 위치에 대응하여 미리 설정된 다른 위치에 상기 객체 마커를 배치할 수도 있다. 이때, 상기 제어부(150)는 상기 객체 마커의 배치에 따라, 해당 특정 영역(또는 특정 위치)에 위치했던 임시 마커는 삭제한다.
이와 같이, 상기 특정 영역에 배치할 객체 마커에 대한 검증(또는 확인)이 정상적으로 완료된 경우, 상기 제어부(150)는 상기 특정 영역에 대응하여 배치되었던 임시 마커를 상기 객체 마커로 교체(또는 업데이트/전환/변경/적용)한다.
또한, 상기 제어부(150)는 사용자 입력(또는 MR 콘텐츠 제작에 관한 제어/조작 명령/사용자 터치/사용자 선택)에 따라 상기 제 3 영역(또는 객체 마커 표시 영역)에 표시되는 하나 이상의 객체 마커 중에서 어느 하나의 객체 마커가 선택된 후, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)이 선택되는 경우, 상기 특정 영역(또는 특정 위치)에 상기 객체 마커를 배치한다. 여기서, 상기 제어부(150)는 상기 특정 영역/특정 위치에 대응하여 미리 설정된 다른 위치에 상기 객체 마커를 배치할 수도 있다. 이때, 상기 객체 마커의 종류는 샵카메라, 상품, 업체, 프로모션, 크리에이터(creator) 중 어느 하나일 수 있다. 또한, 상기 객체 마커의 테두리는 실선 처리할 수 있다.
이때, 상기 제어부(150)는 상기 표시부(130)에 대한 드래그 앤 드롭 기능을 사용하여 상기 제 3 영역(또는 객체 마커 표시 영역)에서의 객체 마커 중 어느 하나의 객체 마커가 선택(또는 드래그)된 후, 드래그 앤 드랍 기능에 의해, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)에 드랍될 때, 상기 객체 마커가 드랍된 특정 영역(또는 특정 위치)에 상기 객체 마커를 배치할 수도 있다.
이와 같이, 상기 파노라마 영상 정보에 임시 마커가 포함된 경우, 상기 제어부(150)는 상기 임시 마커와 동일 종류의 객체 마커로 해당 임시 마커를 교체(또는 배치)할 수 있다.
또한, 상기 파노라마 영상 정보에 임시 마커가 포함되지 않은 경우, 상기 제어부(150)는 해당 파노라마 영상 정보 내의 특정 위치에 사용자 선택에 따른 객체 마커를 배치할 수 있다.
또한, 상기 파노라마 영상 정보에 임시 마커가 포함된 경우에 있어서도, 상기 제어부(150)는 해당 임시 마커가 위치하지 않은 다른 특정 위치에 사용자 선택에 따른 객체 마커를 배치하고, 상기 임시 마커와 동일 종류의 다른 객체 마커로 해당 임시 마커를 교체(또는 배치)할 수도 있다.
이와 같이, 상기 파노라마 영상 정보에 임시 마커의 포함 여부에 따라, 상기 제어부(150)는 임시 마커를 대체하여 해당 임시 마커와 동일 종류의 객체 마커를 배치하거나, 파노라마 영상 정보 내의 특정 위치에 신규로 객체 마커를 배치할 수 있다.
또한, 상기 표시부(130)에 표시되는 제 1 영역(또는 상기 영상 표시 영역)에 위치된(또는 배치된) 객체 마커가 선택(또는 터치/더블 클릭)되는 경우, 상기 제어부(150)는 사용자 입력(또는 사용자 터치/사용자 선택)을 근거로 상기 선택된 객체 마커에 대한 속성 정보를 설정한다. 여기서, 상기 객체 마커에 대한 속성 정보는 객체 마커의 종류에 따라 다를 수 있다.
즉, 상기 객체 마커가 상품인 경우, 상기 제어부(150)는 상품에 대한 이미지, 상품명, 상품 고유 코드, 가격 정보, 상품과 관련한 동영상 링크/추가, 상세 설명, 카탈로그, 외부에 저장된 상세 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 샵카메라인 경우, 상기 제어부(150)는 해당 파노라마 영상과 관련한 하나 이상의 카메라 중에서 적어도 하나의 카메라의 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 업체(또는 업체 정보)인 경우, 상기 제어부(150)는 업체명, 업체에 대한 이미지, 업체 로고, 업체 고유 코드, 업체와 관련한 동영상 링크/추가, 업체 설명, 카탈로그, 외부에 저장된 업체 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 이벤트(또는 이벤트 정보)인 경우, 상기 제어부(150)는 이벤트명, 이벤트에 대한 이미지/동영상, 이벤트 고유 코드, 이벤트 설명, 외부에 저장된 이벤트 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 프로모션(또는 프로모션 정보/이벤트/이벤트 정보)인 경우, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 하나 이상의 프로모션 정보를 상기 표시부(130)에 표시한다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 하나 이상의 프로모션 정보 중에서 사용자 선택에 따른 특정 프로모션(또는 특정 프로모션 정보)을 확인한다. 또한, 상기 제어부(150)는 상기 선택된 프로모션 정보에 포함된 프로모션명, 프로모션에 대한 이미지/동영상, 프로모션 고유 코드, 프로모션 설명, 외부에 저장된 프로모션 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 크리에이터인 경우, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 하나 이상의 크리에이터(또는 쇼핑호스트) 정보를 상기 표시부(130)에 표시한다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 하나 이상의 크리에이터 정보 중에서 사용자 선택에 따른 특정 크리에이터(또는 특정 크리에이터 정보)를 확인한다. 또한, 상기 제어부(150)는 상기 선택된 크리에이터 정보에 포함된 크리에이터명, 이미지(또는 동영상), 크리에이터 고유 코드, 크리에이터 설명 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 복수의 객체 마커 사이즈 중에서 사용자 선택에 따른 객체 마커의 크기를 설정하기 위한 특정 객체 마커 사이즈(또는 객체 마커 사이즈 정보)를 설정(또는 확인)한다.
또한, 상기 제어부(150)는 상기 사용자 입력에 따른 객체 마커 선택 및 제 1 영역(또는 영상 표시 영역) 상의 특정 영역에 상기 선택된 객체 마커를 배치하고, 상기 배치된 객체 마커에 대한 속성 정보를 설정하는 과정을 반복 수행하여, 상기 선택된 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서 객체 마커 배치 및 속성 정보 설정 과정을 수행하여 MR 콘텐츠를 편집(또는 제작/저작)한다.
이와 같이, 상기 표시부(130)의 제 1 영역(또는 영상 표시 영역)에 하나 이상의 임시 마커가 포함된 파노라마 영상 정보가 표시되고 있는 상태에서, 상기 제어부(150)는 사용자 입력(또는 사용자 선택/사용자 터치)에 따라 상기 하나 이상의 임시 마커를 대체하여 객체 마커를 배치하고, 상기 배치된 객체 마커에 대한 속성 정보를 설정하는 과정을 상기 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서 수행한다.
또한, 상기 표시부(130)에 상기 객체 마커가 배치되는 경우 또는 상기 표시부(130)에 배치된 객체 마커에 대한 속성 정보의 설정이 완료되는 경우, 상기 제어부(150)는 상기 객체 마커와 관련한 상기 이미지/동영상에 포함된 객체(또는 상기 객체와 관련한 코드, 상기 객체/코드와 관련한 임시 마커)와, 상기 객체 마커를 연동하여 저장한다.
이때, 상기 제어부(150)는 상기 배치된 객체 마커의 외곽선을 상기 이미지/동영상에 포함된 상기 객체 마커와 관련한 임시 마커에 대응하는 객체의 외곽선까지 연장 형성한다. 즉, 상기 제어부(150)는 상기 배치된 객체 마커의 외곽선의 좌표값을 상기 객체 마커와 관련한 임시 마커에 대응하는 객체의 외곽선의 좌표값으로 매칭하여 저장한다.
예를 들어, 상기 제어부(150)는 ABCD 간판에 대응하는 객체와 관련한 임시 마커를 대체하여 이벤트 정보 객체 마커가 배치되고, 상기 배치된 이벤트 정보 객체 마커에 대한 속성 정보 설정이 완료되는 경우, 상기 배치된 이벤트 정보 객체 마커의 외곽선의 좌표값을 상기 ABCD 간판의 외곽선의 좌표값으로 매칭(또는 연장 형성)한다.
이와 같이, 상기 객체 마커의 외곽선을 상기 객체 마커와 관련한 객체의 외곽선으로 연장 형성함에 따라, 추후 해당 객체를 선택할 경우에도, 해당 객체 마커를 선택한 효과를 얻을 수 있다.
또한, 상기 표시부(130)에 표시되는 미리 설정된 미리보기 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커에 대한 결과 화면을 팝업 형태 등으로 상기 표시부(130)에 표시한다.
즉, 상기 표시부(130)에 표시되는 미리 설정된 미리보기 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 MR 콘텐츠 저작의 결과 영상(또는 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커의 속성 정보에 대한 화면)을 미리보기 형태로 상기 표시부(130)에 표시한다.
또한, 상기 표시부(130)에 표시되는 미리 설정된 저장 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다. 이때, 상기 MR 콘텐츠는 상기 파노라마 영상 정보(예를 들어 이미지/동영상), 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커, 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등 포함) 이외에, 코드의 종류에 대응하는 객체 마커, 이미지/동영상 내에 배치된 객체 마커(예를 들어 샵카메라, 상품, 업체, 프로모션, 크리에이터 등 포함), 이미지/동영상 내에서의 객체 마커의 위치 정보, 객체 마커의 속성 정보 등을 더 포함한다.
즉, 상기 표시부(130)에 표시되는 미리 설정된 저장 메뉴가 선택되는 경우, 상기 제어부(150)는 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료된 상태인지 여부를 확인한다.
또한, 상기 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료되지 않은 상태인 경우, 상기 제어부(150)는 상기 모든 임시 마커 중에서 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정이 완료되지 않은 임시 마커를 상기 표시부(130)에 표시하며, 해당 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정이 완료되지 않은 임시 마커에 대한 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정에 대한 안내 정보를 상기 표시부(130)의 일측에 표시한다.
또한, 상기 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료된 경우, 상기 제어부(150)는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다.
또한, 상기 미리 설정된 저장 메뉴가 선택되는 경우, 상기 제어부(150)는 상기 제 1 영역의 파노라마 영상 정보에 포함된(또는 배치된) 모든 객체 마커에 대해서, 해당 객체 마커의 속성 정보 설정이 모두 완료된 상태인지 여부를 확인한다.
또한, 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 모두 완료되지 않은 상태인 경우, 상기 제어부(150)는 상기 모든 객체 마커 중에서 속성 정보 설정이 완료되지 않은 하나 이상의 객체 마커를 상기 표시부(130)에 표시하며, 상기 객체 정보의 속성 정보 설정이 완료되지 않은 객체 마커의 속성 정보 설정에 대한 안내 정보를 상기 표시부(130)의 일측에 표시한다.
또한, 상기 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 모두 완료된 경우, 상기 제어부(150)는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다.
또한, 상기 파노라마 영상 정보가 동영상이고 상기 동영상 내의 특정 화면(또는 특정 이미지)에서 하나 이상의 객체 마커 배치 및 객체 마커의 속성 정보 설정이 완료된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 제어부(150)는 상기 객체 마커가 배치된 임시 마커와 관련한 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보)를 근거로, 해당 동영상에 포함된 코드 및 임시 마커와 관련한 정보를 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보를 포함하는 객체 마커)로 모두 변경하여(또는 매칭하여/연동시켜/업데이트) 저장한다.
이때, 상기 설정 영역에 임시 저장 항목이 추가로 포함된 상태인 경우, 상기 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서 상기 객체 마커 배치 및 속성 정보 설정의 과정이 완료되지 않은 상태이더라도, 상기 임시 저장 항목이 선택되는 경우, 상기 제어부(150)는 해당 시점까지 설정된 객체 마커 배치 및 속성 정보, 객체 마커로 설정되지 않고 남아있는 임시 마커에 대한 정보 등을 임시로 상기 저장부(120)에 저장할 수도 있다.
또한, 상기 파노라마 영상 정보가 동영상이고 상기 동영상 내의 특정 화면(또는 특정 이미지)에서 하나 이상의 객체 마커 배치 및 객체 마커의 속성 정보 설정이 완료된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 제어부(150)는 상기 객체 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보/상기 객체 마커가 배치된 영역/위치에 대한 정보)를 근거로, 해당 동영상 내에서의 객체 마커가 배치된 영역/위치에 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보를 포함하는 객체 마커)로 모두 변경하여(또는 매칭하여/연동시켜/업데이트하여/적용하여) 저장한다. 이때, 상기 제어부(150)는 해당 동영상 중에서 상기 객체 마커가 배치되는 위치를 기준으로 미리 설정된 프레임의 개수만큼 전/후 프레임에 상기 설정되는 객체 마커를 적용하여 저장할 수도 있다.
또한, 상기 표시부(130)에 표시되는 앱 실행 결과 화면에 포함된 전시회 관리 항목이 선택되는 경우, 상기 제어부(150)는 사용자 입력을 근거로 하나 이상의 전시회 관련 정보를 신규 추가한다.
또한, 상기 표시부(130)에 표시되는 상기 전시회 관리 항목이 선택된 상태에서, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 하나 이상의 파노라마 영상 정보 중에서 선택되는 특정 파노라마 영상 정보에 대해서 카테고리 항목, 전시회 항목 등을 신규로 추가(또는 연동/매칭)하거나, 변경(또는 업데이트)하거나, 삭제하는 등의 기능을 수행한다.
또한, 상기 표시부(130)에 표시되는 앱 실행 결과 화면에 포함된 MR 콘텐츠 배포 항목이 선택되는 경우, 상기 제어부(150)는 상기 통신부(110)를 통해 접속되는 하나 이상의 다른 단말, 서버, 상기 MR 콘텐츠 제작 장치(100)와 관련한 소셜 네트워크 서비스(Social Networking Service: SNS) 등에 상기 저장부(120)에 저장된 MR 콘텐츠 중 적어도 하나의 MR 콘텐츠를 전송(또는 공유)한다.
이와 같이, 카메라를 통해 촬영된 파노라마 영상 정보를 근거로 상기 파노라마 영상 정보에 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작할 수 있다.
또한, 이와 같이, 파노라마 영상 정보에 하나 이상의 마커를 추가하는 경우, 프로모션 마커, 크리에이터 마커 등을 추가하여 MR 콘텐츠를 제작할 수 있다.
이하에서는, 본 발명에 따른 MR 콘텐츠 제작 방법을 도 1 내지 도 30을 참조하여 상세히 설명한다.
도 2는 본 발명의 제 1 실시예에 따른 MR 콘텐츠 제작 방법을 나타낸 흐름도이다.
먼저, 표시부(130)에 표시되는 앱 실행 결과 화면 내의 미리 설정된 메뉴(또는 버튼)가 선택되는 경우, 제어부(150)는 상기 표시부(130)의 목록/리스트 표시 영역에 저장부(120)에 저장된 하나 이상의 파노라마 영상 정보에 대한 목록(또는 리스트)을 표시한다. 여기서, 상기 파노라마 영상 정보는 이미지, 동영상 등을 포함한다. 또한, 상기 파노라마 영상 정보는 상기 이미지/동영상 외에, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 이미지/동영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커(또는 예비 마커), 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등을 포함한다. 이때, 상기 미리 설정된 메뉴 선택에 따른 화면은 파노라마 영상을 표시하기 위한 제 1 영역(또는 영상 표시 영역), 카테고리 분류를 표시하기 위한 제 2 영역(또는 카테고리 영역), 객체 마커를 표시하기 위한 제 3 영역(또는 객체 마커 표시 영역), 설정 메뉴를 표시하기 위한 제 4 영역(또는 설정 영역), 하나 이상의 파노라마 영상 정보를 포함하는 목록을 표시하기 위한 제 5 영역(또는 목록/리스트 표시 영역) 등을 포함할 수 있다.
일 예로, 상기 표시부(130)에 표시되는 앱 실행 결과 화면 내의 미리 설정된 메뉴인 MR 콘텐츠 관리 메뉴가 선택될 때, 도 3에 도시된 바와 같이, 상기 제어부(150)는 제 1 영역(또는 영상 표시 영역)(310), 제 2 영역(또는 카테고리 영역)(320), 제 3 영역(또는 객체 마커 표시 영역)(330), 제 4 영역(또는 설정 영역)(340) 및 제 5 영역(또는 목록/리스트 표시 영역)(350)으로 구성되는 MR 콘텐츠 관리 화면(300)을 상기 표시부(130)에 표시한다. 또한, 상기 도 3에 도시된 바와 같이, 상기 제어부(150)는 상기 제 5 영역(또는 목록/리스트 표시 영역)(350)에 상기 저장부(120)에 미리 저장된 5개의 파노라마 영상 정보(예를 들어 제 1 내지 제 5 파노라마 영상 정보)와 관련한 목록을 표시하고, 상기 제 2 영역(320)에 카테고리 분류(예를 들어 대분류, 중분류 등 포함)를 위한 정보를 표시하고, 상기 제 3 영역(330)에 파노라마 영상 정보와 관련한 MR 콘텐츠를 제작(또는 편집)하기 위한 저작 도구인 하나 이상의 객체 마커를 표시하고, 상기 제 4 영역(340)에 미리보기, 삭제, 저장, 취소 기능 등을 수행하기 위한 메뉴를 표시한다(S210).
이후, 상기 표시부(130)에 표시되는 하나 이상의 파노라마 영상 정보 중에서 어느 하나의 파노라마 영상 정보가 선택되는 경우, 상기 제어부(150)는 상기 선택된 파노라마 영상 정보를 상기 표시부(130)의 제 1 영역(또는 영상 표시 영역)에 표시한다. 이때, 상기 표시부(130)의 제 1 영역에 표시되는 파노라마 영상 정보는 카메라(미도시)를 통해 촬영된 코드가 포함된 이미지 또는 동영상 외에, 상기 코드와 관련한 임시 마커가 포함된 상태일 수 있다. 여기서, 상기 임시 마커는 상기 코드와 관련하여 상기 코드 종류를 표시하기 위한 것으로, 샵카메라, 상품, 업체, 이벤트 정보 등을 표시하기 위한 용도이다. 또한, 상기 임시 마커는 샵카메라를 나타내기 위한 샵카메라 임시 마커(예를 들어 'CM'으로 표시), 상품을 나타내기 위한 상품 임시 마커(예를 들어 'PD'로 표시), 업체를 나타내기 위한 업체 임시 마커(예를 들어 'CO'로 표시), 이벤트 정보를 나타내기 위한 이벤트 정보 임시 마커(예를 들어 'EV'로 표시) 등을 포함한다. 또한, 상기 임시 마커는 객체 마커와의 구분을 위해서, 실제 객체 마커로 대체(또는 교체/변경/업데이트)되기 이전까지는 해당 임시 마커의 테두리를 점선 처리하거나, 배경색을 투명하게 설정하거나 또는 특정 색상으로 설정한 상태로 표시한다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 파노라마 영상 정보의 일측에 확대 항목, 축소 항목 등을 표시할 수 있다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 파노라마 영상 정보의 다른 일측에 360도 파노라마 영상의 상/하/좌/우로 패닝(panning)하기 위한 패닝 버튼 등을 표시할 수 있다.
이때, 상기 제어부(150)는 사용자 선택(또는 사용자 터치/사용자 입력)에 따라 상기 표시부(130)에 표시되는 화면 내의 제 2 영역(또는 카테고리 영역)에 표시되는 상기 하나 이상의 파노라마 영상 정보에 대응하는 카테고리에 대한 정보를 선택하고, 상기 선택된 카테고리 정보에 대응하는 적어도 하나의 파노라마 영상 정보 중에서 선택되는 어느 하나의 파노라마 영상 정보를 상기 표시부(130)의 제 1 영역(또는 영상 표시 영역)에 표시할 수도 있다.
일 예로, 상기 도 3에 도시된 제 1 내지 제 5 파노라마 영상 정보 중에서 제 4 파노라마 영상 정보가 선택될 때, 도 4에 도시된 바와 같이, 상기 제어부(150)는 상기 표시부(130)의 제 1 영역에 상기 선택된 제 4 파노라마 영상 정보(410)를 표시한다. 이때, 상기 제 4 파노라마 영상 정보는 원본 영상 이외에, 상기 제 4 파노라마 영상 정보에 포함된 하나 이상의 코드와 관련한 하나 이상의 임시 마커(예를 들어 CM, PD, CO, EV 등으로 표기되며, 점선으로 표시)를 포함한다(S220).
이후, 상기 제어부(150)는 사용자 입력(또는 MR 콘텐츠 제작에 관한 제어/조작 명령/사용자 터치/사용자 선택)에 따라 상기 제 3 영역(또는 객체 마커 표시 영역)에 표시되는 하나 이상의 객체 마커 중에서 어느 하나의 객체 마커가 선택된 후, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)이 선택되는 경우, 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 코드 종류와 상기 선택된 객체 마커의 종류를 비교한다. 여기서, 상기 특정 영역(또는 특정 위치)에 대응하는 코드 종류(또는 상기 코드 종류에 대응하는 임시 마커의 종류)는 샵카메라, 상품, 업체, 이벤트 정보, 관련 데이터 없음 중 어느 하나일 수 있다. 또한, 상기 객체 마커의 종류는 샵카메라, 상품, 업체, 이벤트 정보 중 어느 하나일 수 있다. 또한, 상기 객체 마커는 상기 임시 마커와의 구분을 위해서 상기 객체 마커의 테두리를 실선 처리할 수 있다.
즉, 상기 표시부(130)에 표시되는 하나 이상의 객체 마커 중에서 어느 하나의 객체 마커가 선택된 후, 상기 표시부(130)에 표시되는 파노라마 영상 정보 상의 특정 영역에 상기 선택된 객체 마커를 배치하고자 하는 경우, 상기 제어부(150)는 상기 특정 영역에 대해서 미리 설정된 코드 종류(또는 상기 코드 종류에 대응하는 임시 마커의 종류)와 상기 선택된 객체 마커의 종류가 일치하는지 여부를 확인(또는 판단)한다.
이때, 상기 제어부(150)는 상기 표시부(130)에 대한 드래그 앤 드롭 기능을 사용하여 상기 제 3 영역(또는 객체 마커 표시 영역)에서의 객체 마커 중 어느 하나의 객체 마커가 선택(또는 드래그)된 후, 드래그 앤 드랍 기능에 의해, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)에 드랍될 때, 상기 객체 마커가 드랍된 특정 영역(또는 특정 위치)에 대응하는 코드 종류와, 상기 선택된 어느 하나의 객체 마커의 종류를 비교할 수도 있다.
일 예로, 상기 도 4에 도시된 제 3 영역(또는 객체 마커 표시 영역)(330)에 포함된 복수의 객체 마커 중에서 샵카메라 객체 마커(331)가 선택된 후, 도 5에 도시된 바와 같이, 상기 제 1 영역(또는 영상 표시 영역)(310) 상의 텔레비전 옆의 상품 임시 마커 영역(510)이 선택될 때, 상기 제어부(150)는 상기 선택된 상품 임시 마커 영역에 대응하는 코드 종류(예를 들어 상품 임시 마커에 대응하는 코드 종류인 '상품')와 상기 선택된 샵카메라 객체 마커(331)의 종류(예를 들어 샵카메라 객체 마커에 대응하는 객체 마커 종류인 '카메라')를 비교한다.
다른 일 예로, 상기 도 4에 도시된 제 3 영역(또는 객체 마커 표시 영역)(330)에 포함된 복수의 객체 마커 중에서 이벤트 정보 객체 마커(334)가 드래그된 후 상기 도 5에 도시된 바와 같이, 상기 제 1 영역(또는 영상 표시 영역)(310) 상의 업체명 옆의 이벤트 정보 임시 마커 영역(520)에 드랍될 때, 상기 제어부(150)는 상기 선택된(또는 드래그된) 이벤트 정보 객체 마커(334)의 종류(예를 들어 이벤트 정보 객체 마커에 대응하는 객체 마커 종류인 '이벤트 정보')와 상기 드랍된 이벤트 정보 임시 마커 영역(520)에 대응하는 코드 종류(예를 들어 이벤트 정보 임시 마커에 대응하는 코드 종류인 '이벤트 정보')를 비교한다.
또 다른 일 예로, 상기 도 4에 도시된 제 3 영역(또는 객체 마커 표시 영역)(330)에 포함된 복수의 객체 마커 중에서 이벤트 정보 객체 마커(334)가 드래그된 후 상기 도 5에 도시된 바와 같이, 상기 제 1 영역(또는 영상 표시 영역)(310) 상의 빈 배경 상의 영역(530)에 드랍될 때, 상기 제어부(150)는 상기 선택된(또는 드래그된) 이벤트 정보 객체 마커(334)의 종류(예를 들어 이벤트 정보 객체 마커에 대응하는 객체 마커 종류인 '이벤트 정보')와 상기 드랍된 빈 배경 상의 영역(530)에 대응하는 코드 종류(예를 들어 빈 배경에 대응하는 코드 종류인 '관련 데이터 없음')를 비교한다(S230).
상기 비교 결과(또는 상기 확인/판단 결과), 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 코드 종류가 관련 데이터 없음이거나 또는, 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 코드 종류와 상기 선택된 객체 마커의 종류가 일치하지 않는 경우, 상기 제어부(150)는 객체 마커 설정이 실패하였음을 나타내는 정보를 상기 표시부(130)의 일부 영역에 팝업 형태 등으로 표시하거나 상기 영상 표시 영역에 표시한다.
또한, 상기 표시부(130)에 표시되는 객체 마커 설정이 실패하였음을 나타내는 정보의 일측에 표시되는 미리 설정된 확인 버튼이 선택되는 경우, 상기 제어부(150)는 상기 선택된 객체 마커를 해제(또는 상기 드랍된 객체 마커를 삭제)하고, 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 임시 마커를 계속하여 표시하고, 객체 마커를 선택하기 위한 상태로 전환한다.
일 예로, 상기 선택된 상품 임시 마커 영역에 대응하는 코드 종류(예를 들어 상품 임시 마커에 대응하는 코드 종류인 '상품')와 상기 선택된 샵카메라 객체 마커(331)의 종류(예를 들어 샵카메라 객체 마커에 대응하는 객체 마커 종류인 '카메라')가 일치하지 않을 때, 도 6에 도시된 바와 같이, 상기 제어부(150)는 객체 마커 설정이 실패하였음을 나타내는 정보(610)를 상기 표시부(130)의 일부 영역에 팝업 형태로 표시한다. 또한, 상기 표시부(130)에 표시되는 객체 마커 설정이 실패하였음을 나타내는 정보(610) 내의 미리 설정된 확인 항목(611)이 선택될 때, 상기 제어부(150)는 객체를 선택하기 위한 이전 화면(예를 들어 도 4)을 상기 표시부(130)에 표시한다.
다른 일 예로, 상기 드랍된 빈 배경 상의 영역(530)에 대응하는 코드 종류가 미리 설정된 '관련 데이터 없음'에 해당할 때, 상기 제어부(150)는 객체 마커 설정이 실패하였음을 나타내는 정보를 상기 표시부(130)의 일부 영역에 팝업 형태로 표시한다(S240).
또한, 상기 비교 결과(또는 상기 확인/판단 결과), 상기 선택된 특정 영역(또는 특정 위치)에 대응하는 코드 종류와 상기 선택된 객체 마커의 종류가 일치하는 경우, 상기 제어부(150)는 상기 특정 영역(또는 특정 위치)에 상기 객체 마커를 배치한다. 여기서, 상기 제어부(150)는 상기 특정 영역/특정 위치에 대응하여 미리 설정된 다른 위치에 상기 객체 마커를 배치할 수도 있다. 이때, 상기 제어부(150)는 상기 객체 마커의 배치에 따라, 해당 특정 영역(또는 특정 위치)에 위치했던 임시 마커는 삭제한다.
일 예로, 상기 선택된(또는 드래그된) 이벤트 정보 객체 마커(334)의 종류(예를 들어 이벤트 정보 객체 마커에 대응하는 객체 마커 종류인 '이벤트 정보')와 상기 드랍된 이벤트 정보 임시 마커 영역(520)에 대응하는 코드 종류(예를 들어 이벤트 정보 임시 마커에 대응하는 코드 종류인 '이벤트 정보')가 일치할 때, 도 7에 도시된 바와 같이, 상기 제어부(150)는 앞서 표시되던 이벤트 정보임을 나타내던 임시 마커(상기 도 4에서의 'EV 마커')를 삭제하고, 상기 임시 마커(상기 도 4에서의 'EV 마커')가 위치했던 영역(또는 지점/위치)(710)에 상기 선택된(또는 드래그된) 이벤트 정보 객체 마커를 배치(또는 위치/표시)한다.
다른 일 예로, 상기 선택된(또는 드래그된) 이벤트 정보 객체 마커(334)의 종류(예를 들어 이벤트 정보 객체 마커에 대응하는 객체 마커 종류인 '이벤트 정보')와 상기 드랍된 이벤트 정보 임시 마커 영역(520)에 대응하는 코드 종류(예를 들어 이벤트 정보 임시 마커에 대응하는 코드 종류인 '이벤트 정보')가 일치할 때, 도 8에 도시된 바와 같이, 상기 제어부(150)는 앞서 표시되던 이벤트 정보임을 나타내던 임시 마커(상기 도 4에서의 'EV 마커')를 삭제하고, 상기 임시 마커(상기 도 4에서의 'EV 마커')가 위치했던 영역(또는 지점/위치)에 대응하여 미리 설정된 다른 특정 영역(또는 지점/위치)(810)에 상기 선택된(또는 드래그된) 이벤트 정보 객체 마커를 배치한다(S250).
이후, 상기 표시부(130)에 표시되는 제 1 영역(또는 상기 영상 표시 영역)에 위치된(또는 배치된) 객체 마커가 선택(또는 터치/더블 클릭)되는 경우, 상기 제어부(150)는 사용자 입력(또는 사용자 터치/사용자 선택)을 근거로 상기 선택된 객체 마커에 대한 속성 정보를 설정한다. 여기서, 상기 객체 마커에 대한 속성 정보는 객체 마커의 종류에 따라 다를 수 있다.
즉, 상기 객체 마커가 상품인 경우, 상기 제어부(150)는 상품에 대한 이미지, 상품명, 상품 고유 코드, 가격 정보, 상품과 관련한 동영상 링크/추가, 상세 설명, 카탈로그, 외부에 저장된 상세 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 샵카메라인 경우, 상기 제어부(150)는 해당 파노라마 영상과 관련한 하나 이상의 카메라 중에서 적어도 하나의 카메라의 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 업체(또는 업체 정보)인 경우, 상기 제어부(150)는 업체명, 업체에 대한 이미지, 업체 로고, 업체 고유 코드, 업체와 관련한 동영상 링크/추가, 업체 설명, 카탈로그, 외부에 저장된 업체 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 이벤트(또는 이벤트 정보)인 경우, 상기 제어부(150)는 이벤트명, 이벤트에 대한 이미지/동영상, 이벤트 고유 코드, 이벤트 설명, 외부에 저장된 이벤트 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 제어부(150)는 상기 사용자 입력에 따른 객체 마커 선택 및 제 1 영역(또는 영상 표시 영역) 상의 특정 영역에 상기 선택된 객체 마커를 배치하고, 상기 배치된 객체 마커에 대한 속성 정보를 설정하는 과정을 반복 수행하여, 상기 선택된 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서 객체 마커 배치 및 속성 정보 설정 과정을 수행하여 MR 콘텐츠를 편집(또는 제작/저작)한다.
이때, 상기 파노라마 영상 정보가 동영상인 상태에서 상기 임시 마커가 상기 객체 마커로 변경(또는 대체/교체/배치)되는 경우, 상기 제어부(150)는 상기 임시 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보)를 근거로, 해당 동영상에 포함된 해당 임시 마커 및 코드와 관련한 정보를 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보를 포함하는 객체 마커)로 한 번에 모두 변경(또는 매칭/연동시킨다/업데이트)한다.
일 예로, 상기 도 7에 도시된 바와 같이, 상기 표시부(130)에 상기 이벤트 정보 객체 마커(710)가 배치된 상태에서 상기 이벤트 정보 객체 마커(710)가 더블 클릭될 때, 도 9에 도시된 바와 같이, 상기 제어부(150)는 상기 제 3 영역(또는 객체 마커 표시 영역)에 상기 선택된 객체 마커(710)와 관련한 하나 이상의 이벤트 정보(910)를 표시한다. 또한, 상기 도 9에 도시된 상기 객체 마커(710)와 관련한 하나 이상의 이벤트 정보(910) 중에서 특별 세일 이벤트 정보(912)가 선택될 때, 상기 제어부(150)는 상기 선택된 특별 세일 이벤트 정보(912)에 대한 내용을 상기 객체 마커(710)의 속성 정보로 설정한다. 여기서, 상기 특별 세일 이벤트 정보(912)는 이벤트명(예를 들어 특별 세일), 이벤트에 대한 이미지, 이벤트 고유 코드(예를 들어 2016100100001), 이벤트 설명(예를 들어 기간 한정(2016.10.01 ~ 2016.10.31.), 전품목 10% 세일 등 포함) 등을 포함한다.
또한, 상기 제어부(150)는 도 5, 도 7 내지 도 9의 객체 마커 선택 및 배치, 객체 마커의 속성 정보를 설정하는 과정의 반복 수행에 의해, 도 10과 같이 MR 콘텐츠를 편집한다(S260).
이후, 미리 설정된 미리보기 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커에 대한 결과 화면을 팝업 형태로 상기 표시부(130)에 표시한다.
즉, 상기 미리 설정된 미리보기 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 MR 콘텐츠 저작의 결과 영상(또는 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커의 속성 정보에 대한 화면)을 미리보기 형태로 상기 표시부(130)에 표시한다.
일 예로, 상기 도 10에 도시된 상기 제 4 영역(또는 설정 영역)에 포함된 미리보기 메뉴(341)가 선택될 때, 도 11에 도시된 바와 같이, 상기 제어부(150)는 상기 제 4 파노라마 영상 정보에 대해서 ABCD 명칭과 관련한 회사 마커(1010) 및 이벤트 정보 마커(1020), 텔레비전 상품과 관련한 상품 마커(1030), 제 1 모니터와 관련한 상품 마커(1040) 및 샵 카메라 마커(1050), 제 2 모니터와 관련한 상품 마커(1060) 및 샵 카메라 마커(1070) 등에 각각 대응하는 MR 콘텐츠 저작의 결과 영상(1110)을 팝업 형태로 상기 표시부(130)에 표시한다(S270).
또한, 미리 설정된 저장 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다. 이때, 상기 MR 콘텐츠는 상기 파노라마 영상 정보(예를 들어 이미지/동영상), 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커, 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등 포함) 이외에, 코드의 종류에 대응하는 객체 마커, 이미지/동영상 내에서의 객체 마커의 위치 정보, 객체 마커의 속성 정보 등을 더 포함한다.
즉, 상기 미리 설정된 저장 메뉴가 선택되는 경우, 상기 제어부(150)는 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 완료된 상태인지 여부를 확인한다.
또한, 상기 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료되지 않은 상태인 경우, 상기 제어부(150)는 상기 모든 임시 마커 중에서 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정이 완료되지 않은 임시 마커를 상기 표시부(130)에 표시하며, 해당 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정이 완료되지 않은 임시 마커에 대한 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정에 대한 안내 정보를 상기 표시부(130)의 일측에 표시한다.
또한, 상기 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 임시 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료된 경우, 상기 제어부(150)는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다.
또한, 상기 파노라마 영상 정보가 동영상이고 상기 동영상 내의 특정 화면(또는 특정 이미지)에서 하나 이상의 객체 마커 배치 및 객체 마커의 속성 정보 설정이 완료된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 제어부(150)는 상기 객체 마커가 배치된 임시 마커와 관련한 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보)를 근거로, 해당 동영상에 포함된 코드 및 임시 마커와 관련한 정보를 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보를 포함하는 객체 마커)로 모두 변경하여(또는 매칭하여/연동시켜/업데이트하여) 저장한다.
일 예로, 상기 도 10에 도시된 상기 제 4 영역(또는 설정 영역)에 포함된 저장 메뉴(343)가 선택될 때, 상기 제어부(150)는 상기 제 4 파노라마 영상 정보를 상기 제 4 파노라마 영상 정보 상에 추가된 ABCD 명칭과 관련한 회사 마커(1010) 및 이벤트 정보 마커(1020), 텔레비전 상품과 관련한 상품 마커(1030), 제 1 모니터와 관련한 상품 마커(1040) 및 샵 카메라 마커(1050), 제 2 모니터와 관련한 상품 마커(1060) 및 샵 카메라 마커(1070), 상기 제 4 파노라마 영상 정보 내에서의 상기 복수의 마커(1010 내지 1070)의 각각의 위치 정보, 상기 복수의 마커(1010 내지 1070)의 각각의 속성 정보 등과 매칭(또는 연동)하여 제 4 MR 콘텐츠를 생성한다. 이때, 상기 제어부(150)는 상기 제 4 파노라마 영상 정보에 포함된 모든 ABCD 명칭과 관련한 임시 마커에 대한 정보를 상기 ABCD 명칭과 관련한 회사 마커(1010) 및 이벤트 정보 마커(1020)로 변경한다.
다른 일 예로, 텔레비전 상품에 대해서 마커의 배치 및 속성 정보 설정이 되지 않은 상태에서 상기 미리 설정된 저장 메뉴가 선택될 때, 상기 제어부(150)는 해당 제 4 파노라마 영상 정보 중에 포함된 모든 임시 마커를 대체할 마커의 배치 및 속성 정보 설정이 완료되지 않은 상태임을 안내하기 위해서, 상기 텔레비전 상품에 대한 마커 배치 및 속성 정보 설정에 대한 안내 정보를 상기 표시부(130)에 표시한다(S280).
도 12는 본 발명의 제 2 실시예에 따른 MR 콘텐츠 제작 방법을 나타낸 흐름도이다.
먼저, 표시부(130)에 표시되는 앱 실행 결과 화면 내의 미리 설정된 메뉴(또는 버튼)가 선택되는 경우, 제어부(150)는 상기 표시부(130)의 목록/리스트 표시 영역에 저장부(120)에 저장된 하나 이상의 파노라마 영상 정보에 대한 목록(또는 리스트)을 표시한다. 여기서, 상기 파노라마 영상 정보는 이미지, 동영상 등을 포함한다. 또한, 상기 파노라마 영상 정보는 상기 이미지/동영상 외에, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 이미지/동영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커(또는 예비 마커), 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등을 포함한다. 이때, 상기 미리 설정된 메뉴 선택에 따른 화면은 파노라마 영상을 표시하기 위한 제 1 영역(또는 영상 표시 영역), 카테고리 분류를 표시하기 위한 제 2 영역(또는 카테고리 영역), 객체 마커를 표시하기 위한 제 3 영역(또는 객체 마커 표시 영역), 설정 메뉴를 표시하기 위한 제 4 영역(또는 설정 영역), 하나 이상의 파노라마 영상 정보를 포함하는 목록을 표시하기 위한 제 5 영역(또는 목록/리스트 표시 영역) 등을 포함할 수 있다.
일 예로, 상기 표시부(130)에 표시되는 앱 실행 결과 화면 내의 미리 설정된 메뉴인 MR 콘텐츠 관리 메뉴가 선택될 때, 도 13에 도시된 바와 같이, 상기 제어부(150)는 제 1 영역(또는 영상 표시 영역)(1310), 제 2 영역(또는 카테고리 영역)(1320), 제 3 영역(또는 객체 마커 표시 영역)(1330), 제 4 영역(또는 설정 영역)(1340) 및 제 5 영역(또는 목록/리스트 표시 영역)(1350)으로 구성되는 MR 콘텐츠 관리 화면(1300)을 상기 표시부(130)에 표시한다. 또한, 상기 도 13에 도시된 바와 같이, 상기 제어부(150)는 상기 제 5 영역(또는 목록/리스트 표시 영역)(1350)에 상기 저장부(120)에 미리 저장된 5개의 파노라마 영상 정보(예를 들어 제 1 내지 제 5 파노라마 영상 정보)와 관련한 목록을 표시하고, 상기 제 2 영역(1320)에 카테고리 분류(예를 들어 대분류, 중분류 등 포함)를 위한 정보를 표시하고, 상기 제 3 영역(1330)에 파노라마 영상 정보와 관련한 MR 콘텐츠를 제작(또는 편집)하기 위한 저작 도구인 하나 이상의 객체 마커를 표시하고, 상기 제 4 영역(1340)에 미리보기, 삭제, 저장, 취소 기능 등을 수행하기 위한 메뉴를 표시한다(S1210).
이후, 상기 표시부(130)에 표시되는 하나 이상의 파노라마 영상 정보 중에서 어느 하나의 파노라마 영상 정보가 선택되는 경우, 상기 제어부(150)는 상기 선택된 파노라마 영상 정보를 상기 표시부(130)의 제 1 영역(또는 영상 표시 영역)에 표시한다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 파노라마 영상 정보의 일측에 확대 항목, 축소 항목 등을 표시할 수 있다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 파노라마 영상 정보의 다른 일측에 360도 파노라마 영상의 상/하/좌/우로 패닝(panning)하기 위한 패닝 버튼 등을 표시할 수 있다.
이때, 상기 제어부(150)는 사용자 선택(또는 사용자 터치/사용자 입력)에 따라 상기 표시부(130)에 표시되는 화면 내의 제 2 영역(또는 카테고리 영역)에 표시되는 상기 하나 이상의 파노라마 영상 정보에 대응하는 카테고리에 대한 정보를 선택하고, 상기 선택된 카테고리 정보에 대응하는 적어도 하나의 파노라마 영상 정보 중에서 선택되는 어느 하나의 파노라마 영상 정보를 상기 표시부(130)의 제 1 영역(또는 영상 표시 영역)에 표시할 수도 있다.
일 예로, 상기 도 13에 도시된 제 1 내지 제 5 파노라마 영상 정보 중에서 제 3 파노라마 영상 정보가 선택될 때, 도 14에 도시된 바와 같이, 상기 제어부(150)는 상기 표시부(130)의 제 1 영역에 상기 선택된 제 3 파노라마 영상 정보(1410)를 표시한다(S1220).
이후, 상기 제어부(150)는 사용자 입력(또는 MR 콘텐츠 제작에 관한 제어/조작 명령/사용자 터치/사용자 선택)에 따라 상기 제 3 영역(또는 객체 마커 표시 영역)에 표시되는 하나 이상의 객체 마커 중에서 어느 하나의 객체 마커가 선택된 후, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)이 선택되는 경우, 상기 특정 영역(또는 특정 위치)에 상기 객체 마커를 배치한다. 여기서, 상기 제어부(150)는 상기 특정 영역/특정 위치에 대응하여 미리 설정된 다른 위치에 상기 객체 마커를 배치할 수도 있다. 이때, 상기 객체 마커의 종류는 샵카메라, 상품, 업체, 프로모션, 크리에이터 중 어느 하나일 수 있다. 또한, 상기 객체 마커의 테두리는 실선 처리할 수 있다.
이때, 상기 제어부(150)는 상기 표시부(130)에 대한 드래그 앤 드롭 기능을 사용하여 상기 제 3 영역(또는 객체 마커 표시 영역)에서의 객체 마커 중 어느 하나의 객체 마커가 선택(또는 드래그)된 후, 드래그 앤 드랍 기능에 의해, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)에 드랍될 때, 상기 객체 마커가 드랍된 특정 영역(또는 특정 위치)에 상기 객체 마커를 배치할 수도 있다.
일 예로, 상기 도 14에 도시된 제 3 영역(또는 객체 마커 표시 영역)(1330)에 포함된 복수의 객체 마커 중에서 프로모션 마커(1334)가 선택된 후, 도 15에 도시된 바와 같이, 상기 제 1 영역(또는 영상 표시 영역)(1310) 상의 업체명 아래의 제 11 영역(1510)이 선택(또는 드래그 앤 드랍)될 때, 도 16에 도시된 바와 같이, 상기 제어부(150)는 상기 선택된 제 11 영역(또는 업체명 아래의 영역/지점/위치)(1510)에 상기 선택된(또는 드래그 앤 드랍된) 프로모션 객체 마커(1610)를 배치(또는 위치/표시)한다.
다른 일 예로, 상기 도 14에 도시된 제 3 영역(또는 객체 마커 표시 영역)(1330)에 포함된 복수의 객체 마커 중에서 크리에이터 마커(1335)가 선택된 후, 상기 도 15에 도시된 바와 같이, 상기 제 1 영역(또는 영상 표시 영역)(1310) 상의 텔레비전 아래의 제 12 영역(1520)이 선택(또는 드래그 앤 드랍)될 때, 도 17에 도시된 바와 같이, 상기 제어부(150)는 상기 선택된 제 12 영역(또는 텔레비전 옆의 영역/지점/위치)(1520)에 상기 선택된(또는 드래그 앤 드랍된) 크리에이터 객체 마커(1710)를 배치(또는 위치/표시)한다(S1230).
이후, 상기 표시부(130)에 표시되는 제 1 영역(또는 상기 영상 표시 영역)에 위치된(또는 배치된) 객체 마커가 선택(또는 터치/더블 클릭)되는 경우, 상기 제어부(150)는 사용자 입력(또는 사용자 터치/사용자 선택)을 근거로 상기 선택된 객체 마커에 대한 속성 정보를 설정한다. 여기서, 상기 객체 마커에 대한 속성 정보는 객체 마커의 종류에 따라 다를 수 있다.
즉, 상기 객체 마커가 샵카메라인 경우, 상기 제어부(150)는 해당 파노라마 영상과 관련한 하나 이상의 카메라 중에서 적어도 하나의 카메라의 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 상품인 경우, 상기 제어부(150)는 상품에 대한 이미지, 상품명, 상품 고유 코드, 가격 정보, 상품과 관련한 동영상 링크/추가, 상세 설명, 카탈로그, 외부에 저장된 상세 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 업체(또는 업체 정보)인 경우, 상기 제어부(150)는 업체명, 업체에 대한 이미지, 업체 로고, 업체 고유 코드, 업체와 관련한 동영상 링크/추가, 업체 설명, 카탈로그, 외부에 저장된 업체 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 프로모션(또는 프로모션 정보/이벤트/이벤트 정보)인 경우, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 하나 이상의 프로모션 정보를 상기 표시부(130)에 표시한다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 하나 이상의 프로모션 정보 중에서 사용자 선택에 따른 특정 프로모션(또는 특정 프로모션 정보)을 확인한다. 또한, 상기 제어부(150)는 상기 선택된 프로모션 정보에 포함된 프로모션명, 프로모션에 대한 이미지/동영상, 프로모션 고유 코드, 프로모션 설명, 외부에 저장된 프로모션 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 크리에이터인 경우, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 하나 이상의 크리에이터(또는 쇼핑호스트) 정보를 상기 표시부(130)에 표시한다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 하나 이상의 크리에이터 정보 중에서 사용자 선택에 따른 특정 크리에이터(또는 특정 크리에이터 정보)를 확인한다. 또한, 상기 제어부(150)는 상기 선택된 크리에이터 정보에 포함된 크리에이터명, 이미지(또는 동영상), 크리에이터 고유 코드, 크리에이터 설명 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 복수의 객체 마커 사이즈 중에서 사용자 선택에 따른 특정 객체 마커 사이즈(또는 객체 마커 사이즈 정보)를 설정(또는 확인)한다.
또한, 상기 제어부(150)는 상기 사용자 입력에 따른 객체 마커 선택 및 제 1 영역(또는 영상 표시 영역) 상의 특정 영역에 상기 선택된 객체 마커를 배치하고, 상기 배치된 객체 마커에 대한 속성 정보를 설정하는 과정을 반복 수행하여, 상기 선택된 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서 객체 마커 배치 및 속성 정보 설정 과정을 수행하여 MR 콘텐츠를 편집(또는 제작/저작)한다.
이때, 상기 파노라마 영상 정보가 동영상인 상태에서 상기 객체 마커가 배치되는 경우, 상기 제어부(150)는 상기 객체 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보/상기 객체 마커가 배치된 영역/위치에 대한 정보)를 근거로, 해당 동영상 내에서의 객체 마커가 배치된 영역/위치에 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보를 포함하는 객체 마커)로 한 번에 모두 변경(또는 매칭/연동시킨다/업데이트/적용)한다. 이때, 상기 제어부(150)는 해당 동영상 중에서 상기 객체 마커가 배치되는 위치를 기준으로 미리 설정된 프레임의 개수만큼 전/후 프레임에 상기 설정되는 객체 마커를 추가로 적용할 수도 있다.
일 예로, 상기 도 16에 도시된 바와 같이, 상기 표시부(130)에 상기 프로모션 객체 마커(1610)가 배치된 상태에서 상기 프로모션 객체 마커(1610)가 더블 클릭될 때, 도 18에 도시된 바와 같이, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 복수의 프로모션 정보(1800)를 상기 표시부(130)에 표시한다. 또한, 상기 도 18에 도시된 상기 표시부(130)에 표시되는 복수의 프로모션 정보(1800) 중에서 '기간 세일 - 분유' 프로모션(1810)이 선택될 때, 상기 제어부(150)는 상기 선택된 '기간 세일 - 분유' 프로모션(1810)에 대한 내용을 상기 프로모션 객체 마커(1610)의 속성 정보로 설정한다. 여기서, 상기 '기간 세일 - 분유' 프로모션(1810)에 대한 내용은 프로모션명(예를 들어 '기간 세일 - 분유' 프로모션), 프로모션에 대한 이미지, 프로모션 고유 코드(예를 들어 2016100110001), 프로모션 설명(예를 들어 기간 한정(2016.10.01 ~ 2016.11.30), 15% 세일 등 포함), 프로모션 상세 설명 페이지 주소(예를 들어 http://popsline.co.kr/promotion/1003) 등을 포함한다. 또한, 상기 제어부(150)는 상기 도 18에 도시된 표시부(130)에 표시되는 복수의 객체 마커 사이즈(1820) 중에서 사용자 선택에 따른 특정 객체 마커 사이즈(예를 들어 소(120*60))를 설정(또는 확인)한다.
다른 일 예로, 상기 도 17에 도시된 바와 같이, 상기 표시부(130)에 상기 크리에이터 객체 마커(1710)가 배치된 상태에서, 상기 크리에이터 객체 마커(1710)가 더블 클릭될 때, 도 19에 도시된 바와 같이, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 복수의 크리에이터(또는 쇼핑 호스트) 정보(1900)를 상기 표시부(130)에 표시한다. 또한, 상기 도 19에 도시된 상기 표시부(130)에 표시되는 복수의 크리에이터 정보(1900) 중에서 '정하늘' 크리에이터(1910)가 선택될 때, 상기 제어부(150)는 상기 선택된 '정하늘' 크리에이터(1910)에 대한 내용을 상기 크리에이터 객체 마커(1710)의 속성 정보로 설정한다. 여기서, 상기 '정하늘' 크리에이터(1910)에 대한 내용은 크리에이터명(예를 들어 '정하늘'), 사진 또는 동영상, 크리에이터 고유 코드(예를 들어 2016300100003), 크리에이터 설명(예를 들어 ABC 방송사 쇼핑호스트 등 포함) 등을 포함한다. 또한, 상기 제어부(150)는 상기 도 19에 도시된 표시부(130)에 표시되는 복수의 객체 마커 사이즈(1920) 중에서 사용자 선택에 따른 특정 객체 마커 사이즈(예를 들어 소(120*60))를 설정(또는 확인)한다.
또한, 상기 제어부(150)는 도 15 내지 도 19의 객체 마커 선택 및 배치, 객체 마커의 속성 정보를 설정하는 과정의 반복 수행에 의해, 도 20과 같이 MR 콘텐츠를 편집한다(S1240).
이후, 미리 설정된 미리보기 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커에 대한 결과 화면을 팝업 형태 등으로 상기 표시부(130)에 표시한다.
즉, 상기 미리 설정된 미리보기 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 MR 콘텐츠 저작의 결과 영상(또는 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커의 속성 정보에 대한 화면)을 미리보기 형태로 상기 표시부(130)에 표시한다.
일 예로, 상기 도 20에 도시된 상기 제 4 영역(또는 설정 영역)에 포함된 미리보기 메뉴(1341)가 선택될 때, 도 21에 도시된 바와 같이, 상기 제어부(150)는 상기 제 3 파노라마 영상 정보에 대해서 ABCD 명칭과 관련한 프로모션 마커(또는 프로모션 객체 마커)(2010), 텔레비전 상품과 관련한 상품 마커(또는 상품 객체 마커)(2020) 및 크리에이터 마커(2030) 등에 각각 대응하는 MR 콘텐츠 저작의 결과 영상(2110)을 팝업 형태로 상기 표시부(130)에 표시한다(S1250).
또한, 미리 설정된 저장 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다. 이때, 상기 MR 콘텐츠는 상기 파노라마 영상 정보(예를 들어 이미지/동영상), 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 영상 내에서의 코드의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등 포함) 이외에, 이미지/동영상 내에 배치된 객체 마커(예를 들어 샵카메라, 상품, 업체, 프로모션, 크리에이터 등 포함), 이미지/동영상 내에서의 객체 마커의 위치 정보, 객체 마커의 속성 정보 등을 더 포함한다.
즉, 상기 미리 설정된 저장 메뉴가 선택되는 경우, 상기 제어부(150)는 상기 제 1 영역의 파노라마 영상 정보에 포함된(또는 배치된) 모든 객체 마커에 대해서, 해당 객체 마커의 속성 정보 설정이 모두 완료된 상태인지 여부를 확인한다.
또한, 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 모두 완료되지 않은 상태인 경우, 상기 제어부(150)는 상기 모든 객체 마커 중에서 속성 정보 설정이 완료되지 않은 하나 이상의 객체 마커를 상기 표시부(130)에 표시하며, 상기 객체 정보의 속성 정보 설정이 완료되지 않은 객체 마커의 속성 정보 설정에 대한 안내 정보를 상기 표시부(130)의 일측에 표시한다.
또한, 상기 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 모두 완료된 경우, 상기 제어부(150)는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다.
또한, 상기 파노라마 영상 정보가 동영상이고 상기 동영상 내의 특정 화면(또는 특정 이미지)에서 하나 이상의 객체 마커 배치 및 객체 마커의 속성 정보 설정이 완료된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 제어부(150)는 상기 객체 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보/상기 객체 마커가 배치된 영역/위치에 대한 정보)를 근거로, 해당 동영상 내에서의 객체 마커가 배치된 영역/위치에 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보를 포함하는 객체 마커)로 모두 변경하여(또는 매칭하여/연동시켜/업데이트하여/적용하여) 저장한다. 이때, 상기 제어부(150)는 해당 동영상 중에서 상기 객체 마커가 배치되는 위치를 기준으로 미리 설정된 프레임의 개수만큼 전/후 프레임에 상기 설정되는 객체 마커를 적용하여 저장할 수도 있다.
일 예로, 상기 도 20에 도시된 상기 제 4 영역(또는 설정 영역)에 포함된 저장 메뉴(1343)가 선택될 때, 상기 제어부(150)는 상기 제 3 파노라마 영상 정보를 상기 제 3 파노라마 영상 정보 상에 추가된 ABCD 명칭과 관련한 프로모션 마커(또는 프로모션 객체 마커)(2010), 텔레비전 상품과 관련한 상품 마커(또는 상품 객체 마커)(2020) 및 크리에이터 마커(2030), 상기 제 3 파노라마 영상 정보 내에서의 상기 복수의 마커(2010 내지 2030)의 각각의 위치 정보, 상기 복수의 마커(2010 내지 2030)의 각각의 속성 정보 등과 매칭(또는 연동)하여 제 3 MR 콘텐츠를 생성한다. 이때, 상기 제 3 파노라마 영상 정보가 동영상일 때, 상기 제어부(150)는 상기 제 3 파노라마 영상 정보 중에서 상기 크리에이터 마커(2030)가 배치된 시점을 기준으로 상기 크리에이터 마커(2030)가 배치된 시점부터 미리 설정된 200 프레임(또는 재생 시간 10초에 대응하는 프레임 수) 이후의 프레임까지 상기 특정 텔레비전 상품과 관련한 크리에이터 마커(2030)를 적용한다(S1260).
도 22는 본 발명의 제 3 실시예에 따른 MR 콘텐츠 제작 방법을 나타낸 흐름도이다.
먼저, 표시부(130)에 표시되는 앱 실행 결과 화면 내의 미리 설정된 메뉴(또는 버튼)가 선택되는 경우, 제어부(150)는 상기 표시부(130)의 목록/리스트 표시 영역에 저장부(120)에 저장된 하나 이상의 파노라마 영상 정보에 대한 목록(또는 리스트)을 표시한다. 여기서, 상기 파노라마 영상 정보는 이미지, 동영상 등을 포함한다. 또한, 상기 파노라마 영상 정보는 상기 이미지/동영상 외에, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 이미지/동영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커(또는 예비 마커), 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등을 포함한다. 이때, 상기 미리 설정된 메뉴 선택에 따른 화면은 파노라마 영상을 표시하기 위한 제 1 영역(또는 영상 표시 영역), 카테고리 분류를 표시하기 위한 제 2 영역(또는 카테고리 영역), 객체 마커를 표시하기 위한 제 3 영역(또는 객체 마커 표시 영역), 설정 메뉴를 표시하기 위한 제 4 영역(또는 설정 영역), 하나 이상의 파노라마 영상 정보를 포함하는 목록을 표시하기 위한 제 5 영역(또는 목록/리스트 표시 영역) 등을 포함할 수 있다.
일 예로, 상기 표시부(130)에 표시되는 앱 실행 결과 화면 내의 미리 설정된 메뉴인 MR 콘텐츠 관리 메뉴가 선택될 때, 도 23에 도시된 바와 같이, 상기 제어부(150)는 제 1 영역(또는 영상 표시 영역)(2310), 제 2 영역(또는 카테고리 영역)(2320), 제 3 영역(또는 객체 마커 표시 영역)(2330), 제 4 영역(또는 설정 영역)(2340) 및 제 5 영역(또는 목록/리스트 표시 영역)(2350)으로 구성되는 MR 콘텐츠 관리 화면(2300)을 상기 표시부(130)에 표시한다. 또한, 상기 도 23에 도시된 바와 같이, 상기 제어부(150)는 상기 제 5 영역(또는 목록/리스트 표시 영역)(2350)에 상기 저장부(120)에 미리 저장된 5개의 파노라마 영상 정보(예를 들어 제 1 내지 제 5 파노라마 영상 정보)와 관련한 목록을 표시하고, 상기 제 2 영역(2320)에 카테고리 분류(예를 들어 대분류, 중분류 등 포함)를 위한 정보를 표시하고, 상기 제 3 영역(2330)에 파노라마 영상 정보와 관련한 MR 콘텐츠를 제작(또는 편집)하기 위한 저작 도구인 하나 이상의 객체 마커를 표시하고, 상기 제 4 영역(2340)에 미리보기, 삭제, 저장, 취소 기능 등을 수행하기 위한 메뉴를 표시한다(S2210).
이후, 상기 표시부(130)에 표시되는 하나 이상의 파노라마 영상 정보 중에서 어느 하나의 파노라마 영상 정보가 선택되는 경우, 상기 제어부(150)는 상기 선택된 파노라마 영상 정보를 상기 표시부(130)의 제 1 영역(또는 영상 표시 영역)에 표시한다. 이때, 상기 표시부(130)의 제 1 영역에 표시되는 파노라마 영상 정보는 카메라(미도시)를 통해 촬영된 코드가 포함된 이미지 또는 동영상 외에, 상기 코드와 관련한 임시 마커가 포함된 상태일 수 있다. 여기서, 상기 임시 마커는 상기 코드와 관련하여 상기 코드 종류를 표시하기 위한 것으로, 샵카메라, 상품, 업체, 프로모션(또는 프로모션 정보/이벤트 정보) 등을 표시하기 위한 용도이다. 또한, 상기 임시 마커는 샵카메라를 나타내기 위한 샵카메라 임시 마커(예를 들어 'CM'으로 표시), 상품을 나타내기 위한 상품 임시 마커(예를 들어 'PD'로 표시), 업체를 나타내기 위한 업체 임시 마커(예를 들어 'CO'로 표시), 프로모션을 나타내기 위한 프로모션 임시 마커(예를 들어 'PR'로 표시) 등을 포함한다. 또한, 상기 임시 마커는 객체 마커와의 구분을 위해서, 실제 객체 마커로 대체(또는 교체/변경/업데이트)되기 이전까지는 해당 임시 마커의 테두리를 점선 처리하거나, 배경색을 투명하게 설정하거나 또는 특정 색상으로 설정한 상태로 표시한다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 파노라마 영상 정보의 일측에 확대 항목, 축소 항목 등을 표시할 수 있다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 파노라마 영상 정보의 다른 일측에 360도 파노라마 영상의 상/하/좌/우로 패닝(panning)하기 위한 패닝 버튼 등을 표시할 수 있다.
이때, 상기 제어부(150)는 사용자 선택(또는 사용자 터치/사용자 입력)에 따라 상기 표시부(130)에 표시되는 화면 내의 제 2 영역(또는 카테고리 영역)에 표시되는 상기 하나 이상의 파노라마 영상 정보에 대응하는 카테고리에 대한 정보를 선택하고, 상기 선택된 카테고리 정보에 대응하는 적어도 하나의 파노라마 영상 정보 중에서 선택되는 어느 하나의 파노라마 영상 정보를 상기 표시부(130)의 제 1 영역(또는 영상 표시 영역)에 표시할 수도 있다.
일 예로, 상기 도 23에 도시된 제 1 내지 제 5 파노라마 영상 정보 중에서 제 5 파노라마 영상 정보가 선택될 때, 도 24에 도시된 바와 같이, 상기 제어부(150)는 상기 표시부(130)의 제 1 영역에 상기 선택된 제 5 파노라마 영상 정보(2410)를 표시한다. 이때, 상기 제 5 파노라마 영상 정보는 원본 영상 이외에, 상기 제 5 파노라마 영상 정보에 포함된 하나 이상의 코드와 관련한 하나 이상의 임시 마커(예를 들어 CM, PD, CO, PR 등으로 표기되며, 점선으로 표시)를 포함한다(S2220).
이후, 상기 제어부(150)는 사용자 입력(또는 MR 콘텐츠 제작에 관한 제어/조작 명령/사용자 터치/사용자 선택)에 따라 상기 제 3 영역(또는 객체 마커 표시 영역)에 표시되는 하나 이상의 객체 마커 중에서 어느 하나의 객체 마커가 선택된 후, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)이 선택되는 경우, 상기 특정 영역(또는 특정 위치)에 상기 객체 마커를 배치한다. 여기서, 상기 제어부(150)는 상기 특정 영역/특정 위치에 대응하여 미리 설정된 다른 위치에 상기 객체 마커를 배치할 수도 있다. 이때, 상기 객체 마커의 종류는 샵카메라, 상품, 업체, 프로모션, 크리에이터 중 어느 하나일 수 있다. 또한, 상기 객체 마커는 상기 임시 마커와의 구분을 위해서 상기 객체 마커의 테두리를 실선 처리할 수 있다.
이때, 상기 제어부(150)는 상기 표시부(130)에 대한 드래그 앤 드롭 기능을 사용하여 상기 제 3 영역(또는 객체 마커 표시 영역)에서의 객체 마커 중 어느 하나의 객체 마커가 선택(또는 드래그)된 후, 드래그 앤 드랍 기능에 의해, 상기 제 1 영역(또는 영상 표시 영역) 상의 특정 영역(또는 특정 위치)에 드랍될 때, 상기 객체 마커가 드랍된 특정 영역(또는 특정 위치)에 상기 객체 마커를 배치할 수도 있다.
일 예로, 상기 도 24에 도시된 제 3 영역(또는 객체 마커 표시 영역)(2330)에 포함된 복수의 객체 마커 중에서 크리에이터 마커(2335)가 선택된 후, 도 25에 도시된 바와 같이, 상기 제 1 영역(또는 영상 표시 영역)(1310) 상의 텔레비전 아래의 제 21 영역(2510)이 선택(또는 드래그 앤 드랍)될 때, 도 26에 도시된 바와 같이, 상기 제어부(150)는 상기 선택된 제 21 영역(또는 텔레비전 아래의 영역/지점/위치)(2510)에 상기 선택된(또는 드래그 앤 드랍된) 크리에이터 객체 마커(2610)를 배치(또는 위치/표시)한다.
또한, 상기 파노라마 영상 정보에 코드가 포함된 이미지 또는 동영상 외에, 상기 코드와 관련한 임시 마커가 포함된 상태에서, 상기 제 3 영역(또는 객체 마커 표시 영역)에 표시되는 하나 이상의 객체 마커 중에서 상기 임시 마커와 관련한 어느 하나의 다른 객체 마커가 선택된 후, 상기 제 1 영역(또는 영상 표시 영역) 상의 다른 특정 영역(또는 다른 특정 위치)이 선택되는 경우, 상기 제어부(150)는 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류와 상기 선택된 다른 객체 마커의 종류를 비교한다. 여기서, 상기 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류(또는 상기 코드 종류에 대응하는 임시 마커의 종류)는 샵카메라, 상품, 업체, 프로모션, 관련 데이터 없음 중 어느 하나일 수 있다.
즉, 상기 파노라마 영상 정보에 코드가 포함된 이미지 또는 동영상 외에, 상기 코드와 관련한 임시 마커가 포함된 상태에서, 상기 표시부(130)에 표시되는 하나 이상의 객체 마커 중에서 상기 임시 마커와 관련한 어느 하나의 다른 객체 마커가 선택된 후, 상기 표시부(130)에 표시되는 파노라마 영상 정보 상의 다른 특정 영역에 상기 선택된 다른 객체 마커를 배치하고자 하는 경우, 상기 제어부(150)는 상기 다른 특정 영역에 대해서 미리 설정된 코드 종류(또는 상기 코드 종류에 대응하는 임시 마커의 종류)와 상기 선택된 다른 객체 마커의 종류가 일치하는지 여부를 확인(또는 판단)한다.
이때, 상기 제어부(150)는 상기 표시부(130)에 대한 드래그 앤 드롭 기능을 사용하여 상기 제 3 영역(또는 객체 마커 표시 영역)에서의 객체 마커 중 어느 하나의 다른 객체 마커가 선택(또는 드래그)된 후, 드래그 앤 드랍 기능에 의해, 상기 제 1 영역(또는 영상 표시 영역) 상의 다른 특정 영역(또는 다른 특정 위치)에 드랍될 때, 상기 다른 객체 마커가 드랍된 다른 특정 영역(또는 특정 위치)에 대응하는 코드 종류와, 상기 선택된 어느 하나의 다른 객체 마커의 종류를 비교할 수도 있다.
상기 비교 결과(또는 상기 확인/판단 결과), 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류가 관련 데이터 없음이거나 또는, 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류와 상기 선택된 다른 객체 마커의 종류가 일치하지 않는 경우, 상기 제어부(150)는 객체 마커 설정이 실패하였음을 나타내는 정보를 상기 표시부(130)의 일부 영역에 팝업 형태 등으로 표시하거나 상기 영상 표시 영역에 표시한다.
또한, 상기 표시부(130)에 표시되는 객체 마커 설정이 실패하였음을 나타내는 정보의 일측에 표시되는 미리 설정된 확인 버튼이 선택되는 경우, 상기 제어부(150)는 상기 선택된 다른 객체 마커를 해제(또는 상기 드랍된 다른 객체 마커를 삭제)하고, 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 임시 마커를 계속하여 표시하고, 객체 마커를 선택하기 위한 상태로 전환한다.
또한, 상기 비교 결과(또는 상기 확인/판단 결과), 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류와 상기 선택된 다른 객체 마커의 종류가 일치하는 경우, 상기 제어부(150)는 상기 다른 특정 영역(또는 다른 특정 위치)에 상기 다른 객체 마커를 배치한다. 여기서, 상기 제어부(150)는 상기 다른 특정 영역/다른 특정 위치에 대응하여 미리 설정된 다른 위치에 상기 다른 객체 마커를 배치할 수도 있다. 이때, 상기 제어부(150)는 상기 다른 객체 마커의 배치에 따라, 해당 다른 특정 영역(또는 다른 특정 위치)에 위치했던 임시 마커는 삭제한다.
다른 일 예로, 상기 도 26에 도시된 바와 상기 제 21 영역(2510)에 상기 크리에이터 객체 마커(2610)가 배치된 이후, 상기 도 26에 도시된 제 3 영역(또는 객체 마커 표시 영역)(2330)에 포함된 복수의 객체 마커 중에서 상품 마커((2332)가 선택된 후, 상기 도 25에 도시된 바와 같이, 상기 제 1 영역(또는 영상 표시 영역)(1310) 상의 모니터 옆의 상품 임시 마커 영역(2520)이 선택될 때, 상기 제어부(150)는 상기 제어부(150)는 상기 선택된 상품 임시 마커 영역에 대응하는 코드 종류(예를 들어 상품 임시 마커에 대응하는 코드 종류인 '상품')와 상기 선택된 상품 객체 마커(1332)의 종류(예를 들어 상품 객체 마커에 대응하는 객체 마커 종류인 '상품')를 비교한다.
상기 비교 결과, 상기 선택된(또는 드래그된) 상품 객체 마커(1332)의 종류(예를 들어 상품 객체 마커에 대응하는 객체 마커 종류인 '상품')와 상기 선택된(또는 드랍된) 상품 임시 마커 영역(2520)에 대응하는 코드 종류(예를 들어 상품 임시 마커에 대응하는 코드 종류인 '상품')가 일치할 때, 도 27에 도시된 바와 같이, 상기 제어부(150)는 앞서 표시되던 상품 정보임을 나타내던 임시 마커(상기 도 26에서의 'PD 마커')를 삭제하고, 상기 임시 마커(상기 도 26에서의 'PD 마커')가 위치했던 영역(또는 지점/위치)(2710)에 상기 선택된(또는 드래그된) 상품 정보 객체 마커를 배치(또는 위치/표시)한다.
이와 같이, 상기 제어부(150)는 임시 마커가 포함된 파노라마 영상 정보에 대해서 사용자 선택에 따른 특정 위치에 샵카메라 객체 마커, 상품 객체 마커, 업체 객체 마커, 프로모션 객체 마커 및 크리에이터 객체 마커 중 적어도 하나를 배치할 수 있다. 이때, 임시 마커가 위치한 영역에 객체 마커를 배치하고자 할 경우, 상기 제어부(150)는 상기 임시 마커와 동일한 종류의 객체 마커에 대해서는 임시 마커를 대체하여 해당 객체 마커의 배치를 허용(또는 허가)하며, 임시 마커와 동일하지 않은 종류의 객체 마커에 대해서는 해당 임시 마커를 대체하여 해당 객체 마커의 배치를 허용하지 않는다. 또한, 상기 임시 마커가 위치한 영역에 상기 임시 마커와 다른 종류의 객체 마커를 배치하고자 하는 경우, 상기 제어부(150)는 상기 임시 마커가 위치한 영역 대신에 상기 임시 마커에 인접한 다른 영역에 해당 임시 마커와 다른 종류의 객체 마커를 배치할 수도 있다.
즉, 상기 제어부(150)는 상기 표시부(130)의 객체 마커 표시 영역에 표시되는 복수의 객체 마커 중에서 선택된 또 다른 종류의 객체 마커를 상기 영상 표시 영역 상의 또 다른 특정 영역에 배치하고자 할 때, 상기 또 다른 특정 영역에 임시 마커가 존재(또는 위치)하는지 여부를 확인한다.
상기 확인 결과, 상기 또 다른 특정 영역에 임시 마커가 존재하지 않는 경우, 상기 제어부(150)는 상기 또 다른 특정 영역에 상기 또 다른 특정 객체 마커를 배치한다.
또한, 상기 확인 결과, 상기 또 다른 특정 영역에 임시 마커가 존재하는 경우, 상기 제어부(150)는 상기 임시 마커의 종류와 상기 또 다른 특정 객체 마커의 종류가 동일한지 여부를 판단한다.
상기 판단 결과, 상기 임시 마커의 종류와 상기 또 다른 특정 객체 마커의 종류가 동일한 경우, 상기 제어부(150)는 상기 임시 마커 대신에 상기 또 다른 특정 객체 마커를 해당 또 다른 특정 영역에 배치한다.
또한, 상기 판단 결과, 상기 임시 마커의 종류와 상기 또 다른 특정 객체 마커의 종류가 다른 경우, 상기 제어부(150)는 해당 임시 마커를 대체하여 상기 또 다른 특정 객체 마커를 배치할 수 없음을 나타내는 정보를 상기 표시부(130)의 일측에 표시한다.
또한, 사용자 선택에 따른 특정 영역(또는 위치)에 임시 마커 또는 객체 마커가 위치한 경우, 상기 제어부(150)는 해당 임시 마커 또는 객체 마커에 인접하게 프로모션 객체 마커 및/또는 크리에이터 객체 마커를 배치할 수도 있다(S2230).
이후, 상기 표시부(130)에 표시되는 제 1 영역(또는 상기 영상 표시 영역)에 위치된(또는 배치된) 객체 마커가 선택(또는 터치/더블 클릭)되는 경우, 상기 제어부(150)는 사용자 입력(또는 사용자 터치/사용자 선택)을 근거로 상기 선택된 객체 마커에 대한 속성 정보를 설정한다. 여기서, 상기 객체 마커에 대한 속성 정보는 객체 마커의 종류에 따라 다를 수 있다.
즉, 상기 객체 마커가 샵카메라인 경우, 상기 제어부(150)는 해당 파노라마 영상과 관련한 하나 이상의 카메라 중에서 적어도 하나의 카메라의 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 상품인 경우, 상기 제어부(150)는 상품에 대한 이미지, 상품명, 상품 고유 코드, 가격 정보, 상품과 관련한 동영상 링크/추가, 상세 설명, 카탈로그, 외부에 저장된 상세 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 업체(또는 업체 정보)인 경우, 상기 제어부(150)는 업체명, 업체에 대한 이미지, 업체 로고, 업체 고유 코드, 업체와 관련한 동영상 링크/추가, 업체 설명, 카탈로그, 외부에 저장된 업체 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 프로모션(또는 프로모션 정보/이벤트/이벤트 정보)인 경우, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 하나 이상의 프로모션 정보를 상기 표시부(130)에 표시한다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 하나 이상의 프로모션 정보 중에서 사용자 선택에 따른 특정 프로모션(또는 특정 프로모션 정보)을 확인한다. 또한, 상기 제어부(150)는 상기 선택된 프로모션 정보에 포함된 프로모션명, 프로모션에 대한 이미지/동영상, 프로모션 고유 코드, 프로모션 설명, 외부에 저장된 프로모션 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 객체 마커가 크리에이터인 경우, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 하나 이상의 크리에이터(또는 쇼핑호스트) 정보를 상기 표시부(130)에 표시한다. 또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 하나 이상의 크리에이터 정보 중에서 사용자 선택에 따른 특정 크리에이터(또는 특정 크리에이터 정보)를 확인한다. 또한, 상기 제어부(150)는 상기 선택된 크리에이터 정보에 포함된 크리에이터명, 이미지(또는 동영상), 크리에이터 고유 코드, 크리에이터 설명 등을 설정(또는 편집/수정/삭제/추가)한다.
또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 복수의 객체 마커 사이즈 중에서 사용자 선택에 따른 특정 객체 마커 사이즈(또는 객체 마커 사이즈 정보)를 설정(또는 확인)한다.
또한, 상기 제어부(150)는 상기 사용자 입력에 따른 객체 마커 선택 및 제 1 영역(또는 영상 표시 영역) 상의 특정 영역에 상기 선택된 객체 마커를 배치하고, 상기 배치된 객체 마커에 대한 속성 정보를 설정하는 과정을 반복 수행하여, 상기 선택된 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서 객체 마커 배치 및 속성 정보 설정 과정을 수행하여 MR 콘텐츠를 편집(또는 제작/저작)한다.
이때, 상기 파노라마 영상 정보가 동영상인 상태에서 상기 임시 마커가 상기 객체 마커로 변경(또는 대체/교체/배치)되는 경우, 상기 제어부(150)는 상기 임시 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보)를 근거로, 해당 동영상에 포함된 해당 임시 마커 및 코드와 관련한 정보를 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보를 포함하는 객체 마커)로 한 번에 모두 변경(또는 매칭/연동시킨다/업데이트)한다.
또한, 상기 파노라마 영상 정보가 동영상인 상태에서 상기 객체 마커가 배치되는 경우, 상기 제어부(150)는 상기 객체 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보/상기 객체 마커가 배치된 영역/위치에 대한 정보)를 근거로, 해당 동영상 내에서의 객체 마커가 배치된 영역/위치에 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보를 포함하는 객체 마커)로 한 번에 모두 변경(또는 매칭/연동시킨다/업데이트/적용)한다. 이때, 상기 제어부(150)는 해당 동영상 중에서 상기 객체 마커가 배치되는 위치를 기준으로 미리 설정된 프레임의 개수만큼 전/후 프레임에 상기 설정되는 객체 마커를 추가로 적용할 수도 있다.
일 예로, 상기 도 27에 도시된 바와 같이, 상기 표시부(130)에 상기 크리에이터 객체 마커(2610)가 배치된 상태에서 상기 크리에이터 객체 마커(2610)가 더블 클릭될 때, 도 28에 도시된 바와 같이, 상기 제어부(150)는 상기 저장부(120)에 미리 저장된 복수의 크리에이터(또는 쇼핑 호스트) 정보(2800)를 상기 표시부(130)에 표시한다. 또한, 상기 도 28에 도시된 상기 표시부(130)에 표시되는 복수의 크리에이터 정보(2800) 중에서 '김나라' 크리에이터(2810)가 선택될 때, 상기 제어부(150)는 상기 선택된 '김나라' 크리에이터(2810)에 대한 내용을 상기 크리에이터 객체 마커(2610)의 속성 정보로 설정한다. 여기서, 상기 '김나라' 크리에이터(2810)에 대한 내용은 크리에이터명(예를 들어 '김나라'), 사진 또는 동영상, 크리에이터 고유 코드(예를 들어 2016300100001), 크리에이터 설명(예를 들어 ABC 방송사 쇼핑호스트 등 포함) 등을 포함한다. 또한, 상기 제어부(150)는 상기 도 28에 도시된 표시부(130)에 표시되는 복수의 객체 마커 사이즈(2820) 중에서 사용자 선택에 따른 특정 객체 마커 사이즈(예를 들어 소(120*60))를 설정(또는 확인)한다.
또한, 상기 제어부(150)는 도 25 내지 도 28의 객체 마커 선택 및 배치, 객체 마커의 속성 정보를 설정하는 과정의 반복 수행에 의해, 도 29와 같이 MR 콘텐츠를 편집한다(S2240).
이후, 미리 설정된 미리보기 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커에 대한 결과 화면을 팝업 형태 등으로 상기 표시부(130)에 표시한다.
즉, 상기 미리 설정된 미리보기 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 MR 콘텐츠 저작의 결과 영상(또는 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커의 속성 정보에 대한 화면)을 미리보기 형태로 상기 표시부(130)에 표시한다.
일 예로, 상기 도 29에 도시된 상기 제 4 영역(또는 설정 영역)에 포함된 미리보기 메뉴(1341)가 선택될 때, 도 30에 도시된 바와 같이, 상기 제어부(150)는 상기 제 5 파노라마 영상 정보에 대해서 ABCD 명칭과 관련한 회사 마커(또는 회사 객체 마커)(2910), 텔레비전 상품과 관련한 상품 마커(또는 상품 객체 마커)(2920) 및 크리에이터 마커(2930), 제 1 모니터와 관련한 상품 마커(2940)와 크리에이터 마커(2950)와 샵카메라 마커(2960), 제 2 모니터와 관련한 상품 마커(2970) 및 샵카메라 마커(2980) 등에 각각 대응하는 MR 콘텐츠 저작의 결과 영상(3010)을 팝업 형태로 상기 표시부(130)에 표시한다(S2250).
또한, 미리 설정된 저장 메뉴(또는 버튼)가 선택되는 경우, 상기 제어부(150)는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다. 이때, 상기 MR 콘텐츠는 상기 파노라마 영상 정보(예를 들어 이미지/동영상), 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커, 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등 포함) 이외에, 이미지/동영상 내에 배치된 객체 마커(예를 들어 샵카메라, 상품, 업체, 프로모션, 크리에이터 등 포함), 이미지/동영상 내에서의 객체 마커의 위치 정보, 객체 마커의 속성 정보 등을 더 포함한다.
즉, 상기 미리 설정된 저장 메뉴가 선택되는 경우, 상기 제어부(150)는 상기 제 1 영역의 파노라마 영상 정보에 포함된(또는 배치된) 모든 객체 마커(예를 들어 상기 임시 마커를 대체하여 배치된 객체 마커, 특정 위치에 신규로 배치된 객체 마커 등 포함)에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료된 상태인지 여부를 확인한다.
또한, 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료되지 않은 상태인 경우, 상기 제어부(150)는 상기 모든 임시 마커 중에서 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정이 완료되지 않은 임시 마커, 상기 신규로 배치된 복수의 객체 마커 중에서 속성 정보 설정이 완료되지 않은 하나 이상의 객체 마커 등을 상기 표시부(130)에 표시하며, 해당 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정이 완료되지 않은 임시 마커에 대한 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정에 대한 안내 정보, 상기 객체 정보의 속성 정보 설정이 완료되지 않은 객체 마커의 속성 정보 설정에 대한 안내 정보 등을 상기 표시부(130)의 일측에 표시한다.
또한, 상기 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료된 경우, 상기 제어부(150)는 상기 제어부(150)는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다.
또한, 상기 파노라마 영상 정보가 동영상이고 상기 동영상 내의 특정 화면(또는 특정 이미지)에서 하나 이상의 객체 마커 배치 및 객체 마커의 속성 정보 설정이 완료된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 제어부(150)는 상기 객체 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보/상기 객체 마커가 배치된 영역/위치에 대한 정보)를 근거로, 해당 동영상 내에서의 객체 마커가 배치된 영역/위치에 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보 등 포함)로 모두 변경하여(또는 매칭하여/연동시켜/업데이트하여/적용하여) 저장한다. 이때, 상기 제어부(150)는 해당 동영상 중에서 상기 객체 마커가 배치되는 위치를 기준으로 미리 설정된 프레임의 개수만큼 전/후 프레임에 상기 설정되는 객체 마커를 적용하여 저장할 수도 있다.
일 예로, 상기 도 29에 도시된 상기 제 4 영역(또는 설정 영역)에 포함된 저장 메뉴(1343)가 선택될 때, 상기 제어부(150)는 상기 제 5 파노라마 영상 정보를 상기 제 5 파노라마 영상 정보 상에 추가된 ABCD 명칭과 관련한 회사 마커(또는 회사 객체 마커)(2910), 텔레비전 상품과 관련한 상품 마커(또는 상품 객체 마커)(2920) 및 크리에이터 마커(2930), 제 1 모니터와 관련한 상품 마커(2940)와 크리에이터 마커(2950)와 샵카메라 마커(2960), 제 2 모니터와 관련한 상품 마커(2970) 및 샵카메라 마커(2980), 상기 제 5 파노라마 영상 정보 내에서의 상기 복수의 마커(2910 내지 2980)의 각각의 위치 정보, 상기 복수의 마커(2910 내지 2980)의 각각의 속성 정보 등과 매칭(또는 연동)하여 제 5 MR 콘텐츠를 생성한다. 이때, 상기 제 5 파노라마 영상 정보가 동영상일 때, 상기 제어부(150)는 상기 제 5 파노라마 영상 정보 중에서 상기 크리에이터 마커(2930, 2950)가 배치된 시점을 기준으로 상기 크리에이터 마커(2930, 2950)가 배치된 시점부터 미리 설정된 200 프레임(또는 재생 시간 10초에 대응하는 프레임 수) 이후의 프레임까지 상기 특정 텔레비전 상품과 관련한 크리에이터 마커(2930, 2950)를 각각 적용한다(S2260).
도 31은 본 발명의 다른 실시예에 따른 MR 콘텐츠를 이용한 이벤트에 따른 경로 정보 제공 장치(10)의 구성을 나타낸 블록도이다.
도 31에 도시한 바와 같이, 경로 정보 제공 장치(10)는 단말(100) 및 서버(200)로 구성된다. 도 31에 도시된 경로 정보 제공 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 31에 도시된 구성 요소보다 많은 구성 요소에 의해 경로 정보 제공 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 경로 정보 제공 장치(10)가 구현될 수도 있다.
상기 단말(100)은 상기 MR 콘텐츠 제작 장치(100) 또는 다른 임의의 단말기일 수 있다.
도 32에 도시된 바와 같이, 상기 단말(100)은 상기 도 1에 구성된 통신부(110), 저장부(120), 표시부(130), 음성 출력부(140) 및 제어부(150)에 추가하여 GPS 수신기(160) 및 카메라(170)를 더 포함할 수 있다.
즉, 상기 도 32에 도시된 바와 같이, 상기 단말(100)은 통신부(110), 저장부(120), 표시부(130), 음성 출력부(140), 제어부(150) GPS 수신기(160) 및 카메라(170)로 구성된다. 도 22에 도시된 단말(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 22에 도시된 구성 요소보다 많은 구성 요소에 의해 단말(100)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 단말(100)이 구현될 수도 있다.
상기 통신부(110)는 상기 제어부(150)의 제어에 의해 상기 서버(200)로부터 전송되는 상기 단말(100)의 현재 위치 또는 상기 단말(100)에서 상기 서버(200)에 전송한 검색어에 대응하는 항공뷰(또는 스카이 뷰/로드 뷰/전경 뷰)를 수신한다.
상기 저장부(120)는 상기 통신부(110)를 통해 수신된 상기 단말(100)의 현재 위치 또는 상기 단말(100)에서 상기 서버(200)에 전송한 검색어에 대응하는 항공뷰(또는 스카이 뷰/로드 뷰/전경 뷰)를 저장한다.
상기 표시부(130)는 상기 제어부(150)의 제어에 의해 상기 수신된 상기 단말(100)의 현재 위치 또는 상기 단말(100)에서 상기 서버(200)에 전송한 검색어에 대응하는 항공뷰(또는 스카이 뷰/로드 뷰/전경 뷰)를 표시한다.
상기 음성 출력부(140)는 상기 제어부(150)에 의해 상기 수신된 상기 단말(100)의 현재 위치 또는 상기 단말(100)에서 상기 서버(200)에 전송한 검색어에 대응하는 항공뷰(또는 스카이 뷰/로드 뷰/전경 뷰)에 대응하는 음성 정보를 출력한다.
상기 제어부(150)는 상기 단말(100)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(150)는 상기 서버(200)와의 연동에 의해, 해당 단말(100)의 사용자에 대한 상기 서버(200)로의 회원 가입 절차를 수행한다.
또한, 회원 가입 절차 수행 시, 상기 제어부(150)는 본인 인증 수단(예를 들어 이동 전화, 신용카드, 아이핀, 이메일 등 포함)을 통한 인증 기능을 완료해야 상기 서버(200)에 대한 회원 가입 절차를 정상적으로 완료할 수 있다.
또한, 회원 가입 절차에 의해, 상기 제어부(150)는 생년월일, 남/여 정보, 전화번호, 이메일, 비밀번호, 이름, 주소 등의 사용자 정보를 상기 통신부(110)를 통해 상기 서버(200)에 제공한다.
또한, 상기 단말(100)에 미리 설치된 앱이 실행되는 경우, 상기 제어부(150)는 앱 실행 결과 화면을 상기 표시부(130)에 표시한다. 여기서, 상기 앱 실행 결과 화면은 회원 정보를 입력받거나 전송하기 위한 회원 정보 항목(또는 메뉴/버튼), 이미지 또는 3D 파노라마 영상을 제공하기 위한 영상 정보 항목, 앱의 기능을 설정하기 위한 설정 항목, 단말(100)을 통해 구매한 상품이나 서비스에 대한 구매 이력 정보 등을 관리하기 위한 마이 페이지 항목 등을 포함한다. 이때, 상기 단말(100)은 백그라운드 상태로 해당 앱과 관련한 서버(200)와 통신한다.
또한, 상기 표시부(130)에 표시되는 앱 실행 결과 화면 중에서 회원 정보 항목이 선택되는 경우, 상기 제어부(150)는 상기 선택된 회원 정보 항목에 대응하는 회원 정보를 입력받기(또는 수신하기) 위한 회원 정보 화면을 상기 표시부(130)에 표시한다.
또한, 상기 제어부(150)는 사용자 입력(또는 사용자 터치)에 따른 회원 정보를 수신한다. 여기서, 상기 회원 정보는 이름, 주소, 사용 언어, 배송지 정보, 쇼핑 객체 종류(예를 들어 아바타 종류, 이모티콘 종류 등 포함) 등을 포함한다.
또한, 상기 제어부(150)는 상기 수신된 회원 정보, 상기 단말(100)의 식별 정보 등을 상기 통신부(110)를 통해 상기 서버(200)에 전송한다. 여기서, 구매 단말(100)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscriber identity module: 가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
또한, 상기 표시부(130)에 표시되는 앱 실행 결과 화면 중에서 영상 정보 항목이 선택되는 경우, 상기 제어부(150)는 상기 서버(200)로부터 제공되는 항공뷰(또는 스트리트 뷰/로드 뷰/전경 뷰)를 상기 통신부(110)를 통해 수신한다. 이때, 상기 제어부(150)는 사용자 입력에 따른 검색어를 수신하고, 상기 수신된 검색어를 상기 통신부(110)를 통해 상기 서버(200)에 전송하고, 상기 전송에 응답하여 상기 서버(200)로부터 전송되는 상기 항공뷰(또는 스트리트 뷰/로드 뷰/전경 뷰)를 상기 통신부(110)를 통해 수신할 수도 있다. 이때, 상기 항공뷰, 상기 스트리트 뷰, 상기 로드 뷰, 상기 전경 뷰 등은 가상 현실로 구현된 상태이거나 또는 카메라 등을 통해 사전에 촬영된 이미지(또는 영상)이거나 또는 앞서 제작된 MR 콘텐츠일 수 있다.
본 발명에서 설명하는 상기 항공뷰는 항공기에 구비된 카메라(미도시)를 통해 촬영된 영상을 나타내며, 상기 스트리트 뷰(또는 로드 뷰/전경 뷰)는 도로(또는 인도)나 건물 등에서 상기 카메라(170)나 전용 카메라(미도시) 등을 통해 촬영된 영상을 나타낼 수 있다.
또한, 상기 카메라(170)를 통해 상기 단말(100)이 위치한 지역의 영상을 확인하는 경우, 상기 제어부(150)는 상기 카메라(170)를 통해 확인되는 영상(예를 들어 스트리트 뷰(또는 로드 뷰/전경 뷰))을 상기 표시부(130)(또는 뷰 파인더(view finder))에 표시한다.
또한, 상기 제어부(150)는 상기 단말(100)의 현재 위치, 상기 표시되는 스트리트 뷰(또는 로드 뷰/전경 뷰) 내의 객체에 대한 정보(예를 들어 상기 스트리트 뷰(또는 로드 뷰/전경 뷰) 내에 포함되는 간판 등 포함) 등을 근거로 해당 스트리트 뷰와 관련한 증강 현실 정보를 확인한다.
또한, 상기 제어부(150)는 상기 확인된 증강 현실 정보를 상기 스트리트 뷰(또는 로드 뷰/전경 뷰)에 적용하여, 앞서 카메라(170)를 통해 확인되는 영상에 상기 증강 현실 정보가 적용된 영상을 상기 표시부(130)에 표시한다.
이와 같이, 본 발명에 따른 실시예는, 항공뷰, 스트리트 뷰, 로드 뷰, 전경 뷰 등이 실제 이미지, 가상 현실, 증강 현실 등의 형태로 제공될 수 있다.
또한, 상기 제어부(150)는 상기 서버(200)로부터 전송되는 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 적어도 하나의 이벤트 정보를 상기 통신부(110)를 통해 수신한다.
또한, 상기 제어부(150)는 상기 수신된 적어도 하나의 이벤트 정보 및 상기 표시부(130)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치를 근거로 해당 적어도 하나의 이벤트 정보에 대응하는 적어도 하나의 경로 정보를 각각 생성한다. 여기서, 상기 경로 정보는 차선 정보, 도로 정보, 주행 제한 속도 정보, 턴바이턴 정보, 교통 안전 정보, 교통 안내 정보, 차량 정보, 길 찾기 정보, 건물 내의 통로(또는 복도) 정보 등의 주행(또는 이동)과 관련한 각종 정보를 포함한다.
또한, 상기 제어부(150)는 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 표시부(130)의 화면(예를 들어 항공뷰, 스트리트 뷰, 로드뷰, 전경 뷰 등 포함) 상에 오버랩하여 표시한다. 여기서, 상기 경로 정보는 상기 이벤트 정보에 대응하는 목적지를 가기 위한 턴바이턴 형태의 화살표 또는 선 형태로 표시할 수 있다.
또한, 상기 표시부(130)의 화면에 상기 이벤트명 및 상기 적어도 하나의 경로 정보를 오버랩하여 표시할 때, 상기 제어부(150)는 상기 이벤트 정보 내의 이벤트 기간 및 이벤트 시간대 정보를 근거로 이벤트 종료(또는 이벤트 마감)에 임박한 경우(또는 상기 이벤트 기간 및 이벤트 시간대가 미리 설정된 임계값 이내인 경우), 해당 경로 정보에 포함된 화살표나 선의 굵기를 상대적으로 굵게 표시하고, 이벤트 종료까지 미리 설정된 임계값 이상 남아 있는 경우 해당 경로 정보에 포함된 화살표나 선의 굵기를 상기 이벤트 종료에 임박한 경우보다 상대적으로 얇게 표시할 수 있다.
이와 같이, 본 발명의 실시예에서는 단말(100)에서 가상 현실 또는 증강 현실로 표현되는 화면을 표시하고 있는 상태에서, 해당 화면 상에서의 상기 단말(100)이나 아바타의 위치에 대응하는 적어도 하나의 이벤트 정보가 존재하는 경우, 상기 단말(100)이 상기 서버(200)로부터 제공되는 적어도 하나의 이벤트 정보를 수신하고, 상기 수신된 적어도 하나의 이벤트 정보에 대응하는 적어도 하나의 경로 정보를 각각 생성하고, 상기 생성된 적어도 하나의 경로 정보 및 이벤트 정보에 대응하는 이벤트 명을 상기 화면 상에 오버랩하여 표시하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 가상 현실 또는 증강 현실로 화면을 표시하기 이전에 해당 화면 상에서의 상기 단말(100)이나 아바타의 위치에 대응하는 이벤트 정보의 존재 여부를 미리 확인한 후, 해당 화면 상에서의 상기 단말(100)이나 아바타의 위치에 대응하는 이벤트 정보가 존재할 때 경로 정보를 생성하고, 경로 정보 및 이벤트 명이 적용된 화면을 표시하도록 구성할 수도 있다.
또한, 상기 단말(100)에서 상기 서버(200)로부터 복수의 이벤트 정보를 제공받아 상기 단말(100)에 저장하고 있는 상태에서, 상기 단말(100)에 표시되는 화면 상에서의 상기 단말(100)이나 아바타의 위치에 대응하는 하나 이상의 이벤트 정보가 존재하는 경우, 상기 하나 이상의 이벤트 정보에 대응하는 하나 이상의 경로 정보를 생성하고, 상기 생성된 하나 이상의 경로 정보를 상기 단말(100)에 표시되는 화면 상에 오버랩하여 표시함에 따라, 상기 서버(200)의 부하를 줄일 수도 있다.
본 발명의 실시예에서는, 상기 단말(100)에서 상기 서버(200)로부터 제공되는 적어도 하나의 이벤트 정보를 근거로 적어도 하나의 경로 정보를 생성한 후, 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 표시하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 서버(200)는 상기 적어도 하나의 이벤트 정보 및 상기 단말(100)이나 아바타의 위치 정보를 근거로 적어도 하나의 경로 정보를 생성하고, 상기 생성된 적어도 하나의 경로 정보를 상기 단말(100)에 제공한다. 이때, 상기 서버(200)는 상기 화면 상에 상기 생성된 적어도 하나의 경로 정보를 오버랩하여 새로운 화면을 생성하고, 상기 생성된 화면(또는 상기 적어도 하나의 경로 정보가 적용된 화면)을 상기 단말(100)에 제공할 수도 있다. 이후, 상기 단말(100)은 상기 서버(200)로부터 제공되는 적어도 하나의 경로 정보를 수신하고, 상기 수신된 적어도 하나의 경로 정보를 상기 단말(100)에 표시되고 있는 화면에 오버랩하여 표시할 수 있다.
또한, 상기 이벤트명 및 상기 생성된 적어도 하나의 경로 정보가 적용된 화면에서 상기 단말(100)이나 상기 아바타의 위치가 변경함에 따라 상기 적어도 하나의 이벤트 정보의 적용 상태가 변경하는 경우, 상기 단말(100)은 상기 변경된 이벤트 정보에 따른 경로 정보를 생성하고, 이벤트 정보 적용이 해제되는 이벤트 정보에 대응하는 경로 정보를 삭제하고, 상기 생성된 변경된 이벤트 정보에 따른 경로 정보를 표시할 수 있다.
예를 들어, AAA 백화점 1층 로비에서의 3D 파노라마 영상 내에서 지하 1층 수산물 코너의 할인 행사와 관련한 제 1 경로 정보와, 지상 3층 의류 코너의 할인 행사와 관련한 제 2 경로 정보가 표시되고 있는 상태에서, 상기 백화점 1층 로비에서의 3D 파노라마 영상이 사용자 제어(또는 사용자 터치)에 따라 화면 이동(또는 화면 전환)되어 상기 백화점 1층 로비에서 50여 미터 전진하여 에스컬레이터까지 이동된 3D 파노라마 영상(또는 AAA 백화점 1층 에스컬레이터와 관련한 3D 파노라마 영상)이 표시될 때, 상기 단말(100)은 상기 복수의 이벤트 정보 중에서 상기 AAA 백화점 1층 에스컬레이터와 관련한 3D 파노라마 영상 내에서의 아바타의 위치에 대응하는 하나 이상의 이벤트 정보를 상기 서버(200)로부터 제공받는다. 이때, 상기 AAA 백화점 1층 에스컬레이터와 관련한 3D 파노라마 영상 내에서의 아바타의 위치에 대응하는 하나 이상의 이벤트 정보는 앞선 AAA 백화점 1층 로비에서의 3D 파노라마 영상 내에서의 아바타의 위치에 대응하는 적어도 하나의 이벤트 정보와 비교하여, 지하 1층 수산물 코너의 할인 행사와 관련한 이벤트 정보는 그대로 유지하고 있으나, 지상 3층 의류 코너의 할인 행사와 관련한 이벤트 정보는 포함하지 않은 상태이며, 대신에 지상 2층 가전 코너의 할인 행사와 관련한 이벤트 정보를 포함한 상태일 수 있다. 또한, 상기 단말(100)은 상기 수신된 하나 이상의 이벤트 정보를 근거로 상기 지하 1층 수산물 코너의 할인 행사와 관련한 제 11 경로 정보를 생성하고, 상기 지상 2층 가전 코너의 할인 행사와 관련한 제 12 경로 정보를 생성한다. 또한, 상기 단말(100)은 상기 AAA 백화점 1층 에스컬레이터와 관련한 3D 파노라마 영상에 상기 생성된 제 11 경로 정보, 제 12 경로 정보 등을 오버랩하여 표시한다.
이와 같이, 상기 복수의 이벤트 정보 중에서 상기 단말(100)에 현재 표시되고 있는 화면 내에서의 상기 단말(100)이나 아바타의 위치 정보를 근거로 해당 단말(100)이나 아바타의 위치 정보와 관련한 적어도 하나의 이벤트 정보가 존재하는 경우, 상기 단말(100)은 실시간으로 해당 이벤트 정보를 적용하여 경로 정보를 생성하고, 상기 생성된 경로 정보를 표시할 수 있다.
즉, 상기 단말(100)은 상기 단말(100)이나 아바타의 위치 이동에 따라 인터랙티브(interactive) 개념이 적용되어 상기 단말(100)이나 아바타의 현재 위치에 따른 실시간 경로 정보를 제공할 수 있다.
또한, 상기 서버(200)에 타임 세일 이벤트가 등록된 상태에서 상기 단말(100)에 표시되고 있는 화면 상의 상기 단말(100)이나 아바타의 현재 위치가 해당 타임 세일 이벤트와 관련한 지역에 포함된 경우, 상기 단말(100)은 상기 서버(200)로부터 제공되는 타임 세일 이벤트 정보를 수신한다. 여기서, 상기 타임 세일 이벤트(또는 시간 세일 이벤트)는 시간대를 설정한 상태에서 일부 상품이나 서비스에 대한 가격을 할인해주는 이벤트일 수 있다.
또한, 상기 단말(100)은 상기 수신된 타입 세일 이벤트 정보를 상기 이벤트명 및 상기 생성된 적어도 하나의 경로 정보가 적용된 화면의 다른 일측에 추가로 표시할 수 있다.
또한, 상기 단말(100)에 표시되는 타임 세일 이벤트 정보가 선택되는 경우, 상기 단말(100)은 상기 선택된 타임 세일 이벤트 정보에 대한 상세 화면을 표시하거나 또는, 상기 선택된 타임 세일 이벤트 정보와 관련한 3D 파노라마 영상을 표시한다.
또한, 상기 표시부(130)에 표시되는 적어도 하나의 경로 정보 중에서 어느 하나의 경로 정보를 선택(또는 터치/클릭)한 상태가 유지되는 경우, 상기 제어부(150)는 출발지(또는 기준점/시작점)에 해당하는 상기 적어도 하나의 경로 정보가 오버랩되어 표시되는 화면 상의 위치(또는 상기 단말(100)/화면 내의 아바타의 현재 위치)에서 상기 선택된 경로 정보에 대응하는 목적지까지의 남은 거리, 해당 목적지까지의 평균 이동 시간 정보(또는 평균 주행 시간 정보), 해당 경로 정보와 관련한 이벤트 정보 등을 상기 표시부(130)의 적어도 하나의 경로 정보가 오버랩되어 표시되는 화면의 일측에 표시하고, 상기 화면 상의 위치에서 해당 목적지까지의 미리 설정된 속도로 자동 이동 기능(또는 자동 주행 기능)을 수행한 화면을 상기 표시부(130)에 연속적으로 표시한다.
또한, 상기 제어부(150)는 상기 표시부(130)에 표시되는 적어도 하나의 경로 정보 중에서 선택되는 어느 하나의 경로 정보를 선택한 터치 상태에 대한 압력을 감지한다. 또한, 상기 제어부(150)는 상기 감지된 압력(또는 터치 압력)의 세기에 따른 다른 기능을 수행할 수도 있다.
즉, 상기 표시부(130)에 표시되는 적어도 하나의 경로 정보 중에서 어느 하나의 경로 정보를 선택(또는 터치/클릭)한 상태가 유지되는 상태에서 상기 제어부(150)는 상기 단말(100)에 포함된 센서부(미도시)를 통해 상기 선택(또는 터치)에 따른 압력을 감지한다.
또한, 상기 감지된 압력이 미리 설정된 기준값보다 작거나 같은 경우, 상기 제어부(150)는 상기 출발지(또는 기준점/시작점)에 해당하는 상기 적어도 하나의 경로 정보가 오버랩되어 표시되는 화면 상의 위치에서 상기 선택된 경로 정보에 대응하는 목적지까지의 남은 거리, 해당 목적지까지의 평균 이동 시간 정보(또는 평균 주행 시간 정보), 해당 경로 정보와 관련한 이벤트 정보 등을 상기 적어도 하나의 경로 정보가 오버랩되어 표시되는 화면의 일측에 표시하고, 상기 화면 상의 위치에서 해당 목적지까지의 미리 설정된 속도로 자동 이동 기능(또는 자동 주행 기능)을 수행한 화면을 연속적으로 표시하는 과정을 수행한다.
또한, 상기 감지된 압력이 미리 설정된 기준값보다 큰 경우, 상기 제어부(150)는 상기 표시부(130)에 표시되는 적어도 하나의 경로 정보가 적용된 화면에서 상기 선택된 경로 정보에 대응하는 최종 목적지와 관련한 화면을 상기 표시부(130)에 표시한다.
또한, 상기 표시부(130)에 대한 상기 어느 하나의 경로 정보를 선택한 상태가 해제되는 경우, 상기 제어부(150)는 상기 선택된 어느 하나의 경로 정보와 관련하여 상기 표시부(130)에 표시되고 있는 목적지까지의 자동 이동 기능(또는 자동 주행 기능)에 따른 화면의 표시를 중지하고, 상기 적어도 하나의 경로 정보가 오버랩되어 표시되는 화면을 상기 표시부(130)에 표시한다.
상기 GPS 수신기(160)는 위성으로부터 전송된 GPS 신호를 수신하고, 상기 수신된 GPS 신호에 포함된 경도 좌표 및 위도 좌표를 근거로 상기 단말(100)의 위치 데이터를 실시간으로 발생시키고, 상기 발생된 위치 데이터를 상기 제어부(150)에 출력한다. 여기서, 상기 발생된 위치 데이터는 상기 단말(100)의 현재 위치(또는 현재 위치 데이터)로 정의한다. 여기서, 상기 GPS 수신기(160)뿐만 아니라 와이 파이(Wi-Fi) 또는 와이브로(Wibro) 통신을 통해 위치 정보를 수신할 수도 있다.
또한, 상기 GPS 수신기(160)를 통해 수신되는 신호는 IEEE(Institute of Electrical and Electronics Engineers)에서 제안한 무선 LAN 및 일부 적외선 통신 등을 포함하는 무선 LAN에 대한 무선 네트워크의 표준 규격인 802.11과, 블루투스, UWB, 지그비 등을 포함하는 무선 PAN(Personal Area Network)에 대한 표준 규격인 802.15과, 도시 광대역 네트워크(Fixed Wireless Access: FWA) 등을 포함하는 무선 MAN(Metropolitan Area Network), 광대역 무선 접속(Broadband Wireless Access: BWA)에 대한 표준 규격인 802.16과, 와이브로(Wibro), 와이맥스(WiMAX) 등을 포함하는 무선 MAN(Mobile Broadband Wireless Access: MBWA)에 대한 모바일 인터넷에 대한 표준 규격인 802.20 등의 무선 통신 방식을 이용하여 단말기의 위치 정보를 상기 단말(100)에 제공하도록 구성할 수도 있다.
상기 카메라(170)는 영상 통화 모드, 촬영 모드, 영상 회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 상기 처리된 화상 프레임은 상기 제어부(150)의 제어에 의해 상기 표시부(130)에 표시될 수 있다. 일 예로, 상기 카메라(170)는 객체(또는 피사체)(사용자 영상 또는 화상 회의자)를 촬영하고, 그 촬영된 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다.
또한, 상기 카메라(170)에서 처리된 화상 프레임은 상기 저장부(120)에 저장되거나 상기 통신부(110)를 통해 외부 단말기(예를 들어 다른 단말, 상기 서버(200) 등 포함)로 전송될 수 있다.
상기 서버(200)는 상기 단말(100) 등과 통신한다.
또한, 상기 서버(200)는 상기 단말(100)과의 연동에 의해, 상기 단말(100)의 사용자에 대한 회원 가입 절차를 수행한다.
또한, 상기 서버(200)는 해당 서버(200)에 포함된 복수의 카메라(미도시)를 통해 오프라인 또는 가두 매장 상의 하나 이상의 매장, 해당 매장 내의 상품, 전시 상품, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판, 가격표 등을 포함하는 제 1 영상과 제 2 영상을 촬영한다. 여기서, 상기 매장은 백화점, 쇼핑몰, 아울렛, 음식점, 병원, 빌딩(또는 건축물) 등을 포함한다. 이때, 상기 서버(200)는 상기 제 1 영상과 제 2 영상을 촬영하는 지점의 위치 정보(예를 들어 GPS 위치 정보 등 포함)를 확인하고, 상기 확인된 위치 정보를 상기 촬영한 제 1 영상과 제 2 영상과 매칭(또는 연동)하여 저장한다.
여기서, 상기 POP(Point of Purchase)는 매장을 찾아온 고객에게 즉석에서 상품 및/또는 서비스에 대한 정보를 제공하는 광고를 나타낸다. 또한, 상기 전단(leaflet)(또는 전단 광고/전단지/전단지 광고)은 광고나 선전을 목적으로 배포하는 간단한 인쇄물의 형태를 나타낸다. 또한, 상기 배너 광고(banner advertisement)는 매장의 특정 위치에 설치되어 특정 상품 및/또는 서비스에 대한 정보를 제공하는 광고를 나타낸다. 또한, 상기 포스터 광고(billing)는 광고 선전용으로 제작하여 붙이는 종이를 나타내며, 시각에 호소하는 것이기 때문에 주목을 끌수 있도록 문자, 도형, 문장 등을 고려하여 제작한다. 또한, 상기 간판(signboard)은 매장과 관련한 회사명, 상점명, 상품명, 서비스명 등을 표시하는 판을 나타낸다.
또한, 상기 서버(200)는 상기 촬영된 제 1 영상 및 제 2 영상에 대해 픽셀의 방향성을 기준으로 상기 제 1 영상 및 제 2 영상이 중첩되는 중첩 영역을 획득한다.
또한, 상기 서버(200)는 상기 획득된 중첩 영역을 기준으로 상기 제 1 영상 및 제 2 영상을 합성하여 예비 파노라마 영상을 생성한다. 이때, 상기 서버(200)는 미리 공지된 다양한 합성 방법에 의해서 상기 촬영된 제 1 영상 및 제 2 영상을 합성하여 예비 파노라마 영상을 생성할 수 있다. 이때, 상기 생성되는 예비 파노라마 영상은 상기 예비 파노라마 영상에 포함된 제 1 객체, 상품, 지점(point)(또는 좌표) 등에 대한 위치 정보를 포함(또는 연동/매칭)한다.
즉, 상기 예비 파노라마 영상은 영상뿐만 아니라, 추후 임의의 단말의 위치 정보(예를 들어 구매 단말(100)의 위치 정보 등 포함)에 대응하는 3D 파노라마 영상을 검색(또는 확인)할 수 있도록 해당 예비 파노라마 영상에 포함된 제 1 객체, 상품, 지점 등에 대한 위치 정보를 포함하도록 구성한다.
본 발명의 실시예에서는, 상기 획득된 중첩 영역을 기준으로 상기 제 1 영상 및 제 2 영상을 합성하여 상기 예비 파노라마 영상을 생성하는 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 서버(200)는 미리 공지된 다양한 합성 방법에 의해서 상기 촬영된 제 1 영상 및 제 2 영상을 합성하여 상기 예비 파노라마 영상을 생성할 수도 있다.
이때, 상기 서버(200)는 별도로 구성되는 복수의 카메라(예를 들어 3D 파노라마 영상을 촬영하기 위한 특수 장치, 특수 차량 등에 구성된 복수의 카메라)를 통해서 촬영된 제 1 영상 및 제 2 영상을 근거로 상기 예비 파노라마 영상을 생성할 수도 있다.
또한, 상기 서버(200)는 상기 예비 파노라마 영상 내에 포함된 하나 이상의 제 1 객체를 각각 인식한다. 여기서, 상기 제 1 객체는 상기 오프라인 상에 위치하는 각각의 매장일 수도 있고, 상기 오프라인 상에 위치하거나 각 매장 내에 위치하는 POP(Point of Purchase), 전단(Leaflet), 배너 광고(Banner), 포스터 광고(Poster), 간판(Signboard), 가격표(Price Tag) 등을 포함할 수 있다. 이때, 본 발명에서의 상기 제 1 객체는 각 매장에서 제공하는 상품 및 서비스를 제외하거나 또는 포함한 상태일 수 있다. 또한, 상기 POP, 전단, 배너 광고, 포스터 광고, 간판 등은 할인 행사 코드를 나타내며, 상기 가격표는 상품 코드를 나타낼 수 있다.
즉, 상기 서버(200)는 상기 예비 파노라마 영상 내에 포함된 하나 이상의 매장을 각각 인식하거나, 상기 예비 파노라마 영상 내에 포함된 POP, 전단, 배너 광고, 포스터 광고, 간판, 가격표 등을 각각 인식한다.
또한, 상기 서버(200)는 상기 인식된 하나 이상의 제 1 객체에 각각 대응하는 판매 광고, 확대 이미지, 동영상(또는 홍보용 동영상), 쿠폰(예를 들어 할인 쿠폰, 무료 쿠폰 등 포함), 기부, 댓글 등의 정보를 제공하기 위한 객체 및/또는 화면 전환을 위한 다른 추가 객체를 상기 예비 파노라마 영상 내의 해당 제 1 객체 상의 일부 영역에 추가(또는 삽입)하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 인접하게 추가(또는 삽입)하여 3D 파노라마 영상을 생성한다.
즉, 상기 서버(200)는 상기 인식된 하나 이상의 제 1 객체에 대응하는 판매 광고와 관련한 객체를 상기 예비 파노라마 영상 내의 해당 제 1 객체 상의 일부 영역에 추가(또는 삽입)하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 인접하게 추가(또는 삽입)하여 3D 파노라마 영상을 생성한다. 여기서, 상기 판매 광고는 POP, 전단, 배너 광고, 포스터 광고, 간판, 가격표 등을 포함한다.
또한, 상기 서버(200)는 상기 인식된 하나 이상의 제 1 객체에 대응하는 확대 이미지를 제공하기 위한 객체를 상기 예비 파노라마 영상 내의 해당 제 1 객체 상의 일부 영역에 추가(또는 삽입)하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 인접하게 추가(또는 삽입)하여 3D 파노라마 영상을 생성한다. 여기서, 상기 확대 이미지는 냉장고, 세탁기 등의 상품에 대한 내부 사진(또는 상품과 관련한 추가 이미지)이거나 신선 식품의 확대 사진일 수 있으며, 복수인 경우 슬라이드 방식으로 순서별로 정렬된 상태일 수 있다.
또한, 상기 서버(200)는 상기 인식된 하나 이상의 제 1 객체에 대응하는 동영상(또는 홍보용 동영상)을 제공하기 위한 객체를 상기 예비 파노라마 영상 내의 해당 제 1 객체 상의 일부 영역에 추가(또는 삽입)하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 인접하게 추가(또는 삽입)하여 3D 파노라마 영상을 생성한다. 여기서, 상기 동영상(또는 홍보용 동영상)은 해당 상품 및/또는 서비스와 관련한 영상, 상품의 사용법과 관련한 동영상(예를 들어 화장품의 사용법에 대한 동영상, 의류 착용 예시에 대한 동영상, 장난감 조립 방법에 대한 동영상, 공구 사용법에 대한 동영상, 조리 방법에 대한 동영상 등 포함) 등을 포함하며, 문자 및/또는 음성 메시지를 포함할 수도 있다.
또한, 상기 서버(200)는 상기 인식된 하나 이상의 제 1 객체에 대응하는 쿠폰을 제공하기 위한 객체를 상기 예비 파노라마 영상 내의 해당 제 1 객체 상의 일부 영역에 추가(또는 삽입)하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 인접하게 추가(또는 삽입)하여 3D 파노라마 영상을 생성한다. 여기서, 상기 쿠폰은 해당 상품 구매시 할인이 적용되는 쿠폰이며, 복수인 경우 슬라이드 방식으로 순서별로 정렬된 상태이며, 사용자 선택에 따라 상기 구매 단말(100)에 다운로드 될 수 있다.
또한, 상기 서버(200)는 상기 인식된 하나 이상의 제 1 객체와 관련한 상품 및/또는 서비스 구매 시 제공되는 기부 정보를 제공하기 위한 객체를 상기 예비 파노라마 영상 내의 해당 제 1 객체 상의 일부 영역에 추가(또는 삽입)하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 인접하게 추가(또는 삽입)하여 3D 파노라마 영상을 생성한다. 여기서, 상기 기부는 해당되는 상품 구매시 적용되는 기부 정보에 대한 상세 안내 정보를 표시하며, 복수의 경우 슬라이드 방식으로 정렬된 상태일 수 있다.
또한, 상기 서버(200)는 상기 인식된 하나 이상의 제 1 객체와 관련한 상품 및/또는 서비스에 대한 댓글 정보를 제공하기 위한 객체를 상기 예비 파노라마 영상 내의 해당 제 1 객체 상의 일부 영역에 추가(또는 삽입)하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 인접하게 추가(또는 삽입)하여 3D 파노라마 영상을 생성한다. 여기서, 상기 댓글은 해당 상품 및/또는 서비스를 구매한 다른 단말에서 등록한 해당되는 상품 및/또는 서비스와 관련한 정보(예를 들어 구매 소감, 이용 후기 등 포함)를 포함한다.
이때, 상기 예비 파노라마 영상 정보에 추가되는 객체 및/또는 다른 추가 객체는 해당 객체(또는 상기 다른 추가 객체)의 확인이 용이하도록 미리 설정된 주기로 해당 객체에 대해서 불빛(또는 특정 색상)이 최대 상태에서 점차 소등되고 다시 소등 상태에서 점차 최대 상태로 반복적으로 변화하는 효과, 불빛의 깜빡임 효과, 네온 사인 효과, 불빛의 색상이 미리 설정된 주기로 서로 다른 색상으로 변하는 효과 등이 적용된 상태일 수 있다.
이와 같이, 예비 파노라마 영상 정보에 추가되는 객체 및/또는 다른 추가 객체에 대해서 다양한 효과를 적용하여, 3D 파노라마 영상 정보 내에서의 식별이 용이하도록 구성할 수 있다.
또한, 상기 생성되는 3D 파노라마 영상은 상기 3D 파노라마 영상에 포함된 제 1 객체, 상품, 지점(또는 좌표) 등에 대한 위치 정보를 포함(또는 연동/매칭)한다.
또한, 상기 서버(200)는 언어별 특성을 고려하여 언어별로 상기 3D 파노라마 영상을 생성할 수도 있다.
본 발명의 실시예에 따라 생성되는 3D 파노라마 영상은 상기 3D 파노라마 영상에 포함된 제 1 객체, 상품, 지점(또는 좌표) 등에 대한 위치 정보를 포함(또는 연동/매칭)한다.
즉, 상기 3D 파노라마 영상은 영상뿐만 아니라, 추후 임의의 단말(예를 들어 상기 구매 단말(100)의 위치 정보 등 포함)에 대응하는 3D 파노라마 영상을 검색(또는 확인)할 수 있도록 해당 3D 파노라마 영상에 포함된 제 1 객체, 상품, 지점 등에 대한 위치 정보를 포함하도록 구성한다.
이에 따라, 상기 임의의 단말에서 위치 정보에 대응하는 3D 파노라마 영상을 요청하는 경우, 상기 서버(200)는 미리 저장된 하나 이상의 객체, 상품, 지점 등의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서 상기 임의의 단말로부터 요청된 특정 위치 정보에 대응하는 3D 파노라마 영상 정보를 확인하고, 상기 확인된 3D 파노라마 영상 정보를 해당 단말에 제공할 수 있다.
예를 들어, 상기 서버(200)는 복수의 객체 및/또는 상품의 위치 정보와 연동된 3D 파노라마 영상 정보 중에서, 상기 임의의 단말의 위치 정보인 서울특별시 강남구 역삼로 123-45에 대응하는 객체가 포함된 3D 파노라마 영상 정보를 확인할 수 있다.
또한, 상기 복수의 객체 및/또는 상품의 위치 정보와 연동된 3D 파노라마 영상 정보 중에서, 상기 임의의 단말의 위치 정보인 서울특별시 강남구 역삼로 123-45에 대응하는 객체 및/또는 상품이 없는 경우, 상기 서버(200)는 상기 임의의 단말의 위치 정보와 유사한(예를 들어 서울특별시 강남구 역삼로 123-44 또는 123-46 등 포함) 객체 및/또는 상품이 포함된 3D 파노라마 영상 정보를 확인할 수도 있다.
또한, 상기 복수의 3D 파노라마 영상 정보가 미리 설정된 간격으로 구성된 GPS 정보와 매칭된 경우, 상기 서버(200)는 상기 임의의 단말의 위치 정보와 상기 미리 설정된 간격으로 구성된 GPS 정보를 근거로 상기 임의의 단말의 위치 정보에 대응하는(또는 유사한/관련한) 하나의 3D 파노라마 영상 정보를 확인할 수도 있다.
이외에도, 상기 서버(200)에 미리 저장된 복수의 3D 파노라마 영상 정보 중에서 특정 위치 정보에 대응하는 3D 파노라마 영상 정보를 확인하는 방법은 지도 검색 서비스에서 활용되는 기술들을 적용할 수도 있다.
이와 같이, 본 발명에 의해 생성되는 3D 파노라마 영상 정보는 위치 정보와 연동된 상태로, 임의의 단말로부터 전송되는 특정 위치 정보에 대해서, 상기 서버(200)에 미리 저장된 복수의 3D 파노라마 영상 정보 중에서 상기 특정 위치 정보에 대응하는 3D 파노라마 영상 정보를 확인하고, 상기 확인된 3D 파노라마 영상 정보를 상기 특정 위치 정보를 전송한 해당 단말에 제공할 수 있다.
또한, 상기 서버(200)는 미리 설정된 주기(예를 들어 10초, 1분 등 포함)로 앞선 단계들을 반복적으로 수행하여, 새로운 3D 파노라마 영상을 생성한다.
즉, 상기 서버(200)는 미리 설정된 주기(예를 들어 10초, 1분 등 포함)로 상기 복수의 카메라를 통해 실시간으로 촬영되는 영상들을 합성하여 새로운 예비 파노라마 영상을 생성하고, 상기 생성된 새로운 예비 파노라마 영상 내에 포함된 하나 이상의 제 1 객체를 인식하고, 상기 인식된 하나 이상의 제 1 객체에 대응하는 제 1 코드를 상기 새로운 예비 파노라마 영상 내에 추가하여 상기 새로운 3D 파노라마 영상을 생성한다.
이때, 상기 생성된 새로운 예비 파노라마 영상 내에서 사람이 인식되는 경우, 상기 서버(200)는 상기 새로운 예비 파노라마 영상 내에서의 사람의 윤곽선을 획득(또는 추출)하고, 상기 새로운 예비 파노라마 영상 내에서 상기 인식된 사람을 제거하고, 상기 사람이 제거된 새로운 예비 파노라마 영상 내에 상기 인식된 하나 이상의 제 1 객체에 대응하는 제 1 코드 및 상기 획득된(또는 추출된) 사람의 윤곽선을 추가하여 상기 새로운 3D 파노라마 영상을 생성한다. 여기서, 상기 서버(200)는 상기 새로운 예비 파노라마 영상 내에서의 사람의 위치에 상기 획득된 사람의 윤곽선을 추가한다.
이와 같이, 상기 생성되는 새로운 예비 파노라마 영상 내에 사람이 포함된 경우, 상기 서버(200)는 개인 정보 보호를 위해서 상기 새로운 예비 파노라마 영상 내에 포함된 사람에 대해서 해당 사람의 윤곽선만을 유지하고, 사람의 윤곽선 내부 영역은 빈 공간으로 처리하거나 직전 단계에서 생성된 직전 예비 파노라마 영상의 화면으로 대체하도록 처리할 수 있다.
또한, 상기 서버(200)는 상기 생성된 새로운 3D 파노라마 영상과 앞서 생성된 3D 파노라마 영상(또는 상기 생성된 새로운 3D 파노라마 영상 정보와 앞서 생성된 3D 파노라마 영상 정보) 간의 차이를 확인한다.
또한, 상기 서버(200)는 상기 확인된 차이를 상기 앞서 생성된 3D 파노라마 영상에 실시간으로 보상하여 최신의 3D 파노라마 영상을 유지한다.
즉, 상기 생성된 새로운 3D 파노라마 영상과 상기 앞서 생성된 3D 파노라마 영상이 동일한 경우(또는 차이가 없는 경우), 상기 서버(200)는 상기 앞서 생성된 3D 파노라마 영상에 포함된 하나 이상의 제 1 객체 및/또는 상품의 상태에 변화가 없는 것으로 판단하여, 앞서 생성된 3D 파노라마 영상을 최신의 3D 파노라마 영상으로 그대로 유지한다.
또한, 상기 생성된 새로운 3D 파노라마 영상과 상기 앞서 생성된 3D 파노라마 영상에 차이가 있는 경우, 상기 서버(200)는 변화가 있는 부분(또는 상기 확인된 차이)을 상기 앞서 생성된 3D 파노라마 영상에 보상(또는 반영)하여, 비교 대상 3D 파노라마 영상 간의 차이가 보상된 3D 파노라마 영상을 최신의 새로운 3D 파노라마 영상으로 생성한다.
또한, 상기 새로운 3D 파노라마 영상에 사람이 포함된 경우(또는 상기 새로운 3D 파노라마 영상에서 사람이 인식된 경우), 상기 서버(200)는 상기 앞서 생성된 3D 파노라마 영상에 상기 새로운 3D 파노라마 영상 내에 포함된 사람의 윤곽선을 추가하여, 상기 윤곽선 형태의 사람이 포함된 3D 파노라마 영상을 최신의 새로운 3D 파노라마 영상으로 생성할 수도 있다.
이와 같이, 상기 생성되는 새로운 3D 파노라마 영상 내에 사람이 포함된 경우, 상기 서버(200)는 개인 정보 보호를 위해서 상기 새로운 3D 파노라마 영상 내에 포함된 사람에 대해서 해당 사람의 윤곽선만을 유지하고, 사람의 윤곽선 내부 영역은 빈 공간으로 처리하거나 직전 단계에서 생성된 직전 3D 파노라마 영상의 화면으로 대체하도록 처리할 수 있다.
또한, 상기 새로 생성되는 새로운 3D 파노라마 영상 내에 사람이 포함된 경우, 상기 서버(200)는 상기 새로운 3D 파노라마 영상 내에 포함된 사람을 윤곽선 처리하고 해당 윤곽선 처리된 사람 내부 영역은 직전 단계에서 생성된 직전 3D 파노라마 영상의 화면을 표시함에 따라, 해당 사람에 의해 3D 파노라마 영상 내의 객체, 상품 등이 가려져서 보이지 않게 되는 경우를 방지할 수 있다.
이때, 상기 서버(200)는 상기 앞서 생성된 3D 파노라마 영상에서 차이가 있는 부분만을 보상할 수도 있고, 상기 앞서 생성된 3D 파노라마 영상 대신 상기 생성된 새로운 3D 파노라마 영상을 최신의 새로운 3D 파노라마 영상으로 대체할 수도 있다.
이와 같이, 상기 서버(200)는 백그라운드 모델링을 통해 실시간으로 최신의 3D 파노라마 영상을 유지할 수 있다.
또한, 상기 서버(200)는 상기 단말(100)로부터 전송되는 검색어, 단말(100)의 식별 정보, 상기 단말(100)의 위치 정보 등을 수신한다.
또한, 상기 서버(200)는 복수의 3D 파노라마 영상 또는 이미지 중에서 상기 검색어에 대응하는 3D 파노라마 영상 또는 이미지를 확인한다.
또한, 상기 서버(200)는 상기 확인된 상기 검색어에 대응하는 3D 파노라마 영상 또는 이미지를 상기 단말(100)에 전송한다.
또한, 상기 서버(200)는 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 이벤트 정보가 있는지 여부를 확인(또는 판단)한다. 여기서, 상기 이벤트 정보는 특정 매장에서 설정한 이벤트 기간, 이벤트 시간대, 이벤트 상품이나 서비스 종류, 할인율 등을 포함한다.
즉, 상기 서버(200)는 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치 및 상기 서버(200)에 미리 저장된 복수의 이벤트 정보를 근거로 상기 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 이벤트 정보가 있는지 여부를 확인(또는 판단)한다.
상기 확인 결과(또는 판단 결과), 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 이벤트 정보가 없는 경우, 상기 서버(200)는 앞선 상기 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상의 단말(100)/아바타의 현재 위치와 관련한 이벤트 정보가 있는지 여부를 확인하는 과정으로 복귀한다.
또한, 상기 확인 결과(또는 판단 결과), 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 적어도 하나의 이벤트 정보가 있는 경우, 상기 서버(200)는 상기 적어도 하나의 이벤트 정보를 상기 단말(100)에 전송한다.
또한, 상기 서버(200)는 상기 단말(100)로부터 검색어, 상기 단말(100)의 위치 정보 등을 수신한 상태에서 복수의 3D 파노라마 영상 또는 이미지 중에서 상기 검색어에 대응하는 3D 파노라마 영상 또는 이미지를 확인하고, 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 적어도 하나의 이벤트 정보가 존재하는 경우, 상기 서버(200)는 상기 확인된 상기 검색어에 대응하는 3D 파노라마 영상 또는 이미지, 상기 적어도 하나의 이벤트 정보 등을 상기 단말(100)에 전송할 수도 있다.
또한, 상기 서버(200)는 실시간으로 업데이트되는 상기 복수의 이벤트 정보를 연결된 상기 단말(100)에 실시간으로 제공할 수도 있다.
또한, 상기 서버(200)는 상기 단말(100)로부터 검색어, 상기 단말(100)의 위치 정보 등을 수신한 상태에서 복수의 3D 파노라마 영상 또는 이미지 중에서 상기 검색어에 대응하는 3D 파노라마 영상 또는 이미지를 확인하고, 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 적어도 하나의 이벤트 정보가 존재하는 경우, 상기 서버(200)는 상기 적어도 하나의 이벤트 정보 및 상기 단말(100)이나 아바타의 위치 정보를 근거로 적어도 하나의 경로 정보를 생성한다. 이후, 상기 서버(200)는 상기 확인된 상기 검색어에 대응하는 3D 파노라마 영상 또는 이미지에 상기 생성된 적어도 하나의 경로 정보를 적용한 새로운 3D 파노라마 영상 또는 이미지를 생성한다. 이후, 상기 서버(200)는 상기 생성된 적어도 하나의 경로 정보, 상기 확인된 상기 검색어에 대응하는 3D 파노라마 영상 또는 이미지, 상기 생성된 상기 검색어에 대응하는 3D 파노라마 영상/이미지에 상기 적어도 하나의 경로 정보를 적용한 새로운 3D 파노라마 영상/이미지 등을 상기 단말(100)에 제공할 수도 있다.
또한, 상기 단말(100)에 표시되는 상기 이벤트명 및 상기 생성된 적어도 하나의 경로 정보가 적용된 화면에서 상기 단말(100)이나 상기 아바타의 위치가 변경함에 따라 상기 적어도 하나의 이벤트 정보의 적용 상태가 변경하는 경우, 상기 서버(200)는 상기 변경된 이벤트 정보, 화면 전환에 따른 변경된 화면 등을 상기 단말(100)에 실시간으로 제공한다.
또한, 상기 서버(200)에 타임 세일 이벤트가 신규로 등록된 상태에서 상기 신규 등록된 타임 세일 이벤트가 상기 단말(100)에 표시되는 있는 화면 상의 상기 단말(100)이나 아바타의 현재 위치와 관련한 경우, 상기 서버(200)는 해당 타임 세일 이벤트 정보를 상기 단말(100)에 제공한다. 여기서, 상기 타임 세일 이벤트(또는 시간 세일 이벤트)는 시간대를 설정한 상태에서 일부 상품이나 서비스에 대한 가격을 할인해주는 이벤트일 수 있다.
또한, 상기 단말(100)에 표시되는 타임 세일 이벤트 정보가 선택되는 경우, 상기 서버(200)는 상기 단말(100)의 해당 타임 세일 이벤트 정보의 요청에 응답하여 상기 타임 세일 이벤트 정보에 대한 상세 정보, 상기 타임 세일 이벤트 정보와 관련한 3D 파노라마 영상 또는 이미지 등의 정보를 상기 단말(100)에 제공한다.
이와 같이, MR 콘텐츠 제작 장치에 의해 생성된 MR 콘텐츠를 이용한 가상 현실 또는 증강 현실을 통해 표시되는 화면에서 서버에 의해 수집되는 하나 이상의 이벤트 정보 및 상기 화면상의 아바타의 위치 정보를 근거로 상기 아바타가 위치한 인접 지역에서 진행 중인 이벤트 정보에 대응하는 하나 이상의 또는 복수의 경로 정보를 제공할 수 있다.
또한, 이와 같이, MR 콘텐츠 제작 장치에 의해 생성된 MR 콘텐츠를 이용한 가상 현실 또는 증강 현실을 통해 표시되는 화면 내의 일측에 표시되는 해당 위치의 인접 지역에서 진행 중인 이벤트 정보에 대응하는 하나 이상의 또는 복수의 경로 정보 중에서 어느 하나의 경로 정보가 선택된 상태가 유지되는 경우, 상기 선택된 경로 정보를 근거로 해당 위치에서 목적지까지의 남은 거리 정보, 해당 위치에서 목적지까지의 자동 이동 기능을 수행할 수 있다.
이하에서는, 본 발명에 따른 MR 콘텐츠를 이용한 이벤트에 따른 경로 정보 제공 방법을 도 31 내지 도 39를 참조하여 상세히 설명한다.
도 33은 본 발명의 제 4 실시예에 따른 MR 콘텐츠를 이용한 이벤트에 따른 경로 정보 제공 방법을 나타낸 흐름도이다.
먼저, 단말(100)은 항공뷰, 스트리트 뷰, 로드 뷰, 전경 뷰 등의 화면을 표시한다. 이때, 상기 항공뷰, 상기 스트리트 뷰, 상기 로드 뷰, 상기 전경 뷰 등은 가상 현실로 구현된 상태이거나 또는 카메라 등을 통해 촬영된 이미지(또는 영상)일 수 있다. 또한, 상기 스트리트 뷰, 상기 로드 뷰, 상기 전경 뷰 등은 상기 단말(100)에 구비된 카메라(170) 및 표시부(130)를 통해 증강 현실 상으로 구현된 상태이거나 앞서 제작된 MR 콘텐츠일 수도 있다. 여기서, 상기 화면은 2D 형태의 이미지로 제공되거나 또는 3D 형태의 3D 파노라마 영상으로 제공될 수 있다.
즉, 이미지 또는 가상 현실 상의 영상인 경우, 상기 단말(100)은 서버(200)에 접속한 후, 상기 서버(200)로부터 제공되는 항공뷰(또는 스트리트 뷰/로드 뷰/전경 뷰)를 수신하고, 상기 수신된 항공뷰(또는 스트리트 뷰/로드 뷰/전경 뷰)를 표시한다.
또한, 증강 현실인 경우, 상기 단말(100)은 상기 단말(100)에 구비된 카메라(170) 및 표시부(130)(또는 뷰 파인더)를 통해 스트리트 뷰(또는 로드 뷰/전경 뷰)를 표시(또는 상기 카메라(170) 및 상기 표시부(130)를 통해 하나 이상의 객체(예를 들어 건물, 간판 등 포함)를 포함하는 영상을 표시)한다. 이후, 상기 단말(100)의 현재 위치, 상기 표시되는 스트리트 뷰(또는 로드 뷰/전경 뷰) 내의 객체에 대한 정보(예를 들어 상기 스트리트 뷰(또는 로드 뷰/전경 뷰) 내에 포함되는 간판 등 포함) 등을 근거로 해당 스트리트 뷰와 관련한 증강 현실 정보를 확인하고, 상기 확인된 증강 현실 정보를 상기 스트리트 뷰(또는 로드 뷰/전경 뷰)에 적용한다.
이와 같이, 본 발명에 따른 실시예는, 실제 이미지, 가상 현실, 증강 현실 등의 형태로 제공되는 항공뷰, 스트리트 뷰, 로드 뷰, 전경 뷰 등의 화면을 사용할 수 있다.
일 예로, 제 1 단말(100)은 해당 제 1 단말에 미리 설치된 앱 또는 특정 서버(200)와 관련한 웹 사이트를 통해서 상기 서버(200)에 접속한다. 이후, 상기 제 1 단말은 상기 서버(200)로부터 제공되는 AAA 백화점과 관련한 제 1 3D 파노라마 영상을 수신한다. 여기서, 상기 제 1 3D 파노라마 영상은 상기 제 1 단말에서 상기 서버(200)에 전송한 검색어(예를 들어 AAA 백화점)에 대응하는 3D 파노라마 영상일 수 있다. 이후, 도 34에 도시된 바와 같이, 상기 제 1 단말은 상기 수신된 제 1 3D 파노라마 영상(또는 상기 AAA 백화점과 관련한 제 1 3D 파노라마 영상)(3400)을 표시한다. 여기서, 상기 제 1 3D 파노라마 영상(3400) 내에는 현재 위치 등을 확인하기 위해서 아바타(3410)가 표시될 수 있다.
다른 일 예로, 도 35에 도시된 바와 같이, 제 2 단말(100)은 상기 제 2 단말에 구비된 카메라(170) 및 표시부(130)를 통해 해당 제 2 단말이 위치한 지역(예를 들어 역삼역 사거리)에서 북쪽 방향인 차병원 사거리를 바라본 영상(또는 제 1 스트리트 뷰)(3500)을 표시한다. 이후, 상기 제 2 단말의 현재 위치, 상기 확인된 영상 내에 포함된 객체에 대한 정보 등을 근거로 해당 영상과 관련한 증강 현실 정보를 확인한다. 이후, 상기 제 2 단말은 상기 확인된 증강 현실 정보를 상기 영상에 적용한다. 이후, 도 36에 도시된 바와 같이, 상기 제 2 단말은 상기 증강 현실 정보가 적용된 제 1 스트리트 뷰(3600)를 표시한다. 여기서, 상기 도 36에 적용된 증강 현실 정보에 해당하는 쇼핑, 호텔, 관광지, 쿠폰북 등을 포함하는 카테고리 중 어느 하나의 카테고리가 선택되는 경우, 상기 제 2 단말은 해당 제 1 스트리트 뷰(3600)에 포함된 하나 이상의 객체 중에서 상기 선택된 특정 카테고리와 관련한 객체가 있는지 여부를 확인한다. 이후, 해당 제 1 스트리트 뷰(3600)에 포함된 하나 이상의 객체 중에서 상기 선택된 특정 카테고리와 관련한 적어도 하나의 객체가 존재하는 경우, 상기 제 2 단말은 해당 적어도 하나의 객체와 관련한 정보를 상기 제 1 스트리트 뷰(3600)의 일측에 표시할 수 있다(S3310).
이후, 상기 서버(200)는 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 이벤트 정보가 있는지 여부를 확인(또는 판단)한다. 여기서, 상기 이벤트 정보는 특정 매장에서 설정한 이벤트 기간, 이벤트 시간대, 이벤트 상품이나 서비스 종류, 할인율 등을 포함한다.
즉, 상기 서버(200)는 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치 및 상기 서버(200)에 미리 저장된 복수의 이벤트 정보를 근거로 상기 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 이벤트 정보가 있는지 여부를 확인(또는 판단)한다.
일 예로, 상기 서버(200)는 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 제 1 단말에 표시되는 아바타의 현재 위치(예를 들어 AAA 백화점 1층 로비)로부터 미리 설정된 거리(예를 들어 1000 미터) 이내에서 진행 중인 이벤트 정보가 있는지 여부를 확인한다.
다른 일 예로, 상기 서버(200)는 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 제 2 단말에 표시되는 상기 제 2 단말의 현재 위치(예를 들어 역삼역 사거리)로부터 미리 설정된 반경(예를 들어 700 미터) 이내에서 진행 중인 이벤트 정보가 있는지 여부를 확인한다(S3320).
상기 확인 결과(또는 판단 결과), 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 이벤트 정보가 없는 경우, 상기 서버(200)는 앞선 상기 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상의 단말(100)/아바타의 현재 위치와 관련한 이벤트 정보가 있는지 여부를 확인하는 과정으로 복귀한다.
일 예로, 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 제 1 단말에 표시되는 아바타의 현재 위치(예를 들어 AAA 백화점 1층 로비)로부터 미리 설정된 거리(예를 들어 1000 미터) 이내에서 진행 중인 이벤트 정보가 없을 때, 상기 서버(200)는 앞선 상기 복수의 이벤트 정보 중에서 상기 제 1 단말에 표시되는 아바타의 현재 위치(예를 들어 AAA 백화점 1층 로비)로부터 미리 설정된 거리(예를 들어 1000 미터) 이내에서 진행 중인 이벤트 정보가 있는지 여부를 확인하는 과정을 반복 수행한다(S3330).
또한, 상기 확인 결과(또는 판단 결과), 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 적어도 하나의 이벤트 정보가 있는 경우, 상기 서버(200)는 상기 적어도 하나의 이벤트 정보를 상기 단말(100)에 전송한다.
일 예로, 상기 서버(200)는 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 제 1 단말에 표시되는 아바타의 현재 위치(예를 들어 AAA 백화점 1층 로비)로부터 미리 설정된 거리(예를 들어 1000 미터) 이내에서 진행 중인 복수의 이벤트 정보(예를 들어 450 미터 거리에 있는 지하 1층 수산물 코너에서 2016년 1월 1일 ~ 1월 30일 오전 10시 ~ 오후 10시까지 수산물 20% 할인 행사, 750 미터 거리에 있는 지상 3층 의류 코너에서 2016년 1월 1일 ~ 1월 10일 오전 10시 ~ 오후 10시까지 남성복 30% 할인 행사 등 포함)가 있을 때, 상기 서버(200)는 상기 복수의 이벤트 정보(예를 들어 450 미터 거리에 있는 지하 1층 수산물 코너에서 2016년 1월 1일 ~ 1월 30일 오전 10시 ~ 오후 10시까지 수산물 20% 할인 행사, 750 미터 거리에 있는 지상 3층 의류 코너에서 2016년 1월 1일 ~ 1월 10일 오전 10시 ~ 오후 10시까지 남성복 30% 할인 행사 등 포함)를 상기 제 1 단말에 전송한다.
다른 일 예로, 상기 서버(200)는 상기 서버(200)에 미리 저장된 복수의 이벤트 정보 중에서 상기 2 단말에 표시되는 상기 제 2 단말의 현재 위치(예를 들어 역삼역 사거리)로부터 미리 설정된 반경(예를 들어 700 미터) 이내에서 진행 중인 복수의 이벤트 정보(예를 들어 강남역 방향 200 미터 거리에 있는 BBB 커피 전문점에서 당일 오전 8시 ~ 오후 12시까지 전품목 20% 할인 행사, 선릉역 방향 150 미터 거리에 있는 CCC 베이커리에서 당일 오전 7시 ~ 오후 9시까지 전품목 10% 할인 행사 등 포함)가 있을 때, 상기 서버(200)는 상기 복수의 이벤트 정보(예를 들어 강남역 방향 200 미터 거리에 있는 BBB 커피 전문점에서 당일 오전 8시 ~ 오후 12시까지 전품목 20% 할인 행사, 선릉역 방향 150 미터 거리에 있는 CCC 베이커리에서 당일 오전 7시 ~ 오후 9시까지 전품목 10% 할인 행사 등 포함)를 상기 제 2 단말에 전송한다(S3340).
이후, 상기 단말(100)은 상기 서버(200)로부터 전송되는 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치와 관련한 적어도 하나의 이벤트 정보를 수신한다.
또한, 상기 단말(100)은 상기 수신된 적어도 하나의 이벤트 정보 및 상기 단말(100)에 표시되는 화면 상에서의 단말(100)(또는 해당 화면 상에서의 아바타/해당 화면과 관련한 위치나 좌표 정보)의 현재 위치를 근거로 해당 적어도 하나의 이벤트 정보에 대응하는 적어도 하나의 경로 정보를 각각 생성한다. 여기서, 상기 경로 정보는 차선 정보, 도로 정보, 주행 제한 속도 정보, 턴바이턴 정보, 교통 안전 정보, 교통 안내 정보, 차량 정보, 길 찾기 정보, 건물 내의 통로(또는 복도) 정보 등의 주행(또는 이동)과 관련한 각종 정보를 포함한다.
또한, 상기 단말(100)은 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면(예를 들어 항공뷰, 스트리트 뷰, 로드뷰, 전경 뷰 등 포함) 상에 오버랩하여 표시한다. 여기서, 상기 경로 정보는 상기 이벤트 정보에 대응하는 목적지를 가기 위한 턴바이턴 형태의 화살표 또는 선 형태로 표시할 수 있다. 또한, 상기 경로 정보는 상기 이벤트 정보 내의 이벤트 기간 및 이벤트 시간대 정보를 근거로 이벤트 종료(또는 이벤트 마감)에 임박한 경우(또는 상기 이벤트 기간 및 이벤트 시간대가 미리 설정된 임계값 이내인 경우), 해당 경로 정보에 포함된 화살표나 선의 굵기를 상대적으로 굵게 표시하고, 이벤트 종료까지 미리 설정된 임계값 이상 남아 있는 경우 해당 경로 정보에 포함된 화살표나 선의 굵기를 상기 이벤트 종료에 임박한 경우보다 상대적으로 얇게 표시할 수 있다.
일 예로, 상기 제 1 단말은 상기 서버(200)로부터 전송되는 상기 복수의 이벤트 정보(예를 들어 450 미터 거리에 있는 지하 1층 수산물 코너에서 2016년 1월 1일 ~ 1월 30일 오전 10시 ~ 오후 10시까지 수산물 20% 할인 행사, 750 미터 거리에 있는 지상 3층 의류 코너에서 2016년 1월 1일 ~ 1월 10일 오전 10시 ~ 오후 10시까지 남성복 30% 할인 행사 등 포함)를 수신한다.
또한, 상기 제 1 단말은 상기 수신된 복수의 이벤트 정보를 근거로 제 1 이벤트 정보(예를 들어 상기 제 1 3D 파노라마 영상 내의 아바타의 현재 위치인 AAA 백화점 1층 로비로부터 450 미터 거리에 있는 지하 1층 수산물 코너에서 2016년 1월 1일 ~ 1월 30일 오전 10시 ~ 오후 10시까지 수산물 20% 할인 행사)에 따른 제 1 경로 정보를 생성하고, 제 2 이벤트 정보(예를 들어 상기 제 1 3D 파노라마 영상 내의 아바타의 현재 위치인 AAA 백화점 1층 로비로부터 750 미터 거리에 있는 지상 3층 의류 코너에서 2016년 1월 1일 ~ 1월 10일 오전 10시 ~ 오후 10시까지 남성복 30% 할인 행사)에 따른 제 2 경로 정보를 생성한다.
또한, 도 37에 도시된 바와 같이, 상기 제 1 단말은 상기 제 1 3D 파노라마 영상(3400)에 상기 제 1 이벤트 정보에 대응하는 제 1 이벤트명(예를 들어 수산물 할인)과 상기 생성된 제 1 경로 정보(3710) 및 상기 제 2 이벤트 정보에 대응하는 제 2 이벤트명(예를 들어 남성복 할인)과 상기 생성된 제 2 경로 정보(3720)를 각각 오버랩하여 표시(3700)한다.
다른 일 예로, 상기 제 2 단말은 상기 서버(200)로부터 전송되는 상기 복수의 이벤트 정보(예를 들어 강남역 방향 200 미터 거리에 있는 BBB 커피 전문점에서 당일 오전 8시 ~ 오후 12시까지 전품목 20% 할인 행사, 선릉역 방향 150 미터 거리에 있는 CCC 베이커리에서 당일 오전 7시 ~ 오후 9시까지 전품목 10% 할인 행사 등 포함)를 수신한다.
또한, 상기 제 2 단말은 상기 수신된 복수의 이벤트 정보를 근거로 제 3 이벤트 정보(예를 들어 상기 증강 현실이 적용된 제 1 스트리트 뷰 내의 상기 제 2 단말의 현재 위치인 역삼역 사거리로부터 강남역 방향 200 미터 거리에 있는 BBB 커피 전문점에서 당일 오전 8시 ~ 오후 12시까지 전품목 20% 할인 행사)에 따른 제 3 경로 정보를 생성하고, 제 4 이벤트 정보(예를 들어 상기 증강 현실이 적용된 제 1 스트리트 뷰 내의 상기 제 2 단말의 현재 위치인 역삼역 사거리로부터 선릉역 방향 150 미터 거리에 있는 CCC 베이커리에서 당일 오전 7시 ~ 오후 9시까지 전품목 10% 할인 행사)에 따른 제 4 경로 정보를 생성한다.
또한, 도 38에 도시된 바와 같이, 상기 제 2 단말은 상기 증강 현실 정보가 적용된 제 1 스트리트 뷰(3600)에 상기 제 3 이벤트 정보에 대응하는 제 3 이벤트명(예를 들어 BBB 커피 전문점)과 상기 생성된 제 3 경로 정보(3810) 및 상기 제 4 이벤트 정보에 대응하는 제 4 이벤트명(예를 들어 CCC 베이커리)과 상기 생성된 제 4 경로 정보(3820)를 각각 오버랩하여 표시(3800)한다(S3350).
이후, 상기 단말(100)에 표시되는 적어도 하나의 경로 정보 중에서 어느 하나의 경로 정보를 선택(또는 터치/클릭)한 상태가 유지되는 경우, 상기 단말(100)은 출발지(또는 기준점/시작점)에 해당하는 상기 적어도 하나의 경로 정보가 오버랩되어 표시되는 화면 상의 위치(또는 상기 단말(100)/화면 내의 아바타의 현재 위치)에서 상기 선택된 경로 정보에 대응하는 목적지까지의 남은 거리, 해당 목적지까지의 평균 이동 시간 정보(또는 평균 주행 시간 정보), 해당 경로 정보와 관련한 이벤트 정보 등을 상기 적어도 하나의 경로 정보가 오버랩되어 표시되는 화면의 일측에 표시하고, 상기 화면 상의 위치에서 해당 목적지까지의 미리 설정된 속도로 자동 이동 기능(또는 자동 주행 기능)을 수행한 화면을 연속적으로 표시한다.
일 예로, 상기 도 37에 도시된 화면(3700) 내에서 상기 제 1 단말의 사용자 터치에 따른 상기 제 1 경로 정보(3710)의 터치된 상태가 유지되는 동안, 도 39에 도시된 바와 같이, 상기 제 1 단말은 상기 제 1 3D 파노라마 영상(3400)을 상기 선택된 제 1 경로 정보(3710)에 대응하는 목적지인 지하 1층 수산물 코너로 이동하는 영상으로 화면을 지속적으로 변화시키며 표시(3900)하고, 변화되는 화면 내의 일측에 상기 목적지인 지하 1층 수산물 코너까지의 남은 거리(예를 들어 440 미터)(3910), 해당 목적지까지의 평균 이동 시간 정보(예를 들어 6분 36초)(3920), 상기 제 1 경로 정보(3710)에 대응하는 제 1 이벤트 정보(예를 들어 지하 1층 수산물 코너에서 2016년 1월 1일 ~ 1월 30일 오전 10시 ~ 오후 10시까지 수산물 20% 할인 행사)(3930) 등을 표시한다.
또한, 상기 단말(100)은 상기 어느 하나의 경로 정보를 선택한 상태에 대한 압력을 감지하고, 상기 감지된 압력의 세기에 따라 다른 기능을 수행할 수도 있다.
즉, 상기 단말(100)에 표시되는 적어도 하나의 경로 정보 중에서 어느 하나의 경로 정보를 선택(또는 터치/클릭)한 상태가 유지되는 상태에서 상기 단말(100)은 상기 선택(또는 터치)에 따른 압력을 감지한다.
또한, 상기 감지된 압력이 미리 설정된 기준값보다 작거나 같은 경우, 상기 단말(100)은 앞서 설명된 바와 같이, 상기 출발지(또는 기준점/시작점)에 해당하는 상기 적어도 하나의 경로 정보가 오버랩되어 표시되는 화면 상의 위치에서 상기 선택된 경로 정보에 대응하는 목적지까지의 남은 거리, 해당 목적지까지의 평균 이동 시간 정보(또는 평균 주행 시간 정보), 해당 경로 정보와 관련한 이벤트 정보 등을 상기 적어도 하나의 경로 정보가 오버랩되어 표시되는 화면의 일측에 표시하고, 상기 화면 상의 위치에서 해당 목적지까지의 미리 설정된 속도로 자동 이동 기능(또는 자동 주행 기능)을 수행한 화면을 연속적으로 표시하는 과정을 수행한다.
또한, 상기 감지된 압력이 미리 설정된 기준값보다 큰 경우, 상기 단말(100)은 상기 선택된 경로 정보에 대응하는 최종 목적지와 관련한 화면을 표시한다.
다른 일 예로, 상기 도 38에 도시된 화면(3800) 내에서 상기 제 2 단말의 사용자 터치에 따른 상기 제 3 경로 정보(3810)의 터치된 상태가 유지되고 있는 상태에서 상기 사용자 터치에 따른 압력이 미리 설정된 기준값보다 클 때, 상기 제 2 단말은 상기 서버(200)로부터 제공되는 상기 제 3 경로 정보와 관련한 상기 제 3 이벤트 정보 내의 최종 목적지인 BBB 커피 전문점에 대응하는 화면(예를 들어 BBB 커피 전문점과 관련한 3D 파노라마 영상)을 표시한다(S3360).
이후, 상기 어느 하나의 경로 정보를 선택한 상태가 해제되는 경우, 상기 단말(100)은 상기 선택된 경로 정보에 따른 자동 이동 기능의 수행을 중지하고, 앞선 상기 적어도 하나의 경로 정보를 상기 화면(예를 들어 항공뷰, 스트리트 뷰, 로드뷰, 전경뷰 등 포함) 상에 오버랩하여 표시하는 화면으로 복귀한다.
일 예로, 상기 제 1 경로 정보(3710)에 대한 터치 상태가 해제될 때, 상기 제 1 단말은 상기 도 39의 상기 제 1 경로 정보(3710)에 대응하는 목적지인 지하 1층 수산물 코너로 이동하는 영상으로 화면을 지속적으로 변화시켜 표시하는 과정을 중지하고, 앞선 상기 도 37의 상기 제 1 3D 파노라마 영상(3400)에 상기 생성된 제 1 경로 정보(3710) 및 제 2 경로 정보(3720)를 각각 오버랩하여 표시하는 화면(3700)으로 복귀한다(S3370).
본 발명의 실시예는 앞서 설명된 바와 같이, 카메라를 통해 촬영된 파노라마 영상 정보를 근거로 상기 파노라마 영상 정보에 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작하여, 해당 파노라마 영상 정보에 포함된 객체와 관련하여 다양한 부가 정보를 제공하며, 사용자의 흥미를 유발하고 편의성을 향상시킬 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 파노라마 영상 정보에 하나 이상의 마커를 추가하는 경우, 프로모션 마커, 크리에이터 마커 등을 추가하여 MR 콘텐츠를 제작하여, 간편 조작에 의해 마커가 추가된 MR 콘텐츠를 제작하며, 해당 마커와 관련한 크리에이터 또는 쇼핑 호스트에 대한 이미지를 함께 제공함에 따라 해당 MR 콘텐츠 또는 해당 마커와 관련한 부가 정보에 대한 신뢰성을 높일 수 있다.
본 발명의 실시예는 앞서 설명된 바와 같이, MR 콘텐츠 제작 장치에 의해 생성된 MR 콘텐츠를 이용한 가상 현실 또는 증강 현실을 통해 표시되는 화면에서 서버에 의해 수집되는 하나 이상의 이벤트 정보 및 상기 화면상의 아바타의 위치 정보를 근거로 상기 아바타가 위치한 인접 지역에서 진행 중인 이벤트 정보에 대응하는 하나 이상의 또는 복수의 경로 정보를 제공하여, 가상 현실 또는 증강 현실을 통해 표시되는 화면에서의 위치에 대응하는 현재 진행 중인 이벤트와 관련한 경로 정보를 제공함에 따라 마케팅 효과를 극대화하고 해당 이벤트에 대한 사용자의 관심을 유발할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, MR 콘텐츠 제작 장치에 의해 생성된 MR 콘텐츠를 이용한 가상 현실 또는 증강 현실을 통해 표시되는 화면 내의 일측에 표시되는 해당 위치의 인접 지역에서 진행 중인 이벤트 정보에 대응하는 하나 이상의 또는 복수의 경로 정보 중에서 어느 하나의 경로 정보가 선택된 상태가 유지되는 경우, 상기 선택된 경로 정보를 근거로 해당 위치에서 목적지까지의 남은 거리 정보, 해당 위치에서 목적지까지의 자동 이동 기능을 수행하여, 단말의 사용자가 위치한 현재 위치에서 이벤트가 진행 중인 목적지까지의 경로를 확인할 수 있어 사용자의 편의성을 향상시킬 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 카메라를 통해 촬영된 파노라마 영상 정보를 근거로 상기 파노라마 영상 정보에 하나 이상의 마커를 추가하여 MR 콘텐츠를 제작함으로써, 해당 파노라마 영상 정보에 포함된 객체와 관련하여 다양한 부가 정보를 제공하며, 사용자의 흥미를 유발하고 편의성을 향상시킬 수 있는 것으로, 가상 현실 분야, 증강 현실 분야, 혼합 현실(MR) 분야, 단말 분야, 파노라마 영상 분야, 쇼핑 정보 제공 분야, 마케팅 분야, 서버 분야 등에서 광범위하게 이용될 수 있다.

Claims (20)

  1. 표시부에 의해, 파노라마 영상 정보를 상기 표시부의 영상 표시 영역에 표시하는 단계;
    상기 표시부의 객체 마커 표시 영역에 표시되는 복수의 객체 마커 중에서 선택된 제 1 객체 마커가 드래그 앤 드랍 기능에 의해 상기 영상 표시 영역 상의 제 1 영역에 드랍될 때, 제어부에 의해, 상기 영상 표시 영역 내의 제 1 영역에 상기 선택된 제 1 객체 마커를 배치하는 단계;
    상기 영상 표시 영역 내에 배치된 제 1 객체 마커가 선택될 때, 상기 제어부에 의해, 사용자 입력을 근거로 상기 선택된 제 1 객체 마커에 대한 속성 정보를 설정하는 단계; 및
    상기 표시부에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 제어부에 의해, 상기 영상 표시 영역의 상기 파노라마 영상 정보 상에 배치된 하나 이상의 객체 마커를 포함하는 MR 콘텐츠를 생성하는 단계를 포함하는 MR 콘텐츠 제작 방법.
  2. 제 1 항에 있어서,
    상기 파노라마 영상 정보는,
    이미지/동영상, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 상기 이미지/동영상 내에서의 코드의 위치 정보, 상기 이미지/동영상과 관련한 카테고리 정보, 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보 및 영상 유형 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  3. 제 1 항에 있어서,
    상기 객체 마커는,
    샵카메라 객체 마커, 상품 객체 마커, 업체 객체 마커, 프로모션 객체 마커 및 크리에이터 객체 마커 중 적어도 하나를 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  4. 제 1 항에 있어서,
    상기 제 1 객체 마커에 대한 속성 정보는,
    상기 객체 마커가 상품일 때, 상품에 대한 이미지, 상품명, 상품 고유 코드, 가격 정보, 상품과 관련한 동영상 링크, 상세 설명, 카탈로그 및 외부에 저장된 상세 페이지 주소 링크 중 적어도 하나를 포함하며,
    상기 객체 마커가 샵카메라일 때, 상기 파노라마 영상 정보와 관련한 하나 이상의 카메라 중에서 적어도 하나의 카메라의 링크를 포함하며,
    상기 객체 마커가 업체일 때, 업체명, 업체에 대한 이미지, 업체 로고, 업체 고유 코드, 업체와 관련한 동영상 링크, 업체 설명, 카탈로그 및 외부에 저장된 업체 상세 설명 페이지 주소 링크 중 적어도 하나를 포함하며,
    상기 객체 마커가 프로모션일 때, 프로모션명, 프로모션에 대한 이미지/동영상, 프로모션 고유 코드, 프로모션 설명 및 외부에 저장된 프로모션 상세 설명 페이지 주소 링크 중 적어도 하나를 포함하며,
    상기 객체 마커가 크리에이터일 때, 크리에이터명, 이미지/동영상, 크리에이터 고유 코드 및 크리에이터 설명 중 적어도 하나를 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  5. 제 1 항에 있어서,
    상기 제 1 객체 마커에 대한 속성 정보를 설정하는 단계는,
    상기 파노라마 영상 정보가 동영상인 상태에서 상기 제 1 객체 마커가 배치될 때, 상기 동영상 중에서 상기 제 1 객체 마커가 배치되는 위치부터 미리 설정된 프레임의 개수만큼의 전 프레임 및 후 프레임에 상기 제 1 객체 마커를 추가 적용하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  6. 제 1 항에 있어서,
    상기 표시부에 표시되는 미리 설정된 미리보기 메뉴가 선택될 때, 상기 제어부에 의해, 상기 영상 표시 영역의 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커에 대한 결과 화면을 팝업 형태로 상기 표시부에 표시하는 단계를 더 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  7. 제 1 항에 있어서,
    상기 MR 콘텐츠를 생성하는 단계는,
    상기 표시부에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 영상 표시 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 완료된 상태인지 여부를 확인하는 과정; 및
    상기 확인 결과, 상기 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 완료된 상태일 때, 상기 파노라마 영상 정보 상에 배치된 하나 이상의 객체 마커를 포함하는 MR 콘텐츠를 생성하는 과정을 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  8. 제 1 항에 있어서,
    상기 MR 콘텐츠는,
    이미지/동영상, 상기 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 상기 이미지/동영상 내에서의 코드의 위치 정보, 상기 이미지/동영상과 관련한 카테고리 정보, 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보, 상기 이미지/동영상 내에 배치된 객체 마커, 상기 이미지/동영상 내에서의 객체 마커의 위치 정보 및 상기 객체 마커의 속성 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  9. 제 1 항에 있어서,
    상기 표시부를 통해, 항공뷰, 상기 MR 콘텐츠 형태의 스트리트 뷰, 로드 뷰 및 전경 뷰 중 어느 하나의 형태의 화면을 표시하는 단계;
    통신부를 통해, 서버로부터 전송되는 상기 표시부에 표시되는 화면 상에서의 단말이나 아바타의 현재 위치와 관련한 적어도 하나의 이벤트 정보를 수신하는 단계;
    상기 제어부를 통해, 상기 수신된 적어도 하나의 이벤트 정보 및 상기 표시부에 표시되는 화면 상에서의 단말이나 아바타의 현재 위치를 근거로 상기 적어도 하나의 이벤트 정보에 대응하는 적어도 하나의 경로 정보를 각각 생성하는 단계;
    상기 표시부를 통해, 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 제 1 화면을 표시하는 단계;
    상기 표시부에 표시되는 적어도 하나의 경로 정보 중에서 어느 하나의 경로 정보를 선택한 상태가 유지되는 동안, 상기 표시부를 통해, 상기 제 1 화면에서 상기 선택된 경로 정보에 대응하는 목적지까지의 미리 설정된 속도로 자동 이동 기능을 수행에 따라 변화하는 연속된 화면을 표시하는 단계; 및
    상기 어느 하나의 경로 정보를 선택한 상태가 해제될 때, 상기 표시부를 통해, 상기 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 제 1 화면을 표시하는 화면으로 복귀하는 단계를 더 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  10. 제 9 항에 있어서,
    상기 이벤트 정보는,
    특정 매장에서 설정한 이벤트 기간, 이벤트 시간대, 이벤트 상품이나 서비스 종류 및 할인율 중 적어도 하나를 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  11. 제 9 항에 있어서,
    상기 경로 정보는,
    차선 정보, 도로 정보, 주행 제한 속도 정보, 턴바이턴 정보, 교통 안전 정보, 교통 안내 정보, 차량 정보, 길 찾기 정보 및 건물 내의 통로 정보 중 적어도 하나의 정보를 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  12. 제 9 항에 있어서,
    상기 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 표시하는 단계는,
    상기 이벤트 정보에 대응하는 목적지를 가기 위한 턴바이턴 형태의 화살표 또는 선 형태로 상기 경로 정보를 표시하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  13. 제 9 항에 있어서,
    상기 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 표시하는 단계는,
    상기 이벤트 정보 내의 이벤트 기간 및 이벤트 시간대가 미리 설정된 임계값 이내일 때의 상기 경로 정보에 포함된 화살표나 선의 굵기를 상기 이벤트 정보 내의 이벤트 기간 및 이벤트 시간대가 상기 임계값보다 이상 남아 있을 때의 상기 경로 정보에 포함된 화살표나 선의 굵기보다 굵게 표시하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  14. 제 9 항에 있어서,
    상기 제 1 화면에서 자동 이동 기능 수행에 따라 변화하는 연속된 화면을 표시하는 단계는,
    상기 연속된 화면의 일측에 상기 선택된 경로 정보에 대응하는 목적지까지의 남은 거리, 상기 목적지까지의 평균 이동 시간 정보 또는 평균 주행 시간 정보 및, 상기 선택된 경로 정보에 대응하는 이벤트 정보 중 적어도 하나를 표시하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  15. 제 9 항에 있어서,
    상기 경로 정보의 선택에 따라 감지된 압력 세기가 미리 설정된 기준값 이상일 때, 상기 표시부를 통해, 상기 선택된 경로 정보에 대응하는 목적지와 관련한 화면을 표시하는 단계를 더 포함하는 것을 특징으로 하는 MR 콘텐츠 제작 방법.
  16. 파노라마 영상 정보를 영상 표시 영역에 표시하는 표시부; 및
    상기 표시부의 객체 마커 표시 영역에 표시되는 복수의 객체 마커 중에서 선택된 제 1 객체 마커가 드래그 앤 드랍 기능에 의해 상기 영상 표시 영역 상의 제 1 영역에 드랍될 때, 상기 영상 표시 영역 내의 제 1 영역에 상기 선택된 제 1 객체 마커를 배치하고, 상기 영상 표시 영역 내에 배치된 제 1 객체 마커가 선택될 때 사용자 입력을 근거로 상기 선택된 제 1 객체 마커에 대한 속성 정보를 설정하고, 상기 표시부에 표시되는 미리 설정된 저장 메뉴가 선택될 때 상기 영상 표시 영역의 상기 파노라마 영상 정보 상에 배치된 하나 이상의 객체 마커를 포함하는 MR 콘텐츠를 생성하는 제어부를 포함하는 MR 콘텐츠 제작 장치.
  17. 제 16 항에 있어서,
    상기 제어부는,
    상기 파노라마 영상 정보가 동영상인 상태에서 상기 제 1 객체 마커가 배치될 때, 상기 동영상 중에서 상기 제 1 객체 마커가 배치되는 위치부터 미리 설정된 프레임의 개수만큼의 전 프레임 및 후 프레임에 상기 제 1 객체 마커를 추가 적용하는 것을 특징으로 하는 MR 콘텐츠 제작 장치.
  18. 제 16 항에 있어서,
    상기 제어부는,
    상기 표시부에 표시되는 미리 설정된 미리보기 메뉴가 선택될 때, 상기 영상 표시 영역의 상기 파노라마 영상 정보에 배치된 하나 이상의 객체 마커에 대한 결과 화면을 팝업 형태로 상기 표시부에 표시하는 것을 특징으로 하는 MR 콘텐츠 제작 장치.
  19. 제 16 항에 있어서,
    상기 제어부는,
    상기 표시부에 표시되는 미리 설정된 저장 메뉴가 선택될 때, 상기 영상 표시 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 완료된 상태인지 여부를 확인하고, 상기 확인 결과, 상기 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 객체 마커의 속성 정보 설정이 완료된 상태일 때, 상기 파노라마 영상 정보 상에 배치된 하나 이상의 객체 마커를 포함하는 MR 콘텐츠를 생성하는 것을 특징으로 하는 MR 콘텐츠 제작 장치.
  20. 제 16 항에 있어서,
    단말이나 아바타의 현재 위치와 관련한 적어도 하나의 이벤트 정보를 수신하는 통신부;를 더 포함하며,
    상기 표시부는,
    상기 MR 콘텐츠 형태의 항공뷰, 스트리트 뷰, 로드 뷰 및 전경 뷰 중 어느 하나의 형태의 화면을 표시하며,
    상기 제어부는,
    상기 수신된 적어도 하나의 이벤트 정보 및 상기 표시부에 표시되는 화면 상에서의 단말이나 아바타의 현재 위치를 근거로 상기 적어도 하나의 이벤트 정보에 대응하는 적어도 하나의 경로 정보를 각각 생성하고, 이벤트명 및 상기 생성된 적어도 하나의 경로 정보를 상기 화면 상에 오버랩하여 제 1 화면을 표시하도록 상기 표시부를 제어하고, 상기 표시부에 표시되는 적어도 하나의 경로 정보 중에서 어느 하나의 경로 정보를 선택한 상태가 유지되는 동안, 상기 제 1 화면에서 상기 선택된 경로 정보에 대응하는 목적지까지의 미리 설정된 속도로 자동 이동 기능을 수행에 따라 변화하는 연속된 화면을 표시하도록 상기 표시부를 제어하는 것을 특징으로 하는 MR 콘텐츠 제작 장치.
PCT/KR2017/011156 2016-11-10 2017-10-11 Mr 콘텐츠 제작 장치 및 그 방법 WO2018088700A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0149707 2016-11-10
KR20160149707 2016-11-10
KR1020160179036A KR101815158B1 (ko) 2016-11-10 2016-12-26 Mr 콘텐츠 제작 장치 및 그 방법
KR10-2016-0179036 2016-12-26

Publications (1)

Publication Number Publication Date
WO2018088700A1 true WO2018088700A1 (ko) 2018-05-17

Family

ID=61001897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011156 WO2018088700A1 (ko) 2016-11-10 2017-10-11 Mr 콘텐츠 제작 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR101815158B1 (ko)
WO (1) WO2018088700A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492525A (zh) * 2020-11-18 2021-03-12 北京沃东天骏信息技术有限公司 信息推送系统、方法、装置、电子设备及存储介质
CN115047624A (zh) * 2022-05-24 2022-09-13 北京领为军融科技有限公司 智能眼镜操控系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020352B1 (ko) * 2018-01-19 2019-09-11 주식회사 팝스라인 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
KR102043274B1 (ko) * 2018-02-06 2019-11-11 주식회사 팝스라인 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법
KR102139293B1 (ko) * 2018-08-16 2020-07-29 스마트한 주식회사 증강현실 컨텐츠 저작 방법 및 장치
WO2020218646A1 (ko) * 2019-04-25 2020-10-29 주식회사 팝스라인 3d 객체와 마커를 이용한 mr 콘텐츠 제공 장치 및 그 방법
JP7096295B2 (ja) * 2020-07-27 2022-07-05 ソフトバンク株式会社 表示制御システム、プログラム、及び表示制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010050555A (ja) * 2008-08-19 2010-03-04 Ikegami Tsushinki Co Ltd 映像表示装置
JP2011209249A (ja) * 2010-03-31 2011-10-20 Alpine Electronics Inc ナビゲーション装置
KR20120015036A (ko) * 2010-08-11 2012-02-21 주식회사 저스트아이디어 모바일 기기를 이용한 전시 정보를 제공하는 시스템, 사용자 단말 및 전시 정보 제공 방법
JP2015192389A (ja) * 2014-03-28 2015-11-02 日本電信電話株式会社 マーカ埋め込み装置、マーカ検出装置、及びプログラム
US20160265935A1 (en) * 2014-06-05 2016-09-15 Tencent Technology (Shenzhen) Company Limited Method and device for providing guidance to street view destination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010050555A (ja) * 2008-08-19 2010-03-04 Ikegami Tsushinki Co Ltd 映像表示装置
JP2011209249A (ja) * 2010-03-31 2011-10-20 Alpine Electronics Inc ナビゲーション装置
KR20120015036A (ko) * 2010-08-11 2012-02-21 주식회사 저스트아이디어 모바일 기기를 이용한 전시 정보를 제공하는 시스템, 사용자 단말 및 전시 정보 제공 방법
JP2015192389A (ja) * 2014-03-28 2015-11-02 日本電信電話株式会社 マーカ埋め込み装置、マーカ検出装置、及びプログラム
US20160265935A1 (en) * 2014-06-05 2016-09-15 Tencent Technology (Shenzhen) Company Limited Method and device for providing guidance to street view destination

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492525A (zh) * 2020-11-18 2021-03-12 北京沃东天骏信息技术有限公司 信息推送系统、方法、装置、电子设备及存储介质
CN112492525B (zh) * 2020-11-18 2023-06-27 北京沃东天骏信息技术有限公司 信息推送系统、方法、装置、电子设备及存储介质
CN115047624A (zh) * 2022-05-24 2022-09-13 北京领为军融科技有限公司 智能眼镜操控系统

Also Published As

Publication number Publication date
KR101815158B1 (ko) 2018-01-05

Similar Documents

Publication Publication Date Title
WO2018088700A1 (ko) Mr 콘텐츠 제작 장치 및 그 방법
WO2013187680A4 (ko) 사용자 단말 장치, 서버 장치 및 이들을 포함하는 시스템과 그 광고 서비스 방법
WO2018169222A1 (en) Method and electronic apparatus for displaying information
WO2016024741A1 (en) Cloud system and method of displaying, by cloud system, content
WO2016024740A1 (en) Cloud system and method of displaying, by cloud system, content
WO2014175703A1 (en) User terminal device for providing animation effect and display method thereof
WO2016085170A1 (en) System and method of providing to-do list of user
WO2015005703A1 (en) User terminal device for displaying contents and methods thereof
WO2013172617A1 (en) Display apparatus, server, content delivery system and information providing method thereof
WO2014119884A1 (en) Method and system for displaying object, and method and system for providing the object
WO2015016622A1 (en) Method and electronic device for sharing image card
WO2014061872A1 (ko) 메신저 제어 방법을 위한 기록 매체, 이를 위한 장치 및 시스템
WO2016190458A1 (ko) Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
WO2016105015A1 (en) Method and device for providing service using data broadcasting of mobile device
WO2013154320A1 (en) User terminal device and information providing method using the same
WO2019139318A1 (en) Data processing method and electronic apparatus therefor
WO2017122909A1 (ko) 단말 및 그의 제어 방법
WO2017018561A1 (ko) 전시공간 제어 시스템 및 전시공간 제어방법
AU2014213221B2 (en) Method and system for displaying object, and method and system for providing the object
WO2012121447A1 (ko) 상세정보가 포함된 이미지 파일의 형성 장치 및 방법과 그것을 이용한 운영 시스템 및 방법
WO2016200059A1 (en) Method and apparatus for providing advertisement content and recording medium
WO2019039632A1 (ko) 사용자 단말들 간을 그룹으로서 연결하고, 그룹과 연관된 콘텐츠를 포함하는 서비스를 제공하는 방법 및 장치
WO2019045437A1 (ko) 기기를 원격 제어하여 광고하는 방법 및 시스템
WO2014204199A1 (ko) 콘텐츠 다운로드 장치 및 방법
WO2014123337A1 (en) System and method for providing object via which service is used

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17869749

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17869749

Country of ref document: EP

Kind code of ref document: A1