WO2021066254A1 - 파노라믹 영상 컨텐츠 제작 시스템 및 방법 - Google Patents

파노라믹 영상 컨텐츠 제작 시스템 및 방법 Download PDF

Info

Publication number
WO2021066254A1
WO2021066254A1 PCT/KR2019/017776 KR2019017776W WO2021066254A1 WO 2021066254 A1 WO2021066254 A1 WO 2021066254A1 KR 2019017776 W KR2019017776 W KR 2019017776W WO 2021066254 A1 WO2021066254 A1 WO 2021066254A1
Authority
WO
WIPO (PCT)
Prior art keywords
panoramic image
information
data
tag data
tag
Prior art date
Application number
PCT/KR2019/017776
Other languages
English (en)
French (fr)
Inventor
조용원
류근웅
Original Assignee
주식회사 비지트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190166683A external-priority patent/KR102272757B1/ko
Application filed by 주식회사 비지트 filed Critical 주식회사 비지트
Priority to SG11202008424WA priority Critical patent/SG11202008424WA/en
Priority to US16/976,531 priority patent/US11871114B2/en
Publication of WO2021066254A1 publication Critical patent/WO2021066254A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Definitions

  • the present invention relates to a system and method for producing panoramic video contents.
  • the above virtual content creation method not only requires enormous cost and time, but also cannot provide data of places where vehicles cannot enter. There is a cumbersome problem in that it is possible.
  • a first system including a first panoramic image and photographing information
  • a user device generating a first tag data set including panoramic image data and new tag data for at least one object disposed on the first panoramic image
  • a data receiving module receiving the first panoramic image data and the first tag data set from the user device, and the same object existing in a preset area based on the photographing information of the first panoramic image data
  • a tag search module for searching at least one pre-stored tag data for, and an object positioning module for generating integrated tag data by calculating the position of the object based on the pre-stored tag data and new tag data searched for the same object
  • a panoramic image server including a tag generation module that displays tag information on the object on the panoramic image data based on the integrated tag data.
  • the pre-stored tag data and the new tag data include a photographing origin information for a location where the panoramic image was photographed and object location information for an individual object, and a photographing origin based on one of the photographing origin information And an extension line extending from a connection line connecting the object location based on the object location information, and the object positioning module, based on a set of location information of at least one of the previously stored tag data and the new tag data
  • the position of the object may be calculated by using an average value of intersection points between the plurality of extension lines to be formed.
  • the object positioning module determines the number of location information sets of the pre-stored tag data searched for the same object, and the photographing origin information and the object location information include a first component, a second component, and a location information.
  • the object positioning module includes the photographing origin information and the The integrated tag data is generated by using the average value of the intersection points of the extension lines for the same object formed based on the first component to the third component of the object location information, and the panoramic image server is the same object.
  • the object positioning module includes the same, which is formed based on the photographing origin information and the first component and the second component of the object location information.
  • the integrated tag data may be generated by using the average value of the intersection points of the extension lines with respect to the object.
  • the panoramic image server is an identification area surrounding an object average point based on the average value of the plurality of intersections and the intersections. And, based on the identification area, 3D model data of the object disposed on the panoramic image may be generated.
  • an object average point based on the average value is disposed at the center of the identification area, and the size of the identification area may be proportional to a variance value of the intersection points.
  • intersection point located at a distance greater than a preset distance from the object average point based on the average value in the identification area may be excluded.
  • the photographing origin information and the object location information include a first component, a second component, and a third component (parameter) for a location
  • the object positioning module the pre-stored tag searched for the same object Determine the number of location information sets of data, and when two or more sets of location information of the pre-stored tag data searched for the same object, the first and second components of the photographing origin information and the object location information Generate the intersection point of the extension lines for the same object formed as a basis, and generate the integrated tag data by using the average value of the extension line values that meet the intersection point and the third component straight line extending vertically in the third component direction. I can.
  • the user device may include an image capturing unit configured to generate a first panoramic image; a capturing information generating unit configured to generate first panoramic image data including the first panoramic image and capturing information; A communication unit through which the user device transmits the first panoramic image data to the panoramic image server; And an input unit that receives tag information of the new tag data or directly inputs tag information of the new tag data from a user based on the tag information of the previously stored tag data.
  • the panoramic image server considers at least one of pre-stored panoramic image data and the pre-stored tag data existing in a preset area based on the first panoramic image data and the new tag data. It may further include a compensation module for generating compensation reference data and providing photographing compensation for the first panoramic image data and the new tag data based on the compensation reference data.
  • the compensation module calculates an expected shooting compensation based on the user location information, which is the location information of the user device, and the compensation reference data, and transmits the expected shooting compensation to the user device, and the user device It may include an output unit that displays the expected shooting compensation received by the user device.
  • the pre-stored tag data and the new tag data include photographing origin information for a position at which the panoramic image was photographed and object position information for an individual object, and the compensation reference data is the pre-stored wave
  • the tag generation module may display the integrated tag data on each of the first panoramic image data and pre-stored panoramic image data linked with a plurality of object reference information including the same tag information.
  • the user device may further include a position correction module for correcting the first tag data set based on an image processing result of the first panoramic image data.
  • a method for producing panoramic image contents includes a user device generating panoramic image data and tag data, and a panoramic image data receiving the panoramic image data and the tag data from the user device.
  • a user device comprising: first panoramic image data including a first panoramic image and photographing information, and the first 1
  • the panoramic image server receives the first panoramic image data and the first tag data set from the user device, and exists in a preset area based on the photographing information of the first panoramic image data.
  • Object location calculation for generating integrated tag data by searching at least one pre-stored tag data for the same object and calculating the location of the object based on the pre-stored tag data and the new tag data searched for the same object step; And displaying, by the panoramic image server, tag information for the object on the panoramic image data based on the integrated tag data.
  • the pre-stored tag data and the new tag data include a photographing origin information for a location where the panoramic image was photographed and object location information for an individual object, and a photographing origin based on one of the photographing origin information And an extension line extending from the connection line connecting the object location based on the object location information is formed, and in the object location calculation step, the panoramic image server includes at least one of the previously stored tag data and the new tag data
  • the position of the object may be calculated using an average value of intersection points between the plurality of extension lines formed based on the location information set of.
  • the photographing origin information and the object location information include a first component, a second component, and a third component (parameter) for a location
  • the object location calculation step is performed by the panoramic image server on the same object.
  • a tag data determination step of determining the number of location information sets of the previously stored tag data searched for; When the panoramic image server has more than one location information set of the pre-stored tag data searched for the same object, it is formed based on the first component to the third component of the photographing origin information and the object location information
  • a two-dimensional tag coordinate calculation step of generating the integrated tag data by using the average value of the intersection points of the extension lines with respect to the formed object.
  • the panoramic image server is an object based on the average value of the plurality of intersections and the intersections. It may further include a 3D object modeling data generation step of generating an identification area surrounding the average point and generating 3D model data of the object disposed on the panoramic image based on the identification area.
  • an object average point based on the average value is disposed at the center of the identification area, and the size of the identification area may be proportional to a variance value of the intersection points.
  • intersection point located at a distance greater than a preset distance from the object average point based on the average value in the identification area may be excluded.
  • the object position calculation step if more than one set of the location information of the previously stored tag data searched for the same object, based on the first and second components of the photographing origin information and the object location information
  • the integrated tag data may be generated by generating the intersection point of the extension lines for the same object to be formed, and using the average value of the extension line values meeting the intersection point and the third component straight line extending vertically in the third component direction.
  • the user device in the generating of the panoramic image, the user device generates a first panoramic image, and generates first panoramic image data including the first panoramic image and photographing information.
  • Mick image capturing step An image and photographing data transmission step of the user device transmitting the first panoramic image data to the panoramic image server; Determining the existence of existing image data based on the first panoramic image data, determining whether pre-stored panoramic image data exists in the preset area;
  • the user device inputs tag information of the new tag data based on the tag information of the pre-stored tag data Determining the input of the tag information;
  • a pre-stored panoramic image data does not exist in the preset region based on the first panoramic image data, or the user device is a tag of the new tag data based on tag information of the pre-stored tag data.
  • the first tag data input step of directly inputting the tag information of the new tag data from the user.
  • At least one of pre-stored panoramic image data and the pre-stored tag data existing in a preset region based on the first panoramic image data and the new tag data And generating compensation reference data in consideration of the compensation reference data, and providing photography compensation for the first panoramic image data and the new tag data based on the compensation reference data.
  • the panoramic image server calculates an expected shooting reward based on the user location information, which is the location information of the user device, and the compensation reference data, and transmits the expected shooting reward to the user device, and the user device receives it. It may further include a compensation check step of displaying the received expected shooting compensation.
  • the pre-stored tag data and the new tag data include photographing origin information for a position at which the panoramic image was photographed and object position information for an individual object, and the compensation reference data is the pre-stored wave
  • each of the first panoramic image data and the pre-stored panoramic image data linked to a plurality of object reference information including the same tag information by the panoramic image server The integrated tag data may be displayed on the image.
  • the generating of the panoramic image may further include a tag position correction step of correcting, by the user device, the first tag data set based on an image processing result of the first panoramic image data. .
  • FIG. 1 is a diagram schematically showing the configuration of a system for producing panoramic video content according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a configuration of a user device of the system for producing panoramic video content of FIG. 1.
  • FIG. 3 is a block diagram schematically illustrating a configuration of a panoramic image server of the system for producing a panoramic image content of FIG. 1.
  • FIG. 4 is a flowchart illustrating a method of producing a panoramic image content by the system for producing a panoramic image content of FIG. 1.
  • FIG. 5 is a flow chart illustrating in detail a step of generating a panoramic image in the method of producing the panoramic image content of FIG. 4.
  • FIG. 6 is a flow chart showing in detail an object position calculation step in the method of producing the panoramic image content of FIG. 4.
  • FIG. 7 is an exemplary diagram illustrating a process of generating a panoramic image in the user device of FIG. 2.
  • FIG. 8 is an exemplary diagram illustrating a process of calculating an object position in the panoramic image server of FIG. 3.
  • FIG. 9 is an exemplary diagram of a user interface in which tag information is displayed based on integrated tag data for an object in the user device of FIG. 2.
  • FIG. 10 is an exemplary diagram showing tag data stored in the panoramic image server of FIG. 3.
  • the term “on” means that it is located above or below the target member, and does not necessarily mean that it is located above the gravitational direction.
  • a "unit” includes a unit realized by hardware, a unit realized by software, or a unit realized using both. Further, one unit can be realized by using two or more hardware, and two or more units can be realized by one hardware.
  • a system for producing a panoramic image content 1 includes a user device 100, a panoramic image server 200, and a network 300.
  • the user device 100 may be an electronic device that captures an image and generates a panoramic image.
  • it may be an electronic device that generates a panoramic image using a VR camera, a 360-degree camera, an omnidirectional camera, and a plurality of cameras.
  • It may be an electronic device including a panoramic generation application that generates a normal image, and has a camera function capable of including photographing information, a smartphone, a tablet PC, a PDA (Personal Digital Assistant), and other wireless access functions.
  • It may be a computing device including a handheld device or an imaging device that may contain location information, such as a processing device connected to another wireless modem. The present invention is not limited thereto.
  • the panoramic image server 200 may generate integrated tag data UT for the same object based on the panoramic image I photographed from the user devices 100 and the photographing information ID.
  • the panoramic image I is photographed before the first panoramic image I 1 and the first panoramic image received from the user device 100 and stored in the panoramic image server 200. It includes a pre-stored panoramic image (I S ).
  • the tag data TD is photographed before the new tag data TD 1 and the first panoramic image for the object disposed on the first panoramic image I 1 by the user device 100, It includes pre-stored tag data TD S for an object disposed on a pre-stored panoramic image stored in the panoramic image server 200.
  • the panoramic image server 200 includes the recording origin information (SI) of the previously stored tag data (TD S ) and the recording origin information (TD 1 ) of the new tag data (TD 1) for the same object as the object location information (OI). It is possible to generate integrated tag data (UT) including SI) and object location information (OI).
  • the integrated tag data (UT) may be previously stored tag data (TD S ). It is possible to update the integrated tag data UT including the photographing origin information SI and the object location information OI of the new new tag data TD N.
  • the panoramic image server 200 may receive and store weather information and specific situation information according to time or location information of the panoramic image I from an external server.
  • the panoramic image server 200 may provide a general search service and other various services that enhance user convenience. That is, the panoramic image server 200 may provide various services such as search, email, blog, social network service, news, and shopping information provision. Although one server is shown in FIG. 1, a plurality of servers may be connected to each other through wired or wireless communication according to the amount of connection or data.
  • the user device 100 and the panoramic image server 200 may be connected via a network 300.
  • the network 300 may be a communication path that enables wired/wireless communication with each other.
  • the network 300 is a wired network such as LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), ISDNs (Integrated Service Digital Networks), wireless LANs, cellular communication networks, CDMA, Bluetooth, etc.
  • a wireless network such as satellite communication may be covered, but the scope of the present invention is not limited thereto.
  • FIG. 2 is a block diagram schematically illustrating a configuration of a user device 100 of the system for producing panoramic video content of FIG. 1.
  • the user device 100 includes an image capture unit 110, an input unit 120, an output unit 130, a photographing information generation unit 140, and a communication unit 150. And a position correction module 160.
  • the user device 100 includes at least one disposed on the first panoramic image data ID 1 and the first panoramic image I 1 including the first panoramic image I 1 and photographing information.
  • a first tag data set DS 1 including new tag data TD 1 for an object of may be generated.
  • the first panoramic image I 1 may be a still image or a video captured from the user device 100 in a 360-degree or panoramic form.
  • the photographing information includes information on the photographing environment in which the first panoramic image I 1 was photographed, such as location information, photographing time, and photographed camera information in which the first panoramic image I 1 was photographed.
  • it may include weather information retrieved from an external server based on location information or shooting time and external information about information on a specific situation.
  • the image photographing unit 110 may generate a first panoramic image I 1 .
  • the image capturing unit 110 may be a single camera module or a plurality of camera modules, but this is only an exemplary configuration, and may be a capturing module included in various electronic devices for capturing an image or video.
  • the input unit 120 may receive the tag information of the new tag data TD 1 based on the tag information of the previously stored tag data TD S , or may directly receive the tag information of the new tag data TD 1 from the user. have.
  • the output unit 130 may output data received from the panoramic image server 200 by the user device 100 and a first panoramic image I 1 captured by the user device 100.
  • the output unit 130 may display tag information on an object disposed on the panoramic image I.
  • the output unit 130 is a reservoir on the geographical image panoramic image data (ID S) and the pre-stored panoramic image data (ID S) pre-stored tag data (TD S) or integrated tag data of the ( UT) can be displayed.
  • the geographic information image may be a 2D or 3D image on which a map and topography can be displayed.
  • the output unit 130 uses the photographing origin information (SI) and object location information (OI) of the pre -stored tag data (TD S ) to be pre-stored on the pre-stored panoramic image (I S ).
  • the tag placement direction MV (refer to FIG. 8), which is the placement direction of the tag data TD S, may be displayed on the geographic information image.
  • the output unit 130 displays the arrangement direction of the tag information arranged on the pre-stored panoramic image (ID S ) on the geographic information image, so that the user can obtain advantageous shooting compensation (IR) or predicted shooting compensation (PR). You can easily identify the location where you can receive.
  • IR advantageous shooting compensation
  • PR predicted shooting compensation
  • the output unit 130 displays the location marker M, which is the photographed location information of the previously stored panoramic image data ID S , on the geographic information image in the form of an icon, a marker, and a tag.
  • the tag placement direction MV (refer to FIG. 8) may be displayed in a predetermined area of the location marker M, and the tag placement direction MV may be indicated by various symbols indicating line segments and directions.
  • the output unit 130 may display tag information of the integrated tag data UT on the geographic information image based on the location information sets of the integrated tag data UT.
  • the output unit 130 displays the tag information of the integrated tag data UT on the geographic information image, so that the user can take a panoramic image of the object corresponding to the tag information and information on the object corresponding to the tag information. Can grasp.
  • the output unit 130 may display an expected photographing compensation PR received from the panoramic image server 200 by the user device 100.
  • the output unit 130 may be formed of a liquid crystal display (LCD), an organic light emitting diode (OLED), an active matrix organic light emitting diode (AMOLED), or the like. However, this is only an exemplary configuration, and may be configured with various display devices for displaying images using different methods.
  • LCD liquid crystal display
  • OLED organic light emitting diode
  • AMOLED active matrix organic light emitting diode
  • the photographing information generator 140 may generate first panoramic image data ID 1 including a first panoramic image I 1 and photographing information I D.
  • the photographing information I D is in the photographing environment in which the first panoramic image I 1 was photographed, such as location information, photographing time, and photographed camera information in which the first panoramic image I 1 was photographed. Includes information about.
  • the photographing information I D may include external information about the location information or time information by receiving location information or time information from an external server.
  • the communication unit 150 may transmit the first panoramic image data ID 1 to the panoramic image server 200 by the user device 100.
  • the communication unit 150 may communicate with the panoramic image servers 200 through a wired or wireless communication method through the network 300.
  • the communication unit 150 includes IEEE 802.11, IEEE 702.20, GPRS (General Packet Radio Service), Ev-DO (Evolution Data Optimized), HSPA+ (Evolved High Speed Packet Access), HSDPA+ (Evolved High Speed Downlink Packet Access).
  • HSUPA+ Evolved High Speed Uplink Packet Access
  • GSM Global System for Mobile Communications
  • EDGE Enhanced Data rates for GSM Evolution
  • CDMA Code Division Multiple Access
  • TDMA Time Division Multiple Access
  • DECT Digital Enhanced
  • LTE Long Term Evolution
  • Zigbee NFC (Near field Communication)
  • RF Radio Frequency
  • Bluetooth derivatives thereof, as well as arbitrary Any of a number of wireless standards or protocols may be implemented, including, but not limited to, other wireless protocols.
  • the position correction module 160 may correct the first tag data set DS 1 based on an image processing result of the first panoramic image data ID 1.
  • the position correction module 160 a first panorama using the dynamic image (I 1) color, at least one of the methods such as object recognition, the complexity of the object shape of the first panorama image dynamic image (I 1) It can be derived or corrected so that the object can be placed properly.
  • the object recognition method included in the panoramic image I is not limited thereto, and any one of known object recognition methods may be used.
  • the position correction module 160 of the first panoramic image (I 1) perform object recognition, and the first panoramic image (I 1) objects corresponding to the objects placed on the recognition area of the By determining the center of gravity, the placed object can be corrected.
  • FIG. 3 is a block diagram schematically illustrating a configuration of a panoramic image server of the system for producing a panoramic image content of FIG. 1.
  • the panoramic image server 200 includes a data receiving module 210, a tag search module 220, an object positioning module 230, a tag generating module 240, a compensation module 250, A 3D modeling module 260 and a storage module 270 are included.
  • the data receiving module 210 may receive first panoramic image data ID 1 and a first tag data set DS 1 from the user device 100.
  • the tag search module 220 includes at least one pre-stored tag data TD S for the same object existing in a preset area R 1 based on the photographing information of the first panoramic image data ID 1 You can search.
  • the preset region R 1 may be an area according to a distance preset by the user based on the photographing information included in the first panoramic image data ID 1, and the photographing information I D It may be a predetermined area for a point or place having the same alias included.
  • a preset area (R 1 ) is based on a radial distance separated from the shooting location included in the first panoramic image data (ID 1) or an administrative district, landmark, or building name with the same alias. It may be a predetermined area or the like.
  • the tag search module 220 includes pre-stored tag data TD S included in the storage unit of the panoramic image server 200 based on the photographing information included in the first panoramic image data ID 1 or You can search for pre-stored tag data (TD S) from an external server.
  • the object positioning module 230 may generate the integrated tag data UT by calculating the position of the object based on the previously stored tag data TD S and new tag data TD 1 searched for the same object. .
  • the object positioning module 230 includes a cross point P between the plurality of extension lines formed based on the positional information set of at least one pre-stored tag data TD S and new tag data TD 1.
  • the position of the object can be calculated from the average value.
  • the previously stored tag data (TD S ) and the new tag data (TD 1 ) are the photographing origin information (SI) for the location where the panoramic image (I) was photographed, and the object location information (OI) for individual objects. ), and an extension line V extending from a connection line connecting a photographing origin based on the photographing origin information SI and an object location based on the object location information OI may be formed.
  • the photographing origin information may be generated based on the photographing position information provided by the satellite navigation system or various methods capable of positioning the photographing position of the user device 100, for example.
  • the object location information (OI) may generate location information on an object disposed on the panoramic image (I) based on the yaw, pitch, and roll values as an example.
  • the present invention is not limited thereto, and may be expressed in various coordinate systems implemented on the panoramic image I.
  • the object positioning module 230 may determine the number of location information sets of pre-stored tag data TD S searched for the same object.
  • the photographing origin information SI and the object location information OI may include a first component, a second component, and a third component for a location.
  • the first component, the second component, and the third component may be respective parameters corresponding to a three-dimensional orthogonal coordinate system composed of three axes.
  • the object positioning module 230 when two or more sets of location information of pre -stored tag data (TD S ) searched for the same object by the panoramic image server 200 are, photographing origin information (SI) and object location
  • the integrated tag data UT may be generated by using the average value of the intersections P of the extension lines V for the same object formed based on the first component to the third component of the information OI.
  • the object positioning module 230 may correct the integrated tag data UT by applying a weighting factor W to each intersection point P.
  • the weighting factor (W) is a user device ( 100) may be calculated based on at least one of the user information.
  • the first component (X) and the second component (Y) of the integrated tag data UT can be expressed as in Equation 1 below.
  • the user device 100 may be inaccurate according to the user's reliability, weather information, and time information.
  • the position of the object of the integrated tag data UT calculated from the possible tag data TD may be corrected.
  • the third component (Z) is not schematically illustrated, when the object positioning module 230 performs correction of the third component (Z) of the integrated tag data, the third component (Z) is the first component ( It is applied together with X) and the second component (Y) to generate the corrected integrated tag data.
  • the object positioning module 230 when the panoramic image server 200 has one set of location information of pre-stored tag data TD S searched for the same object, photographing origin information (SI) and object location information
  • the integrated tag data UT may be generated by using the average value of the intersections P of the extension lines V for the same object formed based on the first component and the second component of (OI).
  • the object positioning module 230 when the location information set of the previously stored tag data (TD S ) searched for the same object is two or more, the first of the photographing origin information (SI) and object location information (OI).
  • SI photographing origin information
  • OI object location information
  • the intersection (P) of the extension lines (V) for the same object formed on the basis of the component and the second component is created, and the extension line (V) meets the intersection (P) and the third component straight line extending perpendicular to the third component direction. ) It is possible to generate integrated tag data (UT) by using the average value of the values.
  • An extension line (V) formed based on the first and second components of the photographing origin information (SI) and object location information (OI) is first formed to create an intersection (P), and then the third component is considered. Since the intersection point P for the object is essentially generated, tag information of the integrated tag data UT for the same object can be accurately displayed on the plurality of panoramic images I.
  • Equation (2) the number of generated extension lines (n) and the maximum number of intersections of extension lines (P) can be expressed as in Equation (2).
  • the tag generation module 240 may display tag information on the object on the panoramic image I based on the integrated tag data UT.
  • the tag generation module 240 includes first panoramic image data ID 1 and pre-stored panoramic image data ID S associated with a plurality of object reference information RI including the same tag information. ) Can be displayed on the tag information of the integrated tag data UT.
  • the object reference information RI may include a storage location of the panoramic image data ID linked to the tag information or file information of the panoramic image data ID.
  • the compensation module 250 includes pre-stored panoramic image data (ID S ) and pre-stored tag data existing in a preset area based on the first panoramic image data (ID 1 ) and new tag data (TD 1 ).
  • Compensation reference data (CD) is generated in consideration of at least one of (TD S ), and based on the compensation reference data (CD), the first panoramic image data (ID 1 ) and new tag data (TD 1 ) are Photography compensation (IR) may be provided to the user device 100.
  • the compensation module 250 calculates an expected shooting compensation PR based on the user location information and compensation reference data CD, which are location information of the user device 100, and calculates the expected shooting compensation PR by the user. It can be provided to the device 100.
  • the user location information may be a current location measured from the user device 100 or a location for photographing a first panoramic image I 1.
  • the compensation reference data (CD) is, based on the previously stored panoramic image data (ID S ) and the previously stored tag data (TD S ), photographing composition information, photographing origin information (SI) for the previously stored object. ), the distance between the object location based on the object location information (OI), the number of pre-stored tag data (TD S ) for the object, shooting information (I D ), and user information of the user device 100 It may include at least one criterion.
  • the photographing composition information of the object may be generated based on location information of the user device 100 and photographing range information of an object in which an object disposed on the first panoramic image I 1 is photographed.
  • the photographing range information of the object may be an area range of the object displayed on the panoramic image I or composition information of the object displayed on the panoramic image I.
  • the photographing composition information on the object generates a field of view region having a radius as a radius between the photographing origin based on the photographing origin information (SI) and the object location based on the object position information (OI), and It can be calculated as the ratio of overlapping circumferences.
  • the object location may be object location information (OI) in which GPS information of an object received from an external server and tag information generated as integrated tag data (UT) are arranged.
  • OI object location information
  • the compensation module 250 compares the angle of view for the same object on the pre-stored panoramic image I S retrieved from the tag search module 220 to compensate the user device 100 for shooting compensation (IR) and expected shooting compensation. (PR) compensation weight can be assigned.
  • the compensation module 250 checks user information of the user device 100, and based on the user information, first panoramic image data ID 1 and pre-stored panoramic image data ( ID S ), the quality of the new tag data (TD 1 ) and the previously stored tag data (TD S ) can be evaluated to give the user device 100 a weight of the shooting compensation (IR) and the expected shooting compensation (PR). .
  • the reward module 250 may provide a blockchain-based virtual currency and points to the user device 100 based on a reward weight and reward reference data (CD).
  • CD reward weight and reward reference data
  • the 3D modeling module 260 is an object based on the average value of the plurality of intersections P and the intersections P when the location information set of the previously stored tag data TD S retrieved for the same object is two or more.
  • An identification area surrounding the average point may be generated, and 3D model data of the object disposed on the panoramic image I may be generated based on the identification area.
  • an object average point based on the average value is disposed at the center of the identification area, and the size of the identification area may be proportional to the variance value of the intersection points P. Through this, the size of the object can be more realistically represented.
  • intersection point located at a distance greater than a preset distance from the object average point based on the average value in the identification area may be excluded.
  • intersection points located at a distance greater than a preset distance an error in the process of generating 3D model data can be reduced.
  • the preset distance from the object average point may be a distance of a recognized object or a predetermined distance set by a user.
  • the storage module 270 may store pre-stored panoramic image data ID S and pre-stored tag data TD S which is tag and tag position information for the pre-stored panoramic image data ID S.
  • the storage module 270 may store the integrated tag data UT generated by the object positioning module 230.
  • the storage module 270 Transmits the integrated tag data (UT), which is pre-stored tag data (TD S ) for the same object existing in a preset area based on the search result, to the object positioning module 230, and the object positioning module 230 ), the position of the object is calculated based on the previously stored tag data TD S and the new tag data TD 1 transmitted to ), and the integrated tag data UT may be regenerated and stored in the storage module 270.
  • FIG. 4 is a flowchart illustrating a method of producing a panoramic image content by the system for producing a panoramic image content of FIG. 1.
  • the method of producing a panoramic image content includes a compensation check step (S100), a panoramic image generation step (S200), an object position calculation step (S300), and a panoramic image display step (S400). do.
  • the panoramic image server 200 calculates an expected shooting compensation (PR) based on the user location information and compensation reference data (CD), which is the location information of the user device 100, and the expected shooting compensation (PR)
  • PR expected shooting compensation
  • a compensation check step (S100) of transmitting the image to the user device 100 and displaying the expected photographing compensation (PR) received by the user device 100 is performed.
  • the pre-stored tag data (TD S ) and the new tag data (TD 1 ) are the photographing origin information (SI) for the location where the panoramic image (I) was photographed, and the object location information (OI) for individual objects. ).
  • the compensation reference data (CD) is based on pre-stored panoramic image data (ID S ) and pre-stored tag data (TD S ), based on pre-stored photographing angle of view information and photographing origin information (SI). At least one criterion among the distance between the photographing origin and the object location based on object location information (OI), the number of pre-stored tag data (TD S ) for the object, photographing information (I D ), and user information of the user device 100 Includes.
  • a panoramic image generation step (S200) of generating a first tag data set DS 1 including new tag data TD 1 for at least one object to be used is performed.
  • the panoramic image generation step (S200) includes a panoramic image capturing step (S210), an image and capturing data transmission step (S220), an existing image data existence determination step (S230), a tag information input step (S240), and an initial tag.
  • a data input step (S250), a tag position correction step (S260), and a photographing compensation step (S270) are included.
  • the user device 100 is a first panoramic image (I 1) a first panoramic image data (ID 1), photographed, and includes a first panoramic image (I 1) and the imaging information a
  • the generating panoramic image capturing step (S210) is performed.
  • an image and photographing data transmission step S220 of transmitting the first panoramic image data ID 1 to the panoramic image server S200 by the user device S100 is performed.
  • pre-stored panoramic image data (ID S ) exists in a preset area based on the first panoramic image data (ID 1 )
  • the user device 100 is provided with the pre-stored tag data (TD S).
  • a tag information input determination step S240 of inputting tag information of the new tag data TD 1 is performed based on the tag information of ).
  • a first panoramic image data (ID 1) a base with or do a pre-stored panoramic image data (ID S) within the predetermined area exists, the user of the device 100 is pre-stored tag data (TD S) If the tag information of the new tag data TD 1 is not input based on the tag information, the initial tag data input step S250 of receiving the tag information of the new tag data TD 1 from the user is performed.
  • a tag position correction step S260 of correcting the first tag data set DS 1 by the user device 100 based on the image processing result of the first panoramic image data ID 1 is performed.
  • Compensation reference data (CD) is generated in consideration of one, and photographing compensation (IR) for the first panoramic image data (ID 1) and new tag data (TD 1) is generated based on the compensation reference data (CD).
  • the providing photographic compensation step (S270) is performed.
  • the panoramic image server 200 receives the first panoramic image data ID 1 and the first tag data set DS 1 from the user device 100, and the first panoramic image data ID 1 ), search for at least one pre-stored tag data (TD S ) for the same object existing in a preset area based on the photographing information of), and the pre-stored tag data (TD S ) and a new tag searched for the same object
  • An object position calculation step S300 of generating integrated tag data UT by calculating the position of the object based on the data TD 1 is performed.
  • the panoramic image server 200 is formed based on the position information set of at least one pre-stored tag data (TD S ) and new tag data (TD 1).
  • the position of the object may be calculated by using the average value of the intersection points between the extension lines V.
  • the pre-stored tag data (TD S ) and the new tag data (TD 1 ) include the photographing origin information (SI) for the location where the panoramic image was photographed and the object location information (OI) for individual objects. Includes.
  • an extension line V extending from a connection line connecting a photographing origin based on one photographing origin information SI and an object location based on one object location information OI is formed.
  • the object location calculation step (S300) when the panoramic image server 200 has two or more location information sets of pre-stored tag data (TD S ) searched for the same object, the photographing origin information (SI) and the object location Generates an intersection (P) of extension lines for the same object formed based on the first and second components of the information (OI), and meets the third component straight line extending vertically in the direction of the intersection and the third component.
  • the integrated tag data UT is generated by using the average value of the extension line values.
  • the object position calculation step (S300) includes a tag data determination step (S310), a three-dimensional tag coordinate calculation step (S320), and a two-dimensional tag coordinate calculation step (S330).
  • the panoramic image server 200 performs a tag data determination step (S310) of determining the number of location information sets of the previously stored tag data TD S searched for the same object.
  • a three-dimensional tag coordinate calculation step (S320) of generating integrated tag data UT using the average value of the intersections P of the extension lines V formed on the basis of the component to the third component is performed. .
  • the panoramic image server 200 has one set of location information of pre-stored tag data (TD S ) searched for the same object, the first component of the photographing origin information (SI) and object location information (OI) And a two-dimensional tag coordinate calculation step (S330) of generating integrated tag data UT using the average value of the intersections P of the extension lines V formed on the basis of the second component. .
  • the panoramic image server 200 When the panoramic image server 200 has two or more location information sets of pre-stored tag data TD S searched for the same object, the panoramic image server 200 includes a plurality of intersections P and A 3D object that creates an identification area surrounding an object average point based on the average value of the intersection points P, and generates 3D model data of the object disposed on the panoramic image I based on the identification area
  • the modeling data generation step (S340) is performed.
  • an object average point based on the average value is disposed at the center of the identification area, the size of the identification area may be proportional to the variance value of the intersection points P, and the object average based on the average value in the identification area
  • the intersection point located at a distance greater than a preset distance from the point may be excluded.
  • the panoramic image display step S400 of displaying tag information on the object on the panoramic image data I is performed by the panoramic image server 200 based on the integrated tag data UT.
  • each of the first panoramic image data ID 1 and a previously stored panoramic image data linked to a plurality of object reference information including the same tag information by the panoramic image server Tag information of the integrated tag data UT is displayed on the Mic image data ID S.
  • the panoramic image server 200 includes not only the first panoramic image data ID 1 and the pre-stored panoramic image data ID S Including location information received by the panoramic image server 200 based on the integrated tag data UT calculated from the first panoramic image data ID 1 and pre-stored panoramic image data ID S Integrated tag data UT may be displayed on a plurality of panoramic image data IDs.
  • FIG. 7 is an exemplary diagram illustrating a process of generating a panoramic image in the user device of FIG. 2.
  • a user may capture a first panoramic image 605 using the user device 100.
  • the user performs a photographing operation for photographing the first panoramic image 605 by using the photographing button 400 included on the displayed interface of the user device 100.
  • the user device 100 may capture the first panoramic image 605 by performing all operations and application operations capable of generating not only a single image displayed on the screen but also a 360-degree and panoramic image.
  • the user device 100 performs photographing of the first panoramic image 605, the user device generates photographing information in which the first panoramic image 605 is photographed, and the generated first panoramic image
  • the first panoramic image data ID 1 including 605 and photographing information is generated.
  • the user device 100 includes an output unit 130 that displays a first panoramic image 605 of the first panoramic image data ID 1, and the user Tag information 600 for at least one object may be disposed on the first panoramic image 605 through the input unit 120 of 100).
  • the user device 100 When the user arranges the tag information 600 on the object on the first panoramic image 605, the user device 100 generates new tag data TD 1 on the object.
  • the new tag data TD 1 includes photographing origin information SI for the photographed position of the first panoramic image 605 and object position information OI for the object.
  • the user device 100 determines whether the pre-stored panoramic image data ID S existing in a preset area is present based on the photographing information of the first panoramic image data ID 1 generated by the user. Judge.
  • pre-stored panoramic image data ID S
  • the user device 100 When pre-stored panoramic image data (ID S ) exists, the user device 100 outputs tag information of pre-stored panoramic image data (ID S ) and referenced pre-stored tag data (TD S). 130).
  • the names of objects which are tag information included in the previously stored tag data TD S , may be displayed, and the user uses the input unit 120 of the user device 100 to provide a reliable name among the tag information. You can choose.
  • the user device 100 may preferentially display a plurality of tag information for the same object among tag information of a plurality of pre -stored tag data TD S.
  • tag information exists such as'the statue of Admiral Yi Sun-sin','the statue of Yi Sun-sin', and'the statue of Yi Sun-sin', and a number of tag information input from other user devices 100
  • tag information 601 for'Bronze statue of Yi Sun-sin' is preferentially displayed on the panoramic image (I) so that the user using the user device 100 can select a reliable name. can do.
  • the user device 100 is pre-stored tag data (TD S If the tag information of the new tag data TD 1 is not input based on the tag information of ), the user device 100 may directly receive the tag information of the new tag data TD 1 from the user.
  • the user device 100 places an object on the first panoramic image I 1 from the user, and the user directly inputs tag information of the placed object, New tag data can be created.
  • the user device 100 may receive tag information of the previously stored tag data TD S, which is the first new tag data, from the panoramic image server 200, and may generate new new tag data.
  • FIG. 8 is an exemplary diagram illustrating a process of calculating an object position in the panoramic image server of FIG. 3.
  • pre-stored tag data (TD 2, TD 3 ) searched for the same object within a preset area (R 1 ) based on the photographing information (I D ) of the first panorama image data (ID 1 ) is The location where the first panoramic image (I 1 ) and the second panoramic image (I 2 ) and the third panoramic image (I 3 ), which are pre-stored panoramic images (I S), were captured
  • Three extension lines (V 1 , V 2 , V 3 ) extending from are formed.
  • the integrated tag data 750 may be generated by calculating the location of, and the user device 100 receives the integrated tag data UT including the calculated location information and tag information from the panoramic image server 200. It is possible to receive and display tag information on an object on a plurality of panoramic images I.
  • the panoramic image server 200 includes a location marker on a geographic information image based on location information in which a plurality of panoramic image data (ID 1 , ID 2, ID 3) is photographed. M 1 , M 2 , M 3 ) can be created.
  • the panoramic image server 200 provides the geographic information image in which the location markers M 1 , M 2 , M 3 are generated to the user device 100, and the output unit 130 of the user device 100 is The geographic information image on which the location markers M 1 , M 2 , and M 3 are displayed may be displayed to the user.
  • the panoramic image server 200 is based on the tag data (TD 1 , TD 2, TD 3 ) of a plurality of panoramic image data (ID 1 , ID 2, ID 3 ), the position marker M 1 , A tag arrangement direction (MV 1, MV 2, MV 3 ) may be generated in a predetermined area of M 2 , M 3 ).
  • the third panoramic image data (ID 3) a third marker (M 3), the third tagged data recording origin (SP 3) based on the photographed reference point information (SI) in (TD 3) for the A tag placement direction MV 3 at 11 o'clock, which is a direction to the object location OP 3 , which is the object location information OI, may be formed in a predetermined area of the third location marker M 3.
  • the panoramic image server 200 may generate the integrated tag data 750 generated by calculating the position of the object using the average value of the intersection points P 1 , P 2 , and P 3 on the geographic information image. .
  • the location marker M and the integrated tag data UT are generated on the geographic information image in the panoramic image server 200, and the user device 100 receives and displays the geographic information image.
  • the user device 100 may receive the location marker M and the integrated tag data UT, and generate the location marker and the integrated tag data on the geographic information image.
  • the user can select the location where the panoramic image I was photographed from a plurality of users, and the integrated tag data ( It is possible to easily identify the location and direction where the tag information of UT) is placed.
  • FIG. 9 is an exemplary diagram of a user interface in which tag information is displayed based on integrated tag data for an object in the user device of FIG. 2.
  • the user device 100 includes tag information 710,720,730,740,750 of integrated tag data UT for a plurality of objects arranged on a plurality of panoramic images I from the panoramic image server 200. ) Can be displayed.
  • the integrated tag data UT includes the new tag data TD 1 and the previously stored tag data TD S received from the user devices 100 for the same object. OI).
  • the user device 100 When the user of the user device 100 selects the tag information (710, 720, 730, 740, 750) of the integrated tag data (UT) for the object, the user device 100 is assigned a name 751 of the tag information corresponding to the integrated tag data (UT). ) Or area information corresponding to the object location information (OI), object information, and environment information of the object may be displayed, and the tag information (710, 720, 730, 740, 750) of the integrated tag data (UT) is information about the object or close to the object. Panoramic images can be linked and provided to users.
  • the user device 100 may display the tag information 710,720,730,740,750 of the integrated tag data UT in the form of selectable icons, markers, and tags on the panoramic image, and the tag information of the integrated tag data UT is .
  • An outline generated based on the object recognition result of the object location information (OI) and the panoramic image (I) and a 3D modeled 3D object may be displayed to the user.
  • tag information By arranging tag information using the recognized object and object location information (OI) by the user device 100, it is possible to obtain accurate object location information (OI) of the photographed object included in the panoramic image (I).
  • object location information OI object location information of the photographed object included in the panoramic image (I).
  • the arrangement of the tag information 710, 720, 730, 740 and 750 on the panoramic image I based on the object location information OI may be accurately performed.
  • the photographing object associated with the integrated tag data UT is displayed as an outline and provided to the user, the user can more intuitively grasp the photographing object included in the image.
  • the position of the tag information 710,720,730,740,750 for the corresponding object is precisely the panoramic image I ) Can be displayed on.
  • the sizes of the tag information 710, 720, 730, 740, and 750 of the integrated tag data UT on the panoramic image I may be generated to be smaller as the distance from the photographing origin to the object location increases.
  • FIG. 10 is an exemplary diagram showing tag data stored in the panoramic image server of FIG. 3.
  • the panoramic image server 200 may store pre-stored tag data TD S and new tag data TD 1 of a plurality of different objects.
  • the pre-stored tag data TD S including a plurality of tag information 611,621,631,641 and a location information set 615,625,635,645 captured from the photographing origin of the first photographing origin information 616,626,636,646 is shown.
  • new tag data TD 1 including first tag information 611 and including second photographing origin information 616 photographed at a different location from previously stored tag data TD S is shown. .
  • the panoramic image server 200 may generate the integrated tag data 610 by including a plurality of location information sets 615 and 655 photographing an object having the same first tag information 611 at different locations. have.
  • the integrated tag data UT includes tag information on one object disposed on the panoramic image I and a set of two or more location information.
  • the location information set includes photographing origin information (SI), which is a location at which the panoramic image was captured, one object location information (OI) on which the user device 100 is placed on the panoramic image, a set of location information, and a corresponding object. It includes object reference information RI including link information between the captured first panoramic image data ID 1 and pre-stored panoramic image data ID S.
  • SI photographing origin information
  • OI object location information
  • RI object reference information
  • the panoramic image server 200 includes first and second photographing origin information 616 and 656 of the first tag information and first and second object location information of the first tag information 611 ( 617,657) to generate the integrated tag data 610 by calculating the position of the object, and based on the generated integrated tag data 610, the first tag information 611 for the object is the first tag information And displayed on the previously stored panoramic image data TD S and new panoramic image data TD 1 linked to the second object reference information 618 and 658.
  • the panorama is dynamic image server 200, a pre-stored panoramic image (I S), the second through the n tag information on the pre-stored panorama image (I S) based on the location information set (625 635 645) on the ( 621,631,641) can be displayed.
  • the first tag information 611 is a pre-stored panoramic image (I S ) and a first using the photographing origin information (616,656) and object location information (617,657) included in the plurality of location information sets (615,655).
  • the panoramic image (I 1 ) is displayed on the panoramic image (I 1 ), or by using any one of the location information sets (615, 655), which is position information in which the object is placed, by each user device (100). I) can be displayed on the top.
  • the present invention relates to a system and method for producing panoramic image contents, and can be applied to various apparatuses or methods for producing panoramic image contents, and has the possibility of repetition and thus industrial use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 파노라믹 영상 컨텐츠 제작 시스템 및 방법에 관한 것이다. 본 발명의 실시예에 따른 파노라믹 영상 컨텐츠를 제작하기 위한 파노라믹 영상 컨텐츠 제작 시스템은, 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 사용자 디바이스 및 상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받는 데이터 수신 모듈, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하는 태그 검색 모듈, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치결정모듈, 및 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 태그 생성 모듈을 포함하는 파노라믹 영상 서버를 포함한다.

Description

파노라믹 영상 컨텐츠 제작 시스템 및 방법
본 발명은 파노라믹 영상 컨텐츠 제작 시스템 및 방법에 관한 것이다.
VR 디바이스 및 5G 통신 기술이 보급됨에 따라, 관광 및 부동산 등 관련 장소에 대한 가상 컨텐츠를 경험할 수 있는 환경이 제공되고 있다.
일반적으로, 차량 및 별도의 촬영인원이 360도 촬영 영상 장치를 구비하여 지역 영상을 촬영한 후, 별도의 영상 가공과정을 거쳐, 가상 컨텐츠를 제작하는 방법이 보급되어 있다.
하지만, 상기 가상 컨텐츠 제작 방법은 막대한 비용과 시간이 투입될 뿐 만 아니라, 차량이 진입하지 못하는 장소의 데이터를 제공할 수 없으며, 영상 전문 인력이 별도의 영상의 편집을 수행을 통하여 가상 컨텐츠 제작이 가능하다는 점에서 번거로운 문제점이 있다.
이에 본 발명의 실시예에 따른 촬영된 영상 정보 기반으로 사용자가 손쉽게 파노라믹 영상 컨텐츠 제작 시스템 및 방법을 제공하고자 한다.
본 발명의 실시예의 일측면에 따른 파노라믹 영상 컨텐츠 제작 시스템은 파노라믹 영상 컨텐츠를 제작하기 위한 파노라믹 영상 컨텐츠 제작 시스템에 있어서, 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 사용자 디바이스; 상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받는 데이터 수신 모듈, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하는 태그 검색 모듈, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치결정모듈, 및 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 태그 생성 모듈을 포함하는 파노라믹 영상 서버;를 포함한다.
또한, 상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고, 하나의 상기 촬영원점정보에 기반한 촬영원점과 하나의 상기 객체위치정보에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선이 형성되며, 상기 객체 위치결정모듈은, 적어도 하나의 상기 기저장 태그 데이터 및 상기 신규 태그 데이터의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선들 간의 교점들의 평균값으로 상기 객체의 위치를 계산할 수 있다.
또한, 상기 객체 위치결정모듈은 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하고, 상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고, 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 객체 위치결정모듈은, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하고, 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 하나일 경우, 상기 객체 위치결정모듈은, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성할 수 있다.
또한, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 파노라믹 영상 서버가, 복수의 상기 교점들 및 상기 교점들의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 상기 파노라믹 영상 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성할 수 있다.
또한, 상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 상기 교점들의 분산값에 비례할 수 있다.
또한, 상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외될 수 있다.
또한, 상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고, 상기 객체 위치결정모듈은, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 상기 연장선 값들의 평균값을 이용하여 상기 통합 태그 데이터를 생성할 수 있다.
또한, 상기 사용자 디바이스는, 제1 파노라믹 영상을 생성하는 영상 촬영부;상기 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터를 생성하는 촬영 정보 생성부; 상기 사용자 디바이스가 상기 파노라믹 영상 서버로 상기 제1 파노라믹 영상 데이터를 송신하는 통신부; 및 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력받거나, 사용자로부터 상기 신규 태그 데이터의 태그 정보를 직접 입력받는 입력부;를 포함할 수 있다.
또한, 상기 파노라믹 영상 서버는 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터 중 적어도 하나를 고려하여 보상 기준 데이터를 생성하고, 상기 보상 기준 데이터를 기반으로 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터에 대한 촬영 보상을 제공하는 보상 모듈;을 더 포함할 수 있다.
또한, 상기 보상 모듈은, 상기 사용자 디바이스의 위치 정보인 사용자 위치 정보 및 상기 보상 기준 데이터를 기반으로 예상 촬영 보상을 산출하여, 상기 예상 촬영 보상을 상기 사용자 디바이스로 송신하고, 상기 사용자 디바이스는, 상기 사용자 디바이스가 수신 받은 상기 예상 촬영 보상을 표시하는 출력부를 포함할 수 있다.
또한, 상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고, 상기 보상 기준 데이터는, 상기 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터를 기반으로 기 저장된 상기 객체에 대한 촬영 범위 정보, 상기 촬영원점정보에 기반한 상기 촬영원점과 상기 객체위치정보에 기반한 상기 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터 개수, 상기 촬영 정보 및 상기 사용자 디바이스의 사용자 정보 중 적어도 하나의 기준을 포함할 수 있다.
또한, 상기 태그 생성 모듈은 동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 상기 제1 파노라믹 영상 데이터 및 기저장 파노라믹 영상 데이터 상에 상기 통합 태그 데이터를 표시할 수 있다.
또한, 상기 사용자 디바이스는, 상기 제1 파노라믹 영상 데이터의 영상 처리 결과를 기반으로 상기 제1 태그 데이터 세트를 보정하는 위치 보정 모듈;을 더 포함할 수 있다.
본 발명의 실시예의 일측면에 따른 파노라믹 영상 컨텐츠 제작 방법은 파노라믹 영상 데이터 및 태그 데이터를 생성하는 사용자 디바이스 및 상기 사용자 디바이스로부터 상기 파노라믹 영상 데이터 및 상기 태그 데이터를 전달받는 파노라믹 영상 서버를 포함하는 파노라믹 영상 컨텐츠 제작 시스템을 이용한 파노라믹 영상 컨텐츠 제작 방법에 있어서, 사용자 디바이스가 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 파노라믹 영상 생성 단계; 파노라믹 영상 서버가 상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받고, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 상기 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치 계산 단계; 및 상기 파노라믹 영상 서버가 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 파노라믹 영상 표시 단계;를 포함한다.
또한, 상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고, 하나의 상기 촬영원점정보에 기반한 촬영원점과 하나의 상기 객체위치정보에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선이 형성되며, 상기 객체 위치 계산 단계는 상기 파노라믹 영상 서버가, 적어도 하나의 상기 기저장 태그 데이터 및 상기 신규 태그 데이터의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선들 간의 교점의 평균값으로 상기 객체의 위치를 계산할 수 있다.
또한, 상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고, 상기 객체 위치 계산 단계는 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하는 태그 데이터 판별 단계; 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 3차원 태그 좌표 계산 단계; 및 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 하나일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 2차원 태그 좌표 계산 단계;를 포함할 수 있다.
또한, 상기 객체 위치 계산 단계는, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 파노라믹 영상 서버가, 복수의 상기 교점들 및 상기 교점들의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 상기 파노라믹 영상 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성하는 3D 객체 모델링 데이터 생성 단계;를 더 포함할 수 있다.
또한, 상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 상기 교점들의 분산값에 비례할 수 있다.
또한, 상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외될 수 있다.
또한, 상기 객체 위치 계산 단계는, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 상기 연장선 값들의 평균값을 이용하여 상기 통합 태그 데이터를 생성할 수 있다.
또한, 상기 파노라믹 영상 생성 단계는, 상기 사용자 디바이스가 제1 파노라믹 영상을 생성하고, 상기 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터를 생성하는 파노라믹 영상 촬영 단계; 상기 사용자 디바이스가 상기 파노라믹 영상 서버로 상기 제1 파노라믹 영상 데이터를 송신하는 영상 및 촬영 데이터 송신단계; 상기 제1 파노라믹 영상 데이터를 기반으로 상기 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터의 존재 여부를 판단하는 기존 영상 데이터 존재 판단 단계; 상기 제1 파노라믹 영상 데이터를 기반으로 기 설정된 영역 내에 기저장 파노라믹 영상 데이터가 존재할 경우, 상기 사용자 디바이스가 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력하는 태그 정보 입력 판단 단계; 및 상기 제1 파노라믹 영상 데이터를 기반으로 상기 기 설정된 영역 내에 기저장 파노라믹 영상 데이터가 존재하지 않거나, 상기 사용자 디바이스가 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력하지 않을 경우, 사용자로부터 상기 신규 태그 데이터의 태그 정보를 직접 입력받는 최초 태그 데이터 입력 단계;를 포함할 수 있다.
또한, 상기 파노라믹 영상 생성 단계는, 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터 중 적어도 하나를 고려하여 보상 기준 데이터를 생성하고, 상기 보상 기준 데이터를 기반으로 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터에 대한 촬영 보상을 제공하는 촬영 보상 단계;를 포함할 수 있다.
또한, 상기 파노라믹 영상 서버가 상기 사용자 디바이스의 위치 정보인 사용자 위치 정보 및 상기 보상 기준 데이터를 기반으로 예상 촬영 보상을 산출하고, 상기 예상 촬영 보상을 사용자 디바이스로 송신하고, 상기 사용자 디바이스가 수신 받은 상기 예상 촬영 보상을 표시하는 보상 확인 단계;를 더 포함할 수 있다.
또한, 상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고, 상기 보상 기준 데이터는, 상기 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터를 기반으로 기 저장된 상기 객체에 대한 촬영 범위 정보, 상기 촬영원점정보에 기반한 상기 촬영원점과 상기 객체위치정보에 기반한 상기 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터 개수, 상기 촬영 정보 및 상기 사용자 디바이스의 사용자 정보 중 적어도 하나의 기준을 포함할 수 있다.
또한, 상기 파노라믹 영상 표시 단계는 상기 파노라믹 영상 서버가 동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 상기 제1 파노라믹 영상 데이터 및 상기 기저장 파노라믹 영상 데이터 상에 상기 통합 태그 데이터를 표시할 수 있다.
또한, 상기 파노라믹 영상 생성 단계는, 상기 사용자 디바이스가 상기 제1 파노라믹 영상 데이터의 영상 처리 결과를 기반으로 상기 제1 태그 데이터 세트를 보정하는 태그 위치 보정 단계;를 더 포함할 수 있다.
제안되는 실시예에 의하면, 사용자가 촬영한 영상 촬영 정보를 기반으로 파노라믹 영상 컨텐츠를 쉽게 제작할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 파노라믹 영상 컨텐츠 제작 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 도 1의 파노라믹 영상 컨텐츠 제작 시스템의 사용자 디바이스의 구성 개략적으로 도시한 블록도이다.
도 3는 도 1의 파노라믹 영상 컨텐츠 제작 시스템의 파노라믹 영상 서버의 구성 개략적으로 도시한 블록도이다.
도 4는 도 1의 파노라믹 영상 컨텐츠 제작 시스템에 의한 파노라믹 영상 컨텐츠 제작 방법을 도시한 순서도이다.
도 5는 도 4의 파노라믹 영상 컨텐츠 제작 방법 중 파노라믹 영상 생성 단계를 상세하게 보여주는 순서도이다.
도 6는 도 4의 파노라믹 영상 컨텐츠 제작 방법 중 객체 위치 계산 단계를 상세하게 보여주는 순서도이다.
도 7는 도 2의 사용자 디바이스에서 파노라믹 영상 생성 과정을 보여주는 예시적인 도면이다.
도 8는 도 3의 파노라믹 영상 서버의 객체 위치 계산 과정을 보여주는 예시적인 도면이다.
도 9는 도 2의 사용자 디바이스에서 객체에 대한 통합 태그 데이터를 기반으로 태그 정보가 표시되는 사용자 인터페이스의 예시적인 도면이다.
도 10은 도 3의 파노라믹 영상 서버에 저장된 태그 데이터를 보여주는 예시적인 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
한편, 본 발명의 명세서에서 구체적으로 언급되지 않은 본 발명의 기술적 특징에 의해 기대될 수 있는 잠정적인 효과는 본 명세서에 기재된 것과 같이 취급되며, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해 제공된 것인 바, 도면에 도시된 내용은 실제 발명의 구현모습에 비해 과장되어 표현될 수 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성의 상세한 설명은 생략하거나 간략하게 기재한다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다. 또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
본 발명에 있어서 "~상에"라 함은 대상부재의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력방향을 기준으로 상부에 위치하는 것을 의미하는 것은 아니다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 본 명세서에서 "부(部")란 하드웨어에 의해 실현되는 유닛, 소프트웨어에 의해 실현되는 유닛, 또는 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현될 수 있으며, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현될 수 있다.
먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 파노라믹 영상 컨텐츠 제작 시스템(1)은, 사용자 디바이스(100), 파노라믹 영상 서버(200), 네트워크(300)을 포함한다.
사용자 디바이스(100)는 영상을 촬영하여 파노라믹 영상을 생성하는 전자 디바이스일 수 있다. 예를 들어, VR 카메라, 360도 카메라, 전방위 카메라, 복수개의 카메라 등을 이용하여 파노라믹 영상을 생성하는 전자 디바이스일 수 있으며, 복수개의 이미지를 촬영하고, 촬영된 복수개의 이미지를 기반으로 파노라믹 영상을 생성하는 파노라믹 생성 어플리케이션을 포함하는 전자 디바이스일 수 있으며, 촬영 정보를 포함할 수 있는 카메라 기능이 있는 스마트폰, 타블렛 PC, PDA(Personal Digital Assistant), 기타 무선 접속 기능을 갖는 핸드헬드 장치를 포함하는 컴퓨팅 장치 또는 다른 무선 모뎀에 연결된 프로세싱 장치와 같은 위치 정보를 포함할 수 있는 촬영 장치일 수도 있다. 본 발명이 이에 한정되는 것은 아니다.
파노라믹 영상 서버(200)는 사용자 디바이스들(100)로부터 촬영된 파노라믹 영상(I) 및 촬영 정보(ID)를 기반으로 동일한 객체에 대한 통합 태그 데이터(UT)를 생성할 수 있다.
여기서, 파노라믹 영상(I)은 사용자 디바이스(100)로부터 수신된 제1 파노라믹 영상(I1) 및 제1 파노라믹 영상 이전에 촬영되어, 파노라믹 영상 서버(200)에 저장된 기저장 파노라믹 영상(IS)을 포함한다.
또한, 태그 데이터(TD)는 사용자 디바이스(100)가 제1 파노라믹 영상(I1) 상에 배치되는 객체에 대한 신규 태그 데이터(TD1) 및 제1 파노라믹 영상 이전에 촬영되어, 파노라믹 영상 서버(200)에 저장된 기저장 파노라믹 영상 상에 배치되는 객체에 대한 기저장 태그 데이터(TDS)를 포함한다.
또한, 파노라믹 영상 서버(200)는 기저장 태그 데이터(TDS)의 촬영원점정보(SI) 및 객체위치정보(OI)와 동일한 객체에 대한 신규 태그 데이터(TD1)의 촬영원점정보(SI) 및 객체위치정보(OI)를 포함하는 통합 태그 데이터(UT)를 생성할 수 있다.
이 때, 파노라믹 영상 서버(200)가 동일한 객체에 대한 새로운 신규 태그 데이터(TDN)를 수신할 경우, 통합 태그 데이터(UT)는 먼저 저장된 기저장 태그 데이터(TDS)가 될 수 있으며, 새로운 신규 태그 데이터(TDN)의 촬영원점정보(SI) 및 객체위치정보(OI)를 포함하여 통합 태그 데이터(UT)를 갱신할 수 있다.
또한, 파노라믹 영상 서버(200)는 외부 서버로부터 파노라믹 영상(I)의 시간 또는 위치 정보에 따른 날씨 정보 및 특정 상황 정보를 수신받아 저장할 수 있다.
파노라믹 영상 서버(200)는 파노라믹 영상 컨텐츠 제작 서비스 외에도 일반적인 검색 서비스 및 기타 사용자의 편의를 증진시키는 다양한 서비스를 제공할 수도 있다. 즉, 파노라믹 영상 서버(200)는 검색, 이메일, 블로그, 소셜 네트워크 서비스(Social Network Service), 뉴스, 쇼핑 정보 제공과 같은 다양한 서비스들을 제공할 수 있다. 도 1에서는 하나의 서버를 표시되었지만, 접속량 혹은 데이터 양에 따라 복수 개의 서버들이 유무선 통신으로 서로 연결되어 존재할 수 있다.
상기와 같은 파노라믹 영상 컨텐츠 제작 시스템(1)은 사용자 디바이스(100) 및 파노라믹 영상 서버(200)는 네트워크(300)를 매개로 연결될 수 있다.
네트워크(300)는 상호 간에 유무선 통신을 수행할 수 있게 하는 통신 경로일 수 있다. 네트워크(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, 셀룰러 통신망, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 2는 도 1의 파노라믹 영상 컨텐츠 제작 시스템의 사용자 디바이스(100)의 구성 개략적으로 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 사용자 디바이스(100)는 영상 촬영부(110), 입력부(120), 출력부(130), 촬영 정보 생성부(140), 통신부(150) 및 위치 보정 모듈(160)을 포함할 수 있다.
사용자 디바이스(100)는 제1 파노라믹 영상(I1) 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터(ID1) 및 제1 파노라믹 영상(I1) 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터(TD1)를 포함하는 제1 태그 데이터 세트(DS1)를 생성할 수 있다.
또한, 제1 파노라믹 영상(I1)은 사용자 디바이스(100)로부터 촬영된 360도 또는 파노라믹 형태로 구성된 정지 화상 또는 동영상 일 수 있다.
이 때, 촬영 정보는 제1 파노라믹 영상(I1)이 촬영된 위치 정보, 촬영 시간, 촬영된 카메라 정보 등 제1 파노라믹 영상(I1)이 촬영된 촬영 환경에 대한 정보를 포함하거나, 위치 정보 또는 촬영 시간을 기반으로 외부 서버로부터 검색된 날씨 정보 및 특정 상황에 대한 정보에 대한 외부 정보를 포함할 수 있다.
영상 촬영부(110)는 제1 파노라믹 영상(I1)을 생성할 수 있다.
상세하게는, 영상 촬영부(110)는 단일 카메라 모듈 또는 복수의 카메라 모듈일 수 있으며, 다만 이는 예시적인 구성일 뿐, 이미지 또는 동영상을 촬영하기 위한 다양한 전자 디바이스에 포함되는 촬영 모듈일 수 있다.
입력부(120)는 기저장 태그 데이터(TDS)의 태그 정보를 기반으로 신규 태그 데이터(TD1)의 태그 정보를 입력받거나, 사용자로부터 신규 태그 데이터(TD1)의 태그 정보를 직접 입력받을 수 있다.
출력부(130)는 사용자 디바이스(100)가 파노라믹 영상 서버(200)로부터 수신된 데이터 및 사용자 디바이스(100)가 촬영한 제1 파노라믹 영상(I1)을 출력할 수 있다.
또한, 출력부(130)는 파노라믹 영상(I) 상에 배치되는 객체에 대한 태그 정보를 표시할 수 있다.
또한, 출력부(130)는 지리 정보 영상 상에 기저장 파노라믹 영상 데이터(IDS) 및 기저장 파노라믹 영상 데이터(IDS)의 기저장 태그 데이터(TDS) 또는 통합 태그 데이터(UT)를 표시할 수 있다.
이 때, 상기 지리 정보 영상은 예시적으로 지도 및 지형이 표시될 수 있는 2차원 또는 3차원 영상일 수 있다.
보다 상세히, 출력부(130)는 기저장 태그 데이터(TDS)의 촬영원점정보(SI) 및 객체위치정보(OI)를 이용하여 기저장 파노라믹 영상(IS) 상에 배치된 기저장 태그 데이터(TDS)의 배치 방향인, 태그 배치 방향(MV)(도 8참조)을 상기 지리 정보 영상 상에 표시할 수 있다.
출력부(130)가 기저장 파노라믹 영상(IDS)상에 배치된 태그 정보의 배치 방향을 상기 지리 정보 영상 상에 표시함으로써, 사용자는 유리한 촬영 보상(IR) 또는 예상 촬영 보상(PR)을 제공받을 수 있는 위치를 쉽게 파악할 수 있다.
예시적으로, 출력부(130)는 기저장 파노라믹 영상 데이터(IDS)의 촬영된 위치 정보인 위치 마커(M)를 아이콘, 마커 및 태그 형태로 상기 지리 정보 영상 상에 표시한다. 이때, 위치 마커(M)의 소정 영역에 태그 배치 방향(MV)(도 8참조)을 표시할 수 있으며, 태그 배치 방향(MV)은 선분 및 방향을 나타내는 다양한 기호로 표시할 수 있다.
또한, 출력부(130)는 통합 태그 데이터(UT)의 위치 정보 세트들을 기반으로 지리 정보 영상 상에 통합 태그 데이터(UT)의 태그 정보를 표시할 수 있다.
출력부(130)가 지리 정보 영상 상에 통합 태그 데이터(UT)의 태그 정보를 표시함으로써, 사용자는 상기 태그 정보에 해당하는 객체가 촬영된 파노라믹 영상 및 상기 태그 정보에 해당하는 객체의 정보를 파악할 수 있다.
출력부(130)는 사용자 디바이스(100)가 파노라믹 영상 서버(200)로부터 수신 받은 예상 촬영 보상(PR)을 표시할 수 있다.
출력부(130)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 다만 이는 예시적인 구성일 뿐, 다른 방식을 사용하여 이미지를 표시하기 위한 다양한 디스플레이 장치로 구성될 수 있다.
촬영 정보 생성부(140)는 제1 파노라믹 영상(I1) 및 촬영 정보(ID)를 포함하는 제1 파노라믹 영상 데이터(ID1)를 생성할 수 있다.
이 때, 촬영 정보(ID)는 제1 파노라믹 영상(I1)이 촬영된 위치 정보, 촬영 시간, 촬영된 카메라 정보 등 제1 파노라믹 영상(I1)이 촬영된 촬영 환경에 대한 정보를 포함한다.
또한, 촬영 정보(ID)는 외부 서버로부터 위치 정보 또는 시간 정보를 수신하여, 상기 위치 정보 또는 시간 정보에 대한 외부 정보를 포함할 수 있다.
통신부(150)는 사용자 디바이스(100)가 파노라믹 영상 서버(200)로 제1 파노라믹 영상 데이터(ID1)를 송신할 수 있다.
통신부(150)는 네트워크(300)를 통하여 유무선 통신 방식으로 파노라믹 영상 서버(200)들과 통신할 수 있다.
예를 들어, 통신부(150)는 IEEE 802.11, IEEE 702.20, GPRS(General Packet Radio Service), Ev-DO(Evolution Data Optimized), HSPA+(Evolved High Speed Packet Access), HSDPA+(Evolved High Speed Downlink Packet Access), HSUPA+(Evolved High Speed Uplink Packet Access), GSM(Global System for Mobile Communications), EDGE(Enhanced Data rates for GSM Evolution), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), DECT(Digital Enhanced Cordless Telecommunications), LTE(Long Term Evolution), Zigbee, NFC(Near field Communication), RF(Radio Frequency), 블루투스(Bluetooth),이 들의 파생어, 뿐만 아니라 3G, 4G, 5G 및 그 이상으로 지정되는 임의의 기타 무선 프로토콜들(이에 제한되는 것은 아님)을 포함하는 다수의 무선 표준들 또는 프로토콜들 중 임의의 것을 구현할 수 있다.
위치 보정 모듈(160)은 제1 파노라믹 영상 데이터(ID1)의 영상 처리 결과를 기반으로 제1 태그 데이터 세트(DS1)를 보정할 수 있다.
이 때, 위치 보정 모듈(160)은, 제1 파노라믹 영상(I1)의 색깔, 객체 형태의 복잡성 등 객체 인식 방법 중 적어도 하나를 사용하여, 제1 파노라믹 영상(I1) 상에 객체를 알맞게 배치할 수 있도록 유도 또는 보정할 수 있다. 이에 한정하지 않고, 파노라믹 영상(I)에 포함된 객체 인식 방법은, 공지된 객체 인식 방법 중 어느 하나를 사용할 수 있다
예시적으로, 위치 보정 모듈(160)은 제1 파노라믹 영상(I1)의 객체 인식을 수행하고, 제1 파노라믹 영상(I1) 상에 배치된 객체에 해당하는 객체 인식 영역의 무게 중심을 판단하여, 배치된 객체를 보정할 수 있다.
도 3은 도 1의 파노라믹 영상 컨텐츠 제작 시스템의 파노라믹 영상 서버의 구성 개략적으로 도시한 블록도이다.
도 3을 참조하면, 파노라믹 영상 서버(200)는 데이터 수신 모듈(210), 태그 검색 모듈(220), 객체 위치결정모듈(230), 태그 생성 모듈(240), 보상 모듈(250), 3차원 모델링 모듈(260) 및 저장 모듈(270)을 포함한다.
데이터 수신 모듈(210)은, 사용자 디바이스(100)로부터 제1 파노라믹 영상 데이터(ID1) 및 제1 태그 데이터 세트(DS1)를 수신 받을 수 있다.
태그 검색 모듈(220)은, 제1 파노라믹 영상 데이터(ID1)의 촬영 정보를 기반으로 기 설정된 영역(R1) 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터(TDS)를 검색할 수 있다.
이 때, 기 설정된 영역(R1)은 제1 파노라믹 영상 데이터(ID1)에 포함된 촬영 정보를 기반으로 사용자가 미리 설정한 거리에 따른 영역 일 수 있으며, 촬영 정보(ID)에 포함된 같은 별칭(Alias)을 가지는 지점 또는 장소에 대한 소정의 영역일 수 있다.
예를 들어, 기 설정된 영역(R1)은 제1 파노라믹 영상 데이터(ID1)에 포함된 촬영 위치을 기준으로 이격된 반경 거리 또는 같은 별칭을 가지는 행정구역, 랜드마크, 건물명을 기준으로 하는 소정의 영역 등이 될 수 있다.
태그 검색 모듈(220)은, 제1 파노라믹 영상 데이터(ID1)에 포함된 촬영 정보를 기반으로 파노라믹 영상 서버(200)의 저장부에 포함된 기저장 태그 데이터(TDS) 또는 외부 서버로부터 기저장 태그 데이터(TDS)를 검색할 수 있다.
객체 위치결정모듈(230)은 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터(UT)를 생성할 수 있다.
상세히 말하자면, 객체 위치결정모듈(230)은 적어도 하나의 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선들 간의 교점(P)의 평균값으로 상기 객체의 위치를 계산할 수 있다.
이 때, 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)는, 파노라믹 영상(I)이 촬영된 위치에 대한 촬영원점정보(SI) 및 개별 객체에 대한 객체위치정보(OI)를 포함하고, 하나의 상기 촬영원점정보(SI)에 기반한 촬영원점과 하나의 상기 객체위치정보(OI)에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선(V)이 형성될 수 있다.
여기서, 촬영원점정보(SI)는, 예시적으로 위성항법시스템으로부터 제공되는 촬영 위치 정보 또는 이외 사용자 디바이스(100)의 촬영 위치를 측위할 수 있는 다양한 방법에 기반하여 생성될 수 있다.
또한, 객체위치정보(OI)는 예시적으로 요(yaw), 피치(pitch), 롤(roll)값을 기반으로 파노라믹 영상(I) 상의 배치되는 객체에 대한 위치 정보를 생성할 수 있으나, 이에 한정되지 않고 파노라믹 영상(I) 상에 구현되는 다양한 좌표계로 표현될 수 있다.
객체 위치결정모듈(230)은 동일한 상기 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트의 개수를 판별할 수 있다.
이 때, 촬영원점정보(SI) 및 객체위치정보(OI)는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함할 수 있다.
상세히 말하자면, 제1 성분, 제2 성분, 제3 성분은 3개의 축으로 구성된 3차원 직교 좌표계에 해당하는 각각의 파라미터일 수 있다.
객체 위치결정모듈(230)은, 파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 연장선(V)들의 교점들(P)의 평균값을 이용하여 통합 태그 데이터(UT)를 생성할 수 있다.
또한, 객체 위치결정모듈(230)은, 각각의 교점(P)에 가중치 계수(W)를 적용하여, 통합 태그 데이터(UT)를 보정할 수 있다.
가중치 계수(W)는, 각각의 교점(P)을 생성하는 태그 데이터(TD)와 링크된 파노라믹 영상 데이터(ID)의 촬영 정보 및 파노라믹 영상 데이터(ID)를 촬영하는 사용자 디바이스(100)의 사용자 정보 중 적어도 하나를 기반으로 산출될 수 있다.
따라서, 통합 태그 데이터(UT)의 제1 성분(X) 및 제2 성분(Y)은 수학식 1과 같이 표현할 수 있다.
Figure PCTKR2019017776-appb-M000001
상기 촬영 정보 및 상기 사용자 정보 중 적어도 하나를 기반으로 가중치 계수(W)를 적용하여 통합 태그 데이터(UT)를 보정함으로써, 사용자 디바이스(100)의 사용자의 신뢰도, 날씨 정보 및 시간 정보에 따라 부정확할 수 있는 태그 데이터(TD)로부터 계산된 통합 태그 데이터(UT)의 객체의 위치를 보정할 수 있다. 또한, 제3 성분(Z)에 대해서는 도식화하지 않았으나, 객체 위치결정모듈(230)이 통합 태그 데이터의 제3 성분(Z)의 보정을 수행할 경우, 제3 성분(Z)은 제1 성분(X) 및 제2 성분(Y)과 같이 적용되어, 보정된 통합 태그 데이터를 생성할 수 있다.
객체 위치결정모듈(230)은, 파노라믹 영상 서버(200)가 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 하나일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 연장선(V)들의 교점들(P)의 평균값을 이용하여 통합 태그 데이터(UT)를 생성할 수 있다.
또한, 객체 위치결정모듈(230)은 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 연장선(V)들의 교점(P)을 생성하고, 교점(P)과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 연장선(V) 값들의 평균값을 이용하여 통합 태그 데이터(UT)를 생성할 수 있다.
촬영원점정보(SI) 및 객체위치정보(OI)의 제1 성분 및 제2 성분을 기초로 형성되는 연장선(V)을 먼저 형성하여 교점(P)을 생성 후, 제3 성분을 고려함으로써, 동일한 객체에 대한 교점(P)이 필수적으로 생성되어, 동일한 객체에 대한 통합 태그 데이터(UT)의 태그 정보가 복수의 파노라믹 영상(I) 상에 정확히 표시될 수 있다.
또한, 다수의 사용자 디바이스(100)로부터 생성된 기저장 태그 데이터(TDS)가 축적될수록 더 많은 연장선(V) 및 교점(P)이 형성됨으로써, 객체에 대한 태그 정보의 위치가 복수의 파노라믹 영상 상에 정확하게 배치 또는 표시될 수 있는 이점이 있다.
N개의 기저장 태그 데이터(TDS)를 이용할 경우, 생성되는 연장선의 수(n)와, 최대 연장선 교점의 수(P)는 수학식 2과 같이 표현할 수 있다.
Figure PCTKR2019017776-appb-M000002
태그 생성 모듈(240)은 통합 태그 데이터(UT)에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상(I) 상에 표시할 수 있다.
구체적으로, 태그 생성 모듈(240)은 동일한 태그 정보를 포함하는 복수의 객체참조 정보(RI)와 연관된 각각의 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS) 상에 통합 태그 데이터(UT)의 태그 정보를 표시할 수 있다.
객체참조 정보(RI)는 태그 정보와 링크된 파노라믹 영상 데이터(ID)의 저장 위치 또는 파노라믹 영상 데이터(ID)의 파일 정보 등을 포함할 수 있다.
보상 모듈(250)은 제1 파노라믹 영상 데이터(ID1) 및 신규 태그 데이터(TD1)를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터(IDS) 및 기저장 태그 데이터(TDS) 중 적어도 하나를 고려하여 보상 기준 데이터(CD)를 생성하고, 보상 기준 데이터(CD)를 기반으로 제1 파노라믹 영상 데이터(ID1) 및 신규 태그 데이터(TD1)에 대한 촬영 보상(IR)을 사용자 디바이스(100)에 제공할 수 있다.
또한, 보상 모듈(250)은, 사용자 디바이스(100)의 위치 정보인 사용자 위치 정보 및 보상 기준 데이터(CD)를 기반으로 예상 촬영 보상(PR)을 산출하여, 상기 예상 촬영 보상(PR)을 사용자 디바이스(100)로 제공할 수 있다.
상기 사용자 위치 정보는 사용자 디바이스(100)로부터 측정되는 현재 위치 또는 제1 파노라믹 영상(I1)을 촬영하기 위한 위치일 수 있다.
이 때, 보상 기준 데이터(CD)는, 기저장 파노라믹 영상 데이터(IDS) 및 상기 기저장 태그 데이터(TDS)를 기반으로 기 저장된 상기 객체에 대한 촬영 구도 정보, 촬영원점정보(SI)에 기반한 촬영 원점과 객체위치정보(OI)에 기반한 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터(TDS)의 개수, 촬영 정보(ID) 및 사용자 디바이스(100)의 사용자 정보 중 적어도 하나의 기준을 포함할 수 있다.
객체에 대한 촬영 구도 정보는, 사용자 디바이스(100)의 위치 정보 및 제1 파노라믹 영상(I1) 상에 배치되는 객체가 촬영되는 객체의 촬영 범위 정보를 기반으로 생성될 수 있다.
상기 객체의 촬영 범위 정보는 파노라믹 영상(I) 상에 표시되는 객체의 면적 범위 또는 파노라믹 영상(I) 상에 보여지는 객체의 구도 정보일 수 있다.
또한, 객체에 대한 촬영 구도 정보는, 촬영원점정보(SI)에 기반한 촬영 원점과 객체위치정보(OI)에 기반한 객체위치 간의 거리를 반지름으로 하는 화각 영역을 생성하고, 상기 화각 영역과 상기 객체와 중복되는 원주의 비율로 산출할 수 있다.
이 때, 상기 객체위치는 외부 서버로부터 수신된 객체의 GPS 정보 및 통합 태그 데이터(UT)로 생성되는 태그 정보가 배치되는 객체위치정보(OI)일 수 있다.
또한, 보상 모듈(250)은 태그 검색 모듈(220)로부터 검색된 기저장 파노라믹 영상(IS) 상의 동일한 객체에 대한 화각을 비교하여 사용자 디바이스(100)로 촬영 보상(IR) 및 예상 촬영 보상(PR)의 보상 가중치를 부여할 수 있다.
또한, 보상 모듈(250)은 사용자 디바이스(100)의 사용자 정보를 확인하고, 상기 사용자 정보를 기반으로 사용자가 촬영한 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS)와 신규 태그 데이터(TD1) 및 기저장 태그 데이터(TDS)의 품질을 평가하여 사용자 디바이스(100)로 촬영 보상(IR) 및 예상 촬영 보상(PR)의 가중치를 부여할 수 있다.
보상 모듈(250)은 보상 가중치 및 보상 기준 데이터(CD)를 기반으로 블록체인 기반의 가상 화폐 및 포인트를 사용자 디바이스(100)로 제공할 수 있다.
3차원 모델링 모듈(260)은 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 복수의 상기 교점들(P) 및 교점들(P)의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 파노라믹 영상(I) 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성할 수 있다.
이 때, 상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 교점들(P)의 분산값에 비례할 수 있다. 이를 통하여, 객체의 크기를 보다 현실적으로 알맞게 나타낼 수가 있다.
또한, 상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외될 수 있다.
이 때, 기 설정된 거리보다 큰 거리에 위치되는 교점을 제외함으로써, 3차원 모델 데이터 생성 과정에서의 오차를 줄일 수가 있다.
상기 개체평균지점으로부터 기 설정된 거리는, 인식되는 객체의 거리 또는 사용자가 설정한 소정의 거리일 수 있다.
저장 모듈(270)은 기저장 파노라믹 영상 데이터(IDS) 및 기저장 파노라믹 영상 데이터(IDS)에 대한 태그 및 태그 위치 정보인 기저장 태그 데이터(TDS)를 저장할 수 있다.
또한, 저장 모듈(270)은 객체 위치결정모듈(230)이 생성한 통합 태그 데이터(UT)를 저장할 수 있다.
이 때, 파노라믹 영상 서버(200)가 제1 태그 데이터 세트(DS1)가 수신하여, 태그 검색 모듈(220)이 기저장 태그 데이터(TDS)를 검색할 경우, 저장 모듈(270)은, 검색된 결과를 바탕으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 기저장 태그 데이터(TDS)인 통합 태그 데이터(UT)를 객체 위치결정모듈(230)에 전송하고, 객체 위치결정모듈(230)에 전송된 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)를 기반으로 객체의 위치를 계산하여 통합 태그 데이터(UT)를 재생성하여 저장 모듈(270)에 저장할 수 있다.
도 4는 도 1의 파노라믹 영상 컨텐츠 제작 시스템에 의한 파노라믹 영상 컨텐츠 제작 방법을 도시한 순서도이다.
도 4를 참조하면, 파노라믹 영상 컨텐츠 제작 방법은 보상 확인 단계(S100), 파노라믹 영상 생성 단계(S200), 객체 위치 계산 단계(S300), 파노라믹 영상 표시 단계(S400)를 포함한다.
먼저, 파노라믹 영상 서버(200)가 사용자 디바이스(100)의 위치 정보인 사용자 위치 정보 및 보상 기준 데이터(CD)를 기반으로 예상 촬영 보상(PR)을 산출하고, 상기 예상 촬영 보상(PR)을 사용자 디바이스(100)로 송신하고, 사용자 디바이스(100)가 수신 받은 예상 촬영 보상(PR)을 표시하는 보상 확인 단계(S100)가 수행된다.
이 때, 기저장 태그데이터(TDS) 및 신규 태그 데이터(TD1)는, 파노라믹 영상(I)이 촬영된 위치에 대한 촬영원점정보(SI) 및 개별 객체에 대한 객체위치정보(OI)를 포함한다.
또한, 보상 기준 데이터(CD)는 기저장 파노라믹 영상 데이터(IDS) 및 기저장 태그 데이터(TDS)를 기반으로 기 저장된 상기 객체에 대한 촬영 화각 정보, 촬영원점정보(SI)에 기반한 촬영원점과 객체위치정보(OI)에 기반한 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터(TDS) 개수, 촬영 정보(ID) 및 사용자 디바이스(100)의 사용자 정보 중 적어도 하나의 기준을 포함한다.
그 다음, 사용자 디바이스(100)가 제1 파노라믹 영상(I1) 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터(ID1) 및 제1 파노라믹 영상(I1) 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터(TD1)를 포함하는 제1 태그 데이터 세트(DS1)를 생성하는 파노라믹 영상 생성단계(S200)가 수행된다.
파노라믹 영상 생성 단계(S200)는 파노라믹 영상 촬영 단계(S210), 영상 및 촬영 데이터 송신단계(S220), 기존 영상 데이터 존재 판단 단계(S230), 태그 정보 입력 단계(S240), 최초 태그 데이터 입력 단계(S250), 태그 위치 보정 단계(S260), 촬영 보상 단계(S270)를 포함한다.
먼저, 사용자 디바이스(100)가 제1 파노라믹 영상(I1)을 촬영하고, 제1 파노라믹 영상(I1) 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터(ID1)를 생성하는 파노라믹 영상 촬영 단계(S210)가 수행된다.
그 다음, 사용자 디바이스(S100)가 파노라믹 영상 서버(S200)로 제1 파노라믹 영상 데이터(ID1)를 송신하는 영상 및 촬영 데이터 송신단계(S220)가 수행된다.
그 다음, 제1 파노라믹 영상 데이터(ID1)를 기반으로 상기 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터(IDS)의 존재 여부를 판단하는 기존 영상 데이터 존재 판단 단계(S230)가 수행된다.
그 다음, 제1 파노라믹 영상 데이터(ID1)를 기반으로 기 설정된 영역 내에 기저장 파노라믹 영상 데이터(IDS)가 존재할 경우, 사용자 디바이스(100)가 상기 기저장 태그 데이터(TDS)의 태그 정보를 기반으로 신규 태그 데이터(TD1)의 태그 정보를 입력하는 태그 정보 입력 판단 단계(S240)가 수행된다.
제1 파노라믹 영상 데이터(ID1)를 기반으로 상기 기 설정된 영역 내에 기저장 파노라믹 영상 데이터(IDS)가 존재하지 않거나, 사용자 디바이스(100)가 기저장 태그 데이터(TDS)의 태그 정보를 기반으로 신규 태그 데이터(TD1)의 태그 정보를 입력하지 않을 경우, 사용자로부터 신규 태그 데이터(TD1)의 태그 정보를 직접 입력받는 최초 태그 데이터 입력 단계(S250)가 수행된다.
사용자 디바이스(100)가 제1 파노라믹 영상 데이터(ID1)의 영상 처리 결과를 기반으로 제1 태그 데이터 세트(DS1)를 보정하는 태그 위치 보정 단계(S260)가 수행된다.
제1 파노라믹 영상 데이터(ID1) 및 신규 태그 데이터(TD1)를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터(IDS) 및 기저장 태그 데이터(TDS) 중 적어도 하나를 고려하여 보상 기준 데이터(CD)를 생성하고, 보상 기준 데이터(CD)를 기반으로 제1 파노라믹 영상 데이터(ID1) 및 신규 태그 데이터(TD1)에 대한 촬영 보상(IR)을 제공하는 촬영 보상 단계(S270)가 수행된다.
파노라믹 영상 서버(200)가 사용자 디바이스(100)로부터 제1 파노라믹 영상 데이터(ID1) 및 제1 태그 데이터 세트(DS1)를 수신 받고, 제1 파노라믹 영상 데이터(ID1)의 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터(TDS)를 검색하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터(UT)를 생성하는 객체 위치 계산 단계(S300)가 수행된다.
객체 위치 계산 단계(S300)에서, 파노라믹 영상 서버(200)가, 적어도 하나의 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선(V)들 간의 교점의 평균값으로 상기 객체의 위치를 계산할 수 있다.
이 때, 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보(SI) 및 개별 객체에 대한 객체위치정보(OI)를 포함한다. 이 때, 하나의 촬영원점정보(SI)에 기반한 촬영원점과 하나의 객체위치정보(OI)에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선(V)이 형성된다.
객체 위치 계산 단계(S300)에서, 파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 연장선들의 교점(P)을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 연장선 값들의 평균값을 이용하여 통합 태그 데이터(UT)를 생성한다.
객체 위치 계산 단계(S300)는 태그 데이터 판별 단계(S310), 3차원 태그 좌표 계산 단계(S320), 2차원 태그 좌표 계산 단계(S330)를 포함한다.
파노라믹 영상 서버(200)가, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터(TDS)의 위치 정보 세트의 개수를 판별하는 태그 데이터 판별 단계(S310)가 수행된다.
파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 연장선(V)들의 교점(P)들의 평균값을 이용하여 통합 태그 데이터(UT)를 생성하는 3차원 태그 좌표 계산 단계(S320)가 수행된다.
파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 하나일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 연장선(V)들의 교점(P)들의 평균값을 이용하여 통합 태그 데이터(UT)를 생성하는 2차원 태그 좌표 계산 단계(S330)가 수행된다.
파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 파노라믹 영상 서버(200)가, 복수의 교점들(P) 및 교점들(P)의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 파노라믹 영상(I) 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성하는 3D 객체 모델링 데이터 생성 단계(S340)가 수행된다.
이 때, 상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 교점들(P)의 분산값에 비례할 수 있고, 상기 식별영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외될 수 있다.
파노라믹 영상 서버(200)가 통합 태그 데이터(UT)에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터(I) 상에 표시하는 파노라믹 영상 표시 단계(S400)가 수행된다.
파노라믹 영상 표시 단계(S400)에서, 상기 파노라믹 영상 서버가 동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS) 상에 통합 태그 데이터(UT)의 태그 정보를 표시한다.
이 때, 파노라믹 영상 표시 단계(S400)에서, 파노라믹 영상 서버(200)는, 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS) 뿐 만 아니라 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS)으로부터 계산된 통합 태그 데이터(UT)를 기반으로 파노라믹 영상 서버(200)로 수신된 위치 정보를 포함한 복수의 파노라믹 영상 데이터(ID) 상에 통합 태그 데이터(UT)를 표시할 수 있다.
도 7는 도 2의 사용자 디바이스에서 파노라믹 영상 생성 과정을 보여주는 예시적인 도면이다.
도 7을 참조하면, (A)단계에서, 사용자는 사용자 디바이스(100)를 이용하여 제1 파노라믹 영상(605)을 촬영할 수 있다.
이 때, 사용자는 사용자 디바이스(100)의 표시된 인터페이스 상에 포함된 촬영 버튼(400)을 사용하여 제1 파노라믹 영상(605)을 촬영하기 위한 촬영 동작을 수행한다.
사용자 디바이스(100)는 화면 상에 나타나는 단일 영상 뿐만 아니라, 360도 및 파노라믹 영상 생성이 가능한 모든 동작 및 어플리케이션 동작을 수행하여 제1 파노라믹 영상(605)을 촬영할 수 있다.
사용자 디바이스(100)가 제1 파노라믹 영상(605)의 촬영을 수행하고, 사용자 디바이스는 제1 파노라믹 영상(605)이 촬영된 촬영 정보를 생성하고, 생성된 제1 파노라믹 영상(605) 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터(ID1)를 생성한다.
(B)단계에서, 사용자 디바이스(100)는 제1 파노라믹 영상 데이터(ID1)의 제1 파노라믹 영상(605)을 표시하는 출력부(130)를 포함하고, 사용자는 사용자 디바이스(100)의 입력부(120)를 통해 제1 파노라믹 영상(605) 상에 적어도 하나의 객체에 대한 태그 정보(600)를 배치할 수 있다.
사용자가 제1 파노라믹 영상(605) 상에 객체에 대한 태그 정보(600) 배치를 수행하면, 사용자 디바이스(100)는 객체에 대한 신규 태그 데이터(TD1)를 생성한다.
이 때, 신규 태그 데이터(TD1)는 제1 파노라믹 영상(605)의 촬영된 위치에 대한 촬영원점정보(SI) 및 객체에 대한 객체위치정보(OI)를 포함한다.
사용자 디바이스(100)는 사용자로부터 배치되어 생성된 제1 파노라믹 영상 데이터(ID1)의 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터(IDS)를 존재 여부를 판단한다.
기저장 파노라믹 영상 데이터(IDS)가 존재할 경우, 사용자 디바이스(100)가 기저장 파노라믹 영상 데이터(IDS)와 참조된 기저장 태그 데이터(TDS)의 태그 정보를 출력부(130)로 표시할 수 있다.
예시적으로, 기저장 태그 데이터(TDS)에 포함된 태그 정보인 객체의 명칭들이 표시될 수 있으며, 사용자는 사용자 디바이스(100)의 입력부(120)를 이용하여 상기 태그 정보 중 신뢰성이 있는 명칭을 선택할 수 있다.
사용자 디바이스(100)는 복수의 기저장 태그 데이터(TDS)의 태그 정보 중 동일한 객체에 대한 다수의 태그 정보를 우선적으로 표시할 수 있다.
예시적으로, 기저장 태그 데이터들(TDS) 중 태그 정보가 ‘이순신 장군 동상’, ‘이순신 상’, ‘이순신 동상’과 같이 존재하고, 다른 사용자 디바이스(100)들로부터 다수 입력된 태그 정보가 ‘이순신 동상’ 일 경우, ‘이순신 동상’에 대한 태그 정보(601)가 파노라마 영상(I) 상에 우선적으로 표시되어, 사용자 디바이스(100)를 사용하는 사용자로 하여금 신뢰성 있는 명칭을 선택할 수 있도록 할 수 있다.
또한, 제1 파노라믹 영상 데이터(ID1)를 기반으로 상기 기설정된 영역 내에 기저장 파노라믹 영상 데이터(IDS)가 존재하지 않거나, 사용자 디바이스(100)가 기저장 태그 데이터(TDS)의 태그 정보를 기반으로 신규 태그 데이터(TD1)의 태그 정보를 입력하지 않을 경우, 사용자 디바이스(100)는 사용자로부터 신규 태그 데이터(TD1)의 태그 정보를 직접 입력 받을 수 있다.
예시적으로, 사용자 디바이스(100)는 사용자로부터 제1 파노라믹 영상(I1) 상에 객체의 배치를 수행하여, 배치된 객체의 태그 정보를 사용자가 직접 입력하여 기 설정된 영역에서의 최초의 신규 태그 데이터를 생성할 수 있다.
이 후, 사용자 디바이스(100)는 파노라믹 영상 서버(200)로부터 최초의 신규 태그 데이터인 기저장 태그 데이터(TDS)의 태그 정보를 수신받아, 새로운 신규 태그 데이터를 생성할 수 있다.
도 8은 도 3의 파노라믹 영상 서버의 객체 위치 계산 과정을 보여주는 예시적인 도면이다.
도 8을 참조하면, 제1 파노라마 영상 데이터(ID1)의 촬영 정보(ID)를 기반으로 기 설정된 영역(R1) 내에 동일한 객체에 대하여 검색된 기저장 태그 데이터(TD2, TD3)가 검색되고, 제1 파노라믹 영상(I1)과 기저장 파노라믹 영상(IS)인 제2 파노라믹 영상(I2) 및 제3 파노라믹 영상(I3)이 촬영된 위치에 대한 촬영원점정보(SI)에 기반한 촬영원점(SP1, SP2, SP3)과 개별 객체에 대한 객체위치정보(OI)인 객체 위치(OP1, OP2, OP3)를 연결한 연결선으로부터 연장된 3개의 연장선(V1, V2, V3)이 형성된다.
이 때, 복수의 연장선(V1, V2, V3)들 간의 교점(P1, P2, P3)을 생성하고, 생성된 교점(P1, P2, P3)의 평균값으로 객체의 위치를 계산하여 통합 태그 데이터(750)를 생성할 수 있으며, 사용자 디바이스(100)는 파노라믹 영상 서버(200)로부터 계산된 위치 정보 및 태그 정보를 포함하는 통합 태그 데이터(UT)를 수신받아 복수의 파노라믹 영상(I) 상의 객체에 태그 정보를 표시할 수 있다.
또한, 도 8을 참조하면, 파노라믹 영상 서버(200)는 복수의 파노라믹 영상 데이터(ID1, ID2, ID3)가 촬영된 위치 정보를 기반으로 지리 정보 영상 상에 위치 마커(M1, M2, M3)를 생성할 수 있다.
파노라믹 영상 서버(200)는 위치 마커(M1, M2, M3)가 생성된 상기 지리 정보 영상을 사용자 디바이스(100)에 제공하고, 사용자 디바이스(100)의 출력부(130)는 위치 마커(M1, M2, M3)가 표시된 상기 지리 정보 영상을 사용자에게 표시할 수 있다.
또한, 파노라믹 영상 서버(200)는 복수의 파노라믹 영상 데이터(ID1, ID2, ID3)의 태그 데이터(TD1, TD2, TD3)를 기반으로 위치 마커(M1, M2, M3)의 소정 영역에 태그 배치 방향(MV1, MV2, MV3)을 생성할 수 있다.
예시적으로, 제3 파노라믹 영상 데이터(ID3)에 해당하는 제3 마커(M3)에는 제3 태그 데이터(TD3)의 촬영원점정보(SI)에 기반한 촬영원점(SP3)으로부터 객체위치정보(OI)인 객체 위치(OP3)까지의 방향인 11시 방향의 태그 배치 방향(MV3)이 제3 위치 마커(M3)의 소정 영역에 형성될 수 있다.
또한, 파노라믹 영상 서버(200)는 상기 교점(P1, P2, P3)의 평균값으로 객체의 위치를 계산하여 생성된 통합 태그 데이터(750)를 지리 정보 영상 상에 생성할 수 있다.
본 실시예에서는 파노라믹 영상 서버(200)에서 위치 마커(M) 및 통합 태그 데이터(UT)가 지리 정보 영상 상에 생성되고, 사용자 디바이스(100)가 상기 지리 정보 영상을 수신하여 표시하는 구성으로 설명하였으나, 다른 실시예에서는 사용자 디바이스(100)가 위치 마커(M) 및 통합 태그 데이터(UT)를 수신 받고, 지리 정보 영상 상에 위치 마커 및 통합 태그 데이터를 생성할 수 있다.
위치 마커(M) 및 통합 태그 데이터(UT)가 생성된 지리 정보 영상을 출력부(130)에 표시함으로써, 사용자는 다수의 사용자로부터 파노라믹 영상(I)이 촬영된 위치, 통합 태그 데이터(UT)의 태그 정보가 배치된 위치 및 방향을 쉽게 파악할 수 있다.
도 9는 도 2의 사용자 디바이스에서 객체에 대한 통합 태그 데이터를 기반으로 태그 정보가 표시되는 사용자 인터페이스의 예시적인 도면이다.
도 9를 참조하면, 사용자 디바이스(100)는 파노라믹 영상 서버(200)로부터 복수의 파노라믹 영상(I) 상에 배치되는 복수의 객체에 대한 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)를 표시할 수 있다.
통합 태그 데이터(UT)는 사용자 디바이스(100)들로부터 동일한 객체에 대한 수신된 신규 태그 데이터(TD1) 및 기저장 태그 데이터(TDS)에 포함되는 촬영원점정보(SI) 및 객체위치정보(OI)를 기반으로 생성된다.
사용자 디바이스(100)의 사용자가 객체에 대한 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)를 선택할 경우, 사용자 디바이스(100)는 통합 태그 데이터(UT)에 해당하는 태그 정보의 배치된 명칭(751) 또는 객체위치정보(OI)에 해당하는 지역 정보, 객체 정보 및 객체의 환경 정보가 표시될 수 있으며, 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)는 상기 객체에 대한 정보 또는 상기 객체와 근접한 파노라믹 영상이 링크(Link)되어 사용자에게 제공할 수 있다.
사용자 디바이스(100)는, 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)를 선택 가능한 아이콘, 마커 및 태그 형태로 파노라믹 영상 상에 표시할 수 있으며, 통합 태그 데이터(UT)의 태그 정보는, 객체위치정보(OI) 및 파노라믹 영상(I)의 객체 인식된 결과를 기반으로 생성된 아웃라인(Outline) 및 3D 모델링된 삼차원 객체 형태로 사용자에게 표시될 수 있다.
사용자 디바이스(100)가 인식된 객체 및 객체위치정보(OI)를 이용하여 태그 정보를 배치함으로써, 파노라믹 영상(I)에 포함된 촬영 객체의 정확한 객체위치정보(OI)를 얻을 수 있을 뿐만 아니라 객체위치정보(OI)를 기반으로 파노라믹 영상(I) 상의 태그 정보(710,720,730,740,750)의 배치가 정밀하게 수행될 수 있다.
또한, 통합 태그 데이터(UT)와 연관된 촬영 객체가 아웃라인(Outline)으로 표시되어 사용자에게 제공됨으로써, 사용자가 보다 직관적으로 영상에 포함된 촬영 객체를 파악할 수 있다.
통합 태그 데이터(UT)는, 다수의 사용자 디바이스(100)들로부터 동일한 객체에 대한 신규 태그 데이터(TD1)가 축적될수록 해당 객체에 대한 태그 정보(710,720,730,740,750)의 위치가 정확하게 파노라믹 영상(I) 상에 표시될 수 있다.
또한, 파노라믹 영상(I) 상에서의 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)의 크기는 촬영 원점으로부터 객체 위치와의 거리가 멀어질수록 작아지게 생성될 수 있다.
도 10은 도 3의 파노라믹 영상 서버에 저장된 태그 데이터를 보여주는 예시적인 도면이다.
도 10을 참조하면, 파노라믹 영상 서버(200)는 서로 다른 복수의 객체의 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)를 저장할 수 있다.
여기서, 제1 촬영원점정보(616,626,636,646)의 촬영원점에서 촬영된 복수의 태그 정보(611,621,631,641) 및 위치정보세트(615,625,635,645)를 포함하는 기저장 태그 데이터(TDS)가 도시되어 있다.
또한, 제1 태그 정보(611)를 포함하고, 기저장 태그 데이터(TDS)와 서로 다른 위치에서 촬영된 제2 촬영원점정보(616)를 포함하는 신규 태그 데이터(TD1)가 도시되어 있다.
이 때, 파노라믹 영상 서버(200)는 제1 태그 정보(611)가 동일한 객체를 각각 다른 위치에서 촬영한 복수의 위치 정보 세트(615,655)를 포함하여 통합 태그 데이터(610)를 생성할 수 있다.
즉, 통합 태그 데이터(UT)는 파노라믹 영상(I) 상에 배치되는 하나의 객체에 대한 태그 정보 및 둘 이상의 위치 정보 세트를 포함한다.
위치 정보 세트는 파노라믹 영상이 촬영된 위치인 촬영원점정보(SI), 사용자 디바이스(100)가 파노라믹 영상 상에 배치되는 하나의 객체위치정보(OI), 위치 정보 세트 및 해당 객체가 촬영된 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS)과의 링크 정보를 포함하는 객체참조 정보(RI)를 포함한다.
예시적으로, 파노라믹 영상 서버(200)는, 제1 태그 정보의 제1 및 제2 촬영원점정보(616, 656) 및 제1 태그 정보(611)의 제1 및 제2 객체위치정보(617,657)를 기반으로 객체의 위치를 계산하여 통합 태그 데이터(610)를 생성하고, 생성된 통합 태그 데이터(610)를 기반으로 객체에 대한 제1 태그 정보(611)를 제1 태그 정보의 제1 및 제2 객체참조 정보(618,658)와 링크된 기저장 파노라믹 영상 데이터(TDS) 및 신규 파노라믹 영상 데이터(TD1) 상에 표시할 수 있다.
또한, 파노라믹 영상 서버(200)는, 기저장 파노라믹 영상(IS) 상에 위치 정보 세트(625,635,645)를 기반으로 기저장 파노라마 영상(IS) 상의 제2 내지 제n 태그 정보(621,631,641)를 표시할 수 있다.
이 때, 제1 태그 정보(611)는 복수의 위치 정보 세트(615,655)에 포함된 촬영원점정보(616,656) 및 객체위치정보(617,657)를 이용하여 기저장 파노라믹 영상(IS) 및 제1 파노라믹 영상(I1) 상에 표시되거나, 각각의 사용자 디바이스(100)가 객체를 배치한 위치 정보인 위치 정보 세트(615, 655) 중 어느 하나를 이용하여 선택적으로 파노라믹 영상(I) 상에 표시될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
발명의 실시를 위한 형태는 위의 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.
본 발명은 파노라믹 영상 컨텐츠 제작 시스템 및 방법에 관한 것으로, 파노라믹 영상 컨텐츠를 제작하기 위한 다양한 장치 또는 방법에 적용 가능하며, 반복 가능성이 있어 산업상 이용 가능성이 있다.

Claims (26)

  1. 파노라믹 영상 컨텐츠를 제작하기 위한 파노라믹 영상 컨텐츠 제작 시스템에 있어서,
    제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 사용자 디바이스;
    상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받는 데이터 수신 모듈, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하는 태그 검색 모듈, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치결정모듈, 및 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 태그 생성 모듈을 포함하는 파노라믹 영상 서버;를 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  2. 제1 항에 있어서,
    상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고,
    하나의 상기 촬영원점정보에 기반한 촬영원점과 하나의 상기 객체위치정보에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선이 형성되며,
    상기 객체 위치결정모듈은,
    적어도 하나의 상기 기저장 태그 데이터 및 상기 신규 태그 데이터의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선들 간의 교점들의 평균값으로 상기 객체의 위치를 계산하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  3. 제2 항에 있어서,
    상기 객체 위치결정모듈은
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하고,
    상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고,
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 객체 위치결정모듈은, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하고,
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 하나일 경우, 상기 객체 위치결정모듈은, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 파노라믹 영상 컨텐츠 제작 시스템
  4. 제3 항에 있어서,
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 파노라믹 영상 서버가, 복수의 상기 교점들 및 상기 교점들의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 상기 파노라믹 영상 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  5. 제4 항에 있어서,
    상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 상기 교점들의 분산값에 비례하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  6. 제4 항에 있어서,
    상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외되는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  7. 제3 항에 있어서,
    상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고,
    상기 객체 위치결정모듈은,
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 상기 연장선 값들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  8. 제1 항에 있어서,
    상기 사용자 디바이스는,
    제1 파노라믹 영상을 생성하는 영상 촬영부;
    상기 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터를 생성하는 촬영 정보 생성부;
    상기 사용자 디바이스가 상기 파노라믹 영상 서버로 상기 제1 파노라믹 영상 데이터를 송신하는 통신부; 및
    상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력받거나, 사용자로부터 상기 신규 태그 데이터의 태그 정보를 직접 입력받는 입력부;를 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  9. 제1 항에 있어서,
    상기 파노라믹 영상 서버는
    상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터 중 적어도 하나를 고려하여 보상 기준 데이터를 생성하고, 상기 보상 기준 데이터를 기반으로 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터에 대한 촬영 보상을 제공하는 보상 모듈;을 더 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  10. 제9 항에 있어서,
    상기 보상 모듈은,
    상기 사용자 디바이스의 위치 정보인 사용자 위치 정보 및 상기 보상 기준 데이터를 기반으로 예상 촬영 보상을 산출하여, 상기 예상 촬영 보상을 상기 사용자 디바이스로 송신하고,
    상기 사용자 디바이스는,
    상기 사용자 디바이스가 수신 받은 상기 예상 촬영 보상을 표시하는 출력부를 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  11. 제9 항에 있어서,
    상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고,
    상기 보상 기준 데이터는,
    상기 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터를 기반으로 기 저장된 상기 객체에 대한 촬영 범위 정보, 상기 촬영원점정보에 기반한 상기 촬영원점과 상기 객체위치정보에 기반한 상기 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터 개수, 상기 촬영 정보 및 상기 사용자 디바이스의 사용자 정보 중 적어도 하나의 기준을 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  12. 제1 항에 있어서,
    상기 태그 생성 모듈은,
    동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 상기 제1 파노라믹 영상 데이터 및 기저장 파노라믹 영상 데이터 상에 상기 통합 태그 데이터를 표시하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  13. 제1 항에 있어서,
    상기 사용자 디바이스는,
    상기 제1 파노라믹 영상 데이터의 영상 처리 결과를 기반으로 상기 제1 태그 데이터 세트를 보정하는 위치 보정 모듈;을 더 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  14. 파노라믹 영상 데이터 및 태그 데이터를 생성하는 사용자 디바이스 및 상기 사용자 디바이스로부터 상기 파노라믹 영상 데이터 및 상기 태그 데이터를 전달받는 파노라믹 영상 서버를 포함하는 파노라믹 영상 컨텐츠 제작 시스템을 이용한 파노라믹 영상 컨텐츠 제작 방법에 있어서,
    사용자 디바이스가 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 파노라믹 영상 생성 단계;
    파노라믹 영상 서버가 상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받고, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 상기 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치 계산 단계; 및
    상기 파노라믹 영상 서버가 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 파노라믹 영상 표시 단계;를 포함하는 파노라믹 영상 컨텐츠 제작 방법
  15. 제14 항에 있어서,
    상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고,
    하나의 상기 촬영원점정보에 기반한 촬영원점과 하나의 상기 객체위치정보에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선이 형성되며,
    상기 객체 위치 계산 단계는
    상기 파노라믹 영상 서버가, 적어도 하나의 상기 기저장 태그 데이터 및 상기 신규 태그 데이터의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선들 간의 교점의 평균값으로 상기 객체의 위치를 계산하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  16. 제15 항에 있어서,
    상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고,
    상기 객체 위치 계산 단계는,
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하는 태그 데이터 판별 단계;
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 3차원 태그 좌표 계산 단계; 및
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 하나일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 2차원 태그 좌표 계산 단계;를 포함하는 파노라믹 영상 컨텐츠 제작 방법
  17. 제16 항에 있어서,
    상기 객체 위치 계산 단계는,
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 파노라믹 영상 서버가, 복수의 상기 교점들 및 상기 교점들의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 상기 파노라믹 영상 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성하는 3D 객체 모델링 데이터 생성 단계;를 더 포함하는 파노라믹 영상 컨텐츠 제작 방법
  18. 제17 항에 있어서,
    상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 상기 교점들의 분산값에 비례하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  19. 제17 항에 있어서,
    상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외되는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  20. 제16 항에 있어서,
    상기 객체 위치 계산 단계는,
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 상기 연장선 값들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  21. 제14 항에 있어서,
    상기 파노라믹 영상 생성 단계는,
    상기 사용자 디바이스가 제1 파노라믹 영상을 생성하고, 상기 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터를 생성하는 파노라믹 영상 촬영 단계;
    상기 사용자 디바이스가 상기 파노라믹 영상 서버로 상기 제1 파노라믹 영상 데이터를 송신하는 영상 및 촬영 데이터 송신단계;
    상기 제1 파노라믹 영상 데이터를 기반으로 상기 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터의 존재 여부를 판단하는 기존 영상 데이터 존재 판단 단계;
    상기 제1 파노라믹 영상 데이터를 기반으로 기 설정된 영역 내에 기저장 파노라믹 영상 데이터가 존재할 경우, 상기 사용자 디바이스가 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력하는 태그 정보 입력 판단 단계; 및
    상기 제1 파노라믹 영상 데이터를 기반으로 상기 기 설정된 영역 내에 기저장 파노라믹 영상 데이터가 존재하지 않거나, 상기 사용자 디바이스가 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력하지 않을 경우, 사용자로부터 상기 신규 태그 데이터의 태그 정보를 직접 입력받는 최초 태그 데이터 입력 단계;를 포함하는 파노라믹 영상 컨텐츠 제작 방법
  22. 제14 항에 있어서,
    상기 파노라믹 영상 생성 단계는,
    상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터 중 적어도 하나를 고려하여 보상 기준 데이터를 생성하고, 상기 보상 기준 데이터를 기반으로 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터에 대한 촬영 보상을 제공하는 촬영 보상 단계;를 포함하는 파노라믹 영상 컨텐츠 제작 방법
  23. 제22 항에 있어서,
    상기 파노라믹 영상 서버가 상기 사용자 디바이스의 위치 정보인 사용자 위치 정보 및 상기 보상 기준 데이터를 기반으로 예상 촬영 보상을 산출하고, 상기 예상 촬영 보상을 사용자 디바이스로 송신하고, 상기 사용자 디바이스가 수신 받은 상기 예상 촬영 보상을 표시하는 보상 확인 단계;를 더 포함하는 파노라믹 영상 컨텐츠 제작 방법
  24. 제23 항에 있어서,
    상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고,
    상기 보상 기준 데이터는,
    상기 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터를 기반으로 기 저장된 상기 객체에 대한 촬영 범위 정보, 상기 촬영원점정보에 기반한 상기 촬영원점과 상기 객체위치정보에 기반한 상기 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터 개수, 상기 촬영 정보 및 상기 사용자 디바이스의 사용자 정보 중 적어도 하나의 기준을 포함하는 파노라믹 영상 컨텐츠 제작 방법
  25. 제14 항에 있어서,
    상기 파노라믹 영상 표시 단계는
    상기 파노라믹 영상 서버가 동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 상기 제1 파노라믹 영상 데이터 및 기저장 파노라믹 영상 데이터 상에 상기 통합 태그 데이터를 표시하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  26. 제14 항에 있어서,
    상기 파노라믹 영상 생성 단계는,
    상기 사용자 디바이스가 상기 제1 파노라믹 영상 데이터의 영상 처리 결과를 기반으로 상기 제1 태그 데이터 세트를 보정하는 태그 위치 보정 단계;를 더 포함하는 파노라믹 영상 컨텐츠 제작 방법
PCT/KR2019/017776 2019-10-04 2019-12-16 파노라믹 영상 컨텐츠 제작 시스템 및 방법 WO2021066254A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
SG11202008424WA SG11202008424WA (en) 2019-10-04 2019-12-16 System and method for producing panoramic image content
US16/976,531 US11871114B2 (en) 2019-10-04 2019-12-16 System and method for producing panoramic image content

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0123034 2019-10-04
KR20190123034 2019-10-04
KR1020190166683A KR102272757B1 (ko) 2019-10-04 2019-12-13 파노라믹 영상 컨텐츠 제작 시스템 및 방법
KR10-2019-0166683 2019-12-13

Publications (1)

Publication Number Publication Date
WO2021066254A1 true WO2021066254A1 (ko) 2021-04-08

Family

ID=75336586

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/017776 WO2021066254A1 (ko) 2019-10-04 2019-12-16 파노라믹 영상 컨텐츠 제작 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2021066254A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613284B1 (ko) * 2015-10-08 2016-04-18 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법
KR101715828B1 (ko) * 2016-08-24 2017-03-14 주식회사 팝스라인 단말 및 그의 제어 방법
KR101867594B1 (ko) * 2017-01-18 2018-06-15 (주)글루버 다수의 동영상을 이용한 타임랩스 영상 제작 시스템 및 방법
KR101909194B1 (ko) * 2017-09-14 2018-10-18 (주)글루버 위치기반 영상 서비스 제공 방법 및 장치
KR101992477B1 (ko) * 2018-11-08 2019-06-24 넷마블 주식회사 증강 현실 영상 제공 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613284B1 (ko) * 2015-10-08 2016-04-18 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법
KR101715828B1 (ko) * 2016-08-24 2017-03-14 주식회사 팝스라인 단말 및 그의 제어 방법
KR101867594B1 (ko) * 2017-01-18 2018-06-15 (주)글루버 다수의 동영상을 이용한 타임랩스 영상 제작 시스템 및 방법
KR101909194B1 (ko) * 2017-09-14 2018-10-18 (주)글루버 위치기반 영상 서비스 제공 방법 및 장치
KR101992477B1 (ko) * 2018-11-08 2019-06-24 넷마블 주식회사 증강 현실 영상 제공 방법 및 장치

Similar Documents

Publication Publication Date Title
WO2014157886A1 (en) Method and device for executing application
WO2011059243A2 (en) Server, user terminal, and service providing method, and control method thereof
WO2019132518A1 (en) Image acquisition device and method of controlling the same
WO2014003391A1 (en) Method and apparatus for displaying content
WO2011055978A2 (en) User terminal, method for providing position and method for guiding route thereof
WO2016017975A1 (en) Method of modifying image including photographing restricted element, and device and system for performing the method
WO2012044101A2 (ko) 이동통신 단말기, 그를 이용한 안전 서비스 시스템 및 방법
WO2014038916A1 (en) System and method of controlling external apparatus connected with device
WO2020171512A1 (en) Electronic device for recommending composition and operating method thereof
WO2020091262A1 (ko) 인공 신경망을 이용한 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2009099280A2 (en) Input unit and control method thereof
WO2017007166A1 (ko) 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2015057013A1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
WO2019231042A1 (ko) 생체 인증 장치
WO2019135475A1 (en) Electronic apparatus and control method thereof
WO2022025441A1 (ko) 전방위 이미지 촬영 어셈블리 및 이에 의해 수행되는 방법
WO2011087249A2 (ko) 객체 인식시스템 및 이를 이용하는 객체 인식 방법
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2022035180A1 (en) Method and apparatus for augmented reality service in wireless communication system
WO2020171333A1 (ko) 이미지 내의 오브젝트 선택에 대응하는 서비스를 제공하기 위한 전자 장치 및 방법
WO2017014362A1 (ko) 이동 단말기 및 그 제어 방법
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
WO2022124607A1 (en) Depth estimation method, device, electronic equipment and computer readable storage medium
WO2021066254A1 (ko) 파노라믹 영상 컨텐츠 제작 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947450

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19947450

Country of ref document: EP

Kind code of ref document: A1