WO2022177094A1 - 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템 - Google Patents

인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템 Download PDF

Info

Publication number
WO2022177094A1
WO2022177094A1 PCT/KR2021/013715 KR2021013715W WO2022177094A1 WO 2022177094 A1 WO2022177094 A1 WO 2022177094A1 KR 2021013715 W KR2021013715 W KR 2021013715W WO 2022177094 A1 WO2022177094 A1 WO 2022177094A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
video
terminal
user terminal
service providing
Prior art date
Application number
PCT/KR2021/013715
Other languages
English (en)
French (fr)
Inventor
박수빈
Original Assignee
박수빈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박수빈 filed Critical 박수빈
Publication of WO2022177094A1 publication Critical patent/WO2022177094A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Definitions

  • the present invention relates to a system for providing a video sharing service using an AI-based content IP, and a platform that can promote original content and draw interest in the produced video by enabling video shooting while the content IP is output in AR.
  • IP Intellectual property
  • the meaning of IP has expanded in the field of contents industry, and it has come to mean a bundle of related intellectual property rights that enables the expansion of various genres and additional businesses based on contents.
  • OSMU and cross media or trans media focus on the spread of content and media that play a role in distribution and distribution in this spread
  • content IP means paying attention to original content with high expansion potential.
  • Content franchising is the process of deriving various stories from one world and into various media, which means that the story is extended from one medium to another, but also within the media, the story itself is expanded through the way the stories are reused. It also means that in Korea, the Korea Creative Content Agency is leading the IP convergence content cluster creation project.
  • An embodiment of the present invention extracts a part or each component of original content and converts it into a database as a template, concludes an advertisement contract for video production and distribution using content IP from a producer who produced the original content, and individual users
  • This video by providing the infrastructure to create AR-based videos using templates, and furthermore, by providing an online video platform where you can share the created videos, individuals can use their favorite characters, movies, dramas, etc. can be used to create videos, so interesting elements can be added, and producers can obtain indirect advertising effects by making and sharing videos using their own content IP, so it is possible to create a platform where both can coexist. It is possible to provide a method of providing a video sharing service using an artificial intelligence-based content IP that can be provided.
  • the technical task to be achieved by the present embodiment is not limited to the above-described technical task, and other technical tasks may exist.
  • an embodiment of the present invention is a user terminal for producing and uploading a video using a content IP having at least one format including at least one of sound, image, and video and at least one of a part or all of a video frame constituting the original content of the at least one producer's terminal, and at least one of at least one sound and image, a content IP A storage unit that extracts and converts into a database, and a synthesis unit that performs content fusion using at least one artificial intelligence algorithm so that when a content IP is selected in the user terminal, the content IP is synthesized with an object included on the shooting screen of the user terminal , and a sharing service providing server including a sharing unit for uploading and posting a video produced by a user terminal.
  • a part or each component of the original content is extracted and converted into a database as a template, and an advertisement contract for video production and distribution using the content IP from the producer who produced the original content
  • an infrastructure for creating AR-based videos using templates when individual users create videos and furthermore, by providing an online video platform to share the created videos, individuals can Because you can create a video using characters, movies, or dramas, you can add interesting elements, and producers can get indirect advertising effects by making and sharing videos using their own content IPs. It can provide a platform for coexistence, and ultimately contribute to the development of the economy, society, and culture by promoting the creation, protection and utilization of content IP and creating the foundation so that the value of content IP can be maximized. can do.
  • FIG. 1 is a diagram for explaining a video sharing service providing system using an artificial intelligence-based content IP according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a shared service providing server included in the system of FIG. 1 .
  • 3 and 4 are diagrams for explaining an embodiment in which a video sharing service using an artificial intelligence-based content IP according to an embodiment of the present invention is implemented.
  • FIG. 5 is an operation flowchart illustrating a method of providing a video sharing service using an AI-based content IP according to an embodiment of the present invention.
  • a "part” includes a unit realized by hardware, a unit realized by software, and a unit realized using both.
  • one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.
  • ' ⁇ unit' is not limited to software or hardware, and ' ⁇ unit' may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors.
  • ' ⁇ ' denotes components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • components and ' ⁇ units' may be combined into a smaller number of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or secure multimedia card.
  • mapping or matching with the terminal means mapping or matching the terminal's unique number or personal identification information, which is the identification data of the terminal. can be interpreted as
  • a video sharing service providing system 1 using an artificial intelligence-based content IP includes at least one user terminal 100 , a sharing service providing server 300 , at least one production company terminal 400 , at least One manager terminal 500 may be included.
  • the video sharing service providing system 1 using the AI-based content IP of FIG. 1 is only an embodiment of the present invention, the present invention is not limitedly interpreted through FIG. 1 .
  • each component of FIG. 1 is generally connected through a network (Network, 200).
  • Network 200
  • at least one user terminal 100 may be connected to the shared service providing server 300 through the network 200 .
  • the shared service providing server 300 may be connected to at least one user terminal 100 , at least one manufacturer terminal 400 , and at least one manager terminal 500 through the network 200 .
  • the at least one manufacturer's terminal 400 may be connected to the shared service providing server 300 through the network 200 .
  • the at least one manager terminal 500 may be connected to the at least one user terminal 100 , the shared service providing server 300 , and the at least one manufacturer terminal 400 through the network 200 .
  • the network refers to a connection structure in which information exchange is possible between each node, such as a plurality of terminals and servers, and an example of such a network includes a local area network (LAN), a wide area network (WAN: Wide Area Network), the Internet (WWW: World Wide Web), wired and wireless data communication networks, telephone networks, wired and wireless television networks, and the like.
  • LAN local area network
  • WAN Wide Area Network
  • WWW World Wide Web
  • wired and wireless data communication networks telephone networks, wired and wireless television networks, and the like.
  • wireless data communication networks examples include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), 5th Generation Partnership Project (5GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi (Wi-Fi) , Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), RF (Radio Frequency), Bluetooth (Bluetooth) network, NFC ( Near-Field Communication) networks, satellite broadcast networks, analog broadcast networks, Digital Multimedia Broadcasting (DMB) networks, and the like are included, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • 5GPP 5th Generation Partnership Project
  • LTE Long Term Evolution
  • WWX World Interoperability for Microwave Access
  • Wi-Fi Wi-Fi
  • Internet Internet
  • LAN Local Area Network
  • Wireless LAN Wireless Local Area Network
  • WAN Wide Area Network
  • PAN Personal Area Network
  • RF
  • the at least one user terminal 100 may be a terminal such as an individual or a company that wants to produce a video using a video sharing service related web page, an app page, a program, or an application using an AI-based content IP.
  • the user terminal 100 may be a terminal that selects the content IP extracted from the original content of the production company terminal 400 when producing its own video.
  • the original content may be a Pororo Treasure Island adventure (movie)
  • the content IP may be the Pororo character itself.
  • the content IP is a set of related intellectual property rights that enable the expansion of various genres and additional businesses based on content, but in an embodiment of the present invention, sounds, images, characters, It may be audio or video content including people, objects, animals, backgrounds, and the like.
  • the content IP may be AR content, but is not limited thereto.
  • effects such as synthesizing a voice, synthesizing a face, outputting AR content with a subject, applying a filter effect, or changing a background can be obtained.
  • the at least one user terminal 100 may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, navigation, a laptop equipped with a web browser, a desktop, and a laptop.
  • the at least one user terminal 100 may be implemented as a terminal capable of accessing a remote server or terminal through a network.
  • At least one user terminal 100 for example, as a wireless communication device that guarantees portability and mobility, navigation, PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) ) terminal, a smartphone, a smart pad, a tablet PC, etc. may include all kinds of handheld-based wireless communication devices.
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA(W-Code Division Multiple Access) Wideband Internet
  • Wibro Wireless Broadband Internet
  • the sharing service providing server 300 may be a server providing a video sharing service web page, an app page, a program, or an application using an AI-based content IP.
  • the shared service providing server 300 is a server that extracts a content IP from the original content of the at least one production company terminal 400 and makes a contract to produce and distribute a video in the user terminal 100 by synthesizing it.
  • the sharing service providing server 300 is a server that, when producing a video using the content IP in the user terminal 100, makes a URL or hyperlink from which the original content is extracted from the content IP into an icon and publishes it together.
  • the shared service providing server 300 may be a server that allows the user to move to a site where the original content is posted when an icon is selected from the user terminal 100 or another user terminal (not shown), and the user to the site Alternatively, when the number of inflows and views by other users increases, the server may charge an advertisement cost per the number of views to the producer terminal 400 and distribute the advertisement cost to the user terminal 100 .
  • the shared service providing server 300 may be a server that receives a content IP from at least one manager terminal 500 and converts it into a database in order to extract at least one content IP.
  • the shared service providing server 300 may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, navigation, a laptop equipped with a web browser, a desktop, and a laptop.
  • At least one manufacturer's terminal 400 extracts the content IP from the original content using a video sharing service related web page, app page, program or application using an artificial intelligence-based content IP, and uses it in the user terminal 100 It may be a terminal of a production company that allows sharing after producing a video.
  • the production company may be the terminal of the production company or the copyright holder who produced a movie called Pororo's Treasure Island Great Adventure.
  • the manufacturer's terminal 400 when the user terminal 100 or another user terminal (not shown) through the hyperlink icon increases the number of inflows and views to the page on which the original content is posted, the corresponding advertising cost is shared with the service providing server 300 ) may be a terminal that pays an advertisement fee to the user terminal 100 by calculating it.
  • the at least one manufacturer's terminal 400 may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, navigation, a laptop equipped with a web browser, a desktop, and a laptop.
  • the at least one manufacturer's terminal 400 may be implemented as a terminal capable of accessing a remote server or terminal through a network.
  • At least one manufacturer's terminal 400 for example, as a wireless communication device that guarantees portability and mobility, navigation, PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) ) terminal, a smartphone, a smart pad, a tablet PC, etc. may include all kinds of handheld-based wireless communication devices.
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA(W-Code Division Multiple Access) Wideband Internet
  • Wibro Wireless Broadband Internet
  • At least one manager terminal 500 extracts the content IP from the original content using a video sharing service related web page, app page, program or application using an artificial intelligence-based content IP, and selects it in the user terminal 100
  • it may be an administrator's terminal that converts the content IP into a database to the shared service providing server 300 so as to be synthesized by AR, to give an animation effect, to synthesize a voice, or to synthesize a background.
  • the at least one manager terminal 500 may be implemented as a computer that can access a remote server or terminal through a network.
  • the computer may include, for example, navigation, a laptop equipped with a web browser, a desktop, and a laptop.
  • the at least one manager terminal 500 may be implemented as a terminal capable of accessing a remote server or terminal through a network.
  • At least one manager terminal 500 for example, as a wireless communication device that guarantees portability and mobility, navigation, PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) ) terminal, a smartphone, a smart pad, a tablet PC, etc. may include all kinds of handheld-based wireless communication devices.
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA(W-Code Division Multiple Access) Wideband Internet
  • Wibro Wireless Broadband Internet
  • FIG. 2 is a block diagram for explaining a shared service providing server included in the system of FIG. 1, and FIGS. 3 and 4 are a video sharing service using an AI-based content IP according to an embodiment of the present invention. It is a diagram for explaining an embodiment.
  • the shared service providing server 300 includes a contract signing unit 310 , a storage unit 320 , a synthesis unit 330 , a sharing unit 340 , an advertisement unit 350 , and an element extraction unit ( 360), an advertisement management unit 370 and a usage fee management unit 380 may be included.
  • the shared service providing server 300 according to an embodiment of the present invention or another server (not shown) operating in conjunction with at least one user terminal 100 , at least one manufacturer terminal 400 , and at least one manager terminal
  • a video sharing service application, program, app page, web page, etc. using an AI-based content IP to 500
  • the manager terminal 500 may install or open a video sharing service application, a program, an app page, a web page, etc. using an AI-based content IP.
  • the service program may be driven in at least one user terminal 100 , at least one manufacturer terminal 400 , and at least one manager terminal 500 by using a script executed in a web browser.
  • the web browser is a program that enables the use of a web (WWW: World Wide Web) service, and refers to a program that receives and displays hypertext written in HTML (Hyper Text Mark-up Language), for example, Netscape. , Explorer, Chrome, and the like.
  • the application means an application on the terminal, for example, includes an app (App) executed in a mobile terminal (smartphone).
  • the contract making unit 310 may conclude a contract for promoting content IP from at least one production company terminal 400 , for example, an advertisement contract.
  • the production company of the at least one production company terminal 400 may be an individual or company such as a movie company, a broadcasting station, and various agencies.
  • the genre of the content is irrelevant and may be diverse, such as music videos, dramas, movies, and animations.
  • the content produced by the manufacturer's terminal 400 is called original content, and audio, video, VR, and AR content derived therefrom is called content IP.
  • a part or all of the original content, or a component constituting the original content may be a content IP.
  • the character itself, the character's voice, the background, BGM, props, costumes, props, items, etc. may vary, and it is not limited to any one and is not excluded for reasons not listed.
  • the storage unit 320 may extract a part or all of a video frame constituting the original content of the at least one manufacturer's terminal 400 and at least one of at least one sound and image as a content IP to form a database.
  • the video-based content IP among the content IPs may be output based on augmented reality (AR).
  • the content IP may be a template that provides an animation effect on the screen of the user terminal 100 .
  • it may be a background template, an item (person, object, animal, legendary weapon, etc.) template. If the user is a subject (object), the background template may be a template that fills the background except for the subject.
  • the synthesizing unit 330 performs content fusion using at least one artificial intelligence algorithm so that the content IP is synthesized with an object included on the shooting screen of the user terminal 100 .
  • content fusion includes synthesis, but it can be said to be a larger concept than that.
  • the user terminal 100 may create and upload a video using a content IP having at least one format including at least one of sound, image, and video.
  • the synthesizer 330 may recognize at least one part of the human body using at least one artificial intelligence algorithm.
  • a general face recognition method is performed after a face detection process is performed. First, the face is detected by extracting a landmark of the face through the incoming video stream. The image is normalized through the detection points, and the similarity is compared by extracting the feature points. Through this, face recognition is performed in a way that ultimately determines whether or not the same person is present. Therefore, accurate facial feature point detection is important for smooth face recognition.
  • the face detection algorithm can use, for example, a Haar-based Cascade feature detector.
  • the object detector is provided as an extension of OpenCV, an open source library created for the purpose of processing computer vision in real time.
  • OpenCV is useful for face recognition because it not only provides a framework for computer vision, but also supports more than 2500 algorithms and a set of machine learning algorithms.
  • content IP may be synthesized in various parts of the body other than the face, for example, hands, legs, wrists, shoulders, and waist, etc.
  • content IP virtual object, AR content
  • image recognition AI technologies such as facial landmark tracking, hand analysis, body analysis, background separation, and mobile SLAM can be used.
  • Queen Cheol-jong of Queen Cheol-in (drama) was holding a sword, the sword itself could be the content IP, and user A took the weapon (sword) that Cheol-jong was holding in his hand and filmed U-Know Yunho's Thank-U dance cover video.
  • the content IP should always be in the hand of user A, and should be displayed at that location by tracking and analyzing the hand in the actual shot.
  • the hand In order to analyze the hand, it is necessary to detect the 3D skeletal structure of the hand in order to implement augmented reality in which the hand holds and moves a virtual object or attaches the virtual object to the hand. From the point of view of image recognition, the hand is a deformable template, and when viewed as a two-dimensional image, it does not appear to have a fixed shape. Therefore, it is necessary to understand the three-dimensional skeletal structure that contains all the joint information of the hand. To this end, it is necessary to first detect the position of the hand's bounding box shown in the image, detect the two-dimensional skeleton of the hand, and finally estimate the three-dimensional skeleton of the hand.
  • a hand detection method is described. Since there are so many shapes a hand can make, it is impossible to detect all hand shapes. So, you can define hand shapes that can be used in augmented reality and set them to be detected. Hundreds of thousands of labeled hand image DBs can be used for hand detection.
  • the deep learning network for hand detection can use Yolo V3 as a basic network, which is a structure for finding hands of various scales.
  • a two-dimensional hand skeleton needs to be detected, and the two-dimensional hand skeleton can be defined as a plurality of landmarks.
  • a convolutional pose machine can be used as a deep learning network to detect this, and it is not a method of directly regressing the position of a point, but a heat map ( heatmap) method.
  • the test DB for hand skeleton detection can use the Rendered Handpose dataset.
  • a three-dimensional hand skeleton detection method is described.
  • the three-dimensional skeleton of the hand is formed by matching the three-dimensional hand model with the previously detected two-dimensional hand skeleton.
  • the 3D model position in 3D space can be calculated.
  • the vertices of the 3D finger joint model corresponding to the root joints of the wrist, index, middle, ring, and small fingers and the 2D finger joint positions can be used.
  • the 3D finger joint estimation may be performed by estimating a 3D straight line corresponding to each 2D landmark and then moving it to the nearest point on the corresponding straight line. It can also work on smartphones.
  • the content IP is overlaid on his hand when creating the dog snack making UCC, so using the sword of Suratgan to make dog treats. You can create the same video.
  • the sharing unit 340 may upload and publish a video produced by the user terminal 100 .
  • the sharing unit 340 publishes a video uploaded by a user and provides a video platform through which other users can view and reproduce the video.
  • the sharing unit 340 may generate a hyperlink icon to the original content from which the content IP used by the user is extracted.
  • the advertisement unit 350 may insert and publish a hyperlink icon in which the original content of the production company terminal 400 with which the content IP promotion contract has been signed when the video produced by the user terminal 100 is published. For example, suppose that user A selects the dog “Dali” of the movie “Heart” as a content IP, and assume that user A shoots a video "Educate a dog sitting down”. At this time, by reserving a movie called “Heart” or by giving a link that can be viewed on VOD, that is, where original content exists, watching User A’s video, what is “Heart” and “Dali” Another user B, who is curious about who it is, etc., can click on the link and go to a page where he can watch the actual movie "Heart”. As a result, when an embodiment of the present invention is used, it is a two-way advertisement rather than a one-way advertisement.
  • the element extractor 360 may receive a core fun factor among the original content of the manufacturer's terminal 400 from at least one manager terminal 500 and convert the content IP into a database.
  • the core fun factor may include at least one item including an image, video and voice of a character included in the original content, clothes or props, and a background image.
  • a popular section that can become a so-called meme is extracted after verification by the staff of the platform of the present invention, and users can select the items (props), costumes, characters, backgrounds, music, voices, etc. included therein. to make it available.
  • the main character of the TVN drama, Queen Cheolin is Kim So-yong, and after extracting the most important or humorous section among the sections in which Kim So-yong appeared, the user's face is synthesized in the section Or to produce a video by extracting and synthesizing only Kim So-yong's character with AR to give the same effect as shooting with Kim So-yong.
  • the video can be made using the background of Queen Cheolin's Kim So-yong eating at Suratgan, or the costume worn by Kim So-yong at Suratgan is displayed on the user's screen in AR.
  • the user can make it as fun as making a dog snack in Suratgan, which made food for the royal family.
  • the object to be synthesized is not limited to the background, clothes, and the like.
  • the core fun factor may be extracted from the extracted video section using an algorithm for predicting or measuring the highlight section, and output data of the algorithm for predicting or measuring the highlight section may be transmitted to the manager terminal 500 .
  • each employee or manager watches each movie, drama, animation, music video, etc. and extracts an interesting section, an interesting section, or a popular section, and then extracts the video frame of the section as it is as the content IP or the background of the section It can be done manually, such as extracting lights, but with an algorithm that predicts or measures highlight sections, each manager or employee receives a popular section from the algorithm and only needs to play a role in reviewing it, so a two-hour movie can be played. There is no need to watch all of them or watch all the dramas one by one.
  • the method of predicting the popularity section is used. You can measure the popularity section by measuring the time point or section, the number or frequency of comments, etc. In the former case, a machine learning-based model can be used to determine whether a given section is a popular section or not by extracting the thumbnail, clip title, and metadata characteristics extracted from data generated by producers for predicting popular sections. Through this, it is possible to predict the popularity of any clip with thumbnails of popular sections created by creators, titles of the sections, and metadata of video and content creators.
  • the advertisement management unit 370 when the number of views increases due to inflow and reproduction from the video of the user terminal 100 to the original content of the at least one producer terminal 400, the user terminal ( 100) may request payment of advertising fees.
  • the royalty management unit 380 may request payment of the platform usage fee to the at least one producer's terminal 400. have. Alternatively, you can request payment of a usage fee when the number of views increases due to inflow and replay.
  • the shared service providing server 300 concludes a contract to use some of the original content, characters, costumes, backgrounds, BGM, etc. from at least one production company terminal 400 as content IP
  • the shared service providing server 300 may receive a content IP from the manager terminal 500 and convert it into a database into an object that can be synthesized with AR content, background, or BGM.
  • the user makes a video, he wants to give the effect of shooting with the main character of the movie, the moon, so if he selects the dog after selecting the dog, the screen of the user terminal 100 shows the user and the Next to it, the content IP of "Dal" is output and recorded.
  • the sharing service providing server 300 provides a link for viewing or purchasing the original content of the movie called "Heart" together. If the number of inflows and views to the original content page increases through this link, a platform usage fee is requested from the manufacturer's terminal 400, or (b) when the number of inflows and views from other user terminals increases, the user An advertisement fee may be paid to the terminal 100 , and a platform usage fee may be requested to the shared service providing server 300 .
  • the default is to pay an advertisement fee when the number of views of a video uploaded from the user terminal 100 in the sharing service providing server 300 increases, but this is similar to paying an advertisement fee according to the number of views on YouTube Since it is a technology, a detailed description will be omitted.
  • FIG. 5 is a diagram illustrating a process in which data is transmitted/received between components included in the video sharing service providing system using the AI-based content IP of FIG. 1 according to an embodiment of the present invention.
  • an example of a process in which data is transmitted/received between each component will be described with reference to FIG. 5, but the present application is not limited to such an embodiment, and the example shown in FIG. 5 according to the various embodiments described above will be described. It is apparent to those skilled in the art that the data transmission/reception process may be changed.
  • the sharing service providing server concludes a contract for promoting content IP from at least one production company terminal ( S5100 ).
  • the sharing service providing server extracts at least one of a part or all of video frames and at least one sound and image constituting the original content of at least one manufacturer's terminal as a content IP and converts it into a database (S5200).
  • the sharing service providing server when the content IP is selected in the user terminal, performs content fusion using at least one artificial intelligence algorithm so that the content IP is synthesized with the object included on the shooting screen of the user terminal (S5300), Upload and publish the video produced by the user terminal (S5400).
  • the method for providing a video sharing service using the AI-based content IP of FIG. 5 is not described above with respect to the method of providing a video sharing service using the AI-based content IP through FIGS. 1 to 4, and Since it can be easily inferred from the same or described content, the following description will be omitted.
  • the method of providing a video sharing service using an artificial intelligence-based content IP is in the form of a recording medium including instructions executable by a computer, such as an application or program module executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include all computer storage media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the method for providing a video sharing service using an AI-based content IP may include an application basically installed in a terminal (which may include a program included in a platform or operating system basically installed in the terminal) ), and may be executed by an application (ie, a program) installed directly on the master terminal by a user through an application providing server such as an application store server, an application, or a web server related to the corresponding service.
  • an application ie, a program
  • an artificial intelligence-based content IP is implemented as an application (that is, a program) installed by default in a terminal or directly installed by a user and installed in the terminal, etc. may be recorded on a computer-readable recording medium of
  • the present invention extracts a part or each component of original content and converts it into a database as a template, concludes an advertisement contract for video production and distribution using content IP from the producer who produced the original content, and when an individual user creates a video
  • it can contribute to the development of the economy, society and culture by promoting the creation, protection, and utilization of content IP and creating a foundation so that the value of content IP can be maximized, and thus has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템이 제공되며, 소리, 이미지 및 동영상 중 적어도 하나를 포함하는 적어도 하나의 포맷을 가지는 콘텐츠 IP를 이용하여 동영상을 제작하고 업로드하는 사용자 단말 및 적어도 하나의 제작사 단말로부터 콘텐츠 IP를 홍보하는 계약을 체결하는 계약체결부, 적어도 하나의 제작사 단말의 오리지널 콘텐츠를 구성하는 동영상 프레임의 일부 또는 전부, 적어도 하나의 소리 및 이미지 중 적어도 하나를 콘텐츠 IP로 추출하여 데이터베이스화하는 저장부, 사용자 단말에서 콘텐츠 IP를 선택한 경우, 콘텐츠 IP를 사용자 단말의 촬영 화면 상에 포함된 객체와 합성되도록 적어도 하나의 인공지능 알고리즘을 이용하여 콘텐츠 융합을 수행하는 합성부, 사용자 단말에서 제작한 동영상을 업로드 및 게재하는 공유부를 포함하는 공유 서비스 제공 서버를 포함한다.

Description

인공지능 기반 콘텐츠 ＩＰ를 이용한 동영상 공유 서비스 제공 시스템
본 발명은 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템에 관한 것으로, 콘텐츠 IP를 AR로 출력한 상태에서 동영상 촬영이 가능하도록 함으로써 오리지널 콘텐츠의 홍보와 제작된 동영상의 흥미를 이끌어낼 수 있는 플랫폼을 제공한다.
지식재산(IP, Intellectual Property)이란 인간의 창조적 활동 또는 경험 등에 의하여 창출되거나 발견된 지식 등 재산적 가치가 실현될 수 있는 것을 말한다. 이러한 IP는 콘텐츠 산업 분야에서 그 의미가 확장되어, 콘텐츠를 기반으로 한 다양한 장르적 확산과 부가 사업을 가능하게 하는 관련 지식재산권 묶음을 의미하게 되었다. 특히 OSMU와 크로스미디어 혹은 트랜스미디어가 콘텐츠의 경로확산과 이러한 확산에 있어 유통과 배급의 역할을 하는 미디어에 주목하는 용어라면, 콘텐츠 IP는 확장 가능성이 높은 오리지널 콘텐츠에 주목하는 것을 의미한다. 하나의 세계로부터 다양한 이야기를, 다양한 미디어에 도출하는 것을 콘텐츠 프랜차이즈라 하는데, 이야기가 하나의 미디어에서 다른 미디어로 확장된다는 것을 의미하기도 하지만, 미디어 내부에서도 이야기들이 다시 쓰이는 방식을 통해 이야기 자체가 확장되는 것 또한 의미하는데, 국내에서는 한국콘텐츠진흥원 주도로 IP 융복합 콘텐츠 클러스터 조성사업을 진행하고 있다.
이때, VR이나 AR과 같은 실감기술을 바탕으로 IP 콘텐츠를 이용하여 융합 콘텐츠를 제작하는 방법이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국등록특허 제10-1481103호(2015년01월16일 공고) 및 한국공개특허 제2020-0137931호(2020년12월09일 공개)에는, 객체를 촬영한 이미지를 기반으로 원본 콘텐츠를 요청하고, 원본 콘텐츠에 이미지를 융합하여 객체 콘텐츠를 저장하며, 원본 콘텐츠의 이용을 허락받고 객체 콘텐츠를 업로드하는 구성과, 사용자 단말에서 원본 콘텐츠와 참조 콘텐츠를 선택하면, 원본 콘텐츠와 참조 콘텐츠를 융합하여 융합 콘텐츠를 인공지능 기반으로 생성하고, 융합 콘텐츠를 융합 콘텐츠 서비스 페이지 상에 표시하는 구성이 각각 개시되어 있다.
다만, 상술한 구성을 이용한다고 할지라도 전자의 경우에는 개별적으로 콘텐츠 IP의 사용에 대한 이용허락을 구해야 하고, 이용허락을 구했다고 할지라도 저작권의 배포권은 별도로 지정된 권리이기 때문에 공개적으로 업로드할 수도 없다. 후자의 경우에도 단순히 두 개의 콘텐츠를 합성한 것에 불과하므로 사용자가 참여하여 제작하는 콘텐츠라 할 수 없다. 현재의 미디어 이용자들은 단순한 소비자 이상의 존재로 변해가는데, 미디어 이용자들은 변화한 미디어 환경을 배경으로 또 다른 콘텐츠 생산자이면서 동시에 이를 유통하고 배급할 수 있는 위치를 점유하고, 그로 인해 누구든 쉽게 콘텐츠 제작이 가능한 환경에 주목할 필요성이 있다. 또, 오리지널 콘텐츠를 광고하거나 콘텐츠의 스펙트럼을 확장하고자 하는 오리지널 콘텐츠 제작자의 니즈도 고려해야 한다. 이에, 각 개인이 콘텐츠를 제작할 때 오리지널 콘텐츠를 이용하여 동영상을 제작하고 공유할 수 있는 기반을 마련해줄 수 있는 플랫폼의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, 오리지널 콘텐츠의 일부 또는 각 구성요소를 추출하여 템플릿으로 데이터베이스화하고, 오리지널 콘텐츠를 제작한 제작사로부터 콘텐츠 IP를 이용한 동영상 제작 및 배포에 대한 광고 계약을 맺으며, 사용자 개인이 동영상을 제작할 때 템플릿을 이용하여 AR 기반으로 동영상을 제작할 수 있는 인프라를 제공하고, 더 나아가 제작된 동영상을 공유할 수 있는 온라인 동영상 플랫폼을 제공함으로써 개인은 자신이 좋아하는 캐릭터나 영화, 드라마 등을 이용하여 동영상을 제작할 수 있으므로 흥미요소를 추가할 수 있고, 제작사는 각 개인들이 자신의 콘텐츠 IP를 이용하여 동영상을 만들어 공유함으로써 간접적인 광고 효과를 얻을 수 있기 때문에 양자 모두 상생할 수 있는 플랫폼을 제공할 수 있는, 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 소리, 이미지 및 동영상 중 적어도 하나를 포함하는 적어도 하나의 포맷을 가지는 콘텐츠 IP를 이용하여 동영상을 제작하고 업로드하는 사용자 단말 및 적어도 하나의 제작사 단말로부터 콘텐츠 IP를 홍보하는 계약을 체결하는 계약체결부, 적어도 하나의 제작사 단말의 오리지널 콘텐츠를 구성하는 동영상 프레임의 일부 또는 전부, 적어도 하나의 소리 및 이미지 중 적어도 하나를 콘텐츠 IP로 추출하여 데이터베이스화하는 저장부, 사용자 단말에서 콘텐츠 IP를 선택한 경우, 콘텐츠 IP를 사용자 단말의 촬영 화면 상에 포함된 객체와 합성되도록 적어도 하나의 인공지능 알고리즘을 이용하여 콘텐츠 융합을 수행하는 합성부, 사용자 단말에서 제작한 동영상을 업로드 및 게재하는 공유부를 포함하는 공유 서비스 제공 서버를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 오리지널 콘텐츠의 일부 또는 각 구성요소를 추출하여 템플릿으로 데이터베이스화하고, 오리지널 콘텐츠를 제작한 제작사로부터 콘텐츠 IP를 이용한 동영상 제작 및 배포에 대한 광고 계약을 맺으며, 사용자 개인이 동영상을 제작할 때 템플릿을 이용하여 AR 기반으로 동영상을 제작할 수 있는 인프라를 제공하고, 더 나아가 제작된 동영상을 공유할 수 있는 온라인 동영상 플랫폼을 제공함으로써 개인은 자신이 좋아하는 캐릭터나 영화, 드라마 등을 이용하여 동영상을 제작할 수 있으므로 흥미요소를 추가할 수 있고, 제작사는 각 개인들이 자신의 콘텐츠 IP를 이용하여 동영상을 만들어 공유함으로써 간접적인 광고 효과를 얻을 수 있기 때문에 양자 모두 상생할 수 있는 플랫폼을 제공할 수 있고, 궁극적으로 콘텐츠 IP의 창출ㆍ보호 및 활용을 촉진하고 그 기반을 조성하여 콘텐츠 IP의 가치가 최대한 발휘될 수 있도록 함으로써 경제ㆍ사회 및 문화 등의 발전에 이바지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 공유 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 공유 서비스 제공 서버(300), 적어도 하나의 제작사 단말(400), 적어도 하나의 관리자 단말(500)을 포함할 수 있다. 다만, 이러한 도 1의 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 공유 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 공유 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 제작사 단말(400) 및 적어도 하나의 관리자 단말(500)과 연결될 수 있다. 또한, 적어도 하나의 제작사 단말(400)은, 네트워크(200)를 통하여 공유 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 관리자 단말(500)은, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 공유 서비스 제공 서버(300) 및 적어도 하나의 제작사 단말(400)과 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 동영상을 제작하고자 하는 개인이나 기업 등의 단말일 수 있다. 이때, 사용자 단말(100)은 자신의 동영상을 제작할 때 제작사 단말(400)의 오리지널 콘텐츠로부터 추출된 콘텐츠 IP를 선택하는 단말일 수 있다. 예를 들어, 오리지널 콘텐츠는, 뽀로로 보물섬 대모험(영화)일 수 있고, 콘텐츠 IP는 뽀로로 캐릭터 자체일 수 있다. 여기서, 콘텐츠 IP는, 사전적 의미는 콘텐츠를 기반으로 한 다양한 장르적 확산과 부가 사업을 가능하게 하는 관련 지식재산권 묶음이지만, 본 발명의 일 실시에에서는 오리지널 콘텐츠에서 추출된 소리, 이미지, 캐릭터, 사람, 사물, 동물, 배경 등을 포함하는 오디오 또는 비디오 콘텐츠일 수 있다. 콘텐츠 IP는 AR 콘텐츠일 수 있으나 이에 한정되지는 않는다. 예를 들어, 사용자 단말(100)에서 콘텐츠 IP를 선택하는 경우, 목소리를 합성하거나 얼굴을 합성하거나 AR 콘텐츠를 피사체와 함께 출력하거나 필터 효과를 주거나 배경을 바꾸는 등의 효과를 얻을 수 있다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
공유 서비스 제공 서버(300)는, 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 공유 서비스 제공 서버(300)는, 적어도 하나의 제작사 단말(400)의 오리지널 콘텐츠로부터 콘텐츠 IP를 추출하고 이를 합성하여 사용자 단말(100)에서 동영상을 제작 및 배포할 수 있도록 계약을 맺는 서버일 수 있다. 또한, 공유 서비스 제공 서버(300)는, 사용자 단말(100)에서 콘텐츠 IP를 이용하여 동영상을 제작하는 경우, 콘텐츠 IP가 추출된 오리지널 콘텐츠가 게재된 URL이나 하이퍼링크를 아이콘화하여 함께 게재하는 서버일 수 있다. 그리고, 공유 서비스 제공 서버(300)는, 사용자 단말(100) 또는 다른 사용자 단말(미도시)에서 아이콘을 선택하는 경우 오리지널 콘텐츠가 게재된 사이트로 이동할 수 있도록 하는 서버일 수 있고, 해당 사이트로 사용자 또는 다른 사용자가 유입 및 조회수가 증가된 경우에는 조회수 당 광고비를 제작사 단말(400)로 청구하고 광고비를 사용자 단말(100)로 분배하는 서버일 수 있다. 공유 서비스 제공 서버(300)는, 적어도 하나의 콘텐츠 IP를 추출하기 위하여 적어도 하나의 관리자 단말(500)로부터 콘텐츠 IP를 입력받아 데이터베이스화하는 서버일 수 있다.
여기서, 공유 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 제작사 단말(400)은, 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 오리지널 콘텐츠로부터 콘텐츠 IP를 추출하고 이를 이용하여 사용자 단말(100)에서 동영상을 제작한 후 공유하는 것을 허락하는 제작사의 단말일 수 있다. 예를 들어, 상술한 예를 계속 인용하면 제작사는, 뽀로로 극장판 보물섬 대모험이라는 영화를 제작한 제작사나 저작권자의 단말일 수 있다. 제작사 단말(400)은, 하이퍼링크 아이콘을 통하여 사용자 단말(100) 또는 다른 사용자 단말(미도시)이 오리지널 콘텐츠가 게재된 페이지로 유입 및 조회수가 증가한 경우, 이에 따른 광고비를 공유 서비스 제공 서버(300)로 정산하여 사용자 단말(100)로 광고비가 지급되도록 하는 단말일 수 있다.
여기서, 적어도 하나의 제작사 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 제작사 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 제작사 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
적어도 하나의 관리자 단말(500)은, 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 오리지널 콘텐츠로부터 콘텐츠 IP를 추출하고, 사용자 단말(100)에서 이를 선택한 경우 AR로 합성이 되도록 하거나, 애니메이션 효과를 주거나, 목소리를 합성하거나 배경을 합성할 수 있도록 콘텐츠 IP를 공유 서비스 제공 서버(300)로 데이터베이스화하는 관리자의 단말일 수 있다.
여기서, 적어도 하나의 관리자 단말(500)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 관리자 단말(500)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 관리자 단말(500)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 공유 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 공유 서비스 제공 서버(300)는, 계약체결부(310), 저장부(320), 합성부(330), 공유부(340), 광고부(350), 요소추출부(360), 광고관리부(370) 및 사용료 관리부(380)를 포함할 수 있다.
본 발명의 일 실시예에 따른 공유 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 제작사 단말(400) 및 적어도 하나의 관리자 단말(500)로 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 제작사 단말(400) 및 적어도 하나의 관리자 단말(500)은, 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 적어도 하나의 제작사 단말(400) 및 적어도 하나의 관리자 단말(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 계약체결부(310)는, 적어도 하나의 제작사 단말(400)로부터 콘텐츠 IP를 홍보하는 계약, 예를 들어 광고 계약을 체결할 수 있다. 이때, 적어도 하나의 제작사 단말(400)의 제작사는, 영화사, 방송국, 각종 기획사 등의 개인이나 기업 등일 수 있다. 콘텐츠의 장르는 불문하며 뮤직 비디오, 드라마, 영화, 애니메이션 등 다양할 수 있다. 이때, 제작사 단말(400)에서 제작한 콘텐츠를 오리지널 콘텐츠라 명명하고, 이로부터 파생된 오디오, 비디오, VR, AR 콘텐츠를 콘텐츠 IP라 한다. 오리지널 콘텐츠의 일부 또는 전부, 오리지널 콘텐츠를 이루는 구성요소가 콘텐츠 IP일 수 있다. 캐릭터 자체, 캐릭터의 목소리, 배경, BGM, 소품, 의상, 소도구, 아이템 등 다양할 수 있으며 어느 하나에 한정되지 않으며 열거되지 않은 이유로 배제되지 않는다.
저장부(320)는, 적어도 하나의 제작사 단말(400)의 오리지널 콘텐츠를 구성하는 동영상 프레임의 일부 또는 전부, 적어도 하나의 소리 및 이미지 중 적어도 하나를 콘텐츠 IP로 추출하여 데이터베이스화할 수 있다. 이때, 콘텐츠 IP 중 비디오 기반 콘텐츠 IP는 AR(Augmented Reality) 기반으로 출력될 수 있다. 또, 콘텐츠 IP는 사용자 단말(100)의 화면 상 애니메이션 효과를 제공하는 템플릿일 수 있다. 예를 들어, 배경 템플릿, 아이템(사람, 사물, 동물, 전설의 무기 등) 템플릿 등일 수 있다. 배경 템플릿은 사용자가 피사체(객체)라면, 피사체를 제외한 나머지를 배경으로 채우는 템플릿일 수 있다.
합성부(330)는, 사용자 단말(100)에서 콘텐츠 IP를 선택한 경우, 콘텐츠 IP를 사용자 단말(100)의 촬영 화면 상에 포함된 객체와 합성되도록 적어도 하나의 인공지능 알고리즘을 이용하여 콘텐츠 융합을 수행할 수 있다. 이때, 콘텐츠 융합이란 합성을 포함하나 그 보다는 더 큰 개념이라고 할 수 있다. 콘텐츠 IP와 사용자가 촬영한 동영상이 융합된 것이라면 그 어떤 것이든 콘텐츠 융합일 수 있다. 이때, 사용자 단말(100)은, 소리, 이미지 및 동영상 중 적어도 하나를 포함하는 적어도 하나의 포맷을 가지는 콘텐츠 IP를 이용하여 동영상을 제작하고 업로드할 수 있다.
합성부(330)는, 적어도 하나의 인공지능 알고리즘을 이용하여 인체의 적어도 하나의 부위를 인식할 수 있다. 예를 들어, 컴퓨터 비전(Computer Vision)에서 일반적인 얼굴 인식 방법은 얼굴 검출 과정을 거친 후 이루어진다. 먼저 들어오는 영상 스트림을 통해서 얼굴의 검출점(Landmark)를 추출해 얼굴을 검출한다. 검출점을 통해 영상을 정규화하고 특징점을 추출해 유사도 비교를 한다. 이를 통해 최종적으로 동일 인물 유무를 결정하는 방식으로 얼굴 인식을 진행한다. 따라서 얼굴 인식이 원활하게 이루어지기 위해 정확한 얼굴 특징점 검축은 중요하다. 얼굴 검출 알고리즘은 예를 들어, Haar-based Cascade 특징 검출기를 이용할 수 있는데 객체 검출기는 실시간으로 컴퓨터 비전을 처리하는 목적으로 만들어진 오픈소스 라이브러리 OpenCV로 확장돼 제공된다. OpenCV는 단순히 컴퓨터 비전을 위한 프레임 워크를 제공할 뿐만 아니라, 2500여 개가 넘는 알고리즘과 머신러닝 알고리즘 세트까지 지원하기 때문에 얼굴을 인식하는데 유용하다. 물론, 얼굴 이외에도 다양한 부위, 예를 들어, 손이나 다리, 팔목이나 어깨, 또 허리 등 다양한 인체 부위에 콘텐츠 IP를 합성할 수도 있다.
자연스런 증강현실을 위해서는 콘텐츠 IP(가상물체, AR 콘텐츠)를 이질감없이 실제 환경과 합성해야하며, 이를 위해서는 실제 환경에 대한 정밀한 분석이 되어야 한다. 영상인식 인공지능에서는 얼굴 랜드마크 추적, 손 분석, 신체 분석, 배경 분리, 모바일 SLAM 등의 기술을 사용할 수 있다. 이때, 철인왕후(드라마)의 철종이 칼을 들고 있었다면, 칼 자체는 콘텐츠 IP가 될 수 있고, 사용자 A는 철종이 들고 있었던 무기(칼)를 손에 쥐고 유노윤호의 Thank-U 댄스 커버 동영상을 찍고 싶다고 가정하면, 콘텐츠 IP는 항상 사용자 A의 손에 들려있어야 하고, 실제 촬영영상에서 손을 추적하고 분석하여 그 위치에 표시되어야 한다.
손을 분석하기 위해서는 손으로 가상의 물체를 잡고 옮기거나, 손에 가상의 물체를 부착하는 증강현실을 구현하기 위해서는 손의 3차원 골격 구조를 검출해야 한다. 손은 영상인식 관점에서 본다면 Deformable 템플릿으로서 2차원 영상으로 보면 고정된 모양으로 보이지 않는다. 그렇기에 손이 가지고 있는 관절 정보를 모두 가지고 있는 3차원 골격 구조를 파악해야만 한다. 이를 위해서는 먼저 영상에서 보이는 손의 바운딩 박스(Bounding Box) 위치를 검출하고, 손의 2차원 골격을 검출하고, 마지막으로 손의 3차원 골격을 추정해야 한다.
손 검출 방법을 설명한다. 손이 만들 수 있는 모양은 너무 많기 때문에 모든 손 모양을 검출할 수 없다. 그래서 증강현실에서 사용할 만한 손 모양을 정의하여 이들을 검출하도록 설정할 수 있다. 손 검출에는 수십만 장의 레이블링된 손영상 DB가 학습에 사용될 수 있다. 손 검출용 딥러닝 네트워크는 Yolo V3를 기본 네트워크로 사용할 수 있는데 다양한 스케일의 손을 찾기 위한 구조이다. 그 다음 2차원 손 골격을 검출해야 하는데, 2차원 손 골격은 복수의 랜드마크로 정의할 수 있다. 이를 검출하기 위한 딥러닝 네트워크로 컨볼루션 포즈 머신(Convolutional Pose Machine)을 사용할 수 있는데, 점의 위치를 직접 회귀(Regression)하는 방식이 아니라, 각 점의 위치를 영상으로 변형하여 학습하는 히트맵(Heatmap) 방식이다. 이러한 방법을 사용할 경우 실시간으로 동작 가능하며, 양손을 구분하여 인식도 가능하다. 물론 이미 정의된 손 모양 중에서 하나를 보여야 손 검출이 가능하지만, 일단 검출한 이후부터는 다양한 손 모양을 보여도 모두 추적이 가능하다. 손 골격 검출을 위한 테스트 DB는 Rendered Handpose 데이터셋을 사용할 수 있다.
3차원 손 골격 검출 방법을 설명한다. 손의 3차원 골격은 3차원 손 모델을 앞서 검출된 2차원 손 골격과 정합하면서 이루어진다. 2D 손가락 관절 위치와 3D 손가락 관절 모델과, 3D 모델이 2차원으로 사영될 때 적용되는 카메라 매트릭스(Matrix)가 주어지면 3차원 공간상의 3D 모델 위치를 계산할 수 있다. 손가락 관절의 구부리거나 펴는 행위가 모델 전체 위치 추정과 무관하게 만들기 위하여 손목과 검지, 중지, 약지, 소지의 뿌리 관절에 대응하는 3D 손가락 관절 모델의 정점들과 2D 손가락 관절 위치를 사용할 수 있다. 3D 손가락 관절 추정은 각 2D 랜드마크에 대응하는 3차원 직선을 추정한 후 해당 직선 상에서 가장 가까운 점으로 옮기는 방식으로 이루어질 수 있다. 이는 스마트폰에서도 동작이 가능하다.
이러한 3 가지 단계로 손가락의 3 차원 구조가 이미 파악되었기 때문에, 그 위에 AR 콘텐츠, 즉 콘텐츠 IP를 덧씌우는 것이 가능해진다. 상술한 예에서는 사용자 A가 유노윤호의 Thank-U 댄스 커버를 촬영할 때, 쉴 새 없이 움직이는 손을 따라 무기가 항상 사용자 A의 손에 들려있는 효과를 가지는 동영상을 촬영할 수 있게 된다. 또는, 손 위에 tvN 채널의 드라마, 철인왕후의 철종 캐릭터를 올리거나, 철인왕후의 김소용 캐릭터가 썼던, 수랏간에서 쓰는 칼을 사용자 A가 쥐게 하는 효과도 가능하다. 또는, 사용자 B는 철인왕후 김소용이 수랏간에서 썼던 칼을 콘텐츠 IP로 선택하면, 강아지 간식 만들기 UCC를 만들 때 자신의 손에 콘텐츠 IP가 덧입혀지게 되어 수랏간의 칼을 이용하여 강아지의 간식을 만드는 것과 같은 동영상을 제작할 수 있게 된다.
공유부(340)는, 사용자 단말(100)에서 제작한 동영상을 업로드 및 게재할 수 있다. 공유부(340)는, 사용자가 업로드한 동영상을 게재하고 다른 사용자가 이를 조회하고 재생할 수 있는 동영상 플랫폼을 제공하는 것이다. 이때, 공유부(340)는, 사용자가 사용한 콘텐츠 IP가 추출된 오리지널 콘텐츠로의 하이퍼링크 아이콘을 생성할 수 있다.
광고부(350)는, 사용자 단말(100)에서 제작한 동영상을 게재할 때 콘텐츠 IP의 홍보 계약을 맺은 제작사 단말(400)의 오리지널 콘텐츠가 존재하는 하이퍼링크 아이콘을 삽입하여 게재할 수 있다. 예를 들어, 사용자 A가 영화 "마음이"의 강아지 "달이"를 콘텐츠 IP로 선택했다고 가정하고, 사용자 A가 "강아지 앉아 교육하기" 동영상을 촬영한다고 가정하자. 이때, "마음이"라는 영화를 예약하거나, VOD로 볼 수 있는, 즉, 오리지널 콘텐츠가 존재하는 링크를 함께 걸어줌으로써, 사용자 A의 동영상을 보고 "마음이"가 무엇인지, "달이"는 누구인지 등에 대해 궁금증을 가진 다른 사용자 B가 링크를 클릭하여 실제 "마음이"라는 영화를 볼 수 있는 페이지로 이동할 수 있게 된다. 결과적으로 본 발명의 일 실시예를 이용하는 경우, 일방향적인 광고가 아닌 양방향 광고가 되는 셈이다.
요소추출부(360)는, 제작사 단말(400)의 오리지널 콘텐츠 중 핵심 재미요소(Fun Factor)를 적어도 하나의 관리자 단말(500)로부터 입력받아 콘텐츠 IP를 데이터베이스화할 수 있다. 이때, 핵심 재미요소는 오리지널 콘텐츠 내 포함된 캐릭터의 이미지, 동영상 및 목소리, 의상이나 소품을 포함하는 적어도 하나의 아이템 및 배경 영상을 포함할 수 있다. 예를 들어, 소위 밈(Meme)이 될 수 있는 인기 구간을 본 발명의 플랫폼의 직원이 검증한 후 추출하여 사용자들이 여기에 포함된 아이템(소품), 의상, 캐릭터, 배경, 음악, 목소리 등을 이용할 수 있도록 하는 것이다. 예를 들어, tvN에서 방영중인 드라마, 철인왕후의 메인 캐릭터는 김소용인데, 김소용이 출연한 구간 중 가장 중요한 내용이 포함된 구간이나, 가장 유머러스한 구간을 추출한 후, 해당 구간에 사용자의 얼굴을 합성하거나 김소용과 함께 촬영을 하는 것과 같은 효과를 주도록, 김소용 캐릭터만 AR로 추출하여 합성하는 등으로 동영상을 제작하는 것이다. 사용자가 "강아지 간식 만들기"에 관한 동영상을 제작하는 경우, 철인왕후의 김소용이 수랏간에서 음식을 하는 배경을 이용하여 동영상을 제작할 수도 있고, 김소용이 수랏간에서 입었던 의상 그대로 AR로 사용자의 화면에 출력되도록 하여 마치 사용자가, 왕실사람을 위해 음식을 만들었던 수랏간에서, 강아지 간식을 만드는 것과 같은 재미를 주도록 할 수도 있다. 물론, 합성될 대상은 배경, 의상 등에 한정되는 것은 아니다.
핵심 재미요소는, 하이라이트 구간을 예측 또는 측정하는 알고리즘을 이용하여 추출된 동영상 구간으로부터 추출되고, 하이라이트 구간을 예측 또는 측정하는 알고리즘의 출력 데이터는 관리자 단말(500)로 전송될 수 있다. 초기에는 각 직원이나 관리자가 각각의 영화, 드라마, 애니메이션, 뮤직비디오 등을 보고 흥미로운 구간, 재미있는 구간, 인기있는 구간을 추출한 후, 해당 구간의 영상 프레임을 그대로 콘텐츠 IP로 추출하거나, 해당 구간의 배경 등을 추출하는 등 수작업으로 이루어질 수 있지만, 하이라이트 구간을 예측하거나 측정하는 알고리즘을 이용하면, 각 관리자나 직원은 인기있는 구간을 알고리즘으로부터 받고, 이를 검토하는 역할만 수행하면 되기 때문에 2 시간짜리 영화를 모두 봐야하거나 일일이 드라마를 모두 볼 필요가 없게 된다.
이를 위하여, 아직 댓글이나 좋아요 등의 반응 데이터가 없는 경우에는 인기구간을 예측하는 방법을 이용하고, 댓글이나 좋아요 등의 반응 데이터가 있는 경우에는, 댓글이나 좋아요가 발생한 시점이나 구간, 댓글이 언급한 시점이나 구간, 댓글의 수나 빈도 등을 측정함으로써 인기구간을 측정할 수 있다. 전자의 경우, 인기 구간 예측을 위해 제작자가 직접 생성한 데이터에서 추출한 썸네일, 클립 제목, 그리고 메타데이터의 특성을 추출하고 이를 사용해 주어진 구간이 인기 구간인지 아닌지 판단하는 기계학습 기반 모델을 이용할 수 있다. 이를 통해 제작자가 직접 생성하는 인기 구간의 썸네일과 해당 구간의 제목, 비디오와 콘텐츠 제작자의 메타데이터로 임의의 클립에 대한 인기도 예측이 가능하다.
광고관리부(370)는, 사용자 단말(100)의 동영상으로부터 적어도 하나의 제작사 단말(400)의 오리지널 콘텐츠로의 유입 및 재생으로 조회수가 증가하는 경우, 적어도 하나의 제작사 단말(400)로 사용자 단말(100)로의 광고료 지급을 요청할 수 있다.
사용료관리부(380)는, 사용자 단말(100)의 동영상으로부터 적어도 하나의 제작사 단말(400)의 오리지널 콘텐츠로의 유입이 존재하는 경우, 적어도 하나의 제작사 단말(400)로 플랫폼 사용료의 지급을 요청할 수 있다. 또는 유입 및 재생으로 조회수가 증가하는 경우에 사용료 지급을 요청할 수 있다.
이하, 상술한 도 2의 공유 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3을 참조하면, (a) 공유 서비스 제공 서버(300)는 적어도 하나의 제작사 단말(400)로부터 오리지널 콘텐츠 중 일부, 캐릭터, 의상, 배경, BGM 등을 콘텐츠 IP로 이용하도록 하는 계약을 맺고, (b) 공유 서비스 제공 서버(300)는 관리자 단말(500)로부터 콘텐츠 IP를 입력받아 AR 콘텐츠나 배경 또는 BGM 등으로 합성을 할 수 있는 객체로 데이터베이스화할 수 있다. 그리고, (c) 사용자가 동영상을 제작할 때, 영화 마음이의 주인공인 달이와 함께 촬영하는 효과를 주고 싶어서, 강아지를 선택한 후 달이를 선택한 경우, 사용자 단말(100)의 화면에는 사용자와 그 옆에 "달이"라는 콘텐츠 IP가 함께 출력되며 녹화된다.
도 4를 참조하면, (a) 공유 서비스 제공 서버(300)는 사용자 단말(100)이 동영상을 업로드할 때, "마음이"라는 영화의 오리지널 콘텐츠를 볼 수 있는 링크나 구매할 수 있는 링크를 함께 제공할 수 있고, 이 링크를 통하여 오리지널 콘텐츠 페이지로의 유입 및 조회수가 증가하는 경우, 제작사 단말(400)로 플랫폼 사용료를 요청하거나, (b) 다른 사용자 단말의 유입 및 조회수가 증가하는 경우, 사용자 단말(100)로는 광고료를 지급하고, 공유 서비스 제공 서버(300)로는 플랫폼 사용료를 지급하도록 요청할 수 있다. 물론, (c) 공유 서비스 제공 서버(300)에서 사용자 단말(100)에서 업로드한 동영상의 조회수가 증가하는 경우 광고료를 지급하는 것이 디폴트이지만, 이는 유튜브에서 조회수에 따라 광고비를 지급하는 것과 유사하고 공지기술이므로 상세한 설명은 생략한다.
이와 같은 도 2 내지 도 4의 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 도 1의 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 5를 참조하면, 공유 서비스 제공 서버는, 적어도 하나의 제작사 단말로부터 콘텐츠 IP를 홍보하는 계약을 체결한다(S5100).
공유 서비스 제공 서버는, 적어도 하나의 제작사 단말의 오리지널 콘텐츠를 구성하는 동영상 프레임의 일부 또는 전부, 적어도 하나의 소리 및 이미지 중 적어도 하나를 콘텐츠 IP로 추출하여 데이터베이스화한다(S5200).
그리고 공유 서비스 제공 서버는, 사용자 단말에서 콘텐츠 IP를 선택한 경우, 콘텐츠 IP를 사용자 단말의 촬영 화면 상에 포함된 객체와 합성되도록 적어도 하나의 인공지능 알고리즘을 이용하여 콘텐츠 융합을 수행하고(S5300), 사용자 단말에서 제작한 동영상을 업로드 및 게재한다(S5400).
상술한 단계들(S5100~S5400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 5의 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
발명의 실시를 위한 형태는 위의 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.
본 발명은 오리지널 콘텐츠의 일부 또는 각 구성요소를 추출하여 템플릿으로 데이터베이스화하고, 오리지널 콘텐츠를 제작한 제작사로부터 콘텐츠 IP를 이용한 동영상 제작 및 배포에 대한 광고 계약을 맺으며, 사용자 개인이 동영상을 제작할 때 템플릿을 이용하여 AR 기반으로 동영상을 제작할 수 있는 인프라를 제공하고, 더 나아가 제작된 동영상을 공유할 수 있는 온라인 동영상 플랫폼을 제공함으로써 개인은 자신이 좋아하는 캐릭터나 영화, 드라마 등을 이용하여 동영상을 제작할 수 있으므로 흥미요소를 추가할 수 있고, 제작사는 각 개인들이 자신의 콘텐츠 IP를 이용하여 동영상을 만들어 공유함으로써 간접적인 광고 효과를 얻을 수 있기 때문에 양자 모두 상생할 수 있는 플랫폼을 제공할 수 있고, 궁극적으로 콘텐츠 IP의 창출ㆍ보호 및 활용을 촉진하고 그 기반을 조성하여 콘텐츠 IP의 가치가 최대한 발휘될 수 있도록 함으로써 경제ㆍ사회 및 문화 등의 발전에 이바지할 수 있어 산업상 이용가능성이 있다.

Claims (10)

  1. 소리, 이미지 및 동영상 중 적어도 하나를 포함하는 적어도 하나의 포맷을 가지는 콘텐츠 IP를 이용하여 동영상을 제작하고 업로드하는 사용자 단말; 및
    적어도 하나의 제작사 단말로부터 콘텐츠 IP를 홍보하는 계약을 체결하는 계약체결부, 상기 적어도 하나의 제작사 단말의 오리지널 콘텐츠를 구성하는 동영상 프레임의 일부 또는 전부, 적어도 하나의 소리 및 이미지 중 적어도 하나를 콘텐츠 IP로 추출하여 데이터베이스화하는 저장부, 상기 사용자 단말에서 콘텐츠 IP를 선택한 경우, 상기 콘텐츠 IP를 상기 사용자 단말의 촬영 화면 상에 포함된 객체와 합성되도록 적어도 하나의 인공지능 알고리즘을 이용하여 콘텐츠 융합을 수행하는 합성부, 상기 사용자 단말에서 제작한 동영상을 업로드 및 게재하는 공유부를 포함하는 공유 서비스 제공 서버;
    를 포함하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
  2. 제 1 항에 있어서,
    상기 콘텐츠 IP 중 비디오 기반 콘텐츠 IP는 AR(Augmented Reality) 기반으로 출력되는 것을 특징으로 하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
  3. 제 1 항에 있어서,
    상기 합성부는,
    상기 적어도 하나의 인공지능 알고리즘을 이용하여 인체의 적어도 하나의 부위를 인식하는 것을 특징으로 하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
  4. 제 1 항에 있어서,
    상기 콘텐츠 IP는 상기 사용자 단말의 화면 상 애니메이션 효과를 제공하는 템플릿인 것을 특징으로 하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
  5. 제 1 항에 있어서,
    상기 공유 서비스 제공 서버는,
    상기 사용자 단말에서 제작한 동영상을 게재할 때 상기 콘텐츠 IP의 홍보를 위한 광고 계약을 맺은 제작사 단말의 오리지널 콘텐츠가 존재하는 하이퍼링크 아이콘을 삽입하여 게재하는 광고부;
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
  6. 제 1 항에 있어서,
    상기 공유 서비스 제공 서버는,
    상기 제작사 단말의 오리지널 콘텐츠 중 핵심 재미요소(Fun Factor)를 적어도 하나의 관리자 단말로부터 입력받아 상기 콘텐츠 IP를 데이터베이스화하는 요소추출부;
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
  7. 제 6 항에 있어서,
    상기 핵심 재미요소는 상기 오리지널 콘텐츠 내 포함된 캐릭터의 이미지, 동영상 및 목소리, 의상이나 소품을 포함하는 적어도 하나의 아이템 및 배경 영상을 포함하는 것을 특징으로 하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
  8. 제 6 항에 있어서,
    상기 핵심 재미요소는, 하이라이트 구간을 예측 또는 측정하는 알고리즘을 이용하여 추출된 동영상 구간으로부터 추출되고,
    상기 하이라이트 구간을 예측 또는 측정하는 알고리즘의 출력 데이터는 상기 관리자 단말로 전송되는 것을 특징으로 하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
  9. 제 1 항에 있어서,
    상기 공유 서비스 제공 서버는,
    상기 사용자 단말의 동영상으로부터 상기 적어도 하나의 제작사 단말의 오리지널 콘텐츠로의 유입 및 재생으로 조회수가 증가하는 경우, 상기 적어도 하나의 제작사 단말로 상기 사용자 단말로의 광고료 지급을 요청하는 광고관리부;
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
  10. 제 1 항에 있어서,
    상기 공유 서비스 제공 서버는,
    상기 사용자 단말의 동영상으로부터 상기 적어도 하나의 제작사 단말의 오리지널 콘텐츠로의 유입 및 재생으로 조회수가 증가하는 경우, 상기 적어도 하나의 제작사 단말로 플랫폼 사용료의 지급을 요청하는 사용료관리부;
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 콘텐츠 IP를 이용한 동영상 공유 서비스 제공 시스템.
PCT/KR2021/013715 2021-02-17 2021-10-06 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템 WO2022177094A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0021250 2021-02-17
KR1020210021250A KR102298121B1 (ko) 2021-02-17 2021-02-17 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템

Publications (1)

Publication Number Publication Date
WO2022177094A1 true WO2022177094A1 (ko) 2022-08-25

Family

ID=77784905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013715 WO2022177094A1 (ko) 2021-02-17 2021-10-06 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템

Country Status (2)

Country Link
KR (1) KR102298121B1 (ko)
WO (1) WO2022177094A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102298121B1 (ko) * 2021-02-17 2021-09-03 박수빈 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057942A (ko) * 2010-11-29 2012-06-07 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
KR102138132B1 (ko) * 2019-05-29 2020-07-27 김지혜 언어학습을 위한 애니메이션 더빙 서비스 제공 시스템
KR20200092502A (ko) * 2019-01-11 2020-08-04 서울과학기술대학교 산학협력단 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치 및 방법
KR20200132445A (ko) * 2019-05-17 2020-11-25 정청수 증강현실 및 실시간 방송기술 기반 이벤트 프로모션을 이용한 증강현실 광고 서비스 제공 시스템
KR102192412B1 (ko) * 2019-06-25 2020-12-16 주식회사 소울엑스 3d 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치
KR102298121B1 (ko) * 2021-02-17 2021-09-03 박수빈 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057942A (ko) * 2010-11-29 2012-06-07 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
KR20200092502A (ko) * 2019-01-11 2020-08-04 서울과학기술대학교 산학협력단 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치 및 방법
KR20200132445A (ko) * 2019-05-17 2020-11-25 정청수 증강현실 및 실시간 방송기술 기반 이벤트 프로모션을 이용한 증강현실 광고 서비스 제공 시스템
KR102138132B1 (ko) * 2019-05-29 2020-07-27 김지혜 언어학습을 위한 애니메이션 더빙 서비스 제공 시스템
KR102192412B1 (ko) * 2019-06-25 2020-12-16 주식회사 소울엑스 3d 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치
KR102298121B1 (ko) * 2021-02-17 2021-09-03 박수빈 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템

Also Published As

Publication number Publication date
KR102298121B1 (ko) 2021-09-03

Similar Documents

Publication Publication Date Title
CN112565825B (zh) 一种视频数据处理方法、装置、设备以及介质
AU2022203001B2 (en) System of Automated Script Generation with Integrated Video Production
US8965271B1 (en) Method and mechanism for coordinated capture and organization of multimedia data
Yang Mobile applications and 4G wireless networks: a framework for analysis
JP2020528705A (ja) 認知的洞察を使用したビデオ・シーンの移動
Dimoulas et al. Application of mobile cloud-based technologies in news reporting: Current trends and future perspectives
CN103765417B (zh) 视频内容注释和/或推荐的方法和设备
CN110809175A (zh) 视频推荐方法及装置
CN110247948A (zh) 关于嵌入式媒体提供补充内容
KR101138020B1 (ko) 가상 세계 기반에서의 가상 객체 식별 체계 지원 방법 및 이를 지원하는 시스템
KR20220095591A (ko) 개인미디어 크리에이터를 위한 클라우드 기반 스튜디오 플랫폼 제공 시스템
WO2022177094A1 (ko) 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템
Park Success Factor Analysis of New Korean Wave ‘K-POP’and A study on the importance of Smart Media to sustain Korean Wave.
KR101221540B1 (ko) 인터랙티브 미디어 매핑 시스템 및 그 방법
Li et al. An empirical evaluation of labelling method in augmented reality
Demiris et al. intGuide: A platform for context-aware services featuring augmented-reality, based on the outcome of European Research Projects
KR102280539B1 (ko) 파노라마 ｖｒ 기반 포털 서비스 제공 시스템
Periola Stratospheric platform applications: reduced cognitive load for multimedia and education
US11039046B2 (en) System of automated script generation with integrated video production
Steinert et al. Towards the Integration of Metaverse and Multimedia Information Retrieval
Duan et al. The Push by 5G
WO2021235629A1 (ko) 적응형 아이템 소비 플랫폼, 그 시스템 및 운영 방법
KR102361883B1 (ko) 온라인 플랫폼에서 사용자 맞춤형 캐릭터 상품을 제공하는 방법 및 그 서버
KR102642383B1 (ko) 엔터테인먼트 일자리 지원 시스템
Nagashima Construction of Multi-purpose Japanese Sign Language Database

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21926892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21926892

Country of ref document: EP

Kind code of ref document: A1