WO2022050632A1 - Multimedia automatic generation system for automatically generating multimedia appropriate for user voice data by using artificial intelligence - Google Patents

Multimedia automatic generation system for automatically generating multimedia appropriate for user voice data by using artificial intelligence Download PDF

Info

Publication number
WO2022050632A1
WO2022050632A1 PCT/KR2021/011413 KR2021011413W WO2022050632A1 WO 2022050632 A1 WO2022050632 A1 WO 2022050632A1 KR 2021011413 W KR2021011413 W KR 2021011413W WO 2022050632 A1 WO2022050632 A1 WO 2022050632A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
video data
data
music
video
Prior art date
Application number
PCT/KR2021/011413
Other languages
French (fr)
Korean (ko)
Inventor
이수민
Original Assignee
주식회사 웨인힐스벤처스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨인힐스벤처스 filed Critical 주식회사 웨인힐스벤처스
Publication of WO2022050632A1 publication Critical patent/WO2022050632A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting

Definitions

  • the present invention relates to an automatic multimedia generation system for automatically generating multimedia suitable for a user's voice data using artificial intelligence, and more particularly, to convert a user's voice into text, and to It relates to an automatic multimedia generation system that automatically generates related multimedia and automatically distributes the generated multimedia through a media platform.
  • the technical task to be achieved by the automatic multimedia generation system is to convert the user's voice into text using artificial intelligence, automatically generate multimedia related to the content of the converted text, and generate the generated multimedia. It is to provide a multimedia automatic creation system that is automatically distributed through a media platform.
  • an automatic multimedia generation system includes: a voice input unit connected to a user terminal through a network and receiving user voice data from the user terminal; a text converter for converting voice data into text data; a video search unit for searching unit video data corresponding to text data; and a video generation unit for producing customized video data by combining unit video data.
  • the text conversion unit may extract a keyword from sentences included in the text data to generate a summary sentence including one or more keywords.
  • the automatic multimedia generation system may further include a moving picture database in which unit moving picture data is stored, and the moving picture search unit may search the moving picture database for a plurality of unit moving picture data corresponding to keywords included in one summary sentence.
  • the automatic multimedia generation system may further include a feedback collecting unit that evaluates whether the searched unit video data matches a keyword of a summary sentence based on a search by a score from the user terminal.
  • the feedback collecting unit receives a suitability score from the user terminals in relation to suitability between the summary sentence and the corresponding customized video data, and applies the transmitted suitability score to the keyword included in the summary sentence and the customized video data.
  • scores transmitted from other user terminals are accumulated in the suitability score
  • the reciprocal of the accumulated suitability score is calculated between the keyword and the unit video data It can be set to the suitability distance of , and virtually arranged so that keywords fall apart by the suitability distance centering on each unit of video data, and stored in the video database.
  • the video search unit may search unit video data having a search radius including all keywords included in the summary sentence, but may select unit video data having the smallest search radius.
  • the multimedia automatic creation system includes: a music database in which music data is stored; and a music search unit for searching music data corresponding to the customized video data, wherein the music search unit may search a music database for a plurality of pieces of music data corresponding to one piece of customized video data.
  • the feedback collecting unit receives scores from user terminals in relation to suitability between the customized video data and the corresponding music data, and calculates the transmitted scores between the unit video data included in the customized video data and the music data. assigning a suitability score, accumulating scores transmitted from other user terminals to the suitability score, setting the reciprocal of the accumulated suitability score as a suitability distance between the unit video data and the music data, and each music data It can be stored in the music database by virtually arranging the unit video data so that the unit video data is separated by the fit distance from the center.
  • the music search unit searches for music data having a search radius including all unit video data included in the customized video data, but may select music data having the smallest search radius.
  • the automatic multimedia generation system may further include a subtitle generator for adding summary sentences corresponding to the customized video data as subtitles.
  • the multimedia automatic generation system converts a user's voice into text using artificial intelligence, automatically generates multimedia related to the content of the converted text, and generates the generated multimedia. It provides an automatic multimedia creation system that is automatically distributed through a media platform.
  • FIG. 1 is a schematic diagram of a system for automatically generating multimedia according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an automatic multimedia generation system according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating a process of generating customized video data by an automatic multimedia generation system according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example in which the automatic multimedia generation system selects optimal unit video data according to an embodiment of the present invention.
  • a component when referred to as “connected” or “connected” with another component, the component may be directly connected or directly connected to the other component, but in particular It should be understood that, unless there is a description to the contrary, it may be connected or connected through another element in the middle.
  • two or more components may be combined into one component, or one component may be divided into two or more for each more subdivided function.
  • each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions they are responsible for, and some of the main functions of each component may have different functions. It goes without saying that it may be performed exclusively by the component.
  • 1 is a schematic diagram of a system for automatically generating multimedia according to an embodiment of the present invention.
  • 2 is a flowchart illustrating an automatic multimedia generation system according to an embodiment of the present invention.
  • 3 is a diagram schematically illustrating a process of generating customized video data by an automatic multimedia generation system according to an embodiment of the present invention.
  • 4 is a diagram illustrating an example in which the automatic multimedia generation system selects optimal unit video data according to an embodiment of the present invention.
  • the multimedia automatic generation system 100 may be connected to the user's terminal 10 and the network 50 through a voice input unit 110, a text conversion unit 120, a video search unit ( 130 ), a video generator 140 , a video database 150 , a feedback collector 160 , a music database 170 , a music searcher 180 , and a subtitle generator 190 .
  • a user may access the automatic multimedia generation system 100 using the user terminal 10 to send and receive signals to and from the automatic multimedia generation system 100 . It is preferable that an application connectable to the automatic multimedia generation system 100 is installed and driven in the terminal 10 .
  • the terminal 10 may be implemented as a computer capable of accessing a remote server or terminal through the network 50 .
  • the computer may include, for example, a laptop equipped with a web browser, a desktop, and a laptop.
  • the terminal may be implemented as a terminal device capable of accessing a remote server or terminal through a network.
  • a terminal device is, for example, a wireless communication device that ensures portability and mobility, and includes a Personal Communication System (PCS), a Global System for Mobile communications (GSM), a Personal Digital Cellular (PDC), a Personal Handyphone System (PHS), and a PDA (Personal Communication System).
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Communication System
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA W-Code Division Multiple Access
  • Wibro Wireless Broadband Internet
  • smartphones It may include all types of handheld-based wireless communication devices, such as a smart pad, a tablet PC, and the like.
  • the network 50 means a connection structure capable of exchanging information with each other, such as a plurality of terminals and servers, and an example of such a network includes a 3rd Generation Partnership Project (3GPP) network, a Long Long (LTE) network. Term Evolution) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), A Bluetooth network, a satellite broadcasting network, an analog broadcasting network, a Digital Multimedia Broadcasting (DMB) network, etc. are included, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Long
  • LTE Long Long
  • Term Evolution Third Generation Partnership Project
  • WIMAX Worldwide Interoperability for Microwave Access
  • Internet Internet
  • LAN Local Area Network
  • Wireless LAN Wireless Local Area Network
  • WAN Wide Area Network
  • PAN Personal Area Network
  • a Bluetooth network a satellite
  • the voice input unit 110 may receive user voice data from the user terminal 10 .
  • the user voice data may be directly recorded by the user or may be recorded by a third party. It can be part or all of a movie or music, or it can be a real-time speech of the user.
  • the text converter 120 may convert voice data into text data.
  • Various well-known text-to-speech conversion programs may be used as the conversion program of the text conversion unit. That is, the voice audio file is converted into a text file by the text conversion unit 120 .
  • the text conversion unit 120 may extract a keyword from sentences included in the text data, and generate a summary sentence including one or more keywords. Using artificial intelligence, long sentences can be converted into short sentences containing keywords, and unimportant sentences without keywords can be deleted.
  • An extractive summary method of extracting important key keywords from within a sentence and making a summary sentence with the keywords may be used.
  • an abstract summary method that directly writes a concise summary sentence that can understand the entire sentence and express the content well based on natural language processing technology based on deep learning may be used.
  • a statistical method, frequency survey may be used.
  • TF-IDF Term Frequency - Inverse Document Frequency
  • information gain may be used.
  • IDF-modified measures may be used.
  • keywords the importance of words, position of sentences, frequency of positive keywords (keywords that frequently appear in important sentences) in sentences, frequency of negative keywords (keywords that appear frequently in non-important sentences), centrality of sentences, titles The degree of similarity with the family, the length of the sentence, the presence or absence of numerical data in the sentence, the presence or absence of an entity name, etc. may be considered.
  • the video search unit 130 may search unit video data corresponding to the text data. More specifically, the video search unit 130 may search for a plurality of unit video data related to a corresponding summary sentence for each summary sentence.
  • the unit video data means a short video, and a short video of 5 to 30 seconds is preferable.
  • the unit video data may be stored in advance in the video database 150 .
  • One summary sentence may include a plurality of keywords, and unit video data may be searched based on these keywords.
  • the unit video data may be machine-learned as related to a keyword, or may be preset as related to a keyword.
  • the video data related to the keyword becomes the related video data of the summary sentence including the keyword.
  • Video A1, video A2, video A3 and video An are searched for keyword A "dream”, video B1, video B2, video B3 video Bn is searched for keyword B "hope”, and video Bn is searched for keyword C "
  • Video C1, video C2, and video C3 are searched for video C1, video C2, and video C3 for "sea”, and video D1, video D2, video D3 and video Dn can be searched for the keyword D, "I'm running”.
  • Video A1, Video A2, Video A3 Short Video An, Video B1, Video B2, Video B3 Short Video Bn, Video C1, Video C2, Video C3 Short Video Cn, Video D1, Video D2, Video D3 Short Video Dn is a summary sentence of related video data.
  • the moving picture search unit 130 may search for such unit moving picture data in the moving picture database 150, collect unit moving picture data by searching through the Internet, or use an external database.
  • the video generating unit 140 may create customized video data by combining unit video data.
  • the video generating unit 140 may connect unit videos selected as most related to the corresponding keyword in the keyword order.
  • the degree of relevance between the unit video and the keyword may be determined by the cumulative evaluation of users, and the user does not evaluate the direct relevance of the keyword and the unit video, but when the keyword enters the summary sentence, the summary sentence is expressed.
  • the suitability score with the customized video data is directly applied to keywords included in the summary sentence and unit video data included in the customized video data, and the suitability score is accumulated. That is, the suitability is not evaluated by looking at only one keyword, but the suitability between the keyword and the unit video data is evaluated in consideration of the relationship between the keyword and other keywords.
  • the feedback collection unit 160 may receive evaluation from the user terminal 10 as a score on whether the searched unit video data is suitable for the keyword based on the search. This evaluation may be performed on the user's own summary sentences or on other people's summary sentences. All summary sentences generated in the system may be disclosed to all users and evaluated by the feedback collecting unit 160 .
  • the feedback collecting unit 160 receives a suitability score from the user terminals 10 in relation to suitability between the summary sentence and the corresponding customized video data, and sets the sent suitability score to a keyword included in the summary sentence, and customized It is included in the video data and may be given as a suitability score between unit video data corresponding to the keyword.
  • the suitability scores transmitted from other user terminals are also accumulated in the suitability scores between the keyword and the unit video data.
  • the feedback collector 160 may set the reciprocal of the accumulated suitability score as the suitability distance between the keyword and the unit video data.
  • the suitability distance between the keyword A “dream” and the unit video data A1 is 0.0005688
  • the fit distance between the keyword B “hope” and the unit video data B3 is 0.0017637
  • the The fit distance becomes 0.0014771
  • the fit distance between the keyword D "runs” and the unit video data D4 becomes 0.0007961.
  • the feedback collection unit 160 gives the same relevance distance to each relationship between keywords included in the summary sentence and unit video data included in the customized video data, and this distance is updated by the evaluation of users, as shown in FIG. 4 .
  • the virtual structure of unit moving picture data in which keywords separated by a suitability distance are arranged around each unit moving picture data may be stored in the moving picture database 150 .
  • the video search unit 130 may search unit video data having a search radius including all keywords included in the summary sentence, but may select unit video data having the smallest search radius.
  • the keyword “You can first find unit video data for which dreams", “hope”, “sea”, and “run” and the conformance distance are set, and as shown in FIG. 4, A1 with the smallest search radius (DST) is the highest priority You can select and select 3 more unit video data in order of the size of the search radius (DST).
  • the unit video data to be displayed in the keyword “dream” part the unit video data having the shortest conformance distance to the keyword “dream” from among the four selected unit video data is selected, and the keyword “hope” is selected as the unit video data.
  • the unit video data with the shortest conformance distance to the keyword “hope” is selected from among the four selected unit video data, and as the unit video data to be displayed in the keyword “sea” part, 4 selected unit video data Select the unit video data with the shortest conformance distance to the keyword “sea” among the data, and the keyword “run” and the conformance distance among the four selected unit video data as the unit video data to appear in the keyword “run” section You can create customized video data by selecting the shortest unit of video data.
  • the music search unit 180 may search for music data corresponding to the customized video data. Music data may be stored in advance in the music database 170 . The music search unit 180 may search such music data in the music database 170 , collect music data by searching through the Internet, or use an external music database.
  • the music search unit 180 may search the music database 170 for a plurality of music data corresponding to keywords included in one customized video data.
  • the degree of relevance between music data and unit video data can be determined by the cumulative evaluation of users, and when the unit video data enters the customized video data, instead of directly evaluating the relationship between music data and unit video data, users , the suitability score between the customized moving image data and the music data is directly applied to the unit moving image data and music data included in the customized moving image data, and the suitability score is accumulated. That is, the suitability is not evaluated by looking at the unit moving picture data alone, but the suitability between the unit moving picture data and the music data is evaluated in consideration of the relationship between the unit moving picture data and other unit moving picture data.
  • the feedback collecting unit 160 may receive an evaluation from the user terminal 10 as to whether the searched music data is suitable for the unit video data based on the search as a score. Such evaluation may be performed on the user's own customized video data or on a third party's customized video data. All customized video data generated in the system may be disclosed and evaluated to all users by the feedback collecting unit 160 .
  • the feedback collecting unit 160 receives a suitability score from the user terminals 10 in relation to suitability between the customized video data and the corresponding music data, and collects the transmitted suitability score as unit video data included in the customized video data. It can be given as a suitability score between and music data.
  • the suitability scores transmitted from other user terminals are also accumulated in the suitability scores between the unit video data and the music data.
  • the feedback collector 160 may set the reciprocal of the accumulated suitability score as the suitability distance between the unit video data and the music data. In this way, the feedback collecting unit 160 gives the same relevance distance to each relationship between the unit video data and music data included in the customized video data, and this distance is updated according to the evaluation of users, and the relevance distance is based on each music data.
  • a virtual structure of music data in which unit moving image data separated by a distance is arranged may be stored in the moving image database 170 .
  • the music search unit 180 searches for music data having a search radius including all unit video data included in the customized video data, but may select the music video data having the smallest search radius.
  • the subtitle generator 190 may add summary sentences corresponding to the customized video data as subtitles at the bottom of the screen.
  • the customized video data generated in this way may be automatically uploaded to a media platform such as YouTube and made public (S160).
  • Custom video data can go through user verification before it is uploaded, and a machine-learning verification module can do it automatically.
  • the customized video data may be uploaded through an account preset on the media platform, and users may transmit an evaluation score for the customized video data published on the media platform to the feedback collection unit 160 .
  • the voice input unit 110 includes an information backup unit, and the information backup unit may back up voice data to a voice database.
  • the voice database is composed of an aggregate of a plurality of sub-databases, and it may be preferable that these sub-databases are physically divided.
  • the information backup unit may include an information partitioning unit, a code assignment unit, a random number creator, and a distributed storage unit.
  • the information partitioning unit arbitrarily divides the voice data into a plurality of pieces, and sets each of the divided pieces as a plurality of individual pieces of information.
  • the individual piece information may include P1, P2, P3, P4, P5, and the like.
  • the voice data may be divided and separated in an X-shape or a zig-zag shape.
  • the code assigning unit assigns a different code (code) to the plurality of individual pieces of information divided by the information partitioning unit as described above.
  • This code is a kind of ID. For example, codes such as sdf223 to P1, gdf213 to P2, kdf312 to P3, gsd465 to P4, and btu323 to P5 are assigned.
  • Each of these individual pieces of information P1 to P5 is divided and stored in a sub-database that is an individual physical space, and before being stored, the random number creator uses the codes of these individual pieces of information, that is, sdf223 in P1, gdf213 in P2, kdf312 in P3, and kdf312 in P4.
  • the same random variable is shared with gsd465 for , and btu323 for P5 for a predetermined time.
  • P1 to P5 constituting the voice data needs a process of recombination, and this recombination is mediated through a random variable shared at the moment.
  • the distributed storage unit distributes and stores a plurality of individual pieces of information, for example, P1 to P5 in each physically divided voice database.
  • the user terminal 10 divides the suitability score data signal to generate a plurality of data pieces, assigns an address to each of the data pieces, and applies a combination rule considering the address.
  • a rule generation module to generate; a first sending module for transmitting a plurality of data pieces to the feedback collecting unit 160 in a random order; and a second sending module that transmits the combination rule to the feedback collection unit 160 .
  • the feedback collector 160 may include a regeneration module that receives the plurality of data pieces and the combination rule transmitted to the feedback collector 160, and combines the plurality of data pieces according to the combination rule to generate data.
  • the user terminal 10 is configured to image the suitability score in the form of a QR code and set n first partitioning lines in the horizontal direction in the QR code image, and m second partitioning lines in the vertical direction.
  • partitioning lining module where n and m are natural numbers; Selecting any one of the first partitioning lines and the second partitioning lines, the selected partitioning line (hereinafter referred to as “first rotation axis partitioning line”) as the center of the QR code image on either side in any one direction Creating a first layered image by rotating the QR code image area on both sides of the first rotation axis partitioning line to overlap in two layers, selecting the other one of the first partitioning lines and the second partitioning lines Step, by rotating the first layered image on either side in either direction around the selected other partitioning line (hereinafter referred to as “second rotation axis partitioning line”) a layering module that performs a layering rule including generating a second layered image by making the one layered image region overlap in two layers; a first sending module for
  • Embodiments of the subject matter described herein are one or more computer program products, ie, one or more modules directed to computer program instructions encoded on a tangible program medium for execution by or for controlling the operation of a data processing apparatus.
  • a tangible program medium may be a radio wave signal or a computer-readable medium.
  • a radio wave signal is an artificially generated signal, eg a machine-generated electrical, optical or electromagnetic signal, that is generated to encode information for transmission to an appropriate receiver device for execution by a computer.
  • the computer-readable medium may be a machine-readable storage device, a machine-readable storage substrate, a memory device, a combination of materials that affect a machine-readable radio wave signal, or a combination of one or more of these.
  • a computer program (also known as a program, software, software application, script or code) may be written in any form of any programming language, including compiled or interpreted language or a priori or procedural language, and may be written as a stand-alone program or module; It can be deployed in any form, including components, subroutines, or other units suitable for use in a computer environment.
  • a computer program does not necessarily correspond to a file in a file system.
  • a program may be in a single file provided to the requested program, or in multiple interacting files (eg, files that store one or more modules, subprograms, or portions of code), or portions of files that hold other programs or data. (eg, one or more scripts stored within a markup language document).
  • the computer program may be deployed to be executed on one computer or multiple computers located at one site or distributed over a plurality of sites and interconnected by a communication network.
  • processors suitable for the execution of computer programs include, for example, both general and special purpose microprocessors and any one or more processors of any kind of digital computer.
  • the processor will receive instructions and data from read-only memory, random access memory, or both.
  • a key element of a computer is one or more memory devices for storing instructions and data and a processor for executing instructions.
  • a computer is generally operably coupled to receive data from, transmit data to, or both of one or more mass storage devices for storing data, such as, for example, magnetic, magneto-optical disks or optical disks. or will include However, the computer need not have such a device.

Abstract

The present invention relates to a multimedia automatic generation system for automatically generating and distributing multimedia appropriate for user voice data by using artificial intelligence, and the system may comprise: a voice input unit for receiving user voice data transmitted from a user terminal; a text conversion unit for converting voice data into text data; a video search unit for searching for unit video data corresponding to the text data; and a video generation unit for producing customized video data by combining the unit video data.

Description

인공지능을 이용하여 사용자의 음성 데이터에 적합한 멀티미디어를 자동으로 생성하는 멀티미디어 자동 생성 시스템Multimedia automatic creation system that automatically creates multimedia suitable for user's voice data using artificial intelligence
본 발명은 인공지능을 이용하여 사용자의 음성 데이터에 적합한 멀티미디어를 자동으로 생성하는 멀티미디어 자동 생성 시스템에 관한 것으로서, 보다 상세하게는, 사용자가 제공하는 음성을 문자로 변환하고, 변환된 문자의 내용과 관련된 멀티미디어를 자동으로 생성하며, 생성된 멀티미디어를 미디어플랫폼을 통해 자동으로 배포하는 멀티미디어 자동 생성 시스템에 관한 것이다.The present invention relates to an automatic multimedia generation system for automatically generating multimedia suitable for a user's voice data using artificial intelligence, and more particularly, to convert a user's voice into text, and to It relates to an automatic multimedia generation system that automatically generates related multimedia and automatically distributes the generated multimedia through a media platform.
스마트폰 보급이 증가하고, 초고속 데이터 전송이 가능한 무선통신망이 확산됨에 따라, 많은 사람들이 스마트폰을 통해 동영상을 보면서 정보를 얻는 것이 일상화되었다.As the spread of smartphones increases and wireless communication networks capable of high-speed data transmission spread, it has become common for many people to obtain information while watching videos through smartphones.
이에 따라 문자로 이루어진 정보는 점점 관심 밖으로 벗어나고 있으며, 이러한 문자 정보를 동영상으로 만들어 제공을 하려는 시도가 이어지고 있다. 그러나, 동영상 편집과 관련하여 전문 지식을 가지고 있지 않은 일반인으로서는 문자 정보를 동영상 정보로 바꾸는 것이 매우 힘든 일이다.Accordingly, text information is gradually out of interest, and attempts are being made to make such text information into a video and provide it. However, it is very difficult for ordinary people who do not have professional knowledge in video editing to change text information into video information.
본 발명의 기술적 사상에 따른 멀티미디어 자동 생성 시스템이 이루고자 하는 기술적 과제는, 인공지능을 이용하여 사용자의 음성을 문자로 변환하고, 변환된 문자의 내용과 관련된 멀티미디어를 자동으로 생성하며, 생성된 멀티미디어를 미디어플랫폼을 통해 자동으로 배포하는 멀티미디어 자동 생성 시스템을 제공하는 것이다.The technical task to be achieved by the automatic multimedia generation system according to the technical idea of the present invention is to convert the user's voice into text using artificial intelligence, automatically generate multimedia related to the content of the converted text, and generate the generated multimedia. It is to provide a multimedia automatic creation system that is automatically distributed through a media platform.
본 발명의 기술적 사상에 따른 멀티미디어 자동 생성 시스템이 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the automatic multimedia generation system according to the technical spirit of the present invention are not limited to the above-mentioned tasks, and another task not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명의 기술적 사상에 의한 일 실시예에 따른 멀티미디어 자동 생성 시스템은, 사용자 단말기와 네트워크를 통해 연결되며, 사용자 단말기로부터 사용자 음성 데이터를 전송받는 음성 입력부; 음성 데이터를 문자 데이터로 변환하는 문자 변환부; 문자 데이터에 대응되는 단위 동영상 데이터를 검색하는 동영상 검색부; 및 단위 동영상 데이터를 결합하여 맞춤형 동영상 데이터를 제작하는 동영상 생성부를 포함할 수 있다.According to an embodiment of the present invention, an automatic multimedia generation system includes: a voice input unit connected to a user terminal through a network and receiving user voice data from the user terminal; a text converter for converting voice data into text data; a video search unit for searching unit video data corresponding to text data; and a video generation unit for producing customized video data by combining unit video data.
문자 변환부는 문자 데이터에 포함된 문장들로부터 키워드를 추출하여, 하나 이상의 키워드를 포함하는 요약 문장을 생성할 수 있다.The text conversion unit may extract a keyword from sentences included in the text data to generate a summary sentence including one or more keywords.
멀티미디어 자동 생성 시스템은 단위 동영상 데이터가 저장된 동영상 데이터베이스를 더 포함하고, 동영상 검색부는 하나의 요약 문장에 포함된 키워드들에 대응되는 복수개의 단위 동영상 데이터를 동영상 데이터베이스에서 검색할 수 있다.The automatic multimedia generation system may further include a moving picture database in which unit moving picture data is stored, and the moving picture search unit may search the moving picture database for a plurality of unit moving picture data corresponding to keywords included in one summary sentence.
멀티미디어 자동 생성 시스템은 상기 검색된 단위 동영상 데이터가 검색의 기초가 된 요약 문장의 키워드와 적합한지 여부를 사용자 단말기로부터 점수로 평가를 받는 피드백 수집부를 더 포함할 수 있다.The automatic multimedia generation system may further include a feedback collecting unit that evaluates whether the searched unit video data matches a keyword of a summary sentence based on a search by a score from the user terminal.
피드백 수집부는, 요약 문장과 그에 대응되는 맞춤형 동영상 데이터 사이의 적합성과 관련하여, 사용자 단말기들로부터 적합성 점수를 전송받고, 전송된 적합성 점수를, 상기 요약 문장에 포함된 키워드와, 상기 맞춤형 동영상 데이터에 포함되며 상기 키워드에 대응되는 단위 동영상 데이터 사이의 적합성 점수로 부여하고, 다른 사용자 단말기들로부터 전송된 점수들을 상기 적합성 점수에 누적시키고, 상기 누적된 적합성 점수의 역수를 상기 키워드와 상기 단위 동영상 데이터 사이의 적합성 거리로 설정하고, 각 단위 동영상 데이터를 중심으로 적합성 거리만큼 키워드들이 떨어지도록 가상으로 배열하여 동영상 데이터베이스에 저장할 수 있다.The feedback collecting unit receives a suitability score from the user terminals in relation to suitability between the summary sentence and the corresponding customized video data, and applies the transmitted suitability score to the keyword included in the summary sentence and the customized video data. is included and is given as a suitability score between the unit video data corresponding to the keyword, scores transmitted from other user terminals are accumulated in the suitability score, and the reciprocal of the accumulated suitability score is calculated between the keyword and the unit video data It can be set to the suitability distance of , and virtually arranged so that keywords fall apart by the suitability distance centering on each unit of video data, and stored in the video database.
동영상 검색부는 요약 문장에 포함된 키워드들이 모두 포함되는 검색 반경을 가지는 단위 동영상 데이터들을 검색하되, 검색 반경이 가장 작은 단위 동영상 데이터를 선택할 수 있다.The video search unit may search unit video data having a search radius including all keywords included in the summary sentence, but may select unit video data having the smallest search radius.
멀티미디어 자동 생성 시스템은 음악 데이터가 저장된 음악 데이터베이스; 및 맞춤형 동영상 데이터에 대응되는 음악 데이터를 검색하는 음악 검색부를 더 포함하되, 음악 검색부는 하나의 맞춤형 동영상 데이터에 대응되는 복수개의 음악 데이터를 음악 데이터베이스에서 검색할 수 있다.The multimedia automatic creation system includes: a music database in which music data is stored; and a music search unit for searching music data corresponding to the customized video data, wherein the music search unit may search a music database for a plurality of pieces of music data corresponding to one piece of customized video data.
피드백 수집부는 상기 맞춤형 동영상 데이터와 그에 대응되는 음악 데이터 사이의 적합성과 관련하여, 사용자 단말기들로부터 점수를 전송받고, 전송된 점수를, 상기 맞춤형 동영상 데이터에 포함된 단위 동영상 데이터와 상기 음악 데이터 사이의 적합성 점수로 부여하고, 다른 사용자 단말기들로부터 전송된 점수들을 상기 적합성 점수에 누적시키고, 상기 누적된 적합성 점수의 역수를 상기 단위 동영상 데이터와 상기 음악 데이터 사이의 적합성 거리로 설정하고, 각 음악 데이터를 중심으로 적합성 거리만큼 단위 동영상 데이터들이 떨어지도록 가상으로 배열하여 음악 데이터베이스에 저장할 수 있다.The feedback collecting unit receives scores from user terminals in relation to suitability between the customized video data and the corresponding music data, and calculates the transmitted scores between the unit video data included in the customized video data and the music data. assigning a suitability score, accumulating scores transmitted from other user terminals to the suitability score, setting the reciprocal of the accumulated suitability score as a suitability distance between the unit video data and the music data, and each music data It can be stored in the music database by virtually arranging the unit video data so that the unit video data is separated by the fit distance from the center.
음악 검색부는 맞춤형 동영상 데이터에 포함된 단위 동영상 데이터들이 모두 포함되는 검색 반경을 가지는 음악 데이터들을 검색하되, 검색 반경이 가장 작은 음악 데이터를 선택할 수 있다.The music search unit searches for music data having a search radius including all unit video data included in the customized video data, but may select music data having the smallest search radius.
멀티미디어 자동 생성 시스템은 맞춤형 동영상 데이터에 대응되는 요약 문장들을 자막으로 추가하는 자막 생성부를 더 포함할 수 있다.The automatic multimedia generation system may further include a subtitle generator for adding summary sentences corresponding to the customized video data as subtitles.
본 발명의 기술적 사상에 의한 실시예들에 따른 멀티미디어 자동 생성 시스템은, 인공지능을 이용하여 사용자의 음성을 문자로 변환하고, 변환된 문자의 내용과 관련된 멀티미디어를 자동으로 생성하며, 생성된 멀티미디어를 미디어플랫폼을 통해 자동으로 배포하는 멀티미디어 자동 생성 시스템을 제공한다.The multimedia automatic generation system according to embodiments according to the technical idea of the present invention converts a user's voice into text using artificial intelligence, automatically generates multimedia related to the content of the converted text, and generates the generated multimedia. It provides an automatic multimedia creation system that is automatically distributed through a media platform.
다만, 본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.However, effects that can be achieved by the automatic multimedia generation system according to an embodiment of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below. will be able
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.In order to more fully understand the drawings cited herein, a brief description of each drawing is provided.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템의 개략도이다.1 is a schematic diagram of a system for automatically generating multimedia according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템의 실시 흐름도이다.2 is a flowchart illustrating an automatic multimedia generation system according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템이 맞춤 동영상 데이터를 생성하는 과정을 개략적으로 도시한 도면이다.3 is a diagram schematically illustrating a process of generating customized video data by an automatic multimedia generation system according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템이 최적의 단위 동영상 데이터를 선택하는 일 예를 도시한 도면이다.4 is a diagram illustrating an example in which the automatic multimedia generation system selects optimal unit video data according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood that the present invention includes all modifications, equivalents and substitutes included in the spirit and scope of the present invention.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the present specification are only identification symbols for distinguishing one component from other components.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.In addition, in this specification, when a component is referred to as “connected” or “connected” with another component, the component may be directly connected or directly connected to the other component, but in particular It should be understood that, unless there is a description to the contrary, it may be connected or connected through another element in the middle.
또한, 본 명세서에서 '~부'로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.In addition, in the present specification, two or more components may be combined into one component, or one component may be divided into two or more for each more subdivided function. In addition, each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions they are responsible for, and some of the main functions of each component may have different functions. It goes without saying that it may be performed exclusively by the component.
이하, 본 발명의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.Hereinafter, embodiments according to the technical spirit of the present invention will be described in detail in turn.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템의 개략도이다. 도 2는 본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템의 실시 흐름도이다. 도 3은 본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템이 맞춤 동영상 데이터를 생성하는 과정을 개략적으로 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템이 최적의 단위 동영상 데이터를 선택하는 일 예를 도시한 도면이다.1 is a schematic diagram of a system for automatically generating multimedia according to an embodiment of the present invention. 2 is a flowchart illustrating an automatic multimedia generation system according to an embodiment of the present invention. 3 is a diagram schematically illustrating a process of generating customized video data by an automatic multimedia generation system according to an embodiment of the present invention. 4 is a diagram illustrating an example in which the automatic multimedia generation system selects optimal unit video data according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 멀티미디어 자동 생성 시스템(100)은 사용자의 단말기(10)와 네트워크(50)를 통해 연결될 수 있으며, 음성 입력부(110), 문자 변환부(120), 동영상 검색부(130), 동영상 생성부(140), 동영상 데이터베이스(150), 피드백 수집부(160), 음악 데이터베이스(170), 음악 검색부(180) 및 자막 생성부(190)를 포함할 수 있다.The multimedia automatic generation system 100 according to an embodiment of the present invention may be connected to the user's terminal 10 and the network 50 through a voice input unit 110, a text conversion unit 120, a video search unit ( 130 ), a video generator 140 , a video database 150 , a feedback collector 160 , a music database 170 , a music searcher 180 , and a subtitle generator 190 .
사용자는 사용자 단말기(10)를 이용하여 멀티미디어 자동 생성 시스템 (100)에 접속하여 멀티미디어 자동 생성 시스템(100)과 신호를 주고 받을 수 있다. 단말기(10)에는 멀티미디어 자동 생성 시스템(100)에 접속 가능한 어플리케이션이 설치되어 구동되는 것이 바람직하다.A user may access the automatic multimedia generation system 100 using the user terminal 10 to send and receive signals to and from the automatic multimedia generation system 100 . It is preferable that an application connectable to the automatic multimedia generation system 100 is installed and driven in the terminal 10 .
단말기(10)는 네트워크(50)를 통하여 원격지의 서버나 단말기에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크탑(Desktop), 랩탑(Laptop) 등을 포함할 수 있다. 또한, 단말기는 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말 장치로 구현될 수 있다. 단말 장치는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기, 스마트폰(smartphone), 스마트 패드(smartpad), 태블릿 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.The terminal 10 may be implemented as a computer capable of accessing a remote server or terminal through the network 50 . Here, the computer may include, for example, a laptop equipped with a web browser, a desktop, and a laptop. In addition, the terminal may be implemented as a terminal device capable of accessing a remote server or terminal through a network. A terminal device is, for example, a wireless communication device that ensures portability and mobility, and includes a Personal Communication System (PCS), a Global System for Mobile communications (GSM), a Personal Digital Cellular (PDC), a Personal Handyphone System (PHS), and a PDA (Personal Communication System). Personal Digital Assistant), International Mobile Telecommunication (IMT)-2000, Code Division Multiple Access (CDMA)-2000, W-Code Division Multiple Access (W-CDMA), Wireless Broadband Internet (Wibro) terminals, smartphones, It may include all types of handheld-based wireless communication devices, such as a smart pad, a tablet PC, and the like.
여기서, 네트워크(50)는, 복수의 단말기 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Here, the network 50 means a connection structure capable of exchanging information with each other, such as a plurality of terminals and servers, and an example of such a network includes a 3rd Generation Partnership Project (3GPP) network, a Long Long (LTE) network. Term Evolution) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), A Bluetooth network, a satellite broadcasting network, an analog broadcasting network, a Digital Multimedia Broadcasting (DMB) network, etc. are included, but are not limited thereto.
음성 입력부(110)는 사용자 단말기(10)로부터 사용자 음성 데이터를 전송받을 수 있다. 사용자 음성 데이터는 사용자가 직접 녹음한 것이거나, 제3자에 의해 녹음된 것일 수 있다. 영화나 음악의 일부분이나 전부가 될 수도 있고, 사용자의 실시간 연설일 수도 있다.The voice input unit 110 may receive user voice data from the user terminal 10 . The user voice data may be directly recorded by the user or may be recorded by a third party. It can be part or all of a movie or music, or it can be a real-time speech of the user.
문자 변환부(120)는 음성 데이터를 문자 데이터로 변환할 수 있다. 문자 변환부의 변환 프로그램은 공지된 다양한 문자-음성 변환 프로그램이 사용될 수 있다. 즉, 문자 변환부(120)에 의해 음성 오디오 파일이 문자 파일로 변환되는 것이다. The text converter 120 may convert voice data into text data. Various well-known text-to-speech conversion programs may be used as the conversion program of the text conversion unit. That is, the voice audio file is converted into a text file by the text conversion unit 120 .
문자 변환부(120)는 문자 데이터에 포함된 문장들로부터 키워드를 추출하여, 하나 이상의 키워드를 포함하는 요약 문장을 생성할 수 있다. 인공 지능을 이용하여 긴 문장들을 키워드가 포함된 짧은 문장으로 변환하고, 키워드가 없는 중요하지 않은 문장을 삭제를 할 수 있다. The text conversion unit 120 may extract a keyword from sentences included in the text data, and generate a summary sentence including one or more keywords. Using artificial intelligence, long sentences can be converted into short sentences containing keywords, and unimportant sentences without keywords can be deleted.
문장 내에서 중요한 핵심 키워드들을 뽑아서 그 키워드들로 요약 문장을 만드는 추출적 요약 방법이 사용될 수 있다. 또한, 딥 러닝 기반의 자연언어처리 기술을 바탕으로 문장 전체 내용을 이해하고 그 내용을 잘 표현할 수 있는 간결한 요약 문장을 직접 작성하는 추상적 요약 방법이 사용될 수도 있다.An extractive summary method of extracting important key keywords from within a sentence and making a summary sentence with the keywords may be used. In addition, an abstract summary method that directly writes a concise summary sentence that can understand the entire sentence and express the content well based on natural language processing technology based on deep learning may be used.
추출적 요약 방법에서 키워드를 찾아내는 방법으로서 통계적 방법인 빈도 조사가 사용될 수 있다. 이 외에 좀더 정교한 방법으로 TF-IDF(Term Frequency - Inverse Document Frequency), 정보 획득량(information gain), 상호 정보량(mutual information), 기타 IDF를 변형한 척도들이 사용될 수도 있다. 키워드를 선정함에 있어서, 단어의 중요도, 문장의 위치, 문장 내 긍정 키워드(중요문장에 자주 등장하는 키워드)의 빈도, 부정 키워드(비중요문장에 자주 등장하는 키워드)의 빈도, 문장의 중심성, 제목과의 유사도, 문장의 길이, 문장 내 수치 데이터의 유무, 개체명의 유무 등이 고려될 수 있다.As a method for finding keywords in the extractive summary method, a statistical method, frequency survey, may be used. In addition, as a more sophisticated method, TF-IDF (Term Frequency - Inverse Document Frequency), information gain, mutual information, and other IDF-modified measures may be used. In selecting keywords, the importance of words, position of sentences, frequency of positive keywords (keywords that frequently appear in important sentences) in sentences, frequency of negative keywords (keywords that appear frequently in non-important sentences), centrality of sentences, titles The degree of similarity with the family, the length of the sentence, the presence or absence of numerical data in the sentence, the presence or absence of an entity name, etc. may be considered.
또한, 기계학습을 통해 중요한 문장인지 사소한 문장인지 라벨이 매겨진 수 많은 문장쌍을 입력으로 받아 새로 입력 받은 문장이 중요한지 사소한지 분류할 수 있는 분류기를 학습시킬 수 있다. In addition, through machine learning, it is possible to train a classifier that can classify whether a newly input sentence is important or trivial by receiving as input a number of sentence pairs labeled as important or trivial sentences.
동영상 검색부(130)는 문자 데이터에 대응되는 단위 동영상 데이터를 검색할 수 있다. 보다 구체적으로는, 동영상 검색부(130)가 하나의 요약 문장마다 해당 요약 문장과 관련된 복수개의 단위 동영상 데이터를 검색할 수 있다. 단위 동영상 데이터는 짧은 동영상을 의미하며, 5초 내지 30초의 짧은 동영상이 바람직하다. 단위 동영상 데이터는 동영상 데이터베이스(150)에 미리 저장될 수 있다.The video search unit 130 may search unit video data corresponding to the text data. More specifically, the video search unit 130 may search for a plurality of unit video data related to a corresponding summary sentence for each summary sentence. The unit video data means a short video, and a short video of 5 to 30 seconds is preferable. The unit video data may be stored in advance in the video database 150 .
하나의 요약 문장에는 복수개의 키워드가 포함될 수 있는데, 이들 키워드들을 기초로 하여 단위 동영상 데이터들이 검색될 수 있다. 단위 동영상 데이터들은 키워드와 관련된 것으로 기계 학습되거나, 키워드와 관련된 것으로 미리 설정될 수 있다. 키워드와 관련된 동영상 데이터들은 키워드가 포함된 요약 문장의 관련 동영상 데이터들이 된다. One summary sentence may include a plurality of keywords, and unit video data may be searched based on these keywords. The unit video data may be machine-learned as related to a keyword, or may be preset as related to a keyword. The video data related to the keyword becomes the related video data of the summary sentence including the keyword.
예를 들어, 도 3에 도시된 바와 같이 "우리는 꿈과 희망이 넘치는 푸른 바다로 달려갑니다"라는 요약 문장에서 키워드인 "꿈", "희망", "바다", "달려갑니다" 각각에 대하여 관련된 단위 동영상 데이터들을 검색할 수 있다. 키워드 A인 "꿈"에 대하여 동영상 A1, 동영상 A2, 동영상 A3 쪋 동영상 An이 검색되며, 키워드 B인 "희망"에 대하여 동영상 B1, 동영상 B2, 동영상 B3 쪋 동영상 Bn이 검색되고, 키워드 C인 "바다"에 대하여 동영상 C1, 동영상 C2, 동영상 C3 쪋 동영상 Cn이 검색되며, 키워드 D인 "달려갑니다"에 대하여 동영상 D1, 동영상 D2, 동영상 D3 쪋 동영상 Dn이 검색될 수 있다. 동영상 A1, 동영상 A2, 동영상 A3 쪋 동영상 An, 동영상 B1, 동영상 B2, 동영상 B3 쪋 동영상 Bn, 동영상 C1, 동영상 C2, 동영상 C3 쪋 동영상 Cn, 동영상 D1, 동영상 D2, 동영상 D3 쪋 동영상 Dn은 요약 문장의 관련 동영상 데이터가 된다.For example, as shown in FIG. 3 , in the summary sentence "We run to the blue sea full of dreams and hopes", for each of the keywords "dream", "hope", "sea", and "run" Related unit video data can be searched. Video A1, video A2, video A3 and video An are searched for keyword A "dream", video B1, video B2, video B3 video Bn is searched for keyword B "hope", and video Bn is searched for keyword C " Video C1, video C2, and video C3 are searched for video C1, video C2, and video C3 for "sea", and video D1, video D2, video D3 and video Dn can be searched for the keyword D, "I'm running". Video A1, Video A2, Video A3 Short Video An, Video B1, Video B2, Video B3 Short Video Bn, Video C1, Video C2, Video C3 Short Video Cn, Video D1, Video D2, Video D3 Short Video Dn is a summary sentence of related video data.
동영상 검색부(130)는 이러한 단위 동영상 데이터를 동영상 데이터베이스(150)에서 검색할 수도 있고, 인터넷을 통해 검색하여 단위 동영상 데이터를 수집하거나, 외부 데이터베이스를 이용할 수도 있다.The moving picture search unit 130 may search for such unit moving picture data in the moving picture database 150, collect unit moving picture data by searching through the Internet, or use an external database.
동영상 생성부(140)는 단위 동영상 데이터를 결합하여 맞춤형 동영상 데이터를 제작할 수 있다. 동영상 생성부(140)는 키워드 순서대로 해당 키워드와 가장 관련된 것으로 선택된 단위 동영상들을 연결할 수 있다.The video generating unit 140 may create customized video data by combining unit video data. The video generating unit 140 may connect unit videos selected as most related to the corresponding keyword in the keyword order.
단위 동영상과 키워드의 관련도는 사용자들의 누적된 평가에 의해 결정될 수도 있으며, 키워드와 단위 동영상의 직접적인 관련도를 사용자들이 평가하는 것이 아니라, 키워드가 요약 문장에 들어갔을 때, 그 요약 문장을 표현하는 맞춤형 동영상 데이터와의 적합성 점수가 요약 문장에 포함된 키워드들과 맞춤형 동영상 데이터들에 포함된 단위 동영상 데이터들에 그대로 적용되며, 그 적합성 점수는 누적된다. 즉, 키워드 하나만을 보고 적합성을 평가하는 것이 아니라, 그 키워드와 다른 키워드들과의 관계를 고려하여 키워드와 단위 동영상 데이터 사이의 적합성을 평가하는 것이다.The degree of relevance between the unit video and the keyword may be determined by the cumulative evaluation of users, and the user does not evaluate the direct relevance of the keyword and the unit video, but when the keyword enters the summary sentence, the summary sentence is expressed. The suitability score with the customized video data is directly applied to keywords included in the summary sentence and unit video data included in the customized video data, and the suitability score is accumulated. That is, the suitability is not evaluated by looking at only one keyword, but the suitability between the keyword and the unit video data is evaluated in consideration of the relationship between the keyword and other keywords.
이를 위해, 피드백 수집부(160)는 검색된 단위 동영상 데이터가 검색의 기초가 된 키워드와 적합한지 여부를 사용자 단말기(10)로부터 점수로 평가를 받을 수 있다. 이러한 평가는 사용자가 자신의 요약 문장에 대해서 할 수도 있고 타인의 요약 문장에 대해서도 할 수 있다. 시스템에서 모든 생성된 요약 문장들은 피드백 수집부(160)에 의해 모든 사용자에게 공개되어 평가될 수 있다.To this end, the feedback collection unit 160 may receive evaluation from the user terminal 10 as a score on whether the searched unit video data is suitable for the keyword based on the search. This evaluation may be performed on the user's own summary sentences or on other people's summary sentences. All summary sentences generated in the system may be disclosed to all users and evaluated by the feedback collecting unit 160 .
피드백 수집부(160)는 요약 문장과 그에 대응되는 맞춤형 동영상 데이터 사이의 적합성과 관련하여 사용자 단말기(10)들로부터 적합성 점수를 전송받고, 전송된 적합성 점수를, 요약 문장에 포함된 키워드와, 맞춤형 동영상 데이터에 포함되며 상기 키워드에 대응되는 단위 동영상 데이터 사이의 적합성 점수로 부여할 수 있다. 다른 사용자 단말기들로부터 전송된 적합성 점수들도 키워드와 단위 동영상 데이터 사이의 적합성 점수에 누적된다.The feedback collecting unit 160 receives a suitability score from the user terminals 10 in relation to suitability between the summary sentence and the corresponding customized video data, and sets the sent suitability score to a keyword included in the summary sentence, and customized It is included in the video data and may be given as a suitability score between unit video data corresponding to the keyword. The suitability scores transmitted from other user terminals are also accumulated in the suitability scores between the keyword and the unit video data.
피드백 수집부(160)는 누적된 적합성 점수의 역수를 키워드와 단위 동영상 데이터 사이의 적합성 거리로 설정할 수 있다. The feedback collector 160 may set the reciprocal of the accumulated suitability score as the suitability distance between the keyword and the unit video data.
예를 들어, 키워드 A, 키워드 B, 키워드 C, 키워드 D를 포함하는 요약 문장에 대해 생성된 맞춤형 동영상 데이터가 단위 동영상 데이터 A1, 단위 동영상 데이터 B3, 단위 동영상 데이터 C1, 단위 동영상 데이터 D4로 이루어진 경우에, 요약 문장과 맞춤형 동영상 데이터에 대한 사용자들의 평가 점수의 합이 524점이고, 키워드 A인 "꿈"과 단위 동영상 데이터 A1의 적합성에 대한 기존의 누적 적합성 점수의 합은 1234점, 키워드 B인 "희망"과 단위 동영상 데이터 B3의 적합성에 대한 기존의 누적 적합성 점수의 합은 43점, 키워드 C인 "바다"와 단위 동영상 데이터 C1의 적합성에 대한 기존의 누적 적합성 점수의 합은 153점, 키워드 D인 "달려갑니다"와 단위 동영상 데이터 D4의 적합성에 대한 기존의 누적 적합성 점수의 합은 732점이라면, 키워드 A인 "꿈"과 단위 동영상 데이터 A1의 누적 적합성 점수는 1758점이 되고, 키워드 B인 "희망"과 단위 동영상 데이터 B3의 누적 적합성 점수는 567점이 되고, 키워드 C인 "바다"와 단위 동영상 데이터 C1의 누적 적합성 점수는 677점이 되고, 키워드 D인 "달려갑니다"와 단위 동영상 데이터 D4의 누적 적합성 점수는 1256점이 된다. For example, when customized video data generated for a summary sentence including keyword A, keyword B, keyword C, and keyword D consists of unit video data A1, unit video data B3, unit video data C1, and unit video data D4 E, the sum of the evaluation scores of users for the summary sentence and the customized video data is 524 points, the sum of the existing cumulative suitability scores for the suitability of the keyword A “dream” and the unit video data A1 is 1234 points, and the keyword B is “ The sum of the existing cumulative suitability scores for the suitability of “hope” and unit video data B3 is 43 points, the sum of the existing cumulative suitability scores for the suitability of keyword C, “sea” and unit video data C1, is 153 points, keyword D If the sum of "I'm running" and the existing cumulative suitability score for the suitability of the unit video data D4 is 732 points, the cumulative suitability score of the keyword A "dream" and the unit video data A1 becomes 1758 points, and the keyword "B" The cumulative suitability score of “hope” and unit video data B3 becomes 567 points, the cumulative suitability score of keyword C “sea” and unit video data C1 becomes 677 points, and the cumulative conformity score of keyword D “runs” and unit video data D4 The suitability score is 1256 points.
따라서, 키워드 A인 "꿈"과 단위 동영상 데이터 A1의 적합성 거리는 0.0005688이 되고, 키워드 B인 "희망"과 단위 동영상 데이터 B3의 적합성 거리는 0.0017637이 되고, 키워드 C인 "바다"와 단위 동영상 데이터 C1의 적합성 거리는 0.0014771이 되고, 키워드 D인 "달려갑니다"와 단위 동영상 데이터 D4의 적합성 거리는 0.0007961이 된다.Therefore, the suitability distance between the keyword A “dream” and the unit video data A1 is 0.0005688, the fit distance between the keyword B “hope” and the unit video data B3 is 0.0017637, and the The fit distance becomes 0.0014771, and the fit distance between the keyword D "runs" and the unit video data D4 becomes 0.0007961.
이렇게, 피드백 수집부(160)는 요약 문장에 포함된 키워드들과 맞춤형 동영상 데이터에 포함된 단위 동영상 데이터들의 관계마다 동일한 적합성 거리를 부여하며, 이 거리는 사용자들의 평가에 의해 업데이트되며, 도 4에 도시된 바와 같이 각 단위 동영상 데이터를 중심으로 적합성 거리만큼 떨어진 키워드들이 배열된 단위 동영상 데이터의 가상 구조가 동영상 데이터베이스(150)에 저장할 수 있다.In this way, the feedback collection unit 160 gives the same relevance distance to each relationship between keywords included in the summary sentence and unit video data included in the customized video data, and this distance is updated by the evaluation of users, as shown in FIG. 4 . As described above, the virtual structure of unit moving picture data in which keywords separated by a suitability distance are arranged around each unit moving picture data may be stored in the moving picture database 150 .
동영상 검색부(130)는 요약 문장에 포함된 키워드들이 모두 포함되는 검색 반경을 가지는 단위 동영상 데이터들을 검색하되, 검색 반경이 가장 작은 단위 동영상 데이터를 선택할 수 있다. 즉, 키워드가 "꿈", "희망", "바다", "달려갑니다"인 "우리는 꿈과 희망이 넘치는 푸른 바다로 달려갑니다"라는 요약 문장에 적합한 단위 동영상을 검색하는 경우에, 키워드 "꿈", "희망", "바다", "달려갑니다"와 적합성 거리가 설정된 단위 동영상 데이터들을 먼저 찾을 수 있고, 도 4에 도시된 바와 같이 검색 반경(DST)이 가장 작은 A1을 최우선 단위 동영상 데이터로 선택하고 검색 반경(DST)의 크기 순서 대로 차례로 3개의 단위 동영상 데이터를 더 선택할 수 있다. 이렇게 선택된 4개의 단위 동영상 데이터 중에서, 키워드 "꿈" 부분에 나올 단위 동영상 데이터로는 4개의 선택된 단위 동영상 데이터들 중에서 키워드 "꿈"과 적합성 거리가 가장 짧은 단위 동영상 데이터를 선택하고, 키워드 "희망" 부분에 나올 단위 동영상 데이터로는 4개의 선택된 단위 동영상 데이터들 중에서 키워드 "희망"과 적합성 거리가 가장 짧은 단위 동영상 데이터를 선택하고, 키워드 "바다" 부분에 나올 단위 동영상 데이터로는 4개의 선택된 단위 동영상 데이터들 중에서 키워드 "바다"와 적합성 거리가 가장 짧은 단위 동영상 데이터를 선택하고, 키워드 "달려갑니다" 부분에 나올 단위 동영상 데이터로는 4개의 선택된 단위 동영상 데이터들 중에서 키워드 "달려갑니다"와 적합성 거리가 가장 짧은 단위 동영상 데이터를 선택하여 맞춤형 동영상 데이터를 생성할 수 있다. The video search unit 130 may search unit video data having a search radius including all keywords included in the summary sentence, but may select unit video data having the smallest search radius. In other words, when searching for a unit video suitable for the summary sentence "We run to the blue sea full of dreams and hopes" with the keywords "dream", "hope", "sea", and "run", the keyword " You can first find unit video data for which dreams", "hope", "sea", and "run" and the conformance distance are set, and as shown in FIG. 4, A1 with the smallest search radius (DST) is the highest priority You can select and select 3 more unit video data in order of the size of the search radius (DST). Among the four unit video data selected in this way, as the unit video data to be displayed in the keyword “dream” part, the unit video data having the shortest conformance distance to the keyword “dream” from among the four selected unit video data is selected, and the keyword “hope” is selected as the unit video data. As the unit video data to be displayed in the part, the unit video data with the shortest conformance distance to the keyword "hope" is selected from among the four selected unit video data, and as the unit video data to be displayed in the keyword "sea" part, 4 selected unit video data Select the unit video data with the shortest conformance distance to the keyword “sea” among the data, and the keyword “run” and the conformance distance among the four selected unit video data as the unit video data to appear in the keyword “run” section You can create customized video data by selecting the shortest unit of video data.
이렇게 생성된 맞춤형 동영상 데이터에는 음악이 결합될 수 있다. 음악 검색부(180)는 맞춤형 동영상 데이터에 대응되는 음악 데이터를 검색할 수 있다. 음악 데이터는 음악 데이터베이스(170)에 미리 저장될 수 있다. 음악 검색부(180)는 이러한 음악 데이터를 음악 데이터베이스(170)에서 검색할 수도 있고, 인터넷을 통해 검색하여 음악 데이터를 수집하거나, 외부 음악 데이터베이스를 이용할 수도 있다.Music may be combined with the generated customized video data. The music search unit 180 may search for music data corresponding to the customized video data. Music data may be stored in advance in the music database 170 . The music search unit 180 may search such music data in the music database 170 , collect music data by searching through the Internet, or use an external music database.
구체적으로는, 음악 검색부(180)는 하나의 맞춤형 동영상 데이터에 포함된 키워드들에 대응되는 복수개의 음악 데이터를 음악 데이터베이스(170)에서 검색할 수 있다.Specifically, the music search unit 180 may search the music database 170 for a plurality of music data corresponding to keywords included in one customized video data.
음악 데이터와 단위 동영상 데이터의 관련도는 사용자들의 누적된 평가에 의해 결정될 수 있으며, 음악 데이터와 단위 동영상 데이터의 직접적인 관련도를 사용자들이 평가하는 것이 아니라, 단위 동영상 데이터가 맞춤형 동영상 데이터에 들어갔을 때, 그 맞춤형 동영상 데이터와 음악 데이터와의 적합성 점수가 맞춤형 동영상 데이터에 포함된 단위 동영상 데이터들과 음악 데이터에 그대로 적용되며, 그 적합성 점수는 누적된다. 즉, 단위 동영상 데이터 하나만을 보고 적합성을 평가하는 것이 아니라, 그 단위 동영상 데이터와 다른 단위 동영상 데이터들과의 관계를 고려하여 단위 동영상 데이터와 음악 데이터 사이의 적합성을 평가하는 것이다.The degree of relevance between music data and unit video data can be determined by the cumulative evaluation of users, and when the unit video data enters the customized video data, instead of directly evaluating the relationship between music data and unit video data, users , the suitability score between the customized moving image data and the music data is directly applied to the unit moving image data and music data included in the customized moving image data, and the suitability score is accumulated. That is, the suitability is not evaluated by looking at the unit moving picture data alone, but the suitability between the unit moving picture data and the music data is evaluated in consideration of the relationship between the unit moving picture data and other unit moving picture data.
이를 위해, 피드백 수집부(160)는 검색된 음악 데이터가 검색의 기초가 된 단위 동영상 데이터와 적합한지 여부를 사용자 단말기(10)로부터 점수로 평가를 받을 수 있다. 이러한 평가는 사용자가 자신의 맞춤형 동영상 데이터에 대해서 할 수도 있고 제 3 자의 맞춤형 동영상 데이터에 대해서도 할 수 있다. 시스템에서 모든 생성된 맞춤형 동영상 데이터들은 피드백 수집부(160)에 의해 모든 사용자에게 공개되어 평가될 수 있다.To this end, the feedback collecting unit 160 may receive an evaluation from the user terminal 10 as to whether the searched music data is suitable for the unit video data based on the search as a score. Such evaluation may be performed on the user's own customized video data or on a third party's customized video data. All customized video data generated in the system may be disclosed and evaluated to all users by the feedback collecting unit 160 .
피드백 수집부(160)는 맞춤형 동영상 데이터와 그에 대응되는 음악 데이터 사이의 적합성과 관련하여 사용자 단말기(10)들로부터 적합성 점수를 전송받고, 전송된 적합성 점수를, 맞춤형 동영상 데이터에 포함된 단위 동영상 데이터와, 음악 데이터 사이의 적합성 점수로 부여할 수 있다. 다른 사용자 단말기들로부터 전송된 적합성 점수들도 단위 동영상 데이터와 음악 데이터 사이의 적합성 점수에 누적된다.The feedback collecting unit 160 receives a suitability score from the user terminals 10 in relation to suitability between the customized video data and the corresponding music data, and collects the transmitted suitability score as unit video data included in the customized video data. It can be given as a suitability score between and music data. The suitability scores transmitted from other user terminals are also accumulated in the suitability scores between the unit video data and the music data.
피드백 수집부(160)는 누적된 적합성 점수의 역수를 단위 동영상 데이터와 음악 데이터 사이의 적합성 거리로 설정할 수 있다. 이렇게, 피드백 수집부(160)는 맞춤형 동영상 데이터에 포함된 단위 동영상 데이터들과 음악 데이터들의 관계마다 동일한 적합성 거리를 부여하며, 이 거리는 사용자들의 평가에 의해 업데이트되며, 각 음악 데이터를 중심으로 적합성 거리만큼 떨어진 단위 동영상 데이터들이 배열된 음악 데이터의 가상 구조가 동영상 데이터베이스(170)에 저장할 수 있다.The feedback collector 160 may set the reciprocal of the accumulated suitability score as the suitability distance between the unit video data and the music data. In this way, the feedback collecting unit 160 gives the same relevance distance to each relationship between the unit video data and music data included in the customized video data, and this distance is updated according to the evaluation of users, and the relevance distance is based on each music data. A virtual structure of music data in which unit moving image data separated by a distance is arranged may be stored in the moving image database 170 .
음악 검색부(180)는 맞춤형 동영상 데이터에 포함된 단위 동영상 데이터들이 모두 포함되는 검색 반경을 가지는 음악 데이터들을 검색하되, 검색 반경이 가장 작은 음악 동영상 데이터를 선택할 수 있다.The music search unit 180 searches for music data having a search radius including all unit video data included in the customized video data, but may select the music video data having the smallest search radius.
자막 생성부(190)는 맞춤형 동영상 데이터에 대응되는 요약 문장들을 화면 하단에 자막으로 추가할 수 있다. The subtitle generator 190 may add summary sentences corresponding to the customized video data as subtitles at the bottom of the screen.
이렇게 생성된 맞춤형 동영상 데이터는 유튜브와 같은 미디어플랫폼에 자동으로 업로드되어 공개될 수 있다(S160). 맞춤형 동영상 데이터가 업로드되기 전에 사용자의 확인을 거칠 수 있으며, 기계 학습이 된 확인 모듈이 자동으로 확인을 할 수도 있다. 맞춤형 동영상 데이터는 미디어플랫폼에 기설정된 계정을 통해 업로드가 될 수 있으며, 사용자들은 미디어플랫폼에 공개된 맞춤형 동영상 데이터에 대한 평가 점수를 피드백 수집부(160)로 전송할 수도 있다.The customized video data generated in this way may be automatically uploaded to a media platform such as YouTube and made public (S160). Custom video data can go through user verification before it is uploaded, and a machine-learning verification module can do it automatically. The customized video data may be uploaded through an account preset on the media platform, and users may transmit an evaluation score for the customized video data published on the media platform to the feedback collection unit 160 .
한편, 음성 입력부(110)는 정보 백업부를 포함하며, 정보 백업부는 음성 데이터를 음성 데이터베이스에 백업할 수 있다. 음성 데이터베이스는 복수 개의 서브 데이터베이스들의 집합체로 이루어지며, 이러한 서브 데이터베이스들은 물리적으로 분할된 상태로 이루어지는 것이 바람직할 수 있다.Meanwhile, the voice input unit 110 includes an information backup unit, and the information backup unit may back up voice data to a voice database. The voice database is composed of an aggregate of a plurality of sub-databases, and it may be preferable that these sub-databases are physically divided.
또한, 정보 백업부는 정보 파티셔닝부, 코드 부여부, 난수 크리에이터 및 분산 저장부를 포함할 수 있다.In addition, the information backup unit may include an information partitioning unit, a code assignment unit, a random number creator, and a distributed storage unit.
정보 파티셔닝부는 음성 데이터를 임의로 복수 개의 조각으로 분할하고, 복수 개로 분할된 조각 각각을 복수 개의 개별 조각 정보로 설정하게 된다. 예를 들어, 개별 조각 정보는 P1, P2, P3, P4, P5 등으로 이루어질 수 있다. 음성 데이터는 X자 형태 또는 지그재그 형태로 분할되어 분리될 수 있다.The information partitioning unit arbitrarily divides the voice data into a plurality of pieces, and sets each of the divided pieces as a plurality of individual pieces of information. For example, the individual piece information may include P1, P2, P3, P4, P5, and the like. The voice data may be divided and separated in an X-shape or a zig-zag shape.
코드 부여부는 정보 파티셔닝부가 상술한 바와 같이 분할한 복수 개의 개별 조각 정보에 상이한 코드(code)를 부여하게 된다. 이러한 코드는 일종의 ID와 같은 것으로서, 예를 들어, P1에는 sdf223, P2에는 gdf213, P3에는 kdf312, P4에는 gsd465, P5에는 btu323 등의 코드를 부여하게 된다.The code assigning unit assigns a different code (code) to the plurality of individual pieces of information divided by the information partitioning unit as described above. This code is a kind of ID. For example, codes such as sdf223 to P1, gdf213 to P2, kdf312 to P3, gsd465 to P4, and btu323 to P5 are assigned.
이러한 개별 조각 정보인 각각의 P1 내지 P5 들은 개별적인 물리공간인 서브 데이터베이스에 각각 나뉘어 저장되는데, 저장되기 전에 난수 크리에이터가 이러한 개별 조각 정보의 코드 즉, P1에는 sdf223, P2에는 gdf213, P3에는 kdf312, P4에는 gsd465, P5에는 btu323 각각에 동일한 랜덤 변수를 소정시간 동안 공유시키게 된다.Each of these individual pieces of information P1 to P5 is divided and stored in a sub-database that is an individual physical space, and before being stored, the random number creator uses the codes of these individual pieces of information, that is, sdf223 in P1, gdf213 in P2, kdf312 in P3, and kdf312 in P4. The same random variable is shared with gsd465 for , and btu323 for P5 for a predetermined time.
예컨대, i) 16시 10분 00초부터 16시 10분 20초 사이에는 이들 P1의 코드 sdf223, P2의 코드 gdf213, P3의 코드 kdf312, P4의 코드 gsd465, P5의 코드 btu323 각각에 동일한 랜덤 변수 agsdaefdf3456436를 공유시키며, ii) 16시 10분 20초부터 16시 10분 40초 사이에는 이들 P1의 코드 sdf223, P2의 코드 gdf213, P3의 코드 kdf312, P4의 코드 gsd465, P5의 코드 btu323 각각에 동일한 랜덤 변수 dafdfreyj8143489를 공유시키게 된다. 이후 반복된다.For example, i) between 16:10:00 and 16:10:20, the same random variable agsdaefdf3456436 for each of the codes sdf223 of P1, gdf213 of P2, kdf312 of P3, gsd465 of P4, and btu323 of P5. ii) From 16:10:20 to 16:10:40, the same random for each of P1's code sdf223, P2's code gdf213, P3's code kdf312, P4's code gsd465, and P5's code btu323 The variable dafdfreyj8143489 is shared. After that, it is repeated.
어느 순간에 음성 데이터 전체에 대한 호출이 있게 되면, 음성 데이터를 구성하는 P1 내지 P5는 재조합의 과정이 필요한데, 이러한 재조합은 해당 순간에 공유하는 랜덤 변수를 통해 매개하여 재조합된다.When there is a call to all voice data at a certain moment, P1 to P5 constituting the voice data needs a process of recombination, and this recombination is mediated through a random variable shared at the moment.
분산 저장부는 상술한 바와 같이, 복수 개의 개별 조각 정보 예컨대, P1 내지 P5를 물리적으로 분할된 음성 데이터베이스 각각에 분산하여 저장하게 된다.As described above, the distributed storage unit distributes and stores a plurality of individual pieces of information, for example, P1 to P5 in each physically divided voice database.
또한, 적합성 점수 데이터 전송의 보안화를 위해, 사용자 단말기(10)는, 적합성 점수 데이터 신호를 분할하여 복수 개의 데이터 조각들을 생성하고, 데이터 조각들의 각각에 어드레스를 부여하며, 어드레스를 고려한 조합 규칙을 생성하는 룰 제네레이션 모듈; 복수 개의 데이터 조각들을 임의의 순서로 피드백 수집부(160)로 전송하는 제 1 센딩 모듈; 및 조합 규칙을 피드백 수집부(160)로 전송하는 제 2 센딩 모듈을 포함할 수 있다. 피드백 수집부(160)는, 피드백 수집부(160)에 전송된 복수 개의 데이터 조각들 및 조합 규칙을 전송받고, 조합 규칙에 따라 복수 개의 데이터 조각들을 조합하여 데이터를 생성하는 리제네레이션 모듈을 포함할 수 있다.In addition, for security of conformity score data transmission, the user terminal 10 divides the suitability score data signal to generate a plurality of data pieces, assigns an address to each of the data pieces, and applies a combination rule considering the address. a rule generation module to generate; a first sending module for transmitting a plurality of data pieces to the feedback collecting unit 160 in a random order; and a second sending module that transmits the combination rule to the feedback collection unit 160 . The feedback collector 160 may include a regeneration module that receives the plurality of data pieces and the combination rule transmitted to the feedback collector 160, and combines the plurality of data pieces according to the combination rule to generate data. can
대안적으로, 사용자 단말기(10)는, 적합성 점수를 QR 코드의 형태로 이미지화 하고 QR 코드 이미지에 가로 방향으로 n개의 제 1 파티셔닝 라인들을 설정하고, 세로 방향으로 m개의 제 2 파티셔닝 라인들을 설정하는 파티셔닝 라이닝 모듈(여기서, n 및 m은 자연수이다); 제 1 파티셔닝 라인들 및 제 2 파티셔닝 라인들 중 어느 하나를 선택하는 단계, 상기 선택된 파티셔닝 라인(이하 “제 1 회전축 파티셔닝 라인”이라 한다)을 중심으로 어느 일 측의 QR 코드 이미지를 어느 한 방향으로 회전시켜 상기 제 1 회전축 파티셔닝 라인의 양 측의 QR 코드 이미지 영역이 2개의 층으로 중첩되도록 하여 제 1 레이어드 이미지를 생성하는 단계, 제 1 파티셔닝 라인들 및 제 2 파티셔닝 라인들 중 다른 하나를 선택하는 단계, 상기 선택된 다른 하나의 파티셔닝 라인(이하 “제 2 회전축 파티셔닝 라인”이라 한다)을 중심으로 어느 일 측의 제 1 레이어드 이미지를 어느 한 방향으로 회전시켜 상기 제 2 회전축 파티셔닝 라인의 양 측의 제 1 레이어드 이미지 영역이 2개의 층으로 중첩되도록 하여 제 2 레이어드 이미지를 생성하는 단계를 포함하는 레이어링 규칙을 수행하는 레이어링 모듈; 제 2 레이어드 이미지를 피드백 수집부(160)로 전송하는 제 1 센딩 모듈; 및 레이어링 규칙을 피드백 수집부(160)로 전송하는 제 2 센딩 모듈을 포함하고, 피드백 수집부(160)는, 피드백 수집부(160)에 전송된 제 2 레이어드 이미지 및 레이어링 규칙을 전송받고, 레이어링 규칙에 따라 제 2 레이어드 이미지를 복원하여 QR 코드 이미지를 생성하는 언레이어링 모듈을 포함할 수 있다.Alternatively, the user terminal 10 is configured to image the suitability score in the form of a QR code and set n first partitioning lines in the horizontal direction in the QR code image, and m second partitioning lines in the vertical direction. partitioning lining module, where n and m are natural numbers; Selecting any one of the first partitioning lines and the second partitioning lines, the selected partitioning line (hereinafter referred to as “first rotation axis partitioning line”) as the center of the QR code image on either side in any one direction Creating a first layered image by rotating the QR code image area on both sides of the first rotation axis partitioning line to overlap in two layers, selecting the other one of the first partitioning lines and the second partitioning lines Step, by rotating the first layered image on either side in either direction around the selected other partitioning line (hereinafter referred to as “second rotation axis partitioning line”) a layering module that performs a layering rule including generating a second layered image by making the one layered image region overlap in two layers; a first sending module for transmitting the second layered image to the feedback collecting unit 160; and a second sending module for transmitting the layering rule to the feedback collecting unit 160 , wherein the feedback collecting unit 160 receives the second layered image and the layering rule transmitted to the feedback collecting unit 160, and layering It may include an unlayering module for generating a QR code image by restoring the second layered image according to the rule.
이상 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 혹은 이들 중 하나 이상의 조합에서 구현 가능하다.The functional operations described in this specification and the embodiments related to the present subject matter can be implemented in a digital electronic circuit, computer software, firmware, or hardware, including the structures disclosed herein and structural equivalents thereof, or in a combination of one or more thereof Do.
본 명세서에서 기술하는 주제의 실시형태는 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치에 의한 실행을 위하여 또는 그 동작을 제어하기 위하여 유형의 프로그램 매체 상에 인코딩되는 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 유형의 프로그램 매체는 전파형 신호이거나 컴퓨터로 판독 가능한 매체일 수 있다. 전파형 신호는 컴퓨터에 의한 실행을 위하여 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위하여 생성되는 예컨대 기계가 생성한 전기적, 광학적 혹은 전자기 신호와 같은 인공적으로 생성된 신호이다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조합 혹은 이들 중 하나 이상의 조합일 수 있다.Embodiments of the subject matter described herein are one or more computer program products, ie, one or more modules directed to computer program instructions encoded on a tangible program medium for execution by or for controlling the operation of a data processing apparatus. can be implemented. A tangible program medium may be a radio wave signal or a computer-readable medium. A radio wave signal is an artificially generated signal, eg a machine-generated electrical, optical or electromagnetic signal, that is generated to encode information for transmission to an appropriate receiver device for execution by a computer. The computer-readable medium may be a machine-readable storage device, a machine-readable storage substrate, a memory device, a combination of materials that affect a machine-readable radio wave signal, or a combination of one or more of these.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다.A computer program (also known as a program, software, software application, script or code) may be written in any form of any programming language, including compiled or interpreted language or a priori or procedural language, and may be written as a stand-alone program or module; It can be deployed in any form, including components, subroutines, or other units suitable for use in a computer environment.
컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다.A computer program does not necessarily correspond to a file in a file system. A program may be in a single file provided to the requested program, or in multiple interacting files (eg, files that store one or more modules, subprograms, or portions of code), or portions of files that hold other programs or data. (eg, one or more scripts stored within a markup language document).
컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터 또는 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.The computer program may be deployed to be executed on one computer or multiple computers located at one site or distributed over a plurality of sites and interconnected by a communication network.
부가적으로, 본 명세서에서 기술하는 논리 흐름과 구조적인 블록도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 구축하는 데에도 사용 가능하다. Additionally, the logic flows and structural block diagrams described herein describe corresponding acts and/or specific methods supported by corresponding functions and steps supported by the disclosed structural means, and corresponding software. It can also be used to build structures and algorithms and their equivalents.
본 명세서에서 기술하는 프로세스와 논리 흐름은 입력 데이터 상에서 동작하고 출력을 생성함으로써 기능을 수행하기 위하여 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래머블 프로세서에 의하여 수행 가능하다.The processes and logic flows described herein may be performed by one or more programmable processors executing one or more computer programs to perform functions by operating on input data and generating output.
컴퓨터 프로그램의 실행에 적합한 프로세서는, 예컨대 범용 및 특수 목적의 마이크로프로세서 양자 및 어떤 종류의 디지털 컴퓨터의 어떠한 하나 이상의 프로세서라도 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 혹은 양자로부터 명령어와 데이터를 수신할 것이다. Processors suitable for the execution of computer programs include, for example, both general and special purpose microprocessors and any one or more processors of any kind of digital computer. Typically, the processor will receive instructions and data from read-only memory, random access memory, or both.
컴퓨터의 핵심적인 요소는 명령어와 데이터를 저장하기 위한 하나 이상의 메모리 장치 및 명령을 수행하기 위한 프로세서이다. 또한, 컴퓨터는 일반적으로 예컨대 자기, 자기광학 디스크나 광학 디스크와 같은 데이터를 저장하기 위한 하나 이상의 대량 저장 장치로부터 데이터를 수신하거나 그것으로 데이터를 전송하거나 혹은 그러한 동작 둘 다를 수행하기 위하여 동작가능 하도록 결합되거나 이를 포함할 것이다. 그러나, 컴퓨터는 그러한 장치를 가질 필요가 없다.A key element of a computer is one or more memory devices for storing instructions and data and a processor for executing instructions. In addition, a computer is generally operably coupled to receive data from, transmit data to, or both of one or more mass storage devices for storing data, such as, for example, magnetic, magneto-optical disks or optical disks. or will include However, the computer need not have such a device.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. The present description sets forth the best mode of the invention, and provides examples to illustrate the invention, and to enable any person skilled in the art to make or use the invention. The specification thus prepared does not limit the present invention to the specific terms presented.
따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있다는 점을 밝힌다.Accordingly, although the present invention has been described in detail with reference to the above-described examples, those skilled in the art can make modifications, changes, and modifications to the examples without departing from the scope of the present invention. In short, in order to achieve the intended effect of the present invention, it is not necessary to separately include all the functional blocks shown in the drawings or follow all the orders shown in the drawings. indicate that it may be within the scope
[부호의 설명][Explanation of code]
100: 멀티미디어 자동 생성 시스템100: multimedia automatic creation system
110: 음성 입력부110: voice input unit
120: 문자 변환부120: character conversion unit
130: 동영상 검색부130: video search unit
140: 동영상 생성부140: video generation unit
150: 동영상 데이터베이스150: video database
160: 피드백 수집부160: feedback collecting unit
170: 음악 데이터베이스170: music database
180: 음악 검색부180: music search unit
190: 자막 생성부190: subtitle generator

Claims (10)

  1. 사용자 단말기와 네트워크를 통해 연결되는 멀티미디어 자동 생성 시스템에 있어서,In the multimedia automatic generation system connected to the user terminal and the network,
    사용자 단말기로부터 사용자 음성 데이터를 전송받는 음성 입력부;a voice input unit receiving user voice data from the user terminal;
    음성 데이터를 문자 데이터로 변환하는 문자 변환부;a text converter for converting voice data into text data;
    문자 데이터에 대응되는 단위 동영상 데이터를 검색하는 동영상 검색부; 및a video search unit for searching unit video data corresponding to text data; and
    단위 동영상 데이터를 결합하여 맞춤형 동영상 데이터를 제작하는 동영상 생성부를 포함하는 것을 특징으로 멀티미디어 자동 생성 시스템.Automated multimedia generation system, characterized in that it comprises a video generating unit for producing customized video data by combining unit video data.
  2. 제 1 항에 있어서,The method of claim 1,
    문자 변환부는 문자 데이터에 포함된 문장들로부터 키워드를 추출하여, 하나 이상의 키워드를 포함하는 요약 문장을 생성하는 것을 특징으로 하는 멀티미디어 자동 생성 시스템.The text conversion unit extracts keywords from sentences included in the text data, and generates a summary sentence including one or more keywords.
  3. 제 2 항에 있어서, 멀티미디어 자동 생성 시스템은3. The method of claim 2, wherein the multimedia automatic generation system comprises:
    단위 동영상 데이터가 저장된 동영상 데이터베이스를 더 포함하고,Further comprising a video database in which unit video data is stored,
    동영상 검색부는 하나의 요약 문장에 포함된 키워드들에 대응되는 복수개의 단위 동영상 데이터를 동영상 데이터베이스에서 검색하는 것을 특징으로 하는 멀티미디어 자동 생성 시스템.The video search unit searches the video database for a plurality of unit video data corresponding to keywords included in one summary sentence.
  4. 제 3 항에 있어서, 멀티미디어 자동 생성 시스템은4. The method of claim 3, wherein the multimedia automatic generation system comprises:
    상기 검색된 단위 동영상 데이터가 검색의 기초가 된 요약 문장의 키워드와 적합한지 여부를 사용자 단말기로부터 점수로 평가를 받는 피드백 수집부를 더 포함하는 것을 특징으로 하는 멀티미디어 자동 생성 시스템.The automatic multimedia generation system according to claim 1, further comprising: a feedback collecting unit that evaluates whether the searched unit video data matches the keyword of the summary sentence based on the search as a score from the user terminal.
  5. 제 4 항에 있어서,5. The method of claim 4,
    피드백 수집부는, 요약 문장과 그에 대응되는 맞춤형 동영상 데이터 사이의 적합성과 관련하여, 사용자 단말기들로부터 적합성 점수를 전송받고, The feedback collecting unit receives a suitability score from the user terminals in relation to the suitability between the summary sentence and the corresponding customized video data,
    전송된 적합성 점수를, 상기 요약 문장에 포함된 키워드와, 상기 맞춤형 동영상 데이터에 포함되며 상기 키워드에 대응되는 단위 동영상 데이터 사이의 적합성 점수로 부여하고, The transmitted suitability score is given as a suitability score between the keyword included in the summary sentence and the unit video data included in the customized video data and corresponding to the keyword,
    다른 사용자 단말기들로부터 전송된 점수들을 상기 적합성 점수에 누적시키고,accumulating scores transmitted from other user terminals into the suitability score;
    상기 누적된 적합성 점수의 역수를 상기 키워드와 상기 단위 동영상 데이터 사이의 적합성 거리로 설정하고, 각 단위 동영상 데이터를 중심으로 적합성 거리만큼 키워드들이 떨어지도록 가상으로 배열하여 동영상 데이터베이스에 저장하는 것을 특징으로 하는 멀티미디어 자동 생성 시스템.The reciprocal of the accumulated suitability score is set as the suitability distance between the keyword and the unit video data, and the keywords are arranged so that the keywords fall by the suitability distance centering on each unit video data and stored in a video database. Multimedia automatic creation system.
  6. 제 5 항에 있어서,6. The method of claim 5,
    동영상 검색부는 요약 문장에 포함된 키워드들이 모두 포함되는 검색 반경을 가지는 단위 동영상 데이터들을 검색하되, 검색 반경이 가장 작은 단위 동영상 데이터를 선택하는 것을 특징으로 하는 멀티미디어 자동 생성 시스템.The video search unit searches unit video data having a search radius including all keywords included in the summary sentence, and selects the video data unit having the smallest search radius.
  7. 제 6 항에 있어서, 멀티미디어 자동 생성 시스템은7. The method of claim 6, wherein the multimedia automatic generation system comprises:
    음악 데이터가 저장된 음악 데이터베이스; 및a music database in which music data is stored; and
    맞춤형 동영상 데이터에 대응되는 음악 데이터를 검색하는 음악 검색부를 더 포함하되,Further comprising a music search unit for searching for music data corresponding to the customized video data,
    음악 검색부는 하나의 맞춤형 동영상 데이터에 대응되는 복수개의 음악 데이터를 음악 데이터베이스에서 검색하는 것을 특징으로 하는 멀티미디어 자동 생성 시스템.The music search unit searches the music database for a plurality of music data corresponding to one customized video data.
  8. 제 7 항에 있어서, 8. The method of claim 7,
    피드백 수집부는 상기 맞춤형 동영상 데이터와 그에 대응되는 음악 데이터 사이의 적합성과 관련하여, 사용자 단말기들로부터 점수를 전송받고,The feedback collecting unit receives scores from user terminals in relation to the suitability between the customized video data and the corresponding music data,
    전송된 점수를, 상기 맞춤형 동영상 데이터에 포함된 단위 동영상 데이터와 상기 음악 데이터 사이의 적합성 점수로 부여하고, The transmitted score is given as a suitability score between the unit video data included in the customized video data and the music data,
    다른 사용자 단말기들로부터 전송된 점수들을 상기 적합성 점수에 누적시키고,accumulating scores transmitted from other user terminals into the suitability score;
    상기 누적된 적합성 점수의 역수를 상기 단위 동영상 데이터와 상기 음악 데이터 사이의 적합성 거리로 설정하고, 각 음악 데이터를 중심으로 적합성 거리만큼 단위 동영상 데이터들이 떨어지도록 가상으로 배열하여 음악 데이터베이스에 저장하는 것을 특징으로 하는 멀티미디어 자동 생성 시스템.The reciprocal of the accumulated suitability score is set as the suitability distance between the unit video data and the music data, and the unit video data is virtually arranged so that the unit video data is separated by the suitability distance around each music data and stored in the music database. Multimedia automatic creation system with
  9. 제 8 항에 있어서,9. The method of claim 8,
    음악 검색부는 맞춤형 동영상 데이터에 포함된 단위 동영상 데이터들이 모두 포함되는 검색 반경을 가지는 음악 데이터들을 검색하되, 검색 반경이 가장 작은 음악 데이터를 선택하는 것을 특징으로 하는 멀티미디어 자동 생성 시스템.The music search unit searches for music data having a search radius including all unit video data included in the customized video data, and selects music data having the smallest search radius.
  10. 제 1 항에 있어서, 멀티미디어 자동 생성 시스템은The method of claim 1, wherein the multimedia automatic generation system comprises:
    맞춤형 동영상 데이터에 대응되는 요약 문장들을 자막으로 추가하는 자막 생성부를 더 포함하는 것을 특징으로 하는 멀티미디어 자동 생성 시스템.Automatic multimedia generation system, characterized in that it further comprises a subtitle generator for adding summary sentences corresponding to the customized video data as subtitles.
PCT/KR2021/011413 2020-09-03 2021-08-26 Multimedia automatic generation system for automatically generating multimedia appropriate for user voice data by using artificial intelligence WO2022050632A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200112536A KR102213618B1 (en) 2020-09-03 2020-09-03 Multimedia automatic generation system for automatically generating multimedia suitable for user's voice data by using artificial intelligence
KR10-2020-0112536 2020-09-03

Publications (1)

Publication Number Publication Date
WO2022050632A1 true WO2022050632A1 (en) 2022-03-10

Family

ID=74559261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011413 WO2022050632A1 (en) 2020-09-03 2021-08-26 Multimedia automatic generation system for automatically generating multimedia appropriate for user voice data by using artificial intelligence

Country Status (2)

Country Link
KR (1) KR102213618B1 (en)
WO (1) WO2022050632A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102213618B1 (en) * 2020-09-03 2021-02-09 주식회사 웨인힐스벤처스 Multimedia automatic generation system for automatically generating multimedia suitable for user's voice data by using artificial intelligence
KR20230084965A (en) 2021-12-06 2023-06-13 동서대학교 산학협력단 Face image-based Voice Generation System and Method using Deep Learning Technology

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060089922A (en) * 2005-02-03 2006-08-10 에스케이 텔레콤주식회사 Data abstraction apparatus by using speech recognition and method thereof
KR20130093186A (en) * 2012-02-14 2013-08-22 주식회사 와이즈게코 Apparatus for making a moving image with interactive character
KR20160133335A (en) * 2015-05-12 2016-11-22 이석희 System for making dynamic digital image by voice recognition
KR20180038027A (en) * 2015-09-08 2018-04-13 애플 인크. Intelligent automation assistant for media search and playback
KR101964126B1 (en) * 2017-10-26 2019-04-01 주식회사 이누씨 The Apparatus And Method For Transferring High Definition Video
KR102213618B1 (en) * 2020-09-03 2021-02-09 주식회사 웨인힐스벤처스 Multimedia automatic generation system for automatically generating multimedia suitable for user's voice data by using artificial intelligence

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060089922A (en) * 2005-02-03 2006-08-10 에스케이 텔레콤주식회사 Data abstraction apparatus by using speech recognition and method thereof
KR20130093186A (en) * 2012-02-14 2013-08-22 주식회사 와이즈게코 Apparatus for making a moving image with interactive character
KR20160133335A (en) * 2015-05-12 2016-11-22 이석희 System for making dynamic digital image by voice recognition
KR20180038027A (en) * 2015-09-08 2018-04-13 애플 인크. Intelligent automation assistant for media search and playback
KR101964126B1 (en) * 2017-10-26 2019-04-01 주식회사 이누씨 The Apparatus And Method For Transferring High Definition Video
KR102213618B1 (en) * 2020-09-03 2021-02-09 주식회사 웨인힐스벤처스 Multimedia automatic generation system for automatically generating multimedia suitable for user's voice data by using artificial intelligence

Also Published As

Publication number Publication date
KR102213618B1 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
WO2022050632A1 (en) Multimedia automatic generation system for automatically generating multimedia appropriate for user voice data by using artificial intelligence
US11087090B2 (en) System for focused conversation context management in a reasoning agent/behavior engine of an agent automation system
US20120324538A1 (en) System and method for discovering videos
WO2016035970A1 (en) Advertisement system using search advertisement
CN103347091A (en) Method for sharing document annotations and cloud server
WO2015129983A1 (en) Device and method for recommending movie on basis of distributed mining of fuzzy association rules
WO2012036449A2 (en) Method and apparatus for managing data
WO2015041434A1 (en) Multilingual message translation system and method therefor
CN105717997A (en) Systems and methods for mounting and dismounting computing components
WO2014058153A1 (en) Address book information service system, and method and device for address book information service therein
JP2012216189A (en) Method and apparatus for providing sns-based time machine service
WO2021167238A1 (en) Method and system for automatically creating table of contents of video on basis of content
AU2020412338B2 (en) Method and device for improving the searchability of incident-specific social media content posted via particularly identified communication devices
WO2021029671A1 (en) Method and system for playing streaming content
CN113766170A (en) Audio and video based on-line conference multi-terminal resource sharing method and system
WO2021107208A1 (en) Integrated chatbot agent platform system for chatbot channel connection and integration, and service method thereof
TU et al. Key technologies and application of edge computing
WO2013009125A2 (en) Method and apparatus for managing playlist
WO2013089390A1 (en) System for providing personal information based on the creation and consumption of content
CN103546455A (en) Transmission link scheduling method and system
WO2013187555A1 (en) Data sharing service system, and device and method for data sharing service
WO2013042809A1 (en) System and method for providing current use state information of an application
WO2016137114A1 (en) Method and device for establishing meta-knowledge database and processing query
WO2022119326A1 (en) Method for providing service of producing multimedia conversion content by using image resource matching, and apparatus thereof
Nimkanjana et al. Video-based Question Generation for Mobile Learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21864592

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04-08-2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21864592

Country of ref document: EP

Kind code of ref document: A1