WO2019177182A1 - Multimedia content search apparatus and search method using attribute information analysis - Google Patents

Multimedia content search apparatus and search method using attribute information analysis Download PDF

Info

Publication number
WO2019177182A1
WO2019177182A1 PCT/KR2018/002911 KR2018002911W WO2019177182A1 WO 2019177182 A1 WO2019177182 A1 WO 2019177182A1 KR 2018002911 W KR2018002911 W KR 2018002911W WO 2019177182 A1 WO2019177182 A1 WO 2019177182A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
attribute
information
unit
multimedia content
Prior art date
Application number
PCT/KR2018/002911
Other languages
French (fr)
Korean (ko)
Inventor
송민규
Original Assignee
미디어젠 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어젠 주식회사 filed Critical 미디어젠 주식회사
Publication of WO2019177182A1 publication Critical patent/WO2019177182A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Definitions

  • the present invention relates to an apparatus and method for searching multimedia contents through attribute information analysis. More particularly, the present invention relates to a method of searching a text keyword by acquiring a search word of multimedia content input by speech recognition or text, or performing a similar attribute search. The multimedia information to be searched is output by outputting the search result information of the multimedia contents when performing the text keyword search by determining whether to perform the search.
  • the present invention relates to a multimedia content retrieval apparatus and a retrieval method through attribute information analysis capable of providing multimedia contents having high similarity with the attribute information of the content.
  • a portal company such as the following, and a search engine such as Google
  • the user can search for the latest keyword information related to the keyword of the user's search query, or a specific operator grouping the keywords. Through this, efforts are made to provide information closer to the information desired by the user.
  • the related search word providing service not only facilitates a user's search, but also serves as one piece of information.
  • the prior art 1 relates to a keyword visualization apparatus and a method thereof, comprising: a keyword extracting unit extracting a keyword from data obtained through the Internet; A frequency analysis unit for raising a frequency of occurrence of the keyword each time a keyword is extracted; An association analysis unit for increasing association values between the extracted keywords when a plurality of keywords are extracted from a single data; An information storage unit for storing the extracted keywords and storing occurrence frequency values for each keyword and correlation values between the keywords; And a graph having a plurality of nodes and edges is displayed on the screen by using a plurality of keywords, occurrence frequency values of the keywords, and correlation values between the keywords, and each node of the graph is displayed with keywords.
  • Nodes with high values are displayed in large sizes, and nodes with low keyword occurrence frequencies are displayed in small sizes. If the correlation values between keywords of two nodes connected by edges are high, the edges are displayed with thick edges. If it is low, characterized in that it comprises a visualization processing unit for processing so that the edge is displayed thin, suggests a change in the frequency of occurrence of the keyword and the degree of association between the keywords.
  • patent documents include "a search method and system using the ranking of keywords (patent registration no. 10-1072113, hereinafter referred to as” prior art 2 ").
  • the prior art 2 is a search method and system using an association ranking of a keyword, comprising: an index module for generating an independent index by indexing a property of a keyword and an association index by indexing a correlation between a keyword and another keyword; An association score calculation module that quantifies an association degree between a keyword and another keyword based on an association index as an association score; A rank score calculation module that calculates a rank score according to the use purpose based on the association score and the independent index; And a search module for providing a related keyword for the search term based on the ranking score.
  • Prior Art 2 only discloses a technical idea of extracting a related search word for a keyword, and does not provide general information on the related search.
  • Prior Art 1 provides a graph of ranking among related search terms for a keyword to provide which related search terms for a search term is the most frequently used.
  • the related art automatically searches for the highest frequency among related search terms. It is not much different from the known technology ranking at the top of the related search word list.
  • search systems equipped with artificial intelligence-based can be divided into crawler-based, directory-based, hybrid search, and meta-search method in terms of search method.
  • the crawler-based retrieval system downloads and stores documents on the web in its database using an automated agent program called spider, crawler, webbot, and the like.
  • the user's search request is handled by finding the search keyword in the index of the stored web document and providing a link to that document.
  • web sites are classified and stored in a predetermined directory by a person, and the stored websites are ranked by a predefined rule.
  • the user's search request is processed by grouping the web documents found by keyword matching by directory.
  • the crawler method and the directory method are used together and generally provide a better search result to the user.
  • meta-search system utilizes search algorithms and evaluation criteria of other search systems.
  • search results of different search systems are merged and provided to the user.
  • Metacrawler system is a typical example.
  • a first object of the present invention is to perform a text keyword search by acquiring a search word of multimedia content input by speech recognition or text, or similar property search.
  • the search result information of the multimedia content is output when the text keyword search is performed and the search result information of the multimedia content having the similar property is output.
  • the second object of the present invention is to provide the similarity matching property analysis unit 530 to the attribute information and the multimedia content attribute assignment unit 520 for the search word stored in the search term attribute value information DB 517 when performing the similar attribute search. Similarity matching analysis is performed with the multimedia content attribute information assigned by the present invention, thereby providing search result information of the multimedia content having attributes similar to the intention of the search word (question).
  • the third object of the present invention is to provide a content crawling module 522, to collect a plurality of multimedia content information from the content server 560 to store in the content storage DB to extend the operation range of the attribute information, the content attribute allocation model
  • the module 524 By providing the module 524, the attribute information is allocated to each multimedia content stored in the content storage DB 523 and provided to the content information search module.
  • the multimedia content retrieval apparatus through attribute information analysis
  • a search start unit 100 for acquiring a search word of multimedia content input by voice recognition or text and providing search execution request information to the attribute search execution determining unit 200;
  • the search execution request information from the search start unit 100 it is determined whether to perform a text keyword search or a similar attribute search, and as a result of the determination, the text keyword search is performed when the text keyword search is performed.
  • the attribute search decision unit 200 which provides the text keyword search request information to the unit 300, and provides the similar property search request information to the attribute similarity search unit 500 when performing the similar attribute search as a result of the determination; ,
  • a text keyword search unit 300 which performs a text keyword search when obtaining the text keyword search request information provided from the attribute search performing determination unit, and provides the search result information to the text keyword result output unit;
  • a text keyword result output unit 400 for outputting search result information of the text keyword provided from the text keyword search unit;
  • An attribute similarity search means 500 which performs a similar attribute search when obtaining similar attribute search request information provided from the attribute search execution determination unit and provides the search result information to the attribute similarity search result output unit 500;
  • an attribute similarity search result output unit 600 for outputting search result information of the similar attribute provided from the attribute similarity search unit 500.
  • the multimedia content retrieval method by analyzing the attribute information
  • the attribute search execution unit 200 obtains the search execution request information from the search start unit 100, it is determined whether to perform a text keyword search or a similar attribute search.
  • the text keyword search request information is provided to the text keyword search unit 300, and as a result of the determination, when the similar property search is performed, the similar property search request information is provided to the attribute similarity search unit 500.
  • Attribute search determination step (S200) is performed when the attribute search execution request information is performed.
  • the text keyword search unit 300 obtains the text keyword search request information provided from the attribution search execution determination unit 200, the text keyword search unit performs a text keyword search and provides the search result information to the text keyword result output unit. Step S300,
  • the attribute similarity search result output unit 600 includes an attribute similarity search result output step S600 for outputting search result information of similar attributes provided from the attribute similarity search unit 500.
  • Search result of multimedia content is output when performing a text keyword search by determining whether to perform a text keyword search, and output search result information of multimedia content having a similar property when performing a similar property search.
  • the present invention provides an effect of providing a multimedia content search result using a keyword method and of providing a multimedia content search result most similar to a search word (question) that a user wants to search through a similar property search.
  • the amount of information of the multimedia content changes over time, and accordingly, the attributes of a specific object change from time to time.
  • the multimedia content attribute assignment unit By reflecting this variably by the multimedia content attribute assignment unit, various multimedia contents that change in real time may be reflected in a search. Will be effective.
  • FIG. 1 is an overall configuration diagram schematically showing an apparatus for retrieving multimedia contents through attribute information analysis according to a first embodiment of the present invention.
  • FIG. 2 is an exemplary view in which a movie of a conventional similar atmosphere is not searched.
  • FIG. 3 is an overall block diagram of an apparatus for retrieving multimedia contents through attribute information analysis according to a first embodiment of the present invention.
  • FIG. 4 is an exemplary view showing a search result output when a text keyword is searched.
  • FIG. 5 is an exemplary view of a similar property search result output through a multimedia content search apparatus through analysis of property information according to a first embodiment of the present invention.
  • FIG. 6 is a block diagram of attribute similarity retrieval means of a multimedia content retrieval apparatus by analyzing attribute information according to the first embodiment of the present invention
  • FIG. 7 is a block diagram of a keyword attribute analysis unit of a multimedia content retrieval apparatus through attribute information analysis according to the first embodiment of the present invention.
  • FIG. 8 is a block diagram of a multimedia content attribute assignment unit of the multimedia content retrieval apparatus through attribute information analysis according to the first embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a multimedia content retrieval method through attribute information analysis according to a first embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an attribute similarity search step of a multimedia content search method through analysis of attribute information according to a first embodiment of the present invention
  • first and second may be used to describe various components, but the components may not be limited by the terms.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • a component When a component is referred to as being connected or connected to another component, it may be understood that the component may be directly connected to or connected to the other component, but there may be other components in between. .
  • an apparatus for retrieving multimedia contents through attribute information analysis In accordance with a first aspect of the present invention, there is provided an apparatus for retrieving multimedia contents through attribute information analysis.
  • a search start unit 100 for acquiring a search word of multimedia content input by voice recognition or text and providing search execution request information to the attribute search execution determining unit 200;
  • the search execution request information from the search start unit 100 it is determined whether to perform a text keyword search or a similar attribute search, and as a result of the determination, the text keyword search is performed when the text keyword search is performed.
  • the attribute search decision unit 200 which provides the text keyword search request information to the unit 300, and provides the similar property search request information to the attribute similarity search unit 500 when performing the similar attribute search as a result of the determination; ,
  • a text keyword search unit 300 which performs a text keyword search when obtaining the text keyword search request information provided from the attribute search performing determination unit, and provides the search result information to the text keyword result output unit;
  • a text keyword result output unit 400 for outputting search result information of the text keyword provided from the text keyword search unit;
  • An attribute similarity search means 500 which performs a similar attribute search when obtaining similar attribute search request information provided from the attribute search execution determination unit and provides the search result information to the attribute similarity search result output unit 500;
  • It is characterized in that it comprises a property similarity search result output unit 600 for outputting the search result information of the similar property provided from the attribute similarity search unit 500.
  • a search word attribute analyzer 510 for analyzing linguistic attribute information included in a search word of multimedia content input through speech recognition or text;
  • a multimedia content attribute allocator 520 for acquiring and storing multimedia contents from the content server 560 and allocating attribute information to the stored multimedia contents;
  • a similarity matching analysis unit 530 for performing a similarity matching analysis of multimedia contents included in the multimedia contents list information
  • a similarity candidate group extracting unit 540 for sequentially extracting multimedia contents according to candidate group numbers from multimedia contents having the highest similarity with reference to a preset candidate group number;
  • a similarity reference multimedia content sorting unit 550 for sorting the multimedia contents extracted according to the number of candidate groups according to similarity and providing the sorted multimedia contents to the attribute similarity search result output unit 600. do.
  • the machine learning model module 512 provides information on requesting interpretation of linguistic attributes included in a search word of multimedia content input through speech recognition or text, and provides linguistic attribute information included in a search word interpreted from the machine learning model module.
  • Machine learning model module for providing linguistic attribute information interpreted as natural language processing module by interpreting linguistic attributes included in search term when obtaining information on interpretation of linguistic attributes included in search term from natural language processing module. 512);
  • a knowledge information DB 514 that stores attribute type information refined into attribute types that can be matched with attribute information of multimedia content
  • the probability model calculation request information is provided to the attribute model module 516, and the probability value calculated from the attribute model module 516 is obtained to provide the search term.
  • a keyword attribute value conversion module 515 for converting the attribute value into an attribute value and providing the result to the keyword attribute value information DB 517;
  • An attribute model module 516 for calculating a probability value through language modeling when obtaining the probability value calculation request information from the keyword attribute value conversion module 515 and providing the calculated probability value to the keyword attribute value conversion module 515;
  • a search word attribute value information DB 517 that stores the attribute value for the search word provided by the search word attribute value conversion module 515.
  • a content interlocking module 521 for providing multimedia content information to the content crawling module 522 in association with the content server 560;
  • a content crawling module 522 for collecting a plurality of multimedia content information provided from the content interworking module 521 and storing the multimedia content information in a content storage DB to expand the operation range of the attribute information;
  • a content storage DB 523 for storing multimedia content information provided from the content crawling module 522 and attribute information allocated to each multimedia content
  • a content property information analysis module 525 for analyzing the property information of each multimedia content assigned by the content property assignment model module 524 and providing the same to the content information search module;
  • the attribute information of each multimedia content analyzed by the content attribute information analysis module 525 is provided to the similarity matching property analysis unit 530, and similar property information is similar to the linguistic property information of the search word from the similarity matching property analysis unit 530.
  • the similarity matching analysis may be performed using the attribute information of the search word stored in the search term attribute value information DB 517 and the multimedia content attribute information allocated by the multimedia content attribute assigning unit 520.
  • a method for retrieving multimedia contents by analyzing attribute information includes:
  • the attribute search execution unit 200 obtains the search execution request information from the search start unit 100, it is determined whether to perform a text keyword search or a similar attribute search.
  • the text keyword search request information is provided to the text keyword search unit 300, and as a result of the determination, when the similar property search is performed, the similar property search request information is provided to the attribute similarity search unit 500.
  • Attribute search determination step (S200) is performed when the attribute search execution request information is performed.
  • the text keyword search unit 300 obtains the text keyword search request information provided from the attribution search execution determination unit 200, the text keyword search unit performs a text keyword search and provides the search result information to the text keyword result output unit. Step S300,
  • the attribute similarity search result output unit 600 includes an attribute similarity search result output step S600 for outputting search result information of similar attributes provided from the attribute similarity search unit 500.
  • a multimedia content attribute assignment step (S520) of the multimedia content attribute assignment unit 520 acquiring and storing multimedia content from the content server 560 and allocating attribute information to the stored multimedia content;
  • the similarity matching property analysis unit 530 provides the multimedia content property assignment unit 520 with multimedia content request information including property information similar to the linguistic property information of the search word, and the multimedia content from the multimedia content property assignment unit 520.
  • Similarity-based multimedia content sorting unit 550 sorts the multimedia contents extracted according to the number of candidate groups according to similarity, and provides similarity-based multimedia content sorting step to provide the sorted multimedia contents to the attribute similarity search result output unit 600.
  • S550 characterized in that it comprises a.
  • FIG. 1 is an overall configuration diagram schematically showing an apparatus for retrieving multimedia contents through attribute information analysis according to a first embodiment of the present invention.
  • the apparatus 1000 for retrieving multimedia contents through the analysis of attribute information of the present invention obtains and stores multimedia contents from the content server 560, and allocates and manages attribute information to the stored multimedia contents. to be.
  • the multimedia content search apparatus 1000 through attribute information analysis acquires a search word of multimedia content input by voice recognition or text, and determines whether to perform a text keyword search or a similar property search.
  • the search result information of the multimedia content is output.
  • the conventional text keyword based search has a problem of being searched again with the same title, and a movie having a similar name and a completely different content is recommended. There was a serious problem that the movies were not searched at all.
  • the user cannot search for a movie that has a similar mood, emotion, or the like.
  • the present invention by providing the above-described text keyword-based search function, by providing a structural feature for performing a similar property search, the search results of multimedia content having similar properties when performing a similar property search By outputting the information, it is possible to provide multimedia contents having high similarity to the attribute information of the multimedia contents to be searched.
  • the present invention through the configuration as described above, to determine whether to proceed to the existing keyword search or similar property search and the attributes of each multimedia content (warm, touching, fun, etc.)
  • the similarity between the constructive feature that assigns the attribute value of the searched multimedia through the constructive feature and natural language processing (data crawling, statistical modeling, etc.) and the comparable feature and attribute information that are numerically calculated (language modeling) It provides a constructive feature for recommending high multimedia content (comparison value).
  • FIG. 3 is a block diagram of an apparatus for retrieving multimedia contents through attribute information analysis according to a first embodiment of the present invention.
  • the present invention provides a multimedia content search apparatus 1000 through attribute information analysis.
  • the search start unit 100, the attribute search execution determination unit 200, the text keyword search unit 300, and the text keyword result are shown. It comprises an output unit 400, the attribute similarity search means 500, the attribute similarity search result output unit 600.
  • the present invention provides a text keyword type search and an attribute similarity type search.
  • the search start unit 100 obtains a search word of multimedia content input through voice recognition or text and provides search execution request information to the attribute search execution determining unit 200.
  • the search start unit includes a natural language processing module for speech recognition, and extracts a user's command target value from the speech recognition result text processed by the natural language processing module.
  • Embedded Natural Language Understanding technology incorporates a natural language processing module using a rule-based algorithm or statistical model inside an electronic device, so that the user's final goal in speech recognition text is a command. It means the method of automatically extracting the intention (Intention, Goal) and the specific named object, it is to extract the command target value of the user from the speech recognition result text processed by the natural language processing module.
  • the search start unit may configure a voice recognition engine, through which the function of extracting a recognition result value by recognizing a result close to a word or sentence previously input as a command based on the extracted command target value of the user. Done.
  • speech recognition is performed based on recognition grammars that can be understood by a recognizer, and a list of recognition targets is determined, and only the target list has a structure that can be output as a recognition result.
  • the search start unit 100 obtains a search word of the multimedia content input through voice recognition or text and provides the search execution request information to the attribute search execution determining unit 200.
  • a user inputs a movie such as a love act by voice or text, it can be referred to as a search word for requesting multimedia content by referring to a love act, a movie, and the like. It will be provided to the search performance determination unit 200.
  • the attribute search determining unit 200 determines whether to perform a text keyword search or a similar attribute search when obtaining the search execution request information from the search start unit 100.
  • the determination of whether to perform a text keyword search or a similar property search is performed in at least one of a first mode for determining according to a service domain and a second mode for analyzing and determining a sentence input by a search word. It is characterized by applying the mode.
  • the first mode or the second mode may be set in advance by an administrator.
  • the first mode when the first mode is set to determine whether to perform a text keyword search or similar property search, whether to perform a text keyword search with reference to the service domain address or similar property search is performed. Is determined.
  • a text keyword search is set for a domain address of 'www.naver.com'
  • a similar attribute search is set for a domain address of 'www.google.com'.
  • a sentence input as a search word is analyzed to determine whether a keyword corresponding to a similar attribute search exists.
  • a search word that is intended to search for similar attributes, such as 'same', 'similar', 'same', etc., it may be understood that this is to perform a similar attribute search.
  • the attribution search performing decision unit 200 provides the text keyword search request information to the text keyword search unit 300 when the text keyword search is performed.
  • the text keyword search unit 300 when the text keyword search unit 300 obtains the text keyword search request information provided from the attribute search performing determination unit, the text keyword search unit 300 performs a text keyword search by referring to the text keyword 'love actual', The search result information including 'Love Actually' is provided to the text keyword result output unit.
  • the text keyword result output unit 400 outputs search result information of the text keyword provided from the text keyword search unit.
  • the present invention is characterized by providing a similar attribute search method while providing a general text keyword search method.
  • the attribute search performing decision unit 200 provides similar attribute search request information to the attribute similarity search unit 500 when performing the similar attribute search.
  • the similarity property search is performed by the property similarity search unit 500. It is to provide the request information.
  • the attribute similarity search means 500 performs a similar attribute search when obtaining the similar attribute search request information provided from the attribute search determining unit 200, and provides the search result information to the attribute similarity search result output unit.
  • the attribute similarity search result output unit 600 outputs the search result information of the similar attribute provided from the attribute similarity search unit 500.
  • a similar property search is performed through the property similarity search means 500, and the search result is provided to the property similarity search result output unit 600 and displayed on the screen. Will print.
  • the attribute similarity search means 500 includes a keyword attribute analysis unit 510, a multimedia content attribute assignment unit 520, a similarity matching property analysis unit 530, a similarity candidate group extraction unit 540, and similarity degree.
  • the reference multimedia content alignment unit 550 is included.
  • the property refers to an inherent characteristic of the object, and the property itself is not meaningful. However, when an object is composed of related properties, one important expression can be expressed, and the property is generally meaningful data. It is recognized as the smallest logical unit of and used for database processing.
  • the similar property is used to search for multimedia content information having the highest similarity with a search word (question or query word).
  • the keyword attribute analyzer 510 analyzes linguistic attribute information included in a keyword of a multimedia content input through speech recognition or text.
  • a linguistic meaning included in a search word such as a movie such as a love reality is analyzed, which means to analyze linguistic attribute information.
  • attribute information such as 'warmness, inspiration, and fun' is assigned to the love reality, it is possible to search for a movie having the above-mentioned attribute information 'warmness, inspiration and fun'.
  • the multimedia content attribute assignment unit 520 acquires and stores multimedia content from the content server 560 and allocates attribute information to the stored multimedia content.
  • the content information is gathered to determine what attribute information the multimedia contents have.
  • the content information is crawled by a connected content server using an external network or communication, and the attribute information is assigned through linguistic refinement.
  • the similarity matchability analysis unit 530 provides the multimedia content attribute assignment unit 520 with multimedia content request information including attribute information similar to linguistic attribute information of a search word.
  • multimedia attribute information such as 'movie', 'love truth', and 'like', which are the linguistic attribute information of the search word
  • multimedia content attribute information such as 'warm, touching, fun'
  • Multimedia content request information including attribute information similar to “im, fun,” and the like
  • Similarity matching analysis of multimedia contents included in the content list information is performed.
  • the similarity matching analysis described above is content to be provided to the user by using various similarity calculation formulas such as Euclidean distance formula and vector space model, which are frequently used to search for similarity in information retrieval theory. Can be selected.
  • the most similar content with the keyword of the content may be searched and the contents may be sorted in the order of high similarity.
  • the number of contents derived as a result of the similarity search may be determined by sorting an upper predetermined number, and the predetermined number may be arbitrarily set by the user according to a situation.
  • a is a keyword inputted by a user to search for content, and there are n keywords in total up to a 1 , a 2 , a 3 ... a n , and the total n keywords are a (a 1 , a 2 , a 3 ... a n)
  • b is the content
  • the total n keywords are b (b 1 , When b 2 , b 3 ... b n)
  • the Euclidean distance formula can be expressed as follows.
  • vector space model can be expressed as follows.
  • Equation 2 the closer the value derived through Equation 2 is to 1, the higher the similarity, and the closer to 0, the lower the similarity may be determined.
  • the similarity between the search keyword and the keyword generated for each content may be inspected by Equation 1 and Equation 2 to sort the contents in the order of high similarity.
  • the similarity candidate group extracting unit 540 extracts the multimedia contents according to the number of candidate groups sequentially from the multimedia contents having the highest similarity with reference to a preset candidate group number.
  • the multimedia content is sequentially extracted according to the number of candidates, and four candidate groups of 'if only, romantic holiday, notting hill, and work-to-member' are extracted.
  • the similarity-based multimedia content sorting unit 550 sorts the multimedia contents extracted according to the number of candidate groups according to the similarity, and provides the sorted multimedia contents to the attribute similarity search result output unit 600.
  • the Euclidean distance formula is The smaller the similarity value is, the higher the similarity is. Therefore, when the content is rearranged in the order of high similarity, the information is sorted in order of work-to-member, romantic holiday, if only, and notting hill, and the corresponding information is returned to the attribute similarity search result output unit 600. Will be provided to the screen.
  • the search term attribute analysis unit 510 includes a natural language processing module 511, a machine learning model module 512, a search term attribute assignment module 513, a knowledge information DB 514, a search term attribute value conversion module 515, and an attribute model. Module 516, search word attribute value information DB (517).
  • the natural language processing module 511 provides the machine learning model module 512 to provide information on requesting interpretation of linguistic attributes included in a search word of multimedia content input through speech recognition or text, and a search word interpreted from the machine learning model module.
  • the linguistic attribute information included in the search word attribute assignment module 513 is provided.
  • the machine learning model module 512 obtains request information for interpretation of linguistic attributes included in the search word from the natural language processing module, the linguistic language interpreted by the natural language processing module is interpreted. Function to provide attribute information.
  • the linguistic attribute information such as 'Love Actually, Movie,' It is provided to the allocation module (513).
  • the knowledge information DB 514 stores attribute type information refined into a type of attribute that can be matched with attribute information of multimedia content.
  • attribute information such as 'warm, touching, fun, romance' as attribute information of a movie called love act
  • 'movie' as an attribute type that can be matched and stored.
  • the type of attribute may be used to find information, a website, a news / region / shopping, a specific field of content, or a multimedia content.
  • the search word attribute assignment module 513 obtains the linguistic attribute information included in the search word provided by the natural language processing module, extracts the attribute type information from the knowledge information DB based on the obtained linguistic attribute information, and then searches the attribute for the search term. And assign the attribute information on the assigned keyword to the keyword attribute value conversion module 515.
  • the attribute type information 'movie' is extracted from the knowledge information DB, and the attribute information of the search term 'warmness, emotion, fun, romance' 'And the like are provided to the keyword attribute value conversion module 515.
  • the search word attribute value conversion module 515 provides the probability model calculation request information to the attribute model module 516 when obtaining the attribute information for the search word provided from the search word attribute assignment module 513.
  • the attribute model module 516 calculates a probability value through language modeling when obtaining the probability value calculation request information from the keyword attribute value conversion module 515, and converts the calculated probability value to the keyword attribute value conversion module 515. Will be provided.
  • the language modeling refers to an algorithm for finding regularity about a grammar, phrase, word, etc. in a natural language and increasing the accuracy of an object to be searched using the regularity.
  • a commonly used method is a statistical modeling method for calculating a probability value, which is a method of expressing a language rule as a probability in a large corpus and restricting the search area through the probability value.
  • N-Gram which is a statistical language model in most language modeling applications, is known as the most successful language model, and the present invention preferably uses N-Gram.
  • the keyword attribute value conversion module 515 obtains the probability value calculated from the attribute model module 516, converts the probability value into an attribute value for the keyword, and provides the result to the keyword attribute value information DB 517.
  • the attribute information is converted into attribute values for each attribute information and stored in the query attribute value information DB 517.
  • the attribute information for the search word is also stored.
  • the similarity matching property analysis unit 530 has similarity with the attribute values for various search terms and contents provided by the multimedia content attribute assignment unit 520 described below. Will be analyzed.
  • the similarity matching analysis unit 530 performs similarity matching analysis using the attribute information on the search word stored in the search word attribute value information DB 517 and the multimedia content property information allocated by the multimedia content attribute assigning unit 520. will be.
  • the similarity matching analysis unit 530 obtains the multimedia content list information and performs the similarity matching analysis.
  • the multimedia content attribute assignment unit 520 includes a content linkage module 521, a content crawling module 522, a content storage DB 523, a content attribute assignment model module 524, a content attribute information interpretation module 525, and a content. And an information retrieval module 526.
  • the amount of information of multimedia contents changes with the passage of time, and accordingly, the attributes of a specific object change from time to time, and various multimedia contents that are changed in real time are searched by reflecting multimedia contents variably through the multimedia content attribute assignment unit as described above. The effect can be reflected in.
  • the content interlocking module 521 interoperates with the content server 560 to provide the multimedia content information to the content crawling module 522, and the content crawling module 522 is provided from the content interlocking module 521. Collecting a plurality of multimedia content information provided and stored in the content storage DB to extend the operation range of the attribute information.
  • the information delivered from the content server becomes a resource of the content property model through the content interworking module.
  • the multimedia content is collected through the content crawling module 522 to expand the operation range of the attribute information.
  • the content property assignment model module 524 obtains each multimedia content stored in the content storage DB 523 and allocates property information to each multimedia content.
  • the content storage DB 523 stores multimedia content information provided from the content crawling module 522 and attribute information allocated to each multimedia content.
  • it plays a role of assigning attribute information to each multimedia content, for example, assigning attribute information of 'calm and touching' to A music.
  • the content attribute information analysis module 525 interprets the attribute information of each multimedia content assigned by the content attribute assignment model module 524 and provides the same to the content information search module.
  • a content information search module requests a 'movie' that provides 'warmness, inspiration, fun, romance' corresponding to a search word
  • the corresponding content is interpreted, and each of the analyzed multimedia contents is analyzed.
  • the attribute information is provided to the content information search module 526.
  • the content information retrieval module 526 is to provide the similarity matching property analysis unit 530 with attribute information of each multimedia content analyzed by the content property information analysis module 525.
  • the multimedia content request information including attribute information similar to the linguistic attribute information of the search word is obtained from the similarity matching property analysis unit 530, the multimedia content list including the similar attribute information from the content storage DB 523.
  • the information is requested to the content attribute information analysis module 525, the multimedia content list information including similar attribute information is obtained from the content storage DB 523, and provided to the similarity matching property analysis unit 530.
  • the multimedia contents list information such as 'If Only, Romantic Holiday, Notting Hill, Work to Remember' including similar attribute information is stored in the content storage DB. It is extracted from 523.
  • FIG. 9 is a flowchart illustrating a multimedia content searching method through attribute information analysis according to a first embodiment of the present invention.
  • the multimedia content search method through attribute information analysis includes: a search start step (S100), an attribute search execution determination step (S200), a text keyword search step (S300), and a text keyword result output step (S400). ), Attribute similarity search step (S500), and attribute similarity search result output step (S600).
  • the search start step (S100) is to obtain the search request request information of the multimedia content input by voice recognition or text through the search start unit 100 to provide the search execution request information to the attribute search determination unit 200. Done.
  • the search information is provided by extracting text information and providing search request information.
  • the search start unit includes a natural language processing module for voice recognition, and processes the voice processed by the natural language processing module.
  • the command target value of the user is extracted from the recognition result text.
  • the attribute search determination step (S200) when the attribute search execution determination unit 200 obtains the search execution request information from the search start unit 100, whether to perform a text keyword search or perform a similar attribute search If it is determined whether or not to perform, and as a result of the determination, the text keyword search unit 300 provides the text keyword search request information when performing the text keyword search, and when the similar attribute search is performed, the attribute similarity search unit ( 500), similar property search request information is provided.
  • the text keyword search request information is provided to the text keyword search unit 300.
  • the text keyword search step (S300) performs a text keyword search when the text keyword search unit 300 obtains the text keyword search request information provided from the attribution search execution determination unit 200, and retrieves the search result information. It is provided to the text keyword result output unit.
  • the text keyword result output unit 400 outputs search result information of the text keyword provided from the text keyword search unit 300.
  • a text keyword search is performed by referring to a text keyword called 'love actual', and search result information including 'love actual' is provided to the text keyword result output unit.
  • the attribute search decision unit 200 when the attribute search decision unit 200 performs a similar attribute search as a result of the determination, it provides the similarity attribute search request information to the attribute similarity search unit 500, in which the attribute similarity search step (S500)
  • the similarity similarity search means 500 obtains the similar property search request information provided from the attribution search execution decision unit 200, the similar property search is performed and the search result information is provided to the property similarity search result output unit. .
  • the attribute similarity search result output unit 600 outputs search result information of similar attributes provided from the attribute similarity search unit 500.
  • a similar property search is performed through the property similarity search means 500, and the search result is provided to the property similarity search result output unit 600 and displayed on the screen. Will print.
  • FIG. 10 is a flowchart illustrating an attribute similarity retrieval step of a multimedia content retrieval method through attribute information analysis according to a first embodiment of the present invention.
  • the attribute similarity search step (S500), the keyword attribute analysis step (S510), multimedia content attribute assignment step (S520), similarity matching property analysis step (S530), similarity candidate group extraction step (540), Similarity-based multimedia content sorting step (S550) is included.
  • the search word attribute analyzer 510 analyzes linguistic attribute information included in a search word of multimedia content input by voice recognition or text.
  • attribute information such as 'warmness, inspiration, and fun' is assigned to the love reality, it is possible to search for a movie having the above-mentioned attribute information 'warmness, inspiration and fun'.
  • the multimedia content attribute assignment unit 520 acquires and stores the multimedia content from the content server 560, and assigns attribute information to the stored multimedia content.
  • the content information is gathered to determine what attribute information the multimedia contents have.
  • the content information is crawled by a connected content server using an external network or communication, and the attribute information is assigned through linguistic refinement.
  • the similarity matching property analysis unit 530 provides the multimedia content property assignment unit 520 with the multimedia content request information including the similar property information in the linguistic property information of the search word.
  • the multimedia content list information is obtained from the content property allocator 520, and similarity matching analysis of multimedia contents included in the obtained multimedia content list information is performed.
  • multimedia attribute information such as 'movie', 'love truth', and 'like', which are the linguistic attribute information of the search word
  • multimedia content attribute information such as 'warm, touching, fun'
  • Multimedia content request information including attribute information similar to “im, fun,” and the like
  • Similarity matching analysis of multimedia contents included in the content list information is performed.
  • the similarity candidate group extracting unit 540 extracts the multimedia contents according to the candidate group numbers sequentially from the multimedia contents having the highest similarity with reference to a preset candidate group number.
  • the multimedia content is sequentially extracted according to the number of candidates, and four candidate groups of 'if only, romantic holiday, notting hill, and work-to-member' are extracted.
  • the similarity-based multimedia content sorter 550 sorts the multimedia contents extracted according to the candidate group number according to the similarity, and arranges the sorted multimedia contents in the attribute similarity search result output unit ( 600).
  • the Euclidean distance formula is The smaller the similarity value is, the higher the similarity is. Therefore, when the content is rearranged in the order of high similarity, the information is sorted in order of work-to-member, romantic holiday, if only, and notting hill, and the corresponding information is returned to the attribute similarity search result output unit 600. Will be provided to the screen.
  • the multimedia content is obtained when a text keyword search is performed by determining whether to perform a text keyword search or a similar property search by acquiring a search word of the multimedia content input through speech recognition or text. Outputs the search result information of and outputs the search result information of the multimedia contents having the similar property when performing the similar property search.
  • the multimedia content search result most similar to the search word (question) that the user wants to search through is effective.
  • similarity matching analysis when performing a similar attribute search, similarity matching analysis is performed using the attribute information of the search term stored in the search term attribute information DB and the multimedia content attribute information assigned by the multimedia content attribute assignment unit.
  • search result information of multimedia contents having attributes similar to the intention of the search term questions
  • it provides multimedia contents that match the attributes (atmosphere, emotion, etc.) desired by the user, thereby increasing the reliability of the search. Will be effective.
  • Determining whether to perform a text keyword search or a similar property search by acquiring a search word of multimedia content input through speech recognition or text through an apparatus and method for searching multimedia contents through analyzing attribute information according to the present invention. Outputting the search result information of the multimedia content when performing a text keyword search, and outputting the search result information of the multimedia content having a similar property when performing a similar property search, thereby generating multimedia content using a general search keyword method. It is also highly applicable to the industry through providing a multimedia content search result that is most similar to a search word (question) that a user wants to search through the effect of providing a search result and similar property search.

Abstract

The present invention relates to a multimedia content search apparatus and search method using attribute information analysis and, more specifically, to a multimedia content search apparatus and search method using attribute information analysis, which acquire a multimedia content search word inputted through voice recognition or text so as to determine whether to perform a text keyword search or a similar attribute search, thereby outputting search result information of multimedia content when the text keyword search is performed and outputting search result information of multimedia content having similar attributes when the similar attribute search is performed, and thus are capable of providing pieces of multimedia content having high similarity to attribute information of multimedia content to be searched for.

Description

속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법Multimedia content retrieval device and search method through attribute information analysis
본 발명은 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법에 관한 것으로서, 더욱 상세하게는 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하여 텍스트 키워드 검색을 수행할 경우에 멀티미디어 컨텐츠의 검색 결과 정보를 출력하며, 유사 속성 검색을 수행할 경우에 유사 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 출력함으로써, 검색하고자 하는 멀티미디어 컨텐츠의 속성 정보와 유사도가 높은 멀티미디어 컨텐츠들을 제공할 수 있는 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법에 관한 것이다.The present invention relates to an apparatus and method for searching multimedia contents through attribute information analysis. More particularly, the present invention relates to a method of searching a text keyword by acquiring a search word of multimedia content input by speech recognition or text, or performing a similar attribute search. The multimedia information to be searched is output by outputting the search result information of the multimedia contents when performing the text keyword search by determining whether to perform the search. The present invention relates to a multimedia content retrieval apparatus and a retrieval method through attribute information analysis capable of providing multimedia contents having high similarity with the attribute information of the content.
검색 서비스를 제공하는 네이버나 다음과 같은 포털 업체, 그리고 구글과 같은 검색 엔진의 경우, 사용자의 검색어의 키워드를 중심으로, 해당 키워드가 가지는 최근의 이슈화된 정보나, 이들 키워드들을 묶고 있는 특정 연산자를 통해, 사용자가 원하는 정보에 보다 가까운 정보를 제공하는 노력을 기울이고 있다.In the case of Naver, a portal company such as the following, and a search engine such as Google, the user can search for the latest keyword information related to the keyword of the user's search query, or a specific operator grouping the keywords. Through this, efforts are made to provide information closer to the information desired by the user.
검색 서비스를 제공하는 이들 업체들은 사용자가 입력하는 키워드에만 수동적으로 반응하지 않고, 다수의 사용자들이 입력하는 복수 개의 키워드 혹은 순차적으로 입력하는 키워드간의 연관성을 부여하여, 연관어로 채택한 후 특정 키워드만을 입력하여도, 연관된 키워드를 제공하는 시스템을 개발하여 서비스를 진행하고 있다.These companies that provide a search service do not respond to only the keywords entered by the user, but give associations between a plurality of keywords entered by a plurality of users or keywords entered sequentially. In addition, a service providing a related keyword has been developed.
이러한 연관 검색어 제공 서비스는 사용자의 검색을 용이하게 할 뿐만 아니라, 그 자체 역시 하나의 정보로서의 역할을 하게 된다.The related search word providing service not only facilitates a user's search, but also serves as one piece of information.
검색어를 구성하는 키워드 간의 연관성을 부여하여, 연관어를 추출하는 기술적인 시도는 많이 존재한다.There have been many technical attempts to extract related words by giving associations between keywords constituting a search word.
관련 특허 문헌으로는, "키워드 시각화 장치 및 그 방법(공개 번호 제10-2011-0035001호, 이하 '선행기술1'이라 한다)"이 존재한다.Related patent documents include "Keyword Visualization Apparatus and Method thereof (Publication No. 10-2011-0035001, hereinafter referred to as" prior art 1 ").
상기 선행기술1은 키워드 시각화 장치 및 그 방법에 관한 것으로, 인터넷을 통해 획득한 데이터로부터 키워드를 추출하는 키워드 추출부; 키워드가 추출될 때마다 해당 키워드의 발생빈도 값을 상향시키는 빈도 분석부; 단일 데이터 내에서 다수의 키워드가 추출되면 추출된 각 키워드들간의 연관도 값을 상향시키는 연관도 분석부; 추출된 키워드들을 저장하되, 각 키워드들에 대한 발생빈도 값 및 각 키워드들간 연관도 값을 저장하는 정보 저장부; 및 다수의 키워드, 키워드들의 발생빈도 값 및 키워드들간 연관도 값을 이용하여 다수의 노드 및 에지를 갖는 그래프가 화면상에 표시되도록 처리하되, 그래프의 각 노드에는 키워드가 표시되며, 키워드의 발생빈도 값이 높은 노드의 크기가 크게 표시되고, 키워드의 발생빈도 값이 낮은 노드의 크기가 작게 표시되되, 에지에 의해 연결된 두 노드의 키워드들간 연관도 값이 높으면 에지가 두껍게 표시되고, 연관도 값이 낮으면 에지가 얇게 표시되도록 처리하는 시각화 처리부를 구비하는 것을 특징으로 하여, 키워드의 발생빈도와 키워드들간 연관도의 변화 추이를 제시한다.The prior art 1 relates to a keyword visualization apparatus and a method thereof, comprising: a keyword extracting unit extracting a keyword from data obtained through the Internet; A frequency analysis unit for raising a frequency of occurrence of the keyword each time a keyword is extracted; An association analysis unit for increasing association values between the extracted keywords when a plurality of keywords are extracted from a single data; An information storage unit for storing the extracted keywords and storing occurrence frequency values for each keyword and correlation values between the keywords; And a graph having a plurality of nodes and edges is displayed on the screen by using a plurality of keywords, occurrence frequency values of the keywords, and correlation values between the keywords, and each node of the graph is displayed with keywords. Nodes with high values are displayed in large sizes, and nodes with low keyword occurrence frequencies are displayed in small sizes.If the correlation values between keywords of two nodes connected by edges are high, the edges are displayed with thick edges. If it is low, characterized in that it comprises a visualization processing unit for processing so that the edge is displayed thin, suggests a change in the frequency of occurrence of the keyword and the degree of association between the keywords.
관련된 다른 특허 문헌으로는 "키워드의 연관 순위를 사용한 검색 방법 및 시스템(특허 등록 번호 제10-1072113호, 이하 '선행기술2'라 한다)"이 존재한다.Other related patent documents include "a search method and system using the ranking of keywords (patent registration no. 10-1072113, hereinafter referred to as" prior art 2 ").
상기 선행기술2는 키워드의 연관 순위를 사용한 검색 방법 및 시스템으로서, 키워드의 자체 속성을 지표화하여 독립 지표를 생성하고, 키워드와 다른 키워드 간의 연관성을 지표화하여 연관 지표를 생성하는 지표 모듈; 연관 지표를 기초로 키워드와 다른 키워드 간의 연관도를 연관 점수로 수치화하는 연관 점수 산정 모듈; 연관 점수와 독립 지표를 기초로 사용 용도에 따른 순위 점수를 계산하는 순위 점수 계산 모듈; 및 순위 점수에 기초하여 검색어에 대한 연관 키워드를 제공하는 검색 모듈을 개시한다.The prior art 2 is a search method and system using an association ranking of a keyword, comprising: an index module for generating an independent index by indexing a property of a keyword and an association index by indexing a correlation between a keyword and another keyword; An association score calculation module that quantifies an association degree between a keyword and another keyword based on an association index as an association score; A rank score calculation module that calculates a rank score according to the use purpose based on the association score and the independent index; And a search module for providing a related keyword for the search term based on the ranking score.
그러나, 선행기술 2는 키워드에 대한 연관 검색어를 추출하도록 하는 기술적 사상만을 개시하고 있을 뿐이며, 해당 연관 검색에 대한 전반적인 정보를 제공하지는 못하였다.However, Prior Art 2 only discloses a technical idea of extracting a related search word for a keyword, and does not provide general information on the related search.
다만, 선행기술1은 키워드에 대한 연관 검색어들 간의 순위 등을 그래프화 하여, 검색어에 대한 어떤 연관 검색어가 가장 빈도수가 높은지 등을 제공하고 있으나, 이 역시, 연관 검색어에 중에서 빈도수가 가장 높은 것을 자동 연관 검색어 리스트 중에서 가장 상위에 랭크 시키는 공지 기술과 크게 다를 바 없다.However, Prior Art 1 provides a graph of ranking among related search terms for a keyword to provide which related search terms for a search term is the most frequently used. However, the related art automatically searches for the highest frequency among related search terms. It is not much different from the known technology ranking at the top of the related search word list.
한편, 현재 인공 지능 기반을 탑재한 검색 시스템은 검색 방식 측면에서 크롤러 기반, 디렉토리 기반, 하이브리드 검색, 메타 검색 방식으로 구분할 수 있다.On the other hand, search systems equipped with artificial intelligence-based can be divided into crawler-based, directory-based, hybrid search, and meta-search method in terms of search method.
상기 크롤러 기반 방식의 검색 시스템에서는 스파이더, 크롤러, 웹봇 등으로 불리는 자동화된 에이전트 프로그램을 이용하여 웹상의 문서를 자신의 데이터베이스에 다운로드하고 저장한다. The crawler-based retrieval system downloads and stores documents on the web in its database using an automated agent program called spider, crawler, webbot, and the like.
사용자의 검색 요청은 검색 키워드를 저장된 웹 문서의 인덱스에서 찾아 해당 문서의 링크를 제공함으로써 처리된다. The user's search request is handled by finding the search keyword in the index of the stored web document and providing a link to that document.
이 방식은 구글 검색 시스템이 대표적인 예이다. This is a good example of the Google search system.
또한, 상기 디렉토리 기반 방식의 검색 시스템에서는 사람에 의해 웹 사이트들이 사전에 정의된 특정 디렉터리에 분류 저장되고, 저장된 웹사이트들이 사전에 정의된 규칙에 의해 랭킹된다. In addition, in the directory-based search system, web sites are classified and stored in a predetermined directory by a person, and the stored websites are ranked by a predefined rule.
사용자의 검색 요청은 키워드 매칭에 의해 찾아진 웹 문서를 디렉터리 별로 그룹핑하여 제공함으로써 처리된다. The user's search request is processed by grouping the web documents found by keyword matching by directory.
이 방식은 야후, 네이버 검색 시스템이 대표적 예이다. 또한, This is the case with Yahoo and Naver search system. Also,
상기 하이브리드 방식의 검색 시스템에서는 상기 크롤러 방식과 상기 디렉토리 방식을 병용하며 일반적으로 사용자에게 더 좋은 검색결과를 제공한다. In the hybrid search system, the crawler method and the directory method are used together and generally provide a better search result to the user.
이 방식은 마이크로소프트의 MSN검색이 대표적 예이다. Microsoft's MSN search is a good example of this.
또한, 상기 메타 검색 방식의 시스템에서는 다른 검색 시스템의 검색 알고리즘과 평가 기준을 활용한다. In addition, the meta-search system utilizes search algorithms and evaluation criteria of other search systems.
즉, 다른 검색 시스템의 검색결과를 병합하여 사용자에게 제공한다.That is, the search results of different search systems are merged and provided to the user.
Metacrawler 시스템이 대표적인 예이다.Metacrawler system is a typical example.
한편, 웹 기반 한글 정보검색 시스템의 구현 방법이 존재하고 있는데, 이는 웹 기반의 한글 정보 검색 시스템을 구현하는데 있어서, 핵심 부분이 되는 한글 검색엔진이 갖추어야 할 기능 및 구현 방법, 특히 명사, 조사, 불용어 등 각종 한글 사전 등을 이용하여 한글의 특성에 맞는 형태소 분석을 이용하는 방법을 제시하고 있다. On the other hand, there is a method of implementing a web-based Hangul information retrieval system, which is a function and an implementation method of the Hangul search engine, which is a key part in implementing a web-based Hangul information retrieval system, especially nouns, investigations, and stopwords Using various Hangul dictionaries etc., this paper suggests how to use morphological analysis suitable for the characteristics of Hangul.
하지만, 상기 웹 기반 한글 정보검색 시스템의 구현 방법과 크롤러 기반, 디렉토리기반, 하이브리드 검색, 및 메타 검색 방식의 검색 시스템은 검색 키워드만을 사용하여 정보를 검색함에 따라, 사용자가 원하는 속성을 반영하지 못하여 사용자가 진정 원하는 정확한 컨텐츠를 제공하지 못한다는 치명적인 단점이 존재한다.However, as the web-based Korean information retrieval system and the crawler-based, directory-based, hybrid search, and meta-search methods search for information using only search keywords, the user cannot reflect the desired attributes. There is a fatal drawback that it does not provide the exact content it really wants.
따라서, 사용자가 원하는 속성과 가장 근접하거나 일치하는 유사 속성 검색을 수행할 수 있는 기술이 필요하게 되었으며, 해당 기술을 통해 유사 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 출력할 수 있는 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 기술이 필요하게 되었다.Therefore, there is a need for a technique that can perform a similar attribute search that is closest to or matching the desired attribute of the user, and through this technique, analysis of attribute information that can output search result information of multimedia content having similar attributes is performed. Through multimedia content retrieval technology has become necessary.
<선행기술문헌><Preceding technical literature>
선행문헌1 대한민국 공개특허번호 제10-2011-0035001호Prior Art 1 Republic of Korea Patent Publication No. 10-2011-0035001
선행문헌2 대한민국 등록특허번호 제10-1072113호 Prior Art 2 Republic of Korea Patent No. 10-1072113
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제 1 목적은 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하여 텍스트 키워드 검색을 수행할 경우에 멀티미디어 컨텐츠의 검색 결과 정보를 출력하며, 유사 속성 검색을 수행할 경우에 유사 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 출력하는데 있다.Therefore, the present invention has been proposed in view of the above-described problems of the prior art, and a first object of the present invention is to perform a text keyword search by acquiring a search word of multimedia content input by speech recognition or text, or similar property search. In this case, the search result information of the multimedia content is output when the text keyword search is performed and the search result information of the multimedia content having the similar property is output.
본 발명의 제 2 목적은 유사도매칭성분석부(530)를 제공함으로써, 유사 속성 검색을 수행시, 검색어속성수치정보DB(517)에 저장된 검색어에 대한 속성 정보와 멀티미디어컨텐츠속성할당부(520)에 의해 할당된 멀티미디어 컨텐츠 속성 정보를 가지고 유사도 매칭 분석을 실시함으로써, 검색어(질문)의 의도와 유사한 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 제공하고자 한다.The second object of the present invention is to provide the similarity matching property analysis unit 530 to the attribute information and the multimedia content attribute assignment unit 520 for the search word stored in the search term attribute value information DB 517 when performing the similar attribute search. Similarity matching analysis is performed with the multimedia content attribute information assigned by the present invention, thereby providing search result information of the multimedia content having attributes similar to the intention of the search word (question).
본 발명의 제 3 목적은 컨텐츠크롤링모듈(522)을 제공함으로써, 컨텐츠서버(560)로부터 다수의 멀티미디어 컨텐츠 정보들을 수집하여 컨텐츠저장DB로 저장시켜 속성 정보의 연산 범위를 확장시키며, 컨텐츠속성할당모델모듈(524)을 제공함으로써, 컨텐츠저장DB(523)에 저장된 각각의 멀티미디어 컨텐츠에 대하여 속성 정보를 할당하여 컨텐츠정보검색모듈로 제공하고자 한다.The third object of the present invention is to provide a content crawling module 522, to collect a plurality of multimedia content information from the content server 560 to store in the content storage DB to extend the operation range of the attribute information, the content attribute allocation model By providing the module 524, the attribute information is allocated to each multimedia content stored in the content storage DB 523 and provided to the content information search module.
본 발명이 해결하고자 하는 과제를 달성하기 위하여, 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치는,In order to achieve the problem to be solved by the present invention, the multimedia content retrieval apparatus through attribute information analysis,
음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하는 검색시작부(100)와,A search start unit 100 for acquiring a search word of multimedia content input by voice recognition or text and providing search execution request information to the attribute search execution determining unit 200;
상기 검색시작부(100)로부터 검색 실시 요청 정보를 획득할 경우, 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하고, 판단 결과, 텍스트 키워드 검색을 수행할 경우에 텍스트키워드검색부(300)로 텍스트 키워드 검색 요청 정보를 제공하며, 판단 결과, 유사 속성 검색을 수행할 경우에 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하는 속성검색수행판단부(200)와,When obtaining the search execution request information from the search start unit 100, it is determined whether to perform a text keyword search or a similar attribute search, and as a result of the determination, the text keyword search is performed when the text keyword search is performed. The attribute search decision unit 200 which provides the text keyword search request information to the unit 300, and provides the similar property search request information to the attribute similarity search unit 500 when performing the similar attribute search as a result of the determination; ,
상기 속성검색수행판단부로부터 제공된 텍스트 키워드 검색 요청 정보를 획득할 경우에 텍스트 키워드 검색을 수행하고, 검색 결과 정보를 텍스트키워드결과출력부로 제공하는 텍스트키워드검색부(300)와,A text keyword search unit 300 which performs a text keyword search when obtaining the text keyword search request information provided from the attribute search performing determination unit, and provides the search result information to the text keyword result output unit;
상기 텍스트키워드검색부로부터 제공된 텍스트 키워드의 검색 결과 정보를 출력시키기 위한 텍스트키워드결과출력부(400)와,A text keyword result output unit 400 for outputting search result information of the text keyword provided from the text keyword search unit;
상기 속성검색수행판단부로부터 제공된 유사 속성 검색 요청 정보를 획득할 경우에 유사 속성 검색을 수행하고, 검색 결과 정보를 속성유사도검색결과출력부로 제공하는 속성유사도검색수단(500)과,An attribute similarity search means 500 which performs a similar attribute search when obtaining similar attribute search request information provided from the attribute search execution determination unit and provides the search result information to the attribute similarity search result output unit 500;
상기 속성유사도검색부(500)로부터 제공된 유사 속성의 검색 결과 정보를 출력시키기 위한 속성유사도검색결과출력부(600)를 포함한다.And an attribute similarity search result output unit 600 for outputting search result information of the similar attribute provided from the attribute similarity search unit 500.
또한, 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법은,In addition, the multimedia content retrieval method by analyzing the attribute information,
검색시작부(100)가 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하는 검색시작단계(S100)와,A search start step (S100) of providing a search execution request information to the attribute search performing determination unit 200 by obtaining a search word of the multimedia content inputted by voice recognition or text by the search start unit 100;
속성검색수행판단부(200)가 상기 검색시작부(100)로부터 검색 실시 요청 정보를 획득할 경우, 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하고, 판단 결과, 텍스트 키워드 검색을 수행할 경우에 텍스트키워드검색부(300)로 텍스트 키워드 검색 요청 정보를 제공하며, 판단 결과, 유사 속성 검색을 수행할 경우에 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하는 속성검색수행판단단계(S200)와,When the attribute search execution unit 200 obtains the search execution request information from the search start unit 100, it is determined whether to perform a text keyword search or a similar attribute search. When performing a search, the text keyword search request information is provided to the text keyword search unit 300, and as a result of the determination, when the similar property search is performed, the similar property search request information is provided to the attribute similarity search unit 500. Attribute search determination step (S200),
텍스트키워드검색부(300)가 상기 속성검색수행판단부(200)로부터 제공된 텍스트 키워드 검색 요청 정보를 획득할 경우에 텍스트 키워드 검색을 수행하고, 검색 결과 정보를 텍스트키워드결과출력부로 제공하는 텍스트키워드검색단계(S300)와,When the text keyword search unit 300 obtains the text keyword search request information provided from the attribution search execution determination unit 200, the text keyword search unit performs a text keyword search and provides the search result information to the text keyword result output unit. Step S300,
텍스트키워드결과출력부(400)가 상기 텍스트키워드검색부(300)로부터 제공된 텍스트 키워드의 검색 결과 정보를 출력시키기 위한 텍스트키워드결과출력단계(S400)와,A text keyword result output step (S400) for the text keyword result output unit 400 to output search result information of the text keyword provided from the text keyword search unit 300;
속성유사도검색수단(500)가 상기 속성검색수행판단부(200)로부터 제공된 유사 속성 검색 요청 정보를 획득할 경우에 유사 속성 검색을 수행하고, 검색 결과 정보를 속성유사도검색결과출력부로 제공하는 속성유사도검색단계(S500)와,When the property similarity search means 500 obtains the similar property search request information provided from the property search execution decision unit 200, the property similarity search is performed and the search result information is provided to the property similarity search result output unit. Search step (S500),
속성유사도검색결과출력부(600)가 상기 속성유사도검색부(500)로부터 제공된 유사 속성의 검색 결과 정보를 출력시키기 위한 속성유사도검색결과출력단계(S600)를 포함한다.The attribute similarity search result output unit 600 includes an attribute similarity search result output step S600 for outputting search result information of similar attributes provided from the attribute similarity search unit 500.
이상의 구성 및 작용을 지니는 본 발명에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법을 통해, 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하여 텍스트 키워드 검색을 수행할 경우에 멀티미디어 컨텐츠의 검색 결과 정보를 출력하며, 유사 속성 검색을 수행할 경우에 유사 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 출력함으로써, 일반적인 검색 키워드 방식을 이용한 멀티미디어 컨텐츠 검색 결과를 제공하는 효과와 유사 속성 검색을 통한 사용자가 검색하기를 원하는 검색어(질문)에 가장 유사한 멀티미디어 컨탠츠 검색 결과를 제공하는 효과를 발휘한다.Whether to perform a text keyword search by acquiring a search word of multimedia content input by speech recognition or text through a multimedia content search apparatus and a search method through attribute information analysis according to the present invention having the above-described configuration and operation, or similar property search Search result of multimedia content is output when performing a text keyword search by determining whether to perform a text keyword search, and output search result information of multimedia content having a similar property when performing a similar property search. The present invention provides an effect of providing a multimedia content search result using a keyword method and of providing a multimedia content search result most similar to a search word (question) that a user wants to search through a similar property search.
또한, 유사도매칭성분석부를 제공함으로써, 유사 속성 검색을 수행시, 검색어속성수치정보DB에 저장된 검색어에 대한 속성 정보와 멀티미디어컨텐츠속성할당부에 의해 할당된 멀티미디어 컨텐츠 속성 정보를 가지고 유사도 매칭 분석을 실시함으로써, 검색어(질문)의 의도와 유사한 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 제공함으로써, 사용자가 원하는 속성(분위기, 감정 등)과 일치하는 멀티미디어 컨텐츠를 제공하게 되어 이에 따른 검색의 신뢰도를 높일 수 있는 효과를 발휘하게 된다.In addition, by providing a similarity matching analysis unit, when performing a similar attribute search, by performing a similarity matching analysis with the attribute information about the search term stored in the search term attribute information DB and the multimedia content attribute information assigned by the multimedia content attribute assignment unit , By providing search result information of multimedia contents having attributes similar to the intention of the search term (question), it provides multimedia contents that match the attributes (atmosphere, emotion, etc.) desired by the user, thereby increasing the reliability of the search. Will be effective.
또한, 시간의 흐름에 따라 멀티미디어 컨텐츠의 정보량이 변경되고 이에 따라 특정 대상의 속성도 시시각각 변화하는데, 이를 멀티미디어컨텐츠속성할당부에 의해 가변적으로 반영함으로써, 실시간으로 변화하는 다양한 멀티미디어 컨텐츠들을 검색에 반영할 수 있는 효과를 발휘하게 된다.In addition, the amount of information of the multimedia content changes over time, and accordingly, the attributes of a specific object change from time to time. By reflecting this variably by the multimedia content attribute assignment unit, various multimedia contents that change in real time may be reflected in a search. Will be effective.
도 1은 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치를 개략적으로 나타낸 전체 구성도.1 is an overall configuration diagram schematically showing an apparatus for retrieving multimedia contents through attribute information analysis according to a first embodiment of the present invention.
도 2는 종래의 유사한 분위기의 영화가 검색되지 않는 예시도.2 is an exemplary view in which a movie of a conventional similar atmosphere is not searched.
도 3은 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치의 전체 블록도.3 is an overall block diagram of an apparatus for retrieving multimedia contents through attribute information analysis according to a first embodiment of the present invention.
도 4는 텍스트 키워드 검색시 검색 결과 출력 예시도.4 is an exemplary view showing a search result output when a text keyword is searched.
도 5는 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치를 통해 출력되는 유사 속성 검색 결과 예시도.5 is an exemplary view of a similar property search result output through a multimedia content search apparatus through analysis of property information according to a first embodiment of the present invention.
도 6은 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치의 속성유사도검색수단의 블록도.6 is a block diagram of attribute similarity retrieval means of a multimedia content retrieval apparatus by analyzing attribute information according to the first embodiment of the present invention;
도 7은 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치의 검색어속성분석부의 블록도.7 is a block diagram of a keyword attribute analysis unit of a multimedia content retrieval apparatus through attribute information analysis according to the first embodiment of the present invention.
도 8은 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치의 멀티미디어컨텐츠속성할당부의 블록도.8 is a block diagram of a multimedia content attribute assignment unit of the multimedia content retrieval apparatus through attribute information analysis according to the first embodiment of the present invention.
도 9는 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법의 전체 흐름도.9 is a flowchart illustrating a multimedia content retrieval method through attribute information analysis according to a first embodiment of the present invention.
도 10은 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법의 속성유사도검색단계를 나타낸 흐름도.10 is a flowchart illustrating an attribute similarity search step of a multimedia content search method through analysis of attribute information according to a first embodiment of the present invention;
<부호의 설명><Description of the code>
100 : 검색시작부100: start of search
200 : 속성검색수행판단부200: Attribute search performance decision unit
300 : 텍스트키워드검색부300: text keyword search unit
400 : 텍스트키워드결과출력부400: text keyword result output unit
500 : 속성유사도검색수단500: attribute similarity search means
560 : 컨텐츠서버560 content server
600 : 속성유사도검색결과출력부600: attribute similarity search result output unit
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. The following merely illustrates the principles of the invention. Therefore, those skilled in the art, although not explicitly described or illustrated herein, can embody the principles of the present invention and invent various devices that fall within the spirit and scope of the present invention.
또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.In addition, all conditional terms and embodiments listed herein are in principle clearly intended to be understood only for the purpose of understanding the concept of the invention and are not to be limited to the specifically listed embodiments and states. do.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다.In describing the present invention, terms such as first and second may be used to describe various components, but the components may not be limited by the terms.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.When a component is referred to as being connected or connected to another component, it may be understood that the component may be directly connected to or connected to the other component, but there may be other components in between. .
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention, and singular forms may include plural forms unless the context clearly indicates otherwise.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.In this specification, the terms including or including are intended to designate that there exists a feature, a number, a step, an operation, a component, a part, or a combination thereof described in the specification, and one or more other features or numbers, It can be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.
<제1 실시예><First Embodiment>
본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치는,In accordance with a first aspect of the present invention, there is provided an apparatus for retrieving multimedia contents through attribute information analysis.
음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하는 검색시작부(100)와,A search start unit 100 for acquiring a search word of multimedia content input by voice recognition or text and providing search execution request information to the attribute search execution determining unit 200;
상기 검색시작부(100)로부터 검색 실시 요청 정보를 획득할 경우, 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하고, 판단 결과, 텍스트 키워드 검색을 수행할 경우에 텍스트키워드검색부(300)로 텍스트 키워드 검색 요청 정보를 제공하며, 판단 결과, 유사 속성 검색을 수행할 경우에 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하는 속성검색수행판단부(200)와,When obtaining the search execution request information from the search start unit 100, it is determined whether to perform a text keyword search or a similar attribute search, and as a result of the determination, the text keyword search is performed when the text keyword search is performed. The attribute search decision unit 200 which provides the text keyword search request information to the unit 300, and provides the similar property search request information to the attribute similarity search unit 500 when performing the similar attribute search as a result of the determination; ,
상기 속성검색수행판단부로부터 제공된 텍스트 키워드 검색 요청 정보를 획득할 경우에 텍스트 키워드 검색을 수행하고, 검색 결과 정보를 텍스트키워드결과출력부로 제공하는 텍스트키워드검색부(300)와,A text keyword search unit 300 which performs a text keyword search when obtaining the text keyword search request information provided from the attribute search performing determination unit, and provides the search result information to the text keyword result output unit;
상기 텍스트키워드검색부로부터 제공된 텍스트 키워드의 검색 결과 정보를 출력시키기 위한 텍스트키워드결과출력부(400)와,A text keyword result output unit 400 for outputting search result information of the text keyword provided from the text keyword search unit;
상기 속성검색수행판단부로부터 제공된 유사 속성 검색 요청 정보를 획득할 경우에 유사 속성 검색을 수행하고, 검색 결과 정보를 속성유사도검색결과출력부로 제공하는 속성유사도검색수단(500)과,An attribute similarity search means 500 which performs a similar attribute search when obtaining similar attribute search request information provided from the attribute search execution determination unit and provides the search result information to the attribute similarity search result output unit 500;
상기 속성유사도검색부(500)로부터 제공된 유사 속성의 검색 결과 정보를 출력시키기 위한 속성유사도검색결과출력부(600)를 포함하여 구성되는 것을 특징으로 한다.It is characterized in that it comprises a property similarity search result output unit 600 for outputting the search result information of the similar property provided from the attribute similarity search unit 500.
그리고, 상기 속성검색수행판단부(200)는,And, the attribute search determination unit 200,
텍스트 키워드 검색을 수행할 것인지, 아니면 유사 속성 검색을 수행할 것인지의 판단을 서비스 도메인에 따라 미리 설정하는 제1 모드, 검색어로 입력된 문장을 분석하는 제2 모드 중 적어도 어느 하나의 모드를 적용하는 것을 특징으로 한다.Applying at least one of a first mode of pre-determining whether to perform a text keyword search or a similar property search according to a service domain, and a second mode of analyzing a sentence entered as a search word. It is characterized by.
그리고, 상기 속성유사도검색수단(500)은,And, the attribute similarity search means 500,
음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어에 포함된 언어적 속성 정보를 분석하기 위한 검색어속성분석부(510);A search word attribute analyzer 510 for analyzing linguistic attribute information included in a search word of multimedia content input through speech recognition or text;
컨텐츠서버(560)로부터 멀티미디어 컨텐츠를 획득하여 저장하고, 저장된 멀티미디어 컨텐츠에 속성 정보를 할당하기 위한 멀티미디어컨텐츠속성할당부(520);A multimedia content attribute allocator 520 for acquiring and storing multimedia contents from the content server 560 and allocating attribute information to the stored multimedia contents;
검색어의 언어적 속성 정보에 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 멀티미디어컨텐츠속성할당부(520)로 제공하고, 멀티미디어컨텐츠속성할당부(520)로부터 멀티미디어 컨텐츠 리스트 정보를 획득하며, 획득된 멀티미디어 컨텐츠 리스트 정보에 포함된 멀티미디어 컨텐츠들의 유사도 매칭 분석을 수행하기 위한 유사도매칭성분석부(530);It provides multimedia content request information including attribute information similar to linguistic attribute information of a search word to the multimedia content attribute assigning unit 520, obtains multimedia content list information from the multimedia content attribute assigning unit 520, and obtains the multimedia content list information. A similarity matching analysis unit 530 for performing a similarity matching analysis of multimedia contents included in the multimedia contents list information;
사전에 설정된 후보군 숫자를 참조하여 가장 높은 유사도를 가지고 있는 멀티미디어 컨텐츠부터 순차적으로 후보군 숫자에 맞게 멀티미디어 컨텐츠를 추출하기 위한 유사도후보군추출부(540);A similarity candidate group extracting unit 540 for sequentially extracting multimedia contents according to candidate group numbers from multimedia contents having the highest similarity with reference to a preset candidate group number;
상기 후보군 숫자에 맞게 추출된 멀티미디어 컨텐츠들을 유사도에 따라 정렬시키며, 정렬된 멀티미디어 컨텐츠들을 속성유사도검색결과출력부(600)로 제공하기 위한 유사도기준멀티미디어컨텐츠정렬부(550);를 포함하는 것을 특징으로 한다.And a similarity reference multimedia content sorting unit 550 for sorting the multimedia contents extracted according to the number of candidate groups according to similarity and providing the sorted multimedia contents to the attribute similarity search result output unit 600. do.
그리고, 상기 검색어속성분석부(510)는,And, the search word attribute analysis unit 510,
머신러닝모델모듈(512)로 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어에 포함된 언어적 속성에 대한 해석 요청 정보를 제공하며, 머신러닝모델모듈로부터 해석된 검색어에 포함된 언어적 속성 정보를 검색어속성할당모듈(513)로 제공하기 위한 자연어처리모듈(511);The machine learning model module 512 provides information on requesting interpretation of linguistic attributes included in a search word of multimedia content input through speech recognition or text, and provides linguistic attribute information included in a search word interpreted from the machine learning model module. A natural language processing module 511 for providing the query attribute assignment module 513;
자연어처리모듈로부터 검색어에 포함된 언어적 속성에 대한 해석 요청 정보를 획득할 경우에 검색어에 포함된 언어적 속성을 해석하여 자연어처리모듈로 해석된 언어적 속성 정보를 제공하기 위한 머신러닝모델모듈(512);Machine learning model module for providing linguistic attribute information interpreted as natural language processing module by interpreting linguistic attributes included in search term when obtaining information on interpretation of linguistic attributes included in search term from natural language processing module. 512);
멀티미디어 컨텐츠의 속성 정보와 매칭될 수 있는 속성의 유형으로 정제되어 있는 속성 유형 정보를 저장하고 있는 지식정보DB(514);A knowledge information DB 514 that stores attribute type information refined into attribute types that can be matched with attribute information of multimedia content;
상기 자연어처리모듈에서 제공된 검색어에 포함된 언어적 속성 정보를 획득하고, 획득된 언어적 속성 정보를 토대로 지식정보DB로부터 속성 유형 정보를 추출하여 검색어에 대한 속성을 할당하고, 할당된 검색어에 대한 속성 정보를 검색어속성수치변환모듈(515)로 제공하기 위한 검색어속성할당모듈(513);Obtains the linguistic attribute information included in the search word provided by the natural language processing module, extracts the attribute type information from the knowledge information DB based on the obtained linguistic attribute information, allocates the attribute for the search term, and the attribute for the assigned search term. A search word attribute assignment module 513 for providing information to the search term attribute value conversion module 515;
상기 검색어속성할당모듈(513)로부터 제공된 검색어에 대한 속성 정보를 획득할 경우에 속성모델모듈(516)로 확률값 산출 요청 정보를 제공하며, 속성모델모듈(516)로부터 산출된 확률값을 획득하여 검색어에 대한 속성값으로 변환하여 검색어속성수치정보DB(517)로 제공하기 위한 검색어속성수치변환모듈(515);When obtaining the attribute information for the search term provided from the search term attribute assignment module 513, the probability model calculation request information is provided to the attribute model module 516, and the probability value calculated from the attribute model module 516 is obtained to provide the search term. A keyword attribute value conversion module 515 for converting the attribute value into an attribute value and providing the result to the keyword attribute value information DB 517;
검색어속성수치변환모듈(515)로부터 확률값 산출 요청 정보를 획득할 경우에 언어 모델링을 통해 확률값을 산출하며, 산출된 확률값을 검색어속성수치변환모듈(515)로 제공하기 위한 속성모델모듈(516);An attribute model module 516 for calculating a probability value through language modeling when obtaining the probability value calculation request information from the keyword attribute value conversion module 515 and providing the calculated probability value to the keyword attribute value conversion module 515;
검색어속성수치변환모듈(515)에 의해 제공된 검색어에 대한 속성값을 포함하여 저장하고 있는 검색어속성수치정보DB(517);를 포함하여 구성되는 것을 특징으로 한다.And a search word attribute value information DB 517 that stores the attribute value for the search word provided by the search word attribute value conversion module 515.
그리고, 상기 멀티미디어컨텐츠속성할당부(520)는,And, the multimedia content attribute assignment unit 520,
컨텐츠서버(560)와 연동시켜 컨텐츠크롤링모듈(522)로 멀티미디어 컨텐츠 정보를 제공하기 위한 컨텐츠연동모듈(521);A content interlocking module 521 for providing multimedia content information to the content crawling module 522 in association with the content server 560;
컨텐츠연동모듈(521)로부터 제공되는 다수의 멀티미디어 컨텐츠 정보들을 수집하여 컨텐츠저장DB로 저장시켜 속성 정보의 연산 범위를 확장시키기 위한 컨텐츠크롤링모듈(522);A content crawling module 522 for collecting a plurality of multimedia content information provided from the content interworking module 521 and storing the multimedia content information in a content storage DB to expand the operation range of the attribute information;
상기 컨텐츠크롤링모듈(522)로부터 제공된 멀티미디어 컨텐츠 정보와 각각의 멀티미디어 컨텐츠마다 할당된 속성 정보를 저장하고 있는 컨텐츠저장DB(523);A content storage DB 523 for storing multimedia content information provided from the content crawling module 522 and attribute information allocated to each multimedia content;
상기 컨텐츠저장DB(523)에 저장된 각각의 멀티미디어 컨텐츠에 대하여 속성 정보를 할당하기 위한 컨텐츠속성할당모델모듈(524);A content attribute assignment model module 524 for allocating attribute information for each multimedia content stored in the content storage DB 523;
상기 컨텐츠속성할당모델모듈(524)에 의해 할당된 각각의 멀티미디어 컨텐츠의 속성 정보를 해석하여 컨텐츠정보검색모듈로 제공하기 위한 컨텐츠속성정보해석모듈(525);A content property information analysis module 525 for analyzing the property information of each multimedia content assigned by the content property assignment model module 524 and providing the same to the content information search module;
컨텐츠속성정보해석모듈(525)에 의해 해석된 각각의 멀티미디어 컨텐츠의 속성 정보를 유사도매칭성분석부(530)로 제공하며, 유사도매칭성분석부(530)로부터 검색어의 언어적 속성 정보에 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 획득할 경우에 컨텐츠저장DB(523)로부터 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 리스트 정보를 유사도매칭성분석부(530)로 제공하기 위한 컨텐츠정보검색모듈(526);을 포함하여 구성되는 것을 특징으로 한다.The attribute information of each multimedia content analyzed by the content attribute information analysis module 525 is provided to the similarity matching property analysis unit 530, and similar property information is similar to the linguistic property information of the search word from the similarity matching property analysis unit 530. A content information retrieval module 526 for providing multimedia content list information including similar attribute information from the content storage DB 523 to the similarity matching property analysis unit 530 when acquiring the included multimedia content request information; Characterized in that comprises a.
그리고, 상기 유사도매칭성분석부(530)는,And, the similarity matching property analysis unit 530,
검색어속성수치정보DB(517)에 저장된 검색어에 대한 속성 정보와 멀티미디어컨텐츠속성할당부(520)에 의해 할당된 멀티미디어 컨텐츠 속성 정보를 가지고 유사도 매칭 분석을 실시하는 것을 특징으로 한다.The similarity matching analysis may be performed using the attribute information of the search word stored in the search term attribute value information DB 517 and the multimedia content attribute information allocated by the multimedia content attribute assigning unit 520.
또한, 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법은,In addition, according to the first embodiment of the present invention, a method for retrieving multimedia contents by analyzing attribute information includes:
검색시작부(100)가 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하는 검색시작단계(S100)와,A search start step (S100) of providing a search execution request information to the attribute search performing determination unit 200 by obtaining a search word of the multimedia content inputted by voice recognition or text by the search start unit 100;
속성검색수행판단부(200)가 상기 검색시작부(100)로부터 검색 실시 요청 정보를 획득할 경우, 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하고, 판단 결과, 텍스트 키워드 검색을 수행할 경우에 텍스트키워드검색부(300)로 텍스트 키워드 검색 요청 정보를 제공하며, 판단 결과, 유사 속성 검색을 수행할 경우에 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하는 속성검색수행판단단계(S200)와,When the attribute search execution unit 200 obtains the search execution request information from the search start unit 100, it is determined whether to perform a text keyword search or a similar attribute search. When performing a search, the text keyword search request information is provided to the text keyword search unit 300, and as a result of the determination, when the similar property search is performed, the similar property search request information is provided to the attribute similarity search unit 500. Attribute search determination step (S200),
텍스트키워드검색부(300)가 상기 속성검색수행판단부(200)로부터 제공된 텍스트 키워드 검색 요청 정보를 획득할 경우에 텍스트 키워드 검색을 수행하고, 검색 결과 정보를 텍스트키워드결과출력부로 제공하는 텍스트키워드검색단계(S300)와,When the text keyword search unit 300 obtains the text keyword search request information provided from the attribution search execution determination unit 200, the text keyword search unit performs a text keyword search and provides the search result information to the text keyword result output unit. Step S300,
텍스트키워드결과출력부(400)가 상기 텍스트키워드검색부(300)로부터 제공된 텍스트 키워드의 검색 결과 정보를 출력시키기 위한 텍스트키워드결과출력단계(S400)와,A text keyword result output step (S400) for the text keyword result output unit 400 to output search result information of the text keyword provided from the text keyword search unit 300;
속성유사도검색수단(500)가 상기 속성검색수행판단부(200)로부터 제공된 유사 속성 검색 요청 정보를 획득할 경우에 유사 속성 검색을 수행하고, 검색 결과 정보를 속성유사도검색결과출력부로 제공하는 속성유사도검색단계(S500)와,When the property similarity search means 500 obtains the similar property search request information provided from the property search execution decision unit 200, the property similarity search is performed and the search result information is provided to the property similarity search result output unit. Search step (S500),
속성유사도검색결과출력부(600)가 상기 속성유사도검색부(500)로부터 제공된 유사 속성의 검색 결과 정보를 출력시키기 위한 속성유사도검색결과출력단계(S600)를 포함한다.The attribute similarity search result output unit 600 includes an attribute similarity search result output step S600 for outputting search result information of similar attributes provided from the attribute similarity search unit 500.
이때, 상기 속성유사도검색단계(S500)는,At this time, the attribute similarity search step (S500),
검색어속성분석부(510)가 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어에 포함된 언어적 속성 정보를 분석하기 위한 검색어속성분석단계(S510);A keyword attribute analysis step (S510) for the keyword attribute analyzer 510 to analyze linguistic attribute information included in a keyword of a multimedia content input through speech recognition or text;
멀티미디어컨텐츠속성할당부(520)가 컨텐츠서버(560)로부터 멀티미디어 컨텐츠를 획득하여 저장하고, 저장된 멀티미디어 컨텐츠에 속성 정보를 할당하기 위한 멀티미디어컨텐츠속성할당단계(S520);A multimedia content attribute assignment step (S520) of the multimedia content attribute assignment unit 520 acquiring and storing multimedia content from the content server 560 and allocating attribute information to the stored multimedia content;
유사도매칭성분석부(530)가 검색어의 언어적 속성 정보에 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 멀티미디어컨텐츠속성할당부(520)로 제공하고, 멀티미디어컨텐츠속성할당부(520)로부터 멀티미디어 컨텐츠 리스트 정보를 획득하며, 획득된 멀티미디어 컨텐츠 리스트 정보에 포함된 멀티미디어 컨텐츠들의 유사도 매칭 분석을 수행하기 위한 유사도매칭성분석단계(S530);The similarity matching property analysis unit 530 provides the multimedia content property assignment unit 520 with multimedia content request information including property information similar to the linguistic property information of the search word, and the multimedia content from the multimedia content property assignment unit 520. A similarity matching analysis step (S530) of acquiring list information and performing similarity matching analysis of multimedia contents included in the obtained multimedia contents list information;
유사도후보군추출부(540)가 사전에 설정된 후보군 숫자를 참조하여 가장 높은 유사도를 가지고 있는 멀티미디어 컨텐츠부터 순차적으로 후보군 숫자에 맞게 멀티미디어 컨텐츠를 추출하기 위한 유사도후보군추출단계(540);A similarity candidate group extracting step 540 for extracting, by the similarity candidate group extracting unit 540, multimedia contents having the highest similarity sequentially from the multimedia contents having the highest similarity, according to the candidate group number;
유사도기준멀티미디어컨텐츠정렬부(550)가 상기 후보군 숫자에 맞게 추출된 멀티미디어 컨텐츠들을 유사도에 따라 정렬시키며, 정렬된 멀티미디어 컨텐츠들을 속성유사도검색결과출력부(600)로 제공하기 위한 유사도기준멀티미디어컨텐츠정렬단계(S550);를 포함하는 것을 특징으로 한다.Similarity-based multimedia content sorting unit 550 sorts the multimedia contents extracted according to the number of candidate groups according to similarity, and provides similarity-based multimedia content sorting step to provide the sorted multimedia contents to the attribute similarity search result output unit 600. (S550); characterized in that it comprises a.
이하에서는, 본 발명에 의한 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, an embodiment of a multimedia content search apparatus and a search method through attribute information analysis according to the present invention will be described in detail.
도 1은 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치를 개략적으로 나타낸 전체 구성도이다.1 is an overall configuration diagram schematically showing an apparatus for retrieving multimedia contents through attribute information analysis according to a first embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명인 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치(1000)는 컨텐츠서버(560)로부터 멀티미디어 컨텐츠를 획득하여 저장하고 있으며, 저장된 멀티미디어 컨텐츠에 속성 정보를 할당하여 관리하는 장치이다.As shown in FIG. 1, the apparatus 1000 for retrieving multimedia contents through the analysis of attribute information of the present invention obtains and stores multimedia contents from the content server 560, and allocates and manages attribute information to the stored multimedia contents. to be.
그리고, 본 발명인 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치(1000)는 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하게 되고, 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하여 텍스트 키워드 검색을 수행할 경우에 멀티미디어 컨텐츠의 검색 결과 정보를 출력하게 된다.In addition, the present invention, the multimedia content search apparatus 1000 through attribute information analysis acquires a search word of multimedia content input by voice recognition or text, and determines whether to perform a text keyword search or a similar property search. When the text keyword search is performed, the search result information of the multimedia content is output.
이는 종래에 일반적으로 이용하고 있는 텍스트 키워드 기반의 검색 알고리즘을 이용하게 되지만, 사용자가 원하는 속성 정보와 유사한 멀티미디어 컨텐츠의 검색에는 한계가 발생한다.This uses a text keyword-based search algorithm that is generally used, but there is a limit in the search for multimedia content similar to the attribute information desired by the user.
구체적으로 설명하면, 멀티미디어 컨텐츠인 영화를 검색할 경우에, 종래 텍스트 키워드 기반의 검색은 같은 제목으로 다시 검색되는 문제점이 있으며, 검색어와 이름만 비슷하고 내용이 완전히 다른 영화가 추천되며, 유사한 내용의 영화들이 전혀 검색되지 않는 심각한 문제가 있었다.Specifically, in the case of searching for a movie that is multimedia content, the conventional text keyword based search has a problem of being searched again with the same title, and a movie having a similar name and a completely different content is recommended. There was a serious problem that the movies were not searched at all.
즉, 사용자가 원하는 영화와 분위기 혹은 감정 등이 유사한 영화를 검색할 수가 없는 것이다.In other words, the user cannot search for a movie that has a similar mood, emotion, or the like.
예를 들어, 도 2에 도시한 바와 같이, '러브 액추얼리 같은 영화'라는 검색어를 입력할 경우에 해당 검색어로는 유사한 분위기의 영화가 검색되지 않게 된다.For example, as shown in FIG. 2, when a search term 'movie like a love reality' is inputted, a movie having a similar atmosphere is not searched for by the search term.
이는 사용자가 러브 액추얼리라는 영화를 보고 나서 재미를 느꼈고, 이러한 비슷한 분위기를 가지고 있는 영화를 검색하고 싶어서 '러브 액추얼리' 라는 키워드로 검색을 하면, 이름만 비슷할 뿐, 전혀 내용이 비슷하지 않은 결과물을 출력해주게 되며, 특히 일부 추천 리스트는 관객 평점이 매우 낮은 영화도 추천하게 되어 추천 효과를 사용자가 느끼지 못하게 된다.It was fun after the user saw a movie called Love Actual, and wanted to search for a movie with a similar mood, and if they searched with the keyword 'Love Actually', the result would be similar but not at all. In particular, some of the recommendation lists recommend a movie with a very low audience rating, so that the user does not feel the recommendation effect.
요약하면, 종래의 검색 키워드 방식에서는 유사 속성 검색에 대한 판단을 수행하지 못하는 문제점과 시간의 흐름에 따라 정보량이 변경되고, 이에 따라 특정 대상의 속성도 시시각각 변화하는데, 이를 가변적으로 반영할 수 없다.In summary, in the conventional search keyword method, a problem of failing to perform a similar attribute search and the amount of information change according to the passage of time, and accordingly, an attribute of a specific target also changes every time, and cannot be variably reflected.
따라서, 본 발명에서는 상기한 텍스트 키워드 기반의 검색 기능을 기본적으로 제공하면서 유사 속성 검색을 수행하기 위한 구성적 특징을 제공함으로써, 유사 속성 검색을 수행할 경우에 유사 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 출력함으로써, 검색하고자 하는 멀티미디어 컨텐츠의 속성 정보와 유사도가 높은 멀티미디어 컨텐츠들을 제공할 수 있는 효과를 발휘하게 된다.Therefore, in the present invention, by providing the above-described text keyword-based search function, by providing a structural feature for performing a similar property search, the search results of multimedia content having similar properties when performing a similar property search By outputting the information, it is possible to provide multimedia contents having high similarity to the attribute information of the multimedia contents to be searched.
또한, 본 발명은 상기와 같은 구성을 통해, 기존 키워트 검색을 진행할 지, 유사 속성 검색을 진행할 지를 판단하는 구성적 특징과 멀티미디어 컨텐츠 각각의 속성을 정의(따뜻함, 감동적임, 재미있음 등)하는 구성적 특징과 자연어 처리를 통한 검색 대상 멀티미디어의 속성값을 할당(데이터 크롤링, 통계 모델링 등)하는 구성적 특징과 속성 정보를 수치화하여 계산(언어 모델링)하는 구성적 특징과 속성 정보의 유사도가 가장 높은 멀티미디어 컨텐츠를 추천(확률값 비교)하는 구성적 특징을 제공하게 된다.In addition, the present invention, through the configuration as described above, to determine whether to proceed to the existing keyword search or similar property search and the attributes of each multimedia content (warm, touching, fun, etc.) The similarity between the constructive feature that assigns the attribute value of the searched multimedia through the constructive feature and natural language processing (data crawling, statistical modeling, etc.) and the comparable feature and attribute information that are numerically calculated (language modeling) It provides a constructive feature for recommending high multimedia content (comparison value).
유사 속성 검색을 수행하기 위한 구체적인 구성수단들은 하기의 도면을 참조하여 구체적으로 설명하도록 하겠다.Detailed configuration means for performing a similar attribute search will be described in detail with reference to the following drawings.
도 3은 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치의 전체 블록도이다.3 is a block diagram of an apparatus for retrieving multimedia contents through attribute information analysis according to a first embodiment of the present invention.
도 3에 도시한 바와 같이, 본 발명인 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치(1000)는 검색시작부(100), 속성검색수행판단부(200), 텍스트키워드검색부(300), 텍스트키워드결과출력부(400), 속성유사도검색수단(500), 속성유사도검색결과출력부(600)를 포함하여 구성된다.As shown in FIG. 3, the present invention provides a multimedia content search apparatus 1000 through attribute information analysis. The search start unit 100, the attribute search execution determination unit 200, the text keyword search unit 300, and the text keyword result are shown. It comprises an output unit 400, the attribute similarity search means 500, the attribute similarity search result output unit 600.
상기와 같은 구성을 통해 본 발명에서는 텍스트 키워드 방식의 검색과 속성 유사도 방식의 검색을 제공하게 된다.Through the above configuration, the present invention provides a text keyword type search and an attribute similarity type search.
상기한 검색 방식을 제공하기 위한 구체적인 구성적 특징을 하기와 같이 설명하도록 하겠다.Specific structural features for providing the search method will be described as follows.
상기 검색시작부(100)는 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하는 것이다.The search start unit 100 obtains a search word of multimedia content input through voice recognition or text and provides search execution request information to the attribute search execution determining unit 200.
음성 인식을 위하여 검색시작부는 자연어 처리모듈을 포함하여 구성되되, 상기 자연어 처리모듈에 의해 처리된 음성인식 결과 텍스트에서 사용자의 명령 대상값을 추출하게 된다.The search start unit includes a natural language processing module for speech recognition, and extracts a user's command target value from the speech recognition result text processed by the natural language processing module.
상기한 언어 이해(Embedded Natural Language Understanding) 기술은 전자 기기 내부에 규칙 기반(Rule Based) 알고리즘 또는 통계 모델(Statistic Model)을 이용하는 자연어 처리 모듈을 내장하여, 음성인식 결과 텍스트에서 사용자의 최종 목표인 명령 의도(Intention, Goal)와 구체적인 명령 대상(Named Entity)을 자동으로 추출하는 방법을 의미하여, 상기 자연어 처리모듈에 의해 처리된 음성인식 결과 텍스트에서 사용자의 명령 대상값을 추출하게 되는 것이다.Embedded Natural Language Understanding technology incorporates a natural language processing module using a rule-based algorithm or statistical model inside an electronic device, so that the user's final goal in speech recognition text is a command. It means the method of automatically extracting the intention (Intention, Goal) and the specific named object, it is to extract the command target value of the user from the speech recognition result text processed by the natural language processing module.
상기 사용자의 명령 대상값을 추출하는 기술은 일반적인 기술이므로 상세한 설명은 생략하겠다.Since the technique of extracting the command target value of the user is a general technique, a detailed description thereof will be omitted.
또한, 상기 검색시작부는 음성인식엔진부를 구성할 수 있으며, 이를 통해 상기 추출된 사용자의 명령 대상값을 토대로 미리 입력된 단어나 문장에 근접한 결과를 명령어로 인식하여 인식 결과값을 추출하는 기능을 수행하게 된다.In addition, the search start unit may configure a voice recognition engine, through which the function of extracting a recognition result value by recognizing a result close to a word or sentence previously input as a command based on the extracted command target value of the user. Done.
즉, 보통 인식기가 이해할 수 있는 인식 문법(Grammar) 기반으로 음성인식이 수행되는데, 인식 대상 목록이 정해져 있고, 그 대상 목록만이 인식 결과로 출력될 수 있는 구조를 지닌다.In other words, speech recognition is performed based on recognition grammars that can be understood by a recognizer, and a list of recognition targets is determined, and only the target list has a structure that can be output as a recognition result.
이때, 검색시작부(100)는 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하게 된다.In this case, the search start unit 100 obtains a search word of the multimedia content input through voice recognition or text and provides the search execution request information to the attribute search execution determining unit 200.
예를 들어, 음성 혹은 텍스트로 '러브 액추얼리 같은 영화'를 입력하게 되면 러브 액추얼리, 영화 등을 참조하여 멀티미디어 컨텐츠를 요청하는 검색어임을 알 수 있으며, 검색시작부는 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하게 되는 것이다.For example, if a user inputs a movie such as a love act by voice or text, it can be referred to as a search word for requesting multimedia content by referring to a love act, a movie, and the like. It will be provided to the search performance determination unit 200.
상기 속성검색수행판단부(200)는 검색시작부(100)로부터 검색 실시 요청 정보를 획득할 경우, 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하게 된다.The attribute search determining unit 200 determines whether to perform a text keyword search or a similar attribute search when obtaining the search execution request information from the search start unit 100.
구체적으로, 텍스트 키워드 검색을 수행할 것인지, 아니면 유사 속성 검색을 수행할 것인지의 판단은 서비스 도메인에 따라 판단하는 제1 모드, 검색어로 입력된 문장을 분석하여 판단하는 제2 모드 중 적어도 어느 하나의 모드를 적용하여 판단하는 것을 특징으로 한다.In detail, the determination of whether to perform a text keyword search or a similar property search is performed in at least one of a first mode for determining according to a service domain and a second mode for analyzing and determining a sentence input by a search word. It is characterized by applying the mode.
상기 제1모드 또는 제2 모드는 관리자에 의해 사전에 설정되는 것을 특징으로 한다.The first mode or the second mode may be set in advance by an administrator.
즉, 텍스트 키워드 검색을 수행할 것인지, 아니면 유사 속성 검색을 수행할 것인지의 판단에 대해 제1 모드로 설정되면 서비스 도메인 주소를 참조하여 텍스트 키워드 검색을 수행할 것인지, 아니면 유사 속성 검색을 수행할 것인지가 결정되는 것이다.That is, when the first mode is set to determine whether to perform a text keyword search or similar property search, whether to perform a text keyword search with reference to the service domain address or similar property search is performed. Is determined.
예를 들어, 'www.naver.com'의 도메인 주소일 경우에는 텍스트 키워드 검색을, 'www.google.com'의 도메인 주소일 경우에는 유사 속성 검색을 수행하는 것으로 설정하게 되는 것이다.For example, a text keyword search is set for a domain address of 'www.naver.com', and a similar attribute search is set for a domain address of 'www.google.com'.
또는, 관리자에 의해 제2 모드로 설정되면 검색어로 입력된 문장을 분석하여 유사 속성 검색에 해당하는 키워드가 존재하는 지를 판단하게 되는 것이다.Alternatively, when the second mode is set by the administrator, a sentence input as a search word is analyzed to determine whether a keyword corresponding to a similar attribute search exists.
예를 들어, '같은', '비슷한', '동일한' 등과 같이 유사 속성을 검색하려는 의도가 담긴 검색어를 획득한다면 이는 유사 속성 검색을 수행하고자 하는 것임을 알 수 있다.For example, if a user obtains a search word that is intended to search for similar attributes, such as 'same', 'similar', 'same', etc., it may be understood that this is to perform a similar attribute search.
상기 속성검색수행판단부(200)는 판단 결과, 텍스트 키워드 검색을 수행할 경우에 텍스트키워드검색부(300)로 텍스트 키워드 검색 요청 정보를 제공하게 된다.As a result of the determination, the attribution search performing decision unit 200 provides the text keyword search request information to the text keyword search unit 300 when the text keyword search is performed.
이때, 상기 텍스트키워드검색부(300)는 속성검색수행판단부로부터 제공된 텍스트 키워드 검색 요청 정보를 획득할 경우에는 예를 들어, '러브 액추얼리'라는 텍스트 키워드를 참조하여 텍스트 키워드 검색을 수행하고, '러브 액추얼리'를 포함하고 있는 검색 결과 정보를 텍스트키워드결과출력부로 제공하게 된다.In this case, when the text keyword search unit 300 obtains the text keyword search request information provided from the attribute search performing determination unit, the text keyword search unit 300 performs a text keyword search by referring to the text keyword 'love actual', The search result information including 'Love Actually' is provided to the text keyword result output unit.
이때, 상기 텍스트키워드결과출력부(400)는 텍스트키워드검색부로부터 제공된 텍스트 키워드의 검색 결과 정보를 출력시키게 되는 것이다.In this case, the text keyword result output unit 400 outputs search result information of the text keyword provided from the text keyword search unit.
즉, 도 4와 같이, '러브 액추얼리'라는 키워드를 포함하고 있는 모든 검색 결과 정보를 출력시키기 때문에 사용자가 원하는 검색 결과를 제공할 확률은 감소하게 된다.That is, as shown in FIG. 4, since all search result information including the keyword 'love reality' is output, the probability of providing a desired search result is reduced.
이는 사용자가 원하는 속성 정보를 반영하지 못하기 때문에 발생되는 문제점이며, 본 발명에서는 일반적인 텍스트 키워드 검색 방식을 제공하면서 동시에 유사 속성 검색 방식을 제공하는 것을 특징으로 하고 있다.This is a problem caused by not reflecting the attribute information desired by the user. The present invention is characterized by providing a similar attribute search method while providing a general text keyword search method.
이를 위하여, 상기 속성검색수행판단부(200)는 판단 결과, 유사 속성 검색을 수행할 경우에 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하게 된다.To this end, the attribute search performing decision unit 200 provides similar attribute search request information to the attribute similarity search unit 500 when performing the similar attribute search.
즉, 서비스 도메인에 따라 미리 설정하는 제1 모드, 검색어로 입력된 문장을 분석하는 제2 모드 중 어느 하나에 의해 분석된 결과가 유사 속성 검색에 해당된다면 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하는 것이다.That is, when the result analyzed by any one of the first mode preset according to the service domain and the second mode analyzing the sentence inputted by the search word corresponds to the similar property search, the similarity property search is performed by the property similarity search unit 500. It is to provide the request information.
이후, 상기 속성유사도검색수단(500)은 속성검색수행판단부(200)로부터 제공된 유사 속성 검색 요청 정보를 획득할 경우에 유사 속성 검색을 수행하고, 검색 결과 정보를 속성유사도검색결과출력부로 제공하게 되며, 속성유사도검색결과출력부(600)는 속성유사도검색부(500)로부터 제공된 유사 속성의 검색 결과 정보를 출력시키게 되는 것이다.Thereafter, the attribute similarity search means 500 performs a similar attribute search when obtaining the similar attribute search request information provided from the attribute search determining unit 200, and provides the search result information to the attribute similarity search result output unit. The attribute similarity search result output unit 600 outputs the search result information of the similar attribute provided from the attribute similarity search unit 500.
예를 들어, '러브 액추얼리 같은 영화'를 검색어로 입력하게 되면, 속성유사도검색수단(500)을 통해 유사 속성 검색을 수행하고 검색된 결과를 속성유사도검색결과출력부(600)로 제공하여 이를 화면에 출력하게 되는 것이다.For example, if a keyword such as “love actual” is entered as a search word, a similar property search is performed through the property similarity search means 500, and the search result is provided to the property similarity search result output unit 600 and displayed on the screen. Will print.
도 5에 도시한 바와 같이, '이프 온리, 로맨틱 홀리데이, 노팅 힐, 워크 투 리멤버' 등의 유사 속성 검색 결과를 제공하게 되는 것이다.As shown in FIG. 5, similar property search results such as 'if only, romantic holiday, notting hill, walk to member', etc. will be provided.
다음은 도 6 내지 도 8을 참조하여 제1 실시예에 따른 본 발명의 핵심 구성적 특징을 제공하는 속성유사도검색수단(500)의 구성요소와 동작 과정에 대하여 구체적으로 설명하겠다.Next, the components and operation process of the attribute similarity search means 500 that provide the core structural features of the present invention according to the first embodiment will be described in detail with reference to FIGS. 6 to 8.
도 6에 도시한 바와 같이, 속성유사도검색수단(500)은 검색어속성분석부(510), 멀티미디어컨텐츠속성할당부(520), 유사도매칭성분석부(530), 유사도후보군추출부(540), 유사도기준멀티미디어컨텐츠정렬부(550)를 포함하여 구성된다.As shown in FIG. 6, the attribute similarity search means 500 includes a keyword attribute analysis unit 510, a multimedia content attribute assignment unit 520, a similarity matching property analysis unit 530, a similarity candidate group extraction unit 540, and similarity degree. The reference multimedia content alignment unit 550 is included.
상기와 같은 속성유사도검색수단(500)의 구성에 의해 유사 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 제공함으로써, 검색하고자 하는 멀티미디어 컨텐츠의 속성 정보와 유사도가 높은 멀티미디어 컨텐츠들을 제공하여 검색의 정확성 및 신뢰성을 제공하게 된다.By providing the search result information of the multimedia content having the similar property by the configuration of the attribute similarity search means 500 as described above, by providing the multimedia content with high similarity to the property information of the multimedia content to search for accuracy and Provide reliability.
본 발명에서 속성이란, 개체가 가지고 있는 고유의 특성을 의미하며, 속성 자체만으로는 의미가 없지만, 관련있는 속성들을 모아 개체를 구성하면 하나의 중요한 의미를 표현할 수가 있게 되며, 속성은 일반적으로 의미있는 데이터의 가장 작은 논리적 단위로 인식되며, 이를 데이터베이스 가공에 활용하게 된다.In the present invention, the property refers to an inherent characteristic of the object, and the property itself is not meaningful. However, when an object is composed of related properties, one important expression can be expressed, and the property is generally meaningful data. It is recognized as the smallest logical unit of and used for database processing.
이에 따라 본 발명에서는 유사 속성을 이용하여 검색어(질문 혹은 질의어)와 가장 유사도가 높은 멀티미디어 컨텐츠 정보 검색에 활용하게 되는 것이다.Accordingly, in the present invention, the similar property is used to search for multimedia content information having the highest similarity with a search word (question or query word).
상기 검색어속성분석부(510)는 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어에 포함된 언어적 속성 정보를 분석하게 된다.The keyword attribute analyzer 510 analyzes linguistic attribute information included in a keyword of a multimedia content input through speech recognition or text.
예를 들어, '러브 액추얼리 같은 영화'와 같은 검색어에 포함된 언어적 의미를 분석하게 되는데, 이는 언어적 속성 정보를 분석하는 것을 의미한다.For example, a linguistic meaning included in a search word such as a movie such as a love reality is analyzed, which means to analyze linguistic attribute information.
즉, '러브 액추얼리'라는 영화가 가지고 있는 속성과 유사한 속성을 가진 멀티미디어 컨텐츠를 검색하기 위한 속성 정보를 분석해야만 이를 참조하여 유사한 멀티미디어 컨텐츠를 검색할 수 있게 된다.In other words, it is possible to search for similar multimedia contents only by analyzing attribute information for searching for multimedia contents having attributes similar to those of a movie called 'Love Actually'.
즉, '따뜻함, 감동적임, 재미있음' 등의 속성 정보를 러브 액추얼리에 할당하게 된다면 상기 속성 정보인 '따뜻함, 감동적임, 재미있음'을 가지고 있는 영화를 검색할 수가 있게 되는 것이다.That is, if attribute information such as 'warmness, inspiration, and fun' is assigned to the love reality, it is possible to search for a movie having the above-mentioned attribute information 'warmness, inspiration and fun'.
상기 멀티미디어컨텐츠속성할당부(520)는 컨텐츠서버(560)로부터 멀티미디어 컨텐츠를 획득하여 저장하고, 저장된 멀티미디어 컨텐츠에 속성 정보를 할당하게 된다.The multimedia content attribute assignment unit 520 acquires and stores multimedia content from the content server 560 and allocates attribute information to the stored multimedia content.
즉, 멀티미디어 컨텐츠들이 어떤 속성 정보를 지니고 있는지 컨텐츠 정보를 게더링하는 것이며, 컨텐츠 정보는 외부 네트워크 또는 통신을 이용하여 연결된 컨텐츠서버에서 크롤링된 것이며, 언어적 정제를 거쳐 속성 정보를 할당하게 된다.That is, the content information is gathered to determine what attribute information the multimedia contents have. The content information is crawled by a connected content server using an external network or communication, and the attribute information is assigned through linguistic refinement.
구체적으로, 러브 액추얼리라는 멀티미디어 컨텐츠를 획득하여 저장하게 되며, 상기 저장된 러브 액추얼리 영화에 속성 정보를 할당하게 되는데, 예를 들어, 속성 정보인 '따뜻함, 감동적임, 재미있음' 등의 속성 정보를 할당하게 되는 것이다.Specifically, it acquires and stores multimedia content called love actuation, and assigns attribute information to the stored love actuary movie, for example, assigns attribute information such as 'warmness, emotion, fun', etc. It is done.
상기한 바와 같이, 게더링되는 모든 컨텐츠마다 속성 정보를 할당하여 관리하게 되면, 검색어의 속성 정보와 유사한 컨텐츠들을 추출해낼 수가 있게 되는 것이다.As described above, when attribute information is allocated and managed for every content to be gathered, contents similar to the attribute information of a search word may be extracted.
상기 유사도매칭성분석부(530)는 검색어의 언어적 속성 정보에 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 멀티미디어컨텐츠속성할당부(520)로 제공하게 된다.The similarity matchability analysis unit 530 provides the multimedia content attribute assignment unit 520 with multimedia content request information including attribute information similar to linguistic attribute information of a search word.
예를 들어, 검색어의 언어적 속성 정보인 '영화', '러브액추얼리', '같은'이라는 언어적 속성 정보와 '따뜻함, 감동적임, 재미있음'이라는 멀티미디어 컨텐츠 속성 정보를 가지고, '따뜻함, 감동적임, 재미있음' 등과 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 생성하여 멀티미디어컨텐츠속성할당부(520)로 제공하게 되며, 멀티미디어컨텐츠속성할당부로부터 멀티미디어 컨텐츠 리스트 정보를 획득하며, 획득된 멀티미디어 컨텐츠 리스트 정보에 포함된 멀티미디어 컨텐츠들의 유사도 매칭 분석을 수행하게 되는 것이다.For example, with linguistic attribute information such as 'movie', 'love truth', and 'like', which are the linguistic attribute information of the search word, and multimedia content attribute information such as 'warm, touching, fun', Multimedia content request information including attribute information similar to “im, fun,” and the like, is generated and provided to the multimedia content attribute assignment unit 520, and the multimedia content list information is obtained from the multimedia content attribute assignment unit. Similarity matching analysis of multimedia contents included in the content list information is performed.
상기한 유사도 매칭 분석이란, 정보검색론에서 유사도를 검색하기 위해서 많이 활용하는 유클리디안 거리(Euclidean distance) 공식, 벡터 공간 모델(Vector space model) 등 다양한 유사도 계산 공식을 이용하여 사용자에게 제공할 컨텐츠를 선정할 수 있다. The similarity matching analysis described above is content to be provided to the user by using various similarity calculation formulas such as Euclidean distance formula and vector space model, which are frequently used to search for similarity in information retrieval theory. Can be selected.
또한, 사용자가 제공한 검색 키워드를 바탕으로 컨텐츠의 키워드와의 가장 유사한 컨텐츠를 검색하여 유사도가 높은 순서대로 컨텐츠를 정렬할 수 있다. In addition, based on a search keyword provided by the user, the most similar content with the keyword of the content may be searched and the contents may be sorted in the order of high similarity.
여기서, 상기 유사도 검색 결과로 도출되는 컨텐츠의 수는 상위 일정 개수를 정하여 정렬시킬 수 있으며, 상기 일정 개수는 상황에 따라 사용자가 임의 설정 가능할 수 있다.Here, the number of contents derived as a result of the similarity search may be determined by sorting an upper predetermined number, and the predetermined number may be arbitrarily set by the user according to a situation.
여기서, a는 사용자가 컨텐츠를 검색하기 위하여 입력한 키워드이고, a1, a2, a3 ...an 까지 총 n개의 키워드가 있고, 상기 총 n개의 키워드는 a(a1, a2, a3 ...an)으로 표현하고, b는 컨텐츠이고, b1, b2, b3 ...bn 까지 총 n개의 키워드가 있고, 상기 총 n개의 키워드는 b(b1, b2, b3 ...bn)라고 할 때, 상기 유클리디안 거리 공식은 다음과 같이 표현할 수 있다.Here, a is a keyword inputted by a user to search for content, and there are n keywords in total up to a 1 , a 2 , a 3 ... a n , and the total n keywords are a (a 1 , a 2 , a 3 ... a n) , b is the content, and there are n keywords up to b 1 , b 2 , b 3 ... b n , and the total n keywords are b (b 1 , When b 2 , b 3 ... b n) , the Euclidean distance formula can be expressed as follows.
Figure PCTKR2018002911-appb-I000001
(수식 1)
Figure PCTKR2018002911-appb-I000001
(Formula 1)
여기서, 각 키워드 간의 유클리디안 거리가 가까울수록 즉, 수식 1을 통해 도출된 값이 작을수록 유사도는 높다고 판단할 수 있다.Here, the closer the Euclidean distance between each keyword, that is, the smaller the value derived through Equation 1, the higher the similarity may be determined.
또한, 상기 벡터 공간 모델은 다음과 같이 표현할 수 있다.In addition, the vector space model can be expressed as follows.
Figure PCTKR2018002911-appb-I000002
(수식 2)
Figure PCTKR2018002911-appb-I000002
(Formula 2)
여기서, 수식2를 통해 도출된 값이 1에 가까울수록 유사도가 높으며, 0에 가까울수록 유사도가 낮다고 판단할 수 있다. Here, the closer the value derived through Equation 2 is to 1, the higher the similarity, and the closer to 0, the lower the similarity may be determined.
따라서, 수식 1 및 수식 2를 통해 검색 키워드와 콘텐츠별로 생성된 키워드와의 유사도를 검사하여 유사도가 높은 순서대로 컨텐츠를 정렬시킬 수 있다.Therefore, the similarity between the search keyword and the keyword generated for each content may be inspected by Equation 1 and Equation 2 to sort the contents in the order of high similarity.
이때, 상기 유사도후보군추출부(540)는 사전에 설정된 후보군 숫자를 참조하여 가장 높은 유사도를 가지고 있는 멀티미디어 컨텐츠부터 순차적으로 후보군 숫자에 맞게 멀티미디어 컨텐츠를 추출하게 된다.In this case, the similarity candidate group extracting unit 540 extracts the multimedia contents according to the number of candidate groups sequentially from the multimedia contents having the highest similarity with reference to a preset candidate group number.
예를 들어, 4개의 후보군 숫자로 설정하게 되면 순차적으로 후보군 숫자에 맞게 멀티미디어 컨텐츠를 추출하게 되는데, '이프 온리, 로맨틱 홀리데이, 노팅 힐, 워크 투 리멤버' 라는 4개의 후보군을 추출하게 된다.For example, if the number of four candidates is set, the multimedia content is sequentially extracted according to the number of candidates, and four candidate groups of 'if only, romantic holiday, notting hill, and work-to-member' are extracted.
이때, 상기 유사도기준멀티미디어컨텐츠정렬부(550)는 상기 후보군 숫자에 맞게 추출된 멀티미디어 컨텐츠들을 유사도에 따라 정렬시키며, 정렬된 멀티미디어 컨텐츠들을 속성유사도검색결과출력부(600)로 제공하게 되는 것이다.In this case, the similarity-based multimedia content sorting unit 550 sorts the multimedia contents extracted according to the number of candidate groups according to the similarity, and provides the sorted multimedia contents to the attribute similarity search result output unit 600.
예를 들어, 이프 온리와의 유사도가 1.215, 상기 로맨틱 홀리데이과의 유사도가 0.75, 상기 노팅 힐과의 유사도가 1.787, 상기 워크 투 리멤버와의 유사도가 0.454로 각각 도출되면, 상기 유클리디언 거리 공식은 유사도 값이 작을수록 유사도가 높으므로, 상기 컨텐츠를 유사도가 높은 순서대로 재정렬할 경우 워크 투 리멤버, 로맨틱 홀리데이, 이프 온리, 노팅 힐 순서로 정렬하여 해당 정보를 속성유사도검색결과출력부(600)로 제공하여 화면에 출력시키게 되는 것이다.For example, when the similarity with IF ONLY is 1.215, the similarity with the romantic holiday is 0.75, the similarity with the Notting Hill is 1.787, and the similarity with the walk-to-remember is 0.454, respectively, the Euclidean distance formula is The smaller the similarity value is, the higher the similarity is. Therefore, when the content is rearranged in the order of high similarity, the information is sorted in order of work-to-member, romantic holiday, if only, and notting hill, and the corresponding information is returned to the attribute similarity search result output unit 600. Will be provided to the screen.
다음은 도 7을 참조하여 검색어속성분석부(510)의 구성수단과 동작 과정을 구체적으로 설명하도록 하겠다.Next, the configuration means and operation process of the keyword attribute analyzer 510 will be described in detail with reference to FIG. 7.
상기 검색어속성분석부(510)는 자연어처리모듈(511), 머신러닝모델모듈(512), 검색어속성할당모듈(513), 지식정보DB(514), 검색어속성수치변환모듈(515), 속성모델모듈(516), 검색어속성수치정보DB(517)를 포함하여 구성된다.The search term attribute analysis unit 510 includes a natural language processing module 511, a machine learning model module 512, a search term attribute assignment module 513, a knowledge information DB 514, a search term attribute value conversion module 515, and an attribute model. Module 516, search word attribute value information DB (517).
상기 자연어처리모듈(511)은 머신러닝모델모듈(512)로 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어에 포함된 언어적 속성에 대한 해석 요청 정보를 제공하며, 머신러닝모델모듈로부터 해석된 검색어에 포함된 언어적 속성 정보를 검색어속성할당모듈(513)로 제공하게 된다.The natural language processing module 511 provides the machine learning model module 512 to provide information on requesting interpretation of linguistic attributes included in a search word of multimedia content input through speech recognition or text, and a search word interpreted from the machine learning model module. The linguistic attribute information included in the search word attribute assignment module 513 is provided.
이때, 상기 머신러닝모델모듈(512)은 자연어처리모듈로부터 검색어에 포함된 언어적 속성에 대한 해석 요청 정보를 획득할 경우에 검색어에 포함된 언어적 속성을 해석하여 자연어처리모듈로 해석된 언어적 속성 정보를 제공하는 기능을 수행하게 된다.In this case, when the machine learning model module 512 obtains request information for interpretation of linguistic attributes included in the search word from the natural language processing module, the linguistic language interpreted by the natural language processing module is interpreted. Function to provide attribute information.
예를 들어, '러브 액추얼리 같은 영화를 알려줘'라는 검색어에 포함된 언어적 속성에 대한 해석을 요청하게 되면, 상기 검색어에 대한 언어적 속성을 해석하게 되는데, 이는 일반적인 머신 러닝 모델 기법을 활용하여 질문의 의미 정보를 해석하게 되며, 머신 러닝을 통해 생성된 모델을 기반으로 질문의 의도와 다양한 의미 정보를 추출하게 되며, 예를 들어, '러브 액추얼리, 같은, 영화'이라는 언어적 속성 정보를 검색어속성할당모듈(513)로 제공하는 것이다.For example, if you request an interpretation of the linguistic attributes included in the search term 'tell me a movie like love actual', you will interpret the linguistic attributes of the search term, using a general machine learning model technique. It analyzes the semantic information of, and extracts the intention of the question and various semantic information based on the model generated through machine learning. For example, the linguistic attribute information such as 'Love Actually, Movie,' It is provided to the allocation module (513).
상기 지식정보DB(514)에는 멀티미디어 컨텐츠의 속성 정보와 매칭될 수 있는 속성의 유형으로 정제되어 있는 속성 유형 정보를 저장하고 있게 된다.The knowledge information DB 514 stores attribute type information refined into a type of attribute that can be matched with attribute information of multimedia content.
예를 들어, 러브 액추얼리라는 영화의 속성 정보로 '따뜻함, 감동적임, 재미있음, 로맨스' 등의 속성 정보로 설정되고, 이에 매칭될 수 있는 속성의 유형으로 '영화'로 설정하여 저장하게 된다.For example, it is set as attribute information such as 'warm, touching, fun, romance' as attribute information of a movie called love act, and is set as 'movie' as an attribute type that can be matched and stored.
속성의 유형을 통해 정보를 찾는 것인지, 웹사이트를 찾는 것인지, 뉴스/지역/쇼핑 등 특정 분야의 컨텐츠를 원하는 지, 멀티미디어 컨텐츠를 찾는 것인지 등을 알 수 있을 것이다.The type of attribute may be used to find information, a website, a news / region / shopping, a specific field of content, or a multimedia content.
이때, 상기 검색어속성할당모듈(513)은 자연어처리모듈에서 제공된 검색어에 포함된 언어적 속성 정보를 획득하고, 획득된 언어적 속성 정보를 토대로 지식정보DB로부터 속성 유형 정보를 추출하여 검색어에 대한 속성을 할당하고, 할당된 검색어에 대한 속성 정보를 검색어속성수치변환모듈(515)로 제공하게 된다.In this case, the search word attribute assignment module 513 obtains the linguistic attribute information included in the search word provided by the natural language processing module, extracts the attribute type information from the knowledge information DB based on the obtained linguistic attribute information, and then searches the attribute for the search term. And assign the attribute information on the assigned keyword to the keyword attribute value conversion module 515.
예를 들어, '러브 액추얼리, 같은, 영화'이라는 언어적 속성 정보를 토대로 지식정보DB로부터 속성 유형 정보인 '영화'를 추출하여 해당 검색어에 대한 속성 정보인 '따뜻함, 감동적임, 재미있음, 로맨스' 등을 검색어속성수치변환모듈(515)로 제공하게 된다.For example, based on the linguistic attribute information of 'Love Actually, Like, Movie', the attribute type information 'movie' is extracted from the knowledge information DB, and the attribute information of the search term 'warmness, emotion, fun, romance' 'And the like are provided to the keyword attribute value conversion module 515.
이때, 상기 검색어속성수치변환모듈(515)은 검색어속성할당모듈(513)로부터 제공된 검색어에 대한 속성 정보를 획득할 경우에 속성모델모듈(516)로 확률값 산출 요청 정보를 제공하게 된다.In this case, the search word attribute value conversion module 515 provides the probability model calculation request information to the attribute model module 516 when obtaining the attribute information for the search word provided from the search word attribute assignment module 513.
이후, 상기 속성모델모듈(516)은 검색어속성수치변환모듈(515)로부터 확률값 산출 요청 정보를 획득할 경우에 언어 모델링을 통해 확률값을 산출하며, 산출된 확률값을 검색어속성수치변환모듈(515)로 제공하게 되는 것이다.Subsequently, the attribute model module 516 calculates a probability value through language modeling when obtaining the probability value calculation request information from the keyword attribute value conversion module 515, and converts the calculated probability value to the keyword attribute value conversion module 515. Will be provided.
상기한 언어 모델링이란, 자연어 안에서 문법, 구문, 단어 등에 대한 규칙성을 찾아내고, 그 규칙성을 이용하여 검색하고자 하는 대상의 정확도를 높이기 위한 알고리즘을 의미한다.The language modeling refers to an algorithm for finding regularity about a grammar, phrase, word, etc. in a natural language and increasing the accuracy of an object to be searched using the regularity.
이때, 일반적으로 사용되는 방식이 확률값을 산출하는 통계적 모델링 기법이며, 이는 대량의 말뭉치에서 언어 규칙을 확률로 나타내고, 확률값을 통해서 탐색 영역을 제한하는 방법이다.In this case, a commonly used method is a statistical modeling method for calculating a probability value, which is a method of expressing a language rule as a probability in a large corpus and restricting the search area through the probability value.
그리고, 음성 인식에서 정확성뿐만 아니라, 탐색 공간을 급격히 줄여주여 주는 장점이 있으며, 모든 가능한 문장의 확률적 분포로 문장의 확률 모델을 기반으로 하기 때문에 학습데이터로부터 확률 모델의 학습이 필요하다. In addition, there is an advantage that the search space is sharply reduced as well as accuracy in speech recognition, and since the probability model of the sentence is based on the probability distribution of all possible sentences, it is necessary to learn the probability model from the training data.
그리고, 대부분의 언어 모델링 응용분야에서 통계적 언어모델인 N-Gram이 가장 성공적인 언어 모델로 알려져 있으며, 본 발명에서도 바람직하게는 N-Gram을 사용하게 된다.In addition, N-Gram, which is a statistical language model in most language modeling applications, is known as the most successful language model, and the present invention preferably uses N-Gram.
또한, 상기 검색어속성수치변환모듈(515)은 속성모델모듈(516)로부터 산출된 확률값을 획득하여 검색어에 대한 속성값으로 변환하여 검색어속성수치정보DB(517)로 제공하게 된다.In addition, the keyword attribute value conversion module 515 obtains the probability value calculated from the attribute model module 516, converts the probability value into an attribute value for the keyword, and provides the result to the keyword attribute value information DB 517.
예를 들어, '따뜻함 - 8, 감동적임 - 9, 재미있음 - 7, 로맨스 -10'과 같이, 속성 정보마다 속성값으로 변환하여 검색어속성수치정보DB(517)에 저장하게 되는 것이다.For example, such as 'warm-8, touching-9, fun-7, romance-10', the attribute information is converted into attribute values for each attribute information and stored in the query attribute value information DB 517.
또한, 검색어에 대한 속성 정보도 저장하게 된다.In addition, the attribute information for the search word is also stored.
상기와 같이, 검색어에 대한 속성값이 할당되면, 유사도매칭성분석부(530)에서는 하기의 멀티미디어컨텐츠속성할당부(520)에서 제공하는 다양한 속성값을 가진 컨텐츠들과 검색어에 대한 속성값을 가지고 유사도를 분석하게 되는 것이다.As described above, when an attribute value for a search term is assigned, the similarity matching property analysis unit 530 has similarity with the attribute values for various search terms and contents provided by the multimedia content attribute assignment unit 520 described below. Will be analyzed.
즉, 유사도매칭성분석부(530)는 검색어속성수치정보DB(517)에 저장된 검색어에 대한 속성 정보와 멀티미디어컨텐츠속성할당부(520)에 의해 할당된 멀티미디어 컨텐츠 속성 정보를 가지고 유사도 매칭 분석을 실시하는 것이다.That is, the similarity matching analysis unit 530 performs similarity matching analysis using the attribute information on the search word stored in the search word attribute value information DB 517 and the multimedia content property information allocated by the multimedia content attribute assigning unit 520. will be.
예를 들어, 검색어에 대한 속성 정보가 '감동적인 로맨스 영화'로 할당되었다면, '감동적인 로맨스 영화'로 할당된 멀티미디어 컨텐츠 속성 정보를 가지고 있는 '이프 온리, 로맨틱 홀리데이, 노팅 힐, 워크 투 리멤버' 등의 멀티미디어 컨텐츠 리스트 정보를 유사도매칭성분석부(530)에서 획득하여 유사도 매칭 분석을 실시하게 되는 것이다.For example, if the attribute information for a search term is assigned to 'inspiring romance movie', 'if only, romantic holiday, notting hill, walk-to-remember' etc., which has multimedia content attribute information assigned to 'inspiring romance movie' The similarity matching analysis unit 530 obtains the multimedia content list information and performs the similarity matching analysis.
다음은 도 8을 참조하여 멀티미디어컨텐츠속성할당부(520)의 구성수단과 동작 과정을 구체적으로 설명하도록 하겠다.Next, the configuration means and operation process of the multimedia content attribute assignment unit 520 will be described in detail with reference to FIG. 8.
상기 멀티미디어컨텐츠속성할당부(520)는 컨텐츠연동모듈(521), 컨텐츠크롤링모듈(522), 컨텐츠저장DB(523), 컨텐츠속성할당모델모듈(524), 컨텐츠속성정보해석모듈(525), 컨텐츠정보검색모듈(526)을 포함하여 구성된다.The multimedia content attribute assignment unit 520 includes a content linkage module 521, a content crawling module 522, a content storage DB 523, a content attribute assignment model module 524, a content attribute information interpretation module 525, and a content. And an information retrieval module 526.
시간의 흐름에 따라 멀티미디어 컨텐츠의 정보량이 변경되고 이에 따라 특정 대상의 속성도 시시각각 변화하는데, 상기와 같은 멀티미디어컨텐츠속성할당부를 통해 가변적으로 멀티미디어 컨텐츠를 반영함으로써, 실시간으로 변화하는 다양한 멀티미디어 컨텐츠들을 검색에 반영할 수 있는 효과를 발휘하게 된다.The amount of information of multimedia contents changes with the passage of time, and accordingly, the attributes of a specific object change from time to time, and various multimedia contents that are changed in real time are searched by reflecting multimedia contents variably through the multimedia content attribute assignment unit as described above. The effect can be reflected in.
구체적으로 설명하면, 컨텐츠연동모듈(521)은 컨텐츠서버(560)와 연동시켜 컨텐츠크롤링모듈(522)로 멀티미디어 컨텐츠 정보를 제공하게 되고, 상기 컨텐츠크롤링모듈(522)은 컨텐츠연동모듈(521)로부터 제공되는 다수의 멀티미디어 컨텐츠 정보들을 수집하여 컨텐츠저장DB로 저장시켜 속성 정보의 연산 범위를 확장시키는 기능을 수행하게 된다.Specifically, the content interlocking module 521 interoperates with the content server 560 to provide the multimedia content information to the content crawling module 522, and the content crawling module 522 is provided from the content interlocking module 521. Collecting a plurality of multimedia content information provided and stored in the content storage DB to extend the operation range of the attribute information.
즉, 상기 컨텐츠서버에서 전달되는 정보는 컨텐츠연동모듈을 통해 컨텐츠 속성 모델의 리소스가 되는 것이다.That is, the information delivered from the content server becomes a resource of the content property model through the content interworking module.
이때, 상기 컨텐츠크롤링모듈(522)을 통해 다양한 멀티미디어 컨텐츠들을 수집하여 속성 정보의 연산 범위를 확장시키는 것이다.At this time, the multimedia content is collected through the content crawling module 522 to expand the operation range of the attribute information.
예를 들어, 영화의 속성 정보인 '따뜻함, 감동적임, 재미있음, 로맨스' 등을 포함하고 있는 멀티미디어 컨텐츠들을 다양하게 수집할 수 있게 되는 것이다.For example, it is possible to collect various multimedia contents including 'warmness, emotion, fun, romance', etc., which are attribute information of a movie.
이때, 상기 컨텐츠속성할당모델모듈(524)은 상기 컨텐츠저장DB(523)에 저장된 각각의 멀티미디어 컨텐츠들을 획득하여 각각의 멀티미디어 컨텐츠마다 속성 정보를 할당하게 되는 것이다.In this case, the content property assignment model module 524 obtains each multimedia content stored in the content storage DB 523 and allocates property information to each multimedia content.
따라서, 상기 컨텐츠저장DB(523)에는 상기 컨텐츠크롤링모듈(522)로부터 제공된 멀티미디어 컨텐츠 정보와 각각의 멀티미디어 컨텐츠마다 할당된 속성 정보를 저장하고 있게 되는 것이다.Accordingly, the content storage DB 523 stores multimedia content information provided from the content crawling module 522 and attribute information allocated to each multimedia content.
예를 들어, 각각의 멀티미디어 컨텐츠에 대하여 일일히 속성 정보를 부여하는 역할을 담당하는데, 예를 들어, A라는 음악에 '차분함, 감동적임'이라는 속성 정보를 할당하게 되는 것이다.For example, it plays a role of assigning attribute information to each multimedia content, for example, assigning attribute information of 'calm and touching' to A music.
그리고, 상기 컨텐츠속성정보해석모듈(525)은 컨텐츠속성할당모델모듈(524)에 의해 할당된 각각의 멀티미디어 컨텐츠의 속성 정보를 해석하여 컨텐츠정보검색모듈로 제공하게 되는 것이다.The content attribute information analysis module 525 interprets the attribute information of each multimedia content assigned by the content attribute assignment model module 524 and provides the same to the content information search module.
예를 들어, 컨텐츠정보검색모듈에서 검색어에 해당하는 '따뜻함, 감동적임, 재미있음, 로맨스'를 제공하는 '영화'를 요청하게 되면 이에 해당하는 컨텐츠들을 해석하게 되며, 해석된 각각의 멀티미디어 컨텐츠의 속성 정보를 컨텐츠정보검색모듈(526)로 제공하게 된다.For example, when a content information search module requests a 'movie' that provides 'warmness, inspiration, fun, romance' corresponding to a search word, the corresponding content is interpreted, and each of the analyzed multimedia contents is analyzed. The attribute information is provided to the content information search module 526.
따라서, 컨텐츠정보검색모듈(526)은 컨텐츠속성정보해석모듈(525)에 의해 해석된 각각의 멀티미디어 컨텐츠의 속성 정보를 유사도매칭성분석부(530)로 제공하게 되는 것이다.Accordingly, the content information retrieval module 526 is to provide the similarity matching property analysis unit 530 with attribute information of each multimedia content analyzed by the content property information analysis module 525.
이후, 유사도매칭성분석부(530)로부터 검색어의 언어적 속성 정보와 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 획득할 경우에 컨텐츠저장DB(523)로부터 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 리스트 정보를 컨텐츠속성정보해석모듈(525)로 요청하고, 컨텐츠저장DB(523)로부터 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 리스트 정보를 획득하여 유사도매칭성분석부(530)로 제공하게 되는 것이다.Subsequently, when the multimedia content request information including attribute information similar to the linguistic attribute information of the search word is obtained from the similarity matching property analysis unit 530, the multimedia content list including the similar attribute information from the content storage DB 523. The information is requested to the content attribute information analysis module 525, the multimedia content list information including similar attribute information is obtained from the content storage DB 523, and provided to the similarity matching property analysis unit 530.
예를 들어, '러브 액추얼리, 같은, 영화'이라는 언어적 속성 정보를 참조하여 유사한 속성 정보를 포함하는 '이프 온리, 로맨틱 홀리데이, 노팅 힐, 워크 투 리멤버' 등의 멀티미디어 컨텐츠 리스트 정보를 컨텐츠저장DB(523)로부터 추출하게 되는 것이다.For example, referring to the linguistic attribute information of 'Love Actually, Same, Movie', the multimedia contents list information such as 'If Only, Romantic Holiday, Notting Hill, Work to Remember' including similar attribute information is stored in the content storage DB. It is extracted from 523.
다음은 본 발명인 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법에 대하여 도 9 내지 도 10을 참조하여 구체적으로 설명하도록 하겠다.Next, a method for retrieving multimedia contents through the present inventors attribute information analysis will be described in detail with reference to FIGS. 9 to 10.
도 9는 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법의 전체 흐름도이다.9 is a flowchart illustrating a multimedia content searching method through attribute information analysis according to a first embodiment of the present invention.
도 9에 도시한 바와 같이, 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법은, 검색시작단계(S100), 속성검색수행판단단계(S200), 텍스트키워드검색단계(S300), 텍스트키워드결과출력단계(S400), 속성유사도검색단계(S500), 속성유사도검색결과출력단계(S600)를 포함한다.As shown in FIG. 9, the multimedia content search method through attribute information analysis includes: a search start step (S100), an attribute search execution determination step (S200), a text keyword search step (S300), and a text keyword result output step (S400). ), Attribute similarity search step (S500), and attribute similarity search result output step (S600).
구체적으로 설명하자면, 상기 검색시작단계(S100)는 검색시작부(100)를 통해 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하게 된다.Specifically, the search start step (S100) is to obtain the search request request information of the multimedia content input by voice recognition or text through the search start unit 100 to provide the search execution request information to the attribute search determination unit 200. Done.
텍스트로 입력시에는 텍스트 정보를 추출하여 검색 실시 요청 정보를 제공하지만, 음성 인식으로 입력될 경우에는 음성 인식을 위하여 검색시작부는 자연어 처리모듈을 포함하여 구성되되, 상기 자연어 처리모듈에 의해 처리된 음성인식 결과 텍스트에서 사용자의 명령 대상값을 추출하게 된다.When inputting text, the search information is provided by extracting text information and providing search request information. However, when inputted by voice recognition, the search start unit includes a natural language processing module for voice recognition, and processes the voice processed by the natural language processing module. The command target value of the user is extracted from the recognition result text.
이후, 속성검색수행판단단계(S200)는 속성검색수행판단부(200)가 상기 검색시작부(100)로부터 검색 실시 요청 정보를 획득할 경우, 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하고, 판단 결과, 텍스트 키워드 검색을 수행할 경우에 텍스트키워드검색부(300)로 텍스트 키워드 검색 요청 정보를 제공하며, 판단 결과, 유사 속성 검색을 수행할 경우에 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하게 된다.Subsequently, in the attribute search determination step (S200), when the attribute search execution determination unit 200 obtains the search execution request information from the search start unit 100, whether to perform a text keyword search or perform a similar attribute search If it is determined whether or not to perform, and as a result of the determination, the text keyword search unit 300 provides the text keyword search request information when performing the text keyword search, and when the similar attribute search is performed, the attribute similarity search unit ( 500), similar property search request information is provided.
즉, 텍스트 키워드 검색을 수행할 경우에는 텍스트키워드검색부(300)로 텍스트 키워드 검색 요청 정보를 제공하게 된다.That is, when the text keyword search is performed, the text keyword search request information is provided to the text keyword search unit 300.
따라서, 텍스트키워드검색단계(S300)는 텍스트키워드검색부(300)가 상기 속성검색수행판단부(200)로부터 제공된 텍스트 키워드 검색 요청 정보를 획득할 경우에 텍스트 키워드 검색을 수행하고, 검색 결과 정보를 텍스트키워드결과출력부로 제공하게 된다.Therefore, the text keyword search step (S300) performs a text keyword search when the text keyword search unit 300 obtains the text keyword search request information provided from the attribution search execution determination unit 200, and retrieves the search result information. It is provided to the text keyword result output unit.
이후, 텍스트키워드결과출력단계(S400)는 텍스트키워드결과출력부(400)가 상기 텍스트키워드검색부(300)로부터 제공된 텍스트 키워드의 검색 결과 정보를 출력시키게 되는 것이다.Subsequently, in the text keyword result output step S400, the text keyword result output unit 400 outputs search result information of the text keyword provided from the text keyword search unit 300.
예를 들어, '러브 액추얼리'라는 텍스트 키워드를 참조하여 텍스트 키워드 검색을 수행하고, '러브 액추얼리'를 포함하고 있는 검색 결과 정보를 텍스트키워드결과출력부로 제공하게 된다.For example, a text keyword search is performed by referring to a text keyword called 'love actual', and search result information including 'love actual' is provided to the text keyword result output unit.
한편, 속성검색수행판단부(200)가 판단 결과, 유사 속성 검색을 수행할 경우에 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하게 되는데, 이때, 상기 속성유사도검색단계(S500)는 속성유사도검색수단(500)가 상기 속성검색수행판단부(200)로부터 제공된 유사 속성 검색 요청 정보를 획득할 경우에 유사 속성 검색을 수행하고, 검색 결과 정보를 속성유사도검색결과출력부로 제공하게 된다.On the other hand, when the attribute search decision unit 200 performs a similar attribute search as a result of the determination, it provides the similarity attribute search request information to the attribute similarity search unit 500, in which the attribute similarity search step (S500) When the similarity similarity search means 500 obtains the similar property search request information provided from the attribution search execution decision unit 200, the similar property search is performed and the search result information is provided to the property similarity search result output unit. .
이후, 속성유사도검색결과출력단계(S600)는 속성유사도검색결과출력부(600)가 상기 속성유사도검색부(500)로부터 제공된 유사 속성의 검색 결과 정보를 출력시키게 된다.Thereafter, in the attribute similarity search result output step (S600), the attribute similarity search result output unit 600 outputs search result information of similar attributes provided from the attribute similarity search unit 500.
예를 들어, '러브 액추얼리 같은 영화'를 검색어로 입력하게 되면, 속성유사도검색수단(500)을 통해 유사 속성 검색을 수행하고 검색된 결과를 속성유사도검색결과출력부(600)로 제공하여 이를 화면에 출력하게 되는 것이다.For example, if a keyword such as “love actual” is entered as a search word, a similar property search is performed through the property similarity search means 500, and the search result is provided to the property similarity search result output unit 600 and displayed on the screen. Will print.
도 10은 본 발명의 제1 실시예에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법의 속성유사도검색단계를 나타낸 흐름도이다.10 is a flowchart illustrating an attribute similarity retrieval step of a multimedia content retrieval method through attribute information analysis according to a first embodiment of the present invention.
도 10에 도시한 바와 같이, 속성유사도검색단계(S500)는, 검색어속성분석단계(S510), 멀티미디어컨텐츠속성할당단계(S520), 유사도매칭성분석단계(S530), 유사도후보군추출단계(540), 유사도기준멀티미디어컨텐츠정렬단계(S550)를 포함한다.As shown in Figure 10, the attribute similarity search step (S500), the keyword attribute analysis step (S510), multimedia content attribute assignment step (S520), similarity matching property analysis step (S530), similarity candidate group extraction step (540), Similarity-based multimedia content sorting step (S550) is included.
구체적으로 설명하자면, 상기 검색어속성분석단계(S510)는 검색어속성분석부(510)가 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어에 포함된 언어적 속성 정보를 분석하게 된다.In detail, in the search word attribute analysis step S510, the search word attribute analyzer 510 analyzes linguistic attribute information included in a search word of multimedia content input by voice recognition or text.
예를 들어, '러브 액추얼리'라는 영화가 가지고 있는 속성과 유사한 속성을 가진 멀티미디어 컨텐츠를 검색하기 위한 속성 정보를 분석해야만 이를 참조하여 유사한 멀티미디어 컨텐츠를 검색할 수 있게 된다.For example, it is possible to search for similar multimedia contents only by analyzing attribute information for searching for multimedia contents having attributes similar to those of a movie called 'Love Actually'.
즉, '따뜻함, 감동적임, 재미있음' 등의 속성 정보를 러브 액추얼리에 할당하게 된다면 상기 속성 정보인 '따뜻함, 감동적임, 재미있음'을 가지고 있는 영화를 검색할 수가 있게 되는 것이다.That is, if attribute information such as 'warmness, inspiration, and fun' is assigned to the love reality, it is possible to search for a movie having the above-mentioned attribute information 'warmness, inspiration and fun'.
이후, 멀티미디어컨텐츠속성할당단계(S520)는 멀티미디어컨텐츠속성할당부(520)가 컨텐츠서버(560)로부터 멀티미디어 컨텐츠를 획득하여 저장하고, 저장된 멀티미디어 컨텐츠에 속성 정보를 할당하게 되는 것이다.Subsequently, in the multimedia content attribute assignment step S520, the multimedia content attribute assignment unit 520 acquires and stores the multimedia content from the content server 560, and assigns attribute information to the stored multimedia content.
즉, 멀티미디어 컨텐츠들이 어떤 속성 정보를 지니고 있는지 컨텐츠 정보를 게더링하는 것이며, 컨텐츠 정보는 외부 네트워크 또는 통신을 이용하여 연결된 컨텐츠서버에서 크롤링된 것이며, 언어적 정제를 거쳐 속성 정보를 할당하게 된다.That is, the content information is gathered to determine what attribute information the multimedia contents have. The content information is crawled by a connected content server using an external network or communication, and the attribute information is assigned through linguistic refinement.
구체적으로, 러브 액추얼리라는 멀티미디어 컨텐츠를 획득하여 저장하게 되며, 상기 저장된 러브 액추얼리 영화에 속성 정보를 할당하게 되는데, 예를 들어, 속성 정보인 '따뜻함, 감동적임, 재미있음' 등의 속성 정보를 할당하게 되는 것이다.Specifically, it acquires and stores multimedia content called love actuation, and assigns attribute information to the stored love actuary movie, for example, assigns attribute information such as 'warmness, emotion, fun', etc. It is done.
상기한 바와 같이, 게더링되는 모든 컨텐츠마다 속성 정보를 할당하여 관리하게 되면, 검색어의 속성 정보와 유사한 컨텐츠들을 추출해낼 수가 있게 되는 것이다.As described above, when attribute information is allocated and managed for every content to be gathered, contents similar to the attribute information of a search word may be extracted.
이후, 유사도매칭성분석단계(S530)는 유사도매칭성분석부(530)가 검색어의 언어적 속성 정보에 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 멀티미디어컨텐츠속성할당부(520)로 제공하고, 멀티미디어컨텐츠속성할당부(520)로부터 멀티미디어 컨텐츠 리스트 정보를 획득하며, 획득된 멀티미디어 컨텐츠 리스트 정보에 포함된 멀티미디어 컨텐츠들의 유사도 매칭 분석을 수행하게 된다.Then, in the similarity matching property analysis step (S530), the similarity matching property analysis unit 530 provides the multimedia content property assignment unit 520 with the multimedia content request information including the similar property information in the linguistic property information of the search word. The multimedia content list information is obtained from the content property allocator 520, and similarity matching analysis of multimedia contents included in the obtained multimedia content list information is performed.
예를 들어, 검색어의 언어적 속성 정보인 '영화', '러브액추얼리', '같은'이라는 언어적 속성 정보와 '따뜻함, 감동적임, 재미있음'이라는 멀티미디어 컨텐츠 속성 정보를 가지고, '따뜻함, 감동적임, 재미있음' 등과 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 생성하여 멀티미디어컨텐츠속성할당부(520)로 제공하게 되며, 멀티미디어컨텐츠속성할당부로부터 멀티미디어 컨텐츠 리스트 정보를 획득하며, 획득된 멀티미디어 컨텐츠 리스트 정보에 포함된 멀티미디어 컨텐츠들의 유사도 매칭 분석을 수행하게 되는 것이다.For example, with linguistic attribute information such as 'movie', 'love truth', and 'like', which are the linguistic attribute information of the search word, and multimedia content attribute information such as 'warm, touching, fun', Multimedia content request information including attribute information similar to “im, fun,” and the like, is generated and provided to the multimedia content attribute assignment unit 520, and the multimedia content list information is obtained from the multimedia content attribute assignment unit. Similarity matching analysis of multimedia contents included in the content list information is performed.
이후, 유사도후보군추출단계(540)는 유사도후보군추출부(540)가 사전에 설정된 후보군 숫자를 참조하여 가장 높은 유사도를 가지고 있는 멀티미디어 컨텐츠부터 순차적으로 후보군 숫자에 맞게 멀티미디어 컨텐츠를 추출하게 된다.Thereafter, in the similarity candidate group extracting step 540, the similarity candidate group extracting unit 540 extracts the multimedia contents according to the candidate group numbers sequentially from the multimedia contents having the highest similarity with reference to a preset candidate group number.
예를 들어, 4개의 후보군 숫자로 설정하게 되면 순차적으로 후보군 숫자에 맞게 멀티미디어 컨텐츠를 추출하게 되는데, '이프 온리, 로맨틱 홀리데이, 노팅 힐, 워크 투 리멤버' 라는 4개의 후보군을 추출하게 된다.For example, if the number of four candidates is set, the multimedia content is sequentially extracted according to the number of candidates, and four candidate groups of 'if only, romantic holiday, notting hill, and work-to-member' are extracted.
이후, 유사도기준멀티미디어컨텐츠정렬단계(S550)는 유사도기준멀티미디어컨텐츠정렬부(550)가 상기 후보군 숫자에 맞게 추출된 멀티미디어 컨텐츠들을 유사도에 따라 정렬시키며, 정렬된 멀티미디어 컨텐츠들을 속성유사도검색결과출력부(600)로 제공하게 되는 것이다.Thereafter, in the similarity-based multimedia content sorting step (S550), the similarity-based multimedia content sorter 550 sorts the multimedia contents extracted according to the candidate group number according to the similarity, and arranges the sorted multimedia contents in the attribute similarity search result output unit ( 600).
예를 들어, 이프 온리와의 유사도가 1.215, 상기 로맨틱 홀리데이과의 유사도가 0.75, 상기 노팅 힐과의 유사도가 1.787, 상기 워크 투 리멤버와의 유사도가 0.454로 각각 도출되면, 상기 유클리디언 거리 공식은 유사도 값이 작을수록 유사도가 높으므로, 상기 컨텐츠를 유사도가 높은 순서대로 재정렬할 경우 워크 투 리멤버, 로맨틱 홀리데이, 이프 온리, 노팅 힐 순서로 정렬하여 해당 정보를 속성유사도검색결과출력부(600)로 제공하여 화면에 출력시키게 되는 것이다.For example, when the similarity with IF ONLY is 1.215, the similarity with the romantic holiday is 0.75, the similarity with the Notting Hill is 1.787, and the similarity with the walk-to-remember is 0.454, respectively, the Euclidean distance formula is The smaller the similarity value is, the higher the similarity is. Therefore, when the content is rearranged in the order of high similarity, the information is sorted in order of work-to-member, romantic holiday, if only, and notting hill, and the corresponding information is returned to the attribute similarity search result output unit 600. Will be provided to the screen.
지금까지 설명한 본 발명에 의하면, 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하여 텍스트 키워드 검색을 수행할 경우에 멀티미디어 컨텐츠의 검색 결과 정보를 출력하며, 유사 속성 검색을 수행할 경우에 유사 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 출력함으로써, 일반적인 검색 키워드 방식을 이용한 멀티미디어 컨텐츠 검색 결과를 제공하는 효과와 유사 속성 검색을 통한 사용자가 검색하기를 원하는 검색어(질문)에 가장 유사한 멀티미디어 컨탠츠 검색 결과를 제공하는 효과를 발휘한다.According to the present invention described above, the multimedia content is obtained when a text keyword search is performed by determining whether to perform a text keyword search or a similar property search by acquiring a search word of the multimedia content input through speech recognition or text. Outputs the search result information of and outputs the search result information of the multimedia contents having the similar property when performing the similar property search. The multimedia content search result most similar to the search word (question) that the user wants to search through is effective.
특히, 유사도매칭성분석부를 제공함으로써, 유사 속성 검색을 수행시, 검색어속성수치정보DB에 저장된 검색어에 대한 속성 정보와 멀티미디어컨텐츠속성할당부에 의해 할당된 멀티미디어 컨텐츠 속성 정보를 가지고 유사도 매칭 분석을 실시함으로써, 검색어(질문)의 의도와 유사한 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 제공함으로써, 사용자가 원하는 속성(분위기, 감정 등)과 일치하는 멀티미디어 컨텐츠를 제공하게 되어 이에 따른 검색의 신뢰도를 높일 수 있는 효과를 발휘하게 된다.In particular, by providing a similarity matching analysis unit, when performing a similar attribute search, similarity matching analysis is performed using the attribute information of the search term stored in the search term attribute information DB and the multimedia content attribute information assigned by the multimedia content attribute assignment unit. , By providing search result information of multimedia contents having attributes similar to the intention of the search term (question), it provides multimedia contents that match the attributes (atmosphere, emotion, etc.) desired by the user, thereby increasing the reliability of the search. Will be effective.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the above-described specific embodiment, the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.
본 발명에 따른 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법을 통해, 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하여 텍스트 키워드 검색을 수행할 경우에 멀티미디어 컨텐츠의 검색 결과 정보를 출력하며, 유사 속성 검색을 수행할 경우에 유사 속성을 가지고 있는 멀티미디어 컨텐츠의 검색 결과 정보를 출력함으로써, 일반적인 검색 키워드 방식을 이용한 멀티미디어 컨텐츠 검색 결과를 제공하는 효과와 유사 속성 검색을 통한 사용자가 검색하기를 원하는 검색어(질문)에 가장 유사한 멀티미디어 컨탠츠 검색 결과를 제공하는 효과를 통해 산업상 이용가능성도 높다.Determining whether to perform a text keyword search or a similar property search by acquiring a search word of multimedia content input through speech recognition or text through an apparatus and method for searching multimedia contents through analyzing attribute information according to the present invention. Outputting the search result information of the multimedia content when performing a text keyword search, and outputting the search result information of the multimedia content having a similar property when performing a similar property search, thereby generating multimedia content using a general search keyword method. It is also highly applicable to the industry through providing a multimedia content search result that is most similar to a search word (question) that a user wants to search through the effect of providing a search result and similar property search.

Claims (7)

  1. 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치에 있어서,In the multimedia content retrieval apparatus through attribute information analysis,
    음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하는 검색시작부(100)와,A search start unit 100 for acquiring a search word of multimedia content input by voice recognition or text and providing search execution request information to the attribute search execution determining unit 200;
    상기 검색시작부(100)로부터 검색 실시 요청 정보를 획득할 경우, 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하고, 판단 결과, 텍스트 키워드 검색을 수행할 경우에 텍스트키워드검색부(300)로 텍스트 키워드 검색 요청 정보를 제공하며, 판단 결과, 유사 속성 검색을 수행할 경우에 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하는 속성검색수행판단부(200)와,When obtaining the search execution request information from the search start unit 100, it is determined whether to perform a text keyword search or a similar attribute search, and as a result of the determination, the text keyword search is performed when the text keyword search is performed. The attribute search decision unit 200 which provides the text keyword search request information to the unit 300, and provides the similar property search request information to the attribute similarity search unit 500 when performing the similar attribute search as a result of the determination; ,
    상기 속성검색수행판단부로부터 제공된 텍스트 키워드 검색 요청 정보를 획득할 경우에 텍스트 키워드 검색을 수행하고, 검색 결과 정보를 텍스트키워드결과출력부로 제공하는 텍스트키워드검색부(300)와,A text keyword search unit 300 which performs a text keyword search when obtaining the text keyword search request information provided from the attribute search performing determination unit, and provides the search result information to the text keyword result output unit;
    상기 텍스트키워드검색부로부터 제공된 텍스트 키워드의 검색 결과 정보를 출력시키기 위한 텍스트키워드결과출력부(400)와,A text keyword result output unit 400 for outputting search result information of the text keyword provided from the text keyword search unit;
    상기 속성검색수행판단부로부터 제공된 유사 속성 검색 요청 정보를 획득할 경우에 유사 속성 검색을 수행하고, 검색 결과 정보를 속성유사도검색결과출력부로 제공하는 속성유사도검색수단(500)과,An attribute similarity search means 500 which performs a similar attribute search when obtaining similar attribute search request information provided from the attribute search execution determination unit and provides the search result information to the attribute similarity search result output unit 500;
    상기 속성유사도검색부(500)로부터 제공된 유사 속성의 검색 결과 정보를 출력시키기 위한 속성유사도검색결과출력부(600)를 포함하여 구성되는 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치.And an attribute similarity search result output unit (600) for outputting search result information of similar attributes provided from the attribute similarity search unit (500).
  2. 제 1항에 있어서,The method of claim 1,
    상기 속성유사도검색수단(500)은,The attribute similarity search means 500,
    음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어에 포함된 언어적 속성 정보를 분석하기 위한 검색어속성분석부(510);A search word attribute analyzer 510 for analyzing linguistic attribute information included in a search word of multimedia content input through speech recognition or text;
    컨텐츠서버(560)로부터 멀티미디어 컨텐츠를 획득하여 저장하고, 저장된 멀티미디어 컨텐츠에 속성 정보를 할당하기 위한 멀티미디어컨텐츠속성할당부(520);A multimedia content attribute allocator 520 for acquiring and storing multimedia contents from the content server 560 and allocating attribute information to the stored multimedia contents;
    검색어의 언어적 속성 정보에 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 멀티미디어컨텐츠속성할당부(520)로 제공하고, 멀티미디어컨텐츠속성할당부(520)로부터 멀티미디어 컨텐츠 리스트 정보를 획득하며, 획득된 멀티미디어 컨텐츠 리스트 정보에 포함된 멀티미디어 컨텐츠들의 유사도 매칭 분석을 수행하기 위한 유사도매칭성분석부(530);It provides multimedia content request information including attribute information similar to linguistic attribute information of a search word to the multimedia content attribute assigning unit 520, obtains multimedia content list information from the multimedia content attribute assigning unit 520, and obtains the multimedia content list information. A similarity matching analysis unit 530 for performing a similarity matching analysis of multimedia contents included in the multimedia contents list information;
    사전에 설정된 후보군 숫자를 참조하여 가장 높은 유사도를 가지고 있는 멀티미디어 컨텐츠부터 순차적으로 후보군 숫자에 맞게 멀티미디어 컨텐츠를 추출하기 위한 유사도후보군추출부(540);A similarity candidate group extracting unit 540 for sequentially extracting multimedia contents according to candidate group numbers from multimedia contents having the highest similarity with reference to a preset candidate group number;
    상기 후보군 숫자에 맞게 추출된 멀티미디어 컨텐츠들을 유사도에 따라 정렬시키며, 정렬된 멀티미디어 컨텐츠들을 속성유사도검색결과출력부(600)로 제공하기 위한 유사도기준멀티미디어컨텐츠정렬부(550);를 포함하여 구성되는 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치.A similarity reference multimedia content sorting unit 550 for sorting the multimedia contents extracted according to the number of candidate groups according to similarity and providing the sorted multimedia contents to the property similarity search result output unit 600. Multimedia content retrieval apparatus through information analysis.
  3. 제 2항에 있어서,The method of claim 2,
    상기 검색어속성분석부(510)는,The search word attribute analysis unit 510,
    머신러닝모델모듈(512)로 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어에 포함된 언어적 속성에 대한 해석 요청 정보를 제공하며, 머신러닝모델모듈로부터 해석된 검색어에 포함된 언어적 속성 정보를 검색어속성할당모듈(513)로 제공하기 위한 자연어처리모듈(511);The machine learning model module 512 provides information on requesting interpretation of linguistic attributes included in a search word of multimedia content input through speech recognition or text, and provides linguistic attribute information included in a search word interpreted from the machine learning model module. A natural language processing module 511 for providing the query attribute assignment module 513;
    자연어처리모듈로부터 검색어에 포함된 언어적 속성에 대한 해석 요청 정보를 획득할 경우에 검색어에 포함된 언어적 속성을 해석하여 자연어처리모듈로 해석된 언어적 속성 정보를 제공하기 위한 머신러닝모델모듈(512);Machine learning model module for providing linguistic attribute information interpreted as natural language processing module by interpreting linguistic attributes included in search term when obtaining information on interpretation of linguistic attributes included in search term from natural language processing module. 512);
    멀티미디어 컨텐츠의 속성 정보와 매칭될 수 있는 속성의 유형으로 정제되어 있는 속성 유형 정보를 저장하고 있는 지식정보DB(514);A knowledge information DB 514 that stores attribute type information refined into attribute types that can be matched with attribute information of multimedia content;
    상기 자연어처리모듈에서 제공된 검색어에 포함된 언어적 속성 정보를 획득하고, 획득된 언어적 속성 정보를 토대로 지식정보DB로부터 속성 유형 정보를 추출하여 검색어에 대한 속성을 할당하고, 할당된 검색어에 대한 속성 정보를 검색어속성수치변환모듈(515)로 제공하기 위한 검색어속성할당모듈(513);Obtains the linguistic attribute information included in the search word provided by the natural language processing module, extracts the attribute type information from the knowledge information DB based on the obtained linguistic attribute information, allocates the attribute for the search term, and the attribute for the assigned search term. A search word attribute assignment module 513 for providing information to the search term attribute value conversion module 515;
    상기 검색어속성할당모듈(513)로부터 제공된 검색어에 대한 속성 정보를 획득할 경우에 속성모델모듈(516)로 확률값 산출 요청 정보를 제공하며, 속성모델모듈(516)로부터 산출된 확률값을 획득하여 검색어에 대한 속성값으로 변환하여 검색어속성수치정보DB(517)로 제공하기 위한 검색어속성수치변환모듈(515);When obtaining the attribute information for the search term provided from the search term attribute assignment module 513, the probability model calculation request information is provided to the attribute model module 516, and the probability value calculated from the attribute model module 516 is obtained to provide the search term. A search word attribute value conversion module 515 for converting the value into an attribute value to provide the search term attribute value information DB 517;
    검색어속성수치변환모듈(515)로부터 확률값 산출 요청 정보를 획득할 경우에 언어 모델링을 통해 확률값을 산출하며, 산출된 확률값을 검색어속성수치변환모듈(515)로 제공하기 위한 속성모델모듈(516);An attribute model module 516 for calculating a probability value through language modeling when obtaining the probability value calculation request information from the keyword attribute value conversion module 515 and providing the calculated probability value to the keyword attribute value conversion module 515;
    검색어속성수치변환모듈(515)에 의해 제공된 검색어에 대한 속성값을 포함하여 저장하고 있는 검색어속성수치정보DB(517);를 포함하여 구성되는 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치.And a search term attribute value information database (517) including the attribute value for the search term provided by the search term attribute value conversion module (515).
  4. 제 2항에 있어서,The method of claim 2,
    상기 멀티미디어컨텐츠속성할당부(520)는,The multimedia content attribute assignment unit 520,
    컨텐츠서버(560)와 연동시켜 컨텐츠크롤링모듈(522)로 멀티미디어 컨텐츠 정보를 제공하기 위한 컨텐츠연동모듈(521);A content interlocking module 521 for providing multimedia content information to the content crawling module 522 in association with the content server 560;
    컨텐츠연동모듈(521)로부터 제공되는 다수의 멀티미디어 컨텐츠 정보들을 수집하여 컨텐츠저장DB로 저장시켜 속성 정보의 연산 범위를 확장시키기 위한 컨텐츠크롤링모듈(522);A content crawling module 522 for collecting a plurality of multimedia content information provided from the content interworking module 521 and storing the multimedia content information in a content storage DB to expand the operation range of the attribute information;
    상기 컨텐츠크롤링모듈(522)로부터 제공된 멀티미디어 컨텐츠 정보와 각각의 멀티미디어 컨텐츠마다 할당된 속성 정보를 저장하고 있는 컨텐츠저장DB(523);A content storage DB 523 for storing multimedia content information provided from the content crawling module 522 and attribute information allocated to each multimedia content;
    상기 컨텐츠저장DB(523)에 저장된 각각의 멀티미디어 컨텐츠에 대하여 속성 정보를 할당하기 위한 컨텐츠속성할당모델모듈(524);A content attribute assignment model module 524 for allocating attribute information for each multimedia content stored in the content storage DB 523;
    상기 컨텐츠속성할당모델모듈(524)에 의해 할당된 각각의 멀티미디어 컨텐츠의 속성 정보를 해석하여 컨텐츠정보검색모듈로 제공하기 위한 컨텐츠속성정보해석모듈(525);A content property information analysis module 525 for analyzing the property information of each multimedia content assigned by the content property assignment model module 524 and providing the same to the content information search module;
    컨텐츠속성정보해석모듈(525)에 의해 해석된 각각의 멀티미디어 컨텐츠의 속성 정보를 유사도매칭성분석부(530)로 제공하며, 유사도매칭성분석부(530)로부터 검색어의 언어적 속성 정보에 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 획득할 경우에 컨텐츠저장DB(523)로부터 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 리스트 정보를 유사도매칭성분석부(530)로 제공하기 위한 컨텐츠정보검색모듈(526);을 포함하여 구성되는 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치.The attribute information of each multimedia content analyzed by the content attribute information analysis module 525 is provided to the similarity matching property analysis unit 530, and similar property information is similar to the linguistic property information of the search word from the similarity matching property analysis unit 530. A content information retrieval module 526 for providing multimedia content list information including similar attribute information from the content storage DB 523 to the similarity matching property analysis unit 530 when acquiring the included multimedia content request information; Multimedia content retrieval apparatus through the analysis of the attribute information configured to include.
  5. 제 2항에 있어서,The method of claim 2,
    상기 유사도매칭성분석부(530)는,The similarity matchability analysis unit 530,
    검색어속성수치정보DB(517)에 저장된 검색어에 대한 속성 정보와 멀티미디어컨텐츠속성할당부(520)에 의해 할당된 멀티미디어 컨텐츠 속성 정보를 가지고 유사도 매칭 분석을 실시하는 것을 특징으로 하는 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치.Multimedia through attribute information analysis, characterized in that similarity matching analysis is performed with attribute information on the search term stored in the keyword attribute value information database 517 and multimedia content attribute information allocated by the multimedia content attribute assignment unit 520. Content search device.
  6. 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법에 있어서,In the multimedia content retrieval method through attribute information analysis,
    검색시작부(100)가 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어를 획득하여 검색 실시 요청 정보를 속성검색수행판단부(200)로 제공하는 검색시작단계(S100)와,A search start step (S100) of providing a search execution request information to the attribute search performing determination unit 200 by obtaining a search word of the multimedia content inputted by voice recognition or text by the search start unit 100;
    속성검색수행판단부(200)가 상기 검색시작부(100)로부터 검색 실시 요청 정보를 획득할 경우, 텍스트 키워드 검색을 수행할 것인지, 유사 속성 검색을 수행할 것인지를 판단하고, 판단 결과, 텍스트 키워드 검색을 수행할 경우에 텍스트키워드검색부(300)로 텍스트 키워드 검색 요청 정보를 제공하며, 판단 결과, 유사 속성 검색을 수행할 경우에 속성유사도검색부(500)로 유사 속성 검색 요청 정보를 제공하는 속성검색수행판단단계(S200)와,When the attribute search execution unit 200 obtains the search execution request information from the search start unit 100, it is determined whether to perform a text keyword search or a similar attribute search. When performing a search, the text keyword search request information is provided to the text keyword search unit 300, and as a result of the determination, when the similar property search is performed, the similar property search request information is provided to the attribute similarity search unit 500. Attribute search determination step (S200),
    텍스트키워드검색부(300)가 상기 속성검색수행판단부(200)로부터 제공된 텍스트 키워드 검색 요청 정보를 획득할 경우에 텍스트 키워드 검색을 수행하고, 검색 결과 정보를 텍스트키워드결과출력부로 제공하는 텍스트키워드검색단계(S300)와,When the text keyword search unit 300 obtains the text keyword search request information provided from the attribution search execution determination unit 200, the text keyword search unit performs a text keyword search and provides the search result information to the text keyword result output unit. Step S300,
    텍스트키워드결과출력부(400)가 상기 텍스트키워드검색부(300)로부터 제공된 텍스트 키워드의 검색 결과 정보를 출력시키기 위한 텍스트키워드결과출력단계(S400)와,A text keyword result output step (S400) for the text keyword result output unit 400 to output search result information of the text keyword provided from the text keyword search unit 300;
    속성유사도검색수단(500)가 상기 속성검색수행판단부(200)로부터 제공된 유사 속성 검색 요청 정보를 획득할 경우에 유사 속성 검색을 수행하고, 검색 결과 정보를 속성유사도검색결과출력부로 제공하는 속성유사도검색단계(S500)와,When the property similarity search means 500 obtains the similar property search request information provided from the property search execution decision unit 200, the property similarity search is performed and the search result information is provided to the property similarity search result output unit. Search step (S500),
    속성유사도검색결과출력부(600)가 상기 속성유사도검색부(500)로부터 제공된 유사 속성의 검색 결과 정보를 출력시키기 위한 속성유사도검색결과출력단계(S600)를 포함하는 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법.Searching for multimedia content through attribute information analysis including attribute similarity search result output step (S600) for the attribute similarity search result output unit 600 to output search result information of similar attributes provided from the attribute similarity search unit 500. Way.
  7. 제 6항에 있어서,The method of claim 6,
    상기 속성유사도검색단계(S500)는,The attribute similarity search step (S500),
    검색어속성분석부(510)가 음성 인식 또는 텍스트로 입력된 멀티미디어 컨텐츠의 검색어에 포함된 언어적 속성 정보를 분석하기 위한 검색어속성분석단계(S510);A keyword attribute analysis step (S510) for the keyword attribute analyzer 510 to analyze linguistic attribute information included in a keyword of a multimedia content input through speech recognition or text;
    멀티미디어컨텐츠속성할당부(520)가 컨텐츠서버(560)로부터 멀티미디어 컨텐츠를 획득하여 저장하고, 저장된 멀티미디어 컨텐츠에 속성 정보를 할당하기 위한 멀티미디어컨텐츠속성할당단계(S520);A multimedia content attribute assignment step (S520) of the multimedia content attribute assignment unit 520 acquiring and storing multimedia content from the content server 560 and allocating attribute information to the stored multimedia content;
    유사도매칭성분석부(530)가 검색어의 언어적 속성 정보에 유사한 속성 정보를 포함하고 있는 멀티미디어 컨텐츠 요청 정보를 멀티미디어컨텐츠속성할당부(520)로 제공하고, 멀티미디어컨텐츠속성할당부(520)로부터 멀티미디어 컨텐츠 리스트 정보를 획득하며, 획득된 멀티미디어 컨텐츠 리스트 정보에 포함된 멀티미디어 컨텐츠들의 유사도 매칭 분석을 수행하기 위한 유사도매칭성분석단계(S530);The similarity matching property analysis unit 530 provides the multimedia content property assignment unit 520 with multimedia content request information including property information similar to the linguistic property information of the search word, and the multimedia content from the multimedia content property assignment unit 520. A similarity matching analysis step (S530) of acquiring list information and performing similarity matching analysis of multimedia contents included in the obtained multimedia contents list information;
    유사도후보군추출부(540)가 사전에 설정된 후보군 숫자를 참조하여 가장 높은 유사도를 가지고 있는 멀티미디어 컨텐츠부터 순차적으로 후보군 숫자에 맞게 멀티미디어 컨텐츠를 추출하기 위한 유사도후보군추출단계(540);A similarity candidate group extracting step 540 for extracting, by the similarity candidate group extracting unit 540, multimedia contents having the highest similarity sequentially from the multimedia contents having the highest similarity, according to the candidate group number;
    유사도기준멀티미디어컨텐츠정렬부(550)가 상기 후보군 숫자에 맞게 추출된 멀티미디어 컨텐츠들을 유사도에 따라 정렬시키며, 정렬된 멀티미디어 컨텐츠들을 속성유사도검색결과출력부(600)로 제공하기 위한 유사도기준멀티미디어컨텐츠정렬단계(S550);를 포함하는 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색 방법.Similarity-based multimedia content sorting unit 550 sorts the multimedia contents extracted according to the number of candidate groups according to similarity, and provides similarity-based multimedia content sorting step to provide the sorted multimedia contents to the attribute similarity search result output unit 600. (S550); multimedia content search method through the analysis of the attribute information comprising a.
PCT/KR2018/002911 2018-03-12 2018-03-13 Multimedia content search apparatus and search method using attribute information analysis WO2019177182A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0028507 2018-03-12
KR1020180028507A KR101873873B1 (en) 2018-03-12 2018-03-12 Multimedia content search device through attribute information analysis and Method

Publications (1)

Publication Number Publication Date
WO2019177182A1 true WO2019177182A1 (en) 2019-09-19

Family

ID=62918154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/002911 WO2019177182A1 (en) 2018-03-12 2018-03-13 Multimedia content search apparatus and search method using attribute information analysis

Country Status (2)

Country Link
KR (1) KR101873873B1 (en)
WO (1) WO2019177182A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428120A (en) * 2020-03-17 2020-07-17 北京字节跳动网络技术有限公司 Information determination method and device, electronic equipment and storage medium
CN112000822A (en) * 2020-08-21 2020-11-27 北京达佳互联信息技术有限公司 Multimedia resource sequencing method and device, electronic equipment and storage medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101913191B1 (en) * 2018-07-05 2018-10-30 미디어젠(주) Understanding the language based on domain extraction Performance enhancement device and Method
KR20210098135A (en) 2020-01-31 2021-08-10 주식회사 케이티 Apparatus, method and computer program for analyzing query data
KR102399837B1 (en) * 2020-05-11 2022-05-19 네이버 주식회사 Method and system for extracting product category for shopping search
KR102400995B1 (en) * 2020-05-11 2022-05-24 네이버 주식회사 Method and system for extracting product attribute for shopping search
KR102486440B1 (en) * 2020-11-09 2023-01-09 한국과학기술원 Method and apparatus for training unsupervised question generation model
WO2023074918A1 (en) * 2021-10-25 2023-05-04 엘지전자 주식회사 Display device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000030847A (en) * 2000-03-21 2000-06-05 전대식 An internet full service system and user interface accessible at this system
KR20010028772A (en) * 1999-09-22 2001-04-06 구자홍 Multimedia browser based on user profile having ordering preference of searching item of multimedia data
KR20090066608A (en) * 2007-12-20 2009-06-24 주식회사 다음커뮤니케이션 Multimedia contents searching method and system
KR100968858B1 (en) * 2002-04-26 2010-07-09 한국전자통신연구원 Method and apparatus for performing contents-based searching of multimedia contents by using user preference information
KR20100081871A (en) * 2009-01-07 2010-07-15 포항공과대학교 산학협력단 Method of searching personalized ordering sequence based on user context

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010028772A (en) * 1999-09-22 2001-04-06 구자홍 Multimedia browser based on user profile having ordering preference of searching item of multimedia data
KR20000030847A (en) * 2000-03-21 2000-06-05 전대식 An internet full service system and user interface accessible at this system
KR100968858B1 (en) * 2002-04-26 2010-07-09 한국전자통신연구원 Method and apparatus for performing contents-based searching of multimedia contents by using user preference information
KR20090066608A (en) * 2007-12-20 2009-06-24 주식회사 다음커뮤니케이션 Multimedia contents searching method and system
KR20100081871A (en) * 2009-01-07 2010-07-15 포항공과대학교 산학협력단 Method of searching personalized ordering sequence based on user context

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428120A (en) * 2020-03-17 2020-07-17 北京字节跳动网络技术有限公司 Information determination method and device, electronic equipment and storage medium
CN111428120B (en) * 2020-03-17 2023-06-20 北京字节跳动网络技术有限公司 Information determination method and device, electronic equipment and storage medium
CN112000822A (en) * 2020-08-21 2020-11-27 北京达佳互联信息技术有限公司 Multimedia resource sequencing method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
KR101873873B1 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
WO2019177182A1 (en) Multimedia content search apparatus and search method using attribute information analysis
WO2020009297A1 (en) Domain extraction based language comprehension performance enhancement apparatus and performance enhancement method
WO2018034426A1 (en) Method for automatically correcting error in tagged corpus by using kernel pdr
WO2010068068A2 (en) Information search method and information provision method based on user&#39;s intention
WO2018174603A1 (en) Method and device for displaying explanation of reference numeral in patent drawing image using artificial intelligence technology based machine learning
WO2012134180A2 (en) Emotion classification method for analyzing inherent emotions in a sentence, and emotion classification method for multiple sentences using context information
WO2012074338A2 (en) Natural language and mathematical formula processing method and device therefor
WO2020017849A1 (en) Electronic device and method for providing artificial intelligence services based on pre-gathered conversations
WO2010021527A2 (en) System and method for indexing object in image
WO2022065811A1 (en) Multimodal translation method, apparatus, electronic device and computer-readable storage medium
WO2010036012A2 (en) Internet-based opinion search system, and opinion search, advertisement service system and method for same
WO2017156893A1 (en) Voice control method and smart television
WO2020101108A1 (en) Artificial-intelligence model platform and method for operating artificial-intelligence model platform
WO2017209564A1 (en) Application list providing method and device therefor
WO2013170662A1 (en) Method and device for adding friend information, and computer storage medium
WO2023172025A1 (en) Method for predicting association-related information between entity-pair by using model for encoding time series information, and prediction system generated by using same
WO2014021567A1 (en) Method for providing message service, and device and system therefor
WO2012130145A1 (en) Method and device for acquiring and searching for relevant knowledge information
WO2020032564A1 (en) Electronic device and method for providing one or more items in response to user speech
WO2011155736A2 (en) Method for dynamically generating additional terms for each meaning of every natural language expression; dictionary manager, document generator, term annotator, search system, and device for building a document information system based on the method
WO2020197257A1 (en) Translating method using visually represented elements, and device therefor
WO2015178716A1 (en) Search method and device
WO2020022819A1 (en) Communication via simulated user
WO2020082766A1 (en) Association method and apparatus for input method, device and readable storage medium
WO2017094967A1 (en) Natural language processing schema and method and system for establishing knowledge database therefor

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20.04.21)

122 Ep: pct application non-entry in european phase

Ref document number: 18909726

Country of ref document: EP

Kind code of ref document: A1