WO2018131955A1 - 디지털 컨텐츠를 분석하는 방법 - Google Patents

디지털 컨텐츠를 분석하는 방법 Download PDF

Info

Publication number
WO2018131955A1
WO2018131955A1 PCT/KR2018/000653 KR2018000653W WO2018131955A1 WO 2018131955 A1 WO2018131955 A1 WO 2018131955A1 KR 2018000653 W KR2018000653 W KR 2018000653W WO 2018131955 A1 WO2018131955 A1 WO 2018131955A1
Authority
WO
WIPO (PCT)
Prior art keywords
digital content
information
news
extracting
sources
Prior art date
Application number
PCT/KR2018/000653
Other languages
English (en)
French (fr)
Inventor
온병원
최규상
신현광
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to US16/080,891 priority Critical patent/US20190034417A1/en
Publication of WO2018131955A1 publication Critical patent/WO2018131955A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C13/00—Voting apparatus

Definitions

  • the following embodiments relate to a method of analyzing digital content, and in particular, may be utilized in the fields of polling, marketing, information retrieval, text mining, and big data.
  • Polling agencies conduct surveys by conducting polls by telephone or on-site surveys, gathering the results and writing reports.
  • Embodiments provide techniques for analyzing the polarity of controversial news articles. Embodiments also provide techniques for automatically summarizing the topics of controversial news articles. In addition, the embodiments provide a technique for automatically deriving a poll result through data analysis and automatically summarizing the poll result.
  • Embodiments may be applied to various digital content, such as news articles as well as content posted on social networks.
  • a method of analyzing digital content includes: receiving a keyword corresponding to a specific subject; Based on the keyword, collecting digital content on the subject; Extracting from the digital content a plurality of opinions related to the subject and a plurality of sources of information providing the opinions; Creating a connection network based on the plurality of information sources; Based on the network, performing at least one of quantitative and qualitative analysis on the subject; And providing the analysis result.
  • the extracting of the plurality of information sources may include extracting an information source from words adjacent to predetermined quotation marks when the digital content is a news article.
  • the extracting of the plurality of information sources may include extracting an author of a comment as an information source when the digital content is content posted on a social network.
  • the generating of the connection network may include configuring the extracted plurality of information sources as nodes; And connecting nodes corresponding to information sources extracted from the same digital content with each other.
  • the performing may include classifying the polarity of the opinions in favor, neutral, and vice versa; Calculating weights of the plurality of information sources based on the connection network; And calculating quantitative statistics of pros and cons of the subject based on the classification result and the weights.
  • the calculating of the quantitative statistics may include: calculating a score of the information source based on the polarity of opinions of the corresponding information sources and the weight of the corresponding information source, corresponding to each of the plurality of information sources; And calculating the quantitative statistics based on scores of the plurality of information sources.
  • the performing step includes detecting time chronological key stories on the subject based on a plurality of subgraphs included in the network; And extracting a representative sentence neutrally describing each of the main stories, a representative consent opinion for the subject, and a representative objection opinion for the subject.
  • the extracting of the main stories may include collecting digital contents including at least one information source belonging to a corresponding subgraph, corresponding to each of the subgraphs; Unsupervised clustering of the digital content including the at least one information source based on content similarity and time similarity; And determining each of the clusters generated as a result of the clustering as the main story.
  • the extracting of the representative sentence, the representative consent opinion, and the representative objection opinion may include selecting the latest digital content among the digital contents belonging to the corresponding main story in response to each of the main stories; Extracting the representative sentence from the latest digital content based on at least one of a first criterion relating to a neutral characteristic of the sentence, a second criterion relating to the title similarity of the sentence, and a third criterion relating to the position of the sentence; Extracting an information source having the most favorable polarity and an information source having the opposite influence having the highest influence among the information sources of the corresponding main story; And extracting opinions of the extracted information sources.
  • the embodiments it is possible to overcome the inaccurate result of the poll conducted by the current surveyor.
  • the data on the web are automatically collected and analyzed by the proposed algorithm, so that an objective flow of opinion can be accurately identified.
  • the cost may be reduced because the researcher and the statistics major are not assisted in the opinion poll.
  • the time required to conduct a poll can be greatly reduced.
  • the overall contents and details of the subject such as time, opinion leader, and main arguments can be automatically extracted.
  • 1 (a), 1 (b), 1 (c) and 1 (d) illustrate an information source network in accordance with one embodiment
  • 2 (a), 2 (b) and 2 (c) are diagrams for explaining an operation of estimating a pros and cons using a baseline method according to another embodiment.
  • FIG. 3 illustrates an operation of estimating the pros and cons on a controversial subject in view of the influence of an information source according to one embodiment.
  • FIG. 4 is a diagram illustrating a method of detecting a main story according to an embodiment.
  • FIG. 5 illustrates a story recognition clustering method according to an embodiment.
  • FIG. 6 illustrates a main story summary according to one embodiment.
  • first or second may be used to describe various components, but these terms should be understood only for the purpose of distinguishing one component from another.
  • first component may be referred to as a second component
  • second component may also be referred to as a first component.
  • digital content related to a particular subject is retrieved from the entire digital content.
  • the entire digital content may be provided in advance or may be provided in real time through a network or the like.
  • Digital content may include news articles, content posted on social networks, and the like.
  • a particular subject may be a controversial subject where the pros and cons oppose each other.
  • the embodiments will be described on the assumption that the digital content is a news article.
  • the set of news articles containing the controversial subject c is It can be expressed as.
  • the news article n i is the i-th news article containing the controversial subject c.
  • a keyword corresponding to a controversial topic c in a search portal may be input into a search query.
  • a news article on a controversial topic c can be collected.
  • the information sources included in D (c) are extracted to create an information source network.
  • Sources of information are sources of information that favor, neutral or disagree with a controversial topic and may be natural persons with specialized knowledge or work experience in the subject.
  • the information source may be a news information source.
  • the information source may be a user who has written a comment.
  • a source network is a graph created based on informed sources who argue on a controversial topic, which will be described in detail below but may be composed of a plurality of subgraphs.
  • first News articles n i that satisfy a given quotation mark for example, a pair of double quotes
  • Sentences such as are detected.
  • the detected sentences may be a plurality of opinions related to the controversial subject c.
  • the source of information may be detected based on words located adjacent to the front and / or the back based on predetermined quotation marks (eg, double quote pairs). For example, the name of a news source may be extracted based on nouns located adjacent to the front and / or back of the double quote pair.
  • predetermined quotation marks eg, double quote pairs
  • the name of a news source may be extracted based on nouns located adjacent to the front and / or back of the double quote pair.
  • news sources are represented by nodes, and the label of the node is represented by the name of the news source. Each node has the information in the citation. If news sources x and y are included in the same news article n i , nodes x and y are connected to each other. As this process is carried out for all news sources, the source network relating to the controversial topic c can be finally completed.
  • FIGS. 1 (a), 1 (b), 1 (c) and 1 (d) are diagrams illustrating an information source network according to an embodiment.
  • two nodes are shown independently, meaning that each source x and y are cited in different news articles.
  • the two nodes are connected to each other. This means that sources x and y are cited together in the same news article n i .
  • one news article n i is cited with information sources x, y and w
  • another news article n j is cited with information sources x, z and w.
  • the news articles n i and n j are cited simultaneously with the information sources x and w, and an information source network may be generated based on the information sources x and w.
  • all sources are cited in news article n i , and all news sources are closely linked.
  • Algorithm 1 is a pseudocode that creates a network of sources related to controversial topics.
  • the digital content when the digital content is a content posted on a social network, information sources and opinions may be extracted using comments of the corresponding content. For example, content on controversial topics may be collected and users who have commented may be extracted as sources of information.
  • the extracted information sources constitute a node, and nodes of information sources that have commented on the same content may be connected to each other.
  • polarity analysis on controversial subjects may be performed.
  • political analysis of controversial subjects can be made.
  • the embodiments propose two methods.
  • Method 1 Estimate the percentage of pros and cons of controversial topics using the baseline method
  • Method 1 is a method of emotionally analyzing each citation of an information source in an information network to identify positive or negative citations, and counting the number of positives and negatives for all citations, in order to estimate the pros and cons of a topic. 'to be. More specifically, sentiment analysis can be used to estimate the pros and cons of controversial subjects. Emotional analysis measures polarity information from text to positive, negative, and neutral. The news source x and the direct quotes q of the sources are It can be expressed as, c. Q is important information to determine the polarity of emotion.
  • the emotional analysis method may be defined as SA (*). Emotional analysis method SA (*) It can be expressed as Here, + means positive, 0 means neutral, and-can mean negative.
  • a direct quote from news source x is The emotional analysis of each citation is Can be assumed.
  • the information source x has two + polarities, one polarity and one neutral.
  • the baseline method is a method of performing emotional analysis on all citations and counting each polarity. Based on this, it is possible to estimate the number of news sources in favor of the controversial topic c, and likewise to estimate the number of news sources in opposition to the controversial topic c.
  • Equations 1 and 2 may be used as the baseline method for estimating the pros and cons of the controversial subject c.
  • Equations 1 and 2 divide the number of positives or negatives by the sum of positives and negatives to calculate the pros and cons of controversial subject c.
  • Algorithm 2 is a pseudocode for the baseline method for estimating the pros and cons of controversial subject c.
  • FIG. 2 (a), 2 (b) and 2 (c) are diagrams illustrating an operation of estimating a pros and cons ratio using a baseline method according to an exemplary embodiment.
  • sources x, y, z are cited in the first news article on controversial topic c, sources x support on controversial topic c, and sources y, z are controversial. It can be opposed to the general subject c.
  • sources x and w are cited in the second news article on controversial topic c, source x supports on controversial topic c, and source w is on controversial topic c. It may be against your position.
  • sources x and v are cited in the third news article on controversial topic c, sources x are opposed to controversial topic c, and sources v are controversial topics. It may be a supporting position for c.
  • the plus polarity is four and the negative polarity is three.
  • Method 2 Estimate the percentage of pros and cons of controversial topics, taking into account the influence of the sources
  • Method 2 is a method of considering the influence of news sources in addition to Method 1 to estimate the percentage of pros and cons on a topic.
  • the influence G of a news source related to the controversial subject c can be considered.
  • Method 2 assumes that news sources with high impact on controversial topic c are more important than news sources with low impact. If news source x has many neighbors, such as y, ..., z, and news source y has only a single neighbor p, then x is cited in more news articles than y, and influences on controversial topic c. It can be seen that. Further, when source x makes a one-sided argument on a subject such as abortion, source x may be referred to as an opinion leader, as a representative of supporters or opponents. However, source y has only been interviewed once and cannot be the representative of either opinion.
  • the influence G of opinion leaders on this controversial topic c can be determined through the node's degree of centrality.
  • the value of the connectivity degree centrality of the node v x corresponding to the news information source x may be determined by the number of nodes directly connected to v x .
  • Equation 3 is an expression of the score PA C (x) for each information source in consideration of the weight.
  • w is the weight of the source x and indicates how much influence the source x has on the controversial subject c.
  • w is determined by the value of linkage centrality of source x, It can be calculated as In this case, the pros and cons can be estimated through equations (4) and (5).
  • the news information source having the maximum connection degree centrality is the news information source x.
  • the degree of linkage centrality of news sources x is four.
  • Algorithm 3 is a pseudocode that estimates the pros and cons according to Method 2.
  • qualitative analysis on controversial subjects may be performed.
  • Qualitative analysis may include detection and summary of the main stories described below.
  • the similarity and time difference between each news article may be considered in order to detect the main story on the controversial subject c.
  • news source x is associated with news sources y, z and w
  • the influence of source x is G.
  • the relationship between the news source x and other news sources can be represented by (x, y), (x, z) and (x, w).
  • (x, y) consists of news article n 1 delivering story s 1 at time t a
  • (x, z) consists of news article n 2 delivering story s 2 at time t b
  • (x , w) consists of a news article n 3 delivering the story s 3 at time t c . If the values of similarity between news articles n 1 and n 2 in t a and t b are greater than a certain threshold News articles n 1 and n 2 are likely to tell the same story.
  • an Unsupervised Clustering method may be used.
  • a coherent clustering algorithm is proposed that merges the nearest objects into one cluster using Equation 6, and the proposed algorithm may be referred to as a "story-aware clustering method”.
  • vn i is the feature vector of the news article n i .
  • a unique set of words can be generated based on the sentences of n i and n j .
  • Story-aware clustering begins with each vector in its own group of objects. At each stage, the two most similar clusters are merged, and once a single cluster of all vectors is made, move on to the next stage. If the clustering process is over for all news articles, the level of the dendrogram is cut off properly.
  • n 1 , n 2 and n 3 are as follows.
  • the similarity between each news article may be defined as f 1 (n i , n j ), and the period difference between each news article may be defined as f 2 (n i , n j ).
  • the dates of each news article may be converted to epoch time.
  • ⁇ n 1 , n 2 ⁇ contained in h 1 covers "the start of a murder trial against an abortion doctor in Philadelphia" and "the final defense of a doctor in Philadelphia," and ⁇ n 3 ⁇ in h 2 refers to "abortion.”
  • ⁇ n 1 , n 2 ⁇ contained in h 1 covers "the start of a murder trial against an abortion doctor in Philadelphia" and “the final defense of a doctor in Philadelphia,” and ⁇ n 3 ⁇ in h 2 refers to "abortion.”
  • the Texas router was recruited at a special session on Monday. ” Each cluster has a story.
  • Algorithm 4 is a pseudo code of a story recognition clustering method according to an embodiment.
  • n 1 , n 2 and n 3 are news articles about abortion. More specifically, n 1 is a news article on the Pennsylvania's abortion bill, where n 1 is in favor of abortion, n 2 is a news article on the Pennsylvania's abortion bill, and n 2 is a news article on abortion. N 3 is a news article on the Texas Abortion Restriction Bill, and n 3 's c is in favor of abortion.
  • the news articles n 1 and n 2 contain quotes from different positions, but the same story covers Pennsylvania's abortion legislation, so it should be classified as the same story.
  • News articles n 1 and n 3 contain quotes of the same position, but address different abortion restriction laws in different states, and are preferably classified into different stories as they differ in duration by more than seven months.
  • sim (n i , n j ) is the content similarity between news articles
  • gap (n i , n j ) is the time difference between news articles. Similarity between news articles may result in smaller sim (n i , n j ), and narrower gaps in news articles may result in smaller gap (n i , n j ).
  • dis (n i , n j ) is the distance between news articles
  • embodiments may perform clustering based on the distance between news articles. For example, the smaller dis (n i , n j ), the higher the likelihood of being classified into the same cluster.
  • news articles n 1 and n 3 may be classified into one cluster.
  • n 1 and n 2 can be classified into one cluster.
  • L is a list of nodes, and each node may be composed of a data field and a link field. At this time, the information of the news articles are sorted in order of the most recent news article, each data field may include the following items.
  • Equation 7 may be used to extract the representative sentence.
  • f () is a linearly coupled function based on fact information.
  • the factual words that appear in news articles are more important than others and may not be related to emotional meanings.
  • f () may take into account dates, places, institutions (organizations), percentages, numbers, neutral emotion scores, or various combinations thereof. If the sentence l i includes one or more nouns for dates, places, institutions, percents and numbers, the values of f 1 (l i ) to f 5 (l i ) are 1, and 0 otherwise.
  • the neutral score f 6 (l i ) is It can be calculated as The f () value can be calculated by linearly combining the scores for these six features.
  • g () is a function that measures the similarity between the title of a news article n i and l i .
  • a representative sentence is similar to the title of a news article and can be assumed to provide more information than the title.
  • the Boolean term means a word having no meaning as an index word such as an article, a preposition, or a conjunction.
  • the stem can be extracted using the stemmer method. For example, stem "mat” may be extracted from the word "matting".
  • Predefined syntax similarity measures are used as follows. here, Means the union between the set of words in the sentence l i and the set of words in the title of the news article, Means the intersection of two sets of words. Second, semantic similarity is measured to resolve semantic ambiguities of words. For example, cost and price are synonyms for cost and price, and synonyms for news article title and sentence l i may be considered. Third, location and date information are considered to improve the syntax similarity.
  • h () can be considered.
  • sentences at a particular location in a news article eg, the first few sentences
  • serial numbers can be assigned to sentences of a given news article. For example, suppose a news article n 1 includes three sentences l 1 , l 2 and l 3 , and each sentence may have a serial number corresponding to 1, 2, 3. Considering the position of the sentence, Through the importance of the position of the sentence can be calculated. Where L is the total number of sentences included in the news article n i , and nl i is the serial number corresponding to each sentence.
  • citations proposing and disagreeing can be summarized along with the core sentence.
  • degree of linkage centrality or mediation centrality
  • the citations of the pros and cons are presented together in the news article n i .
  • check tag information (eg, ⁇ DATE>, ⁇ LOCATION>, etc.) included in each sentence l i .
  • F () is calculated.
  • the remaining sentences are calculated in the same way.
  • Extracting event information Eliminate bull terminology and stemmers for the title and content of the news article, and measure the similarity between the title of the news article and each sentence l i .
  • the title of the news article is ⁇ Lawyers close argument abort doctor trial ⁇
  • l 2 ⁇ Deliber expect begin Tuesdai instruct juri Common Plea Judg Jerei Philadelphia Inquirer report ⁇ .
  • FIG. 6 illustrates a main story summary according to an embodiment.
  • representative sentences, pro side opinion leaders and citations, and opposing side opinion leaders and citations may be automatically extracted from the news article.
  • Algorithm 4 is a pseudocode that detects key stories on controversial topics.
  • the embodiments collect and analyze news articles from the web to provide a ratio of pros and cons to controversial topics to overcome the limitations of existing polls. In addition, by providing summary results for news articles, it delivers more informative information to users.
  • Embodiments collect news articles related to the subject when a controversial subject (eg, abortion or illegal immigration, etc.) is entered. It is then quantified by the ratio of pros and cons to controversial themes. This ratio of pros and cons makes it easier to find meaningful information on the subject. For example, if the ratio of pros and cons to the controversial topic t 1 is 51% -49%, respectively, then t 1 is socially disagreeing with the pros and cons and must be addressed urgently for social integration. One of the problems to do is. On the other hand, the controversial topic t 2 has a ratio of 75% to 25% for pros and cons, and most people have a lot of pros and cons of t 2 , which is one of the problems that need not be urgently solved socially. . Interestingly, some themes continue to change over time, and the rate of pros and cons of the same subject varies from country to country or society.
  • Embodiments can chronologically extract interesting stories related to a controversial subject.
  • a story-aware clustering method has been proposed.
  • Embodiments may summarize the news articles on a controversial subject and visualize the stories. At this point, the story summarizes events on a controversial topic at a specific point in time, along with quotes from leading opinion leaders who oppose supporters.
  • the news source is a vertex (node) and two or more news sources are cited in the same news article, the vertices corresponding to the news source are connected by edges to form a social network. Calculate the importance of news sources quantitatively by measuring the degree of centrality or betweenness centrality, a social network analysis method, and count the number of positive or negative citations while considering the importance of news sources Estimate the pros and cons for.
  • news articles containing all the nodes of the information network that correspond to the subject are collected and similar to each other using a hierarchical clustering method.
  • Print clusters containing news articles are used to find news articles with similar texts, and the news articles with the closest publication date between the news articles are searched and clustered.
  • the story on a controversial topic consists of 1 story title, 2 date, 3 neutral and representative sentence introducing the story, 4 important news sources and quotes from the pros, and 5 important news sources and quotes from the opposing party. do.
  • an object function is used to automatically detect a neutral, representative sentence that introduces the story.
  • the objective function is implemented based on the fact information, the similarity between the news article title and the text, and the sentence location information. Facts are measured by taking place, agency, date, percentage, number, and neutral emotional scores. The similarity between news headline and text is measured by syntactic similarity, semantic similarity, and similarity of phrases considering location and date information. Quantitatively measure where a sentence is located in a news article. Several terms of this objective function are automatically computed for importance using a deep learning method and calculated as a weighted average. The higher the sentence of the objective function, the more neutral and representative the story is.
  • the stories corresponding to the topic are output in the latest order.
  • the key idea to derive data-based polling results is to convert unstructured data into social networks and then use social network analysis techniques.
  • a news article a news source network is used, a social media is created by connecting the authors who have commented on the same place and connecting the authors who commented on the same place.
  • emotional affirmation determines the affirmation of the comment.
  • the embodiments described above may be implemented as hardware components, software components, and / or combinations of hardware components and software components.
  • the devices, methods, and components described in the embodiments may include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable gates (FPGAs). It may be implemented using one or more general purpose or special purpose computers, such as an array, a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

디지털 컨텐츠를 분석하는 방법이 개시된다. 일 실시예에 따르면, 특정 주제에 대한 디지털 컨텐츠로부터 복수의 정보원들이 추출되고, 복수의 정보원들에 기초하여 정보원 연결망이 생성되며, 정보원 연결망에 기초하여 해당 주제에 대한 정량 분석 및 정성 분석 중 적어도 하나가 수행된다.

Description

디지털 컨텐츠를 분석하는 방법
아래 실시예들은 디지털 컨텐츠를 분석하는 방법에 관한 것으로, 특히 여론 조사, 마케팅, 정보검색, 텍스트 마이닝, 빅데이터 분야에서 활용될 수 있다.
오늘날 대부분의 기관이나 기업에서 업무를 추진하기 위해서는 먼저 대중이나 고객의 여론을 조사하는 것이 매우 중요하며, 조사 업무는 대부분 여론조사 기관에 의뢰된다. 여론조사 기관에서는 조사원이 전화 또는 방문 조사를 수행하여 여론 조사를 수행하고, 결과를 취합하여 보고서를 작성하는 방식으로 조사 업무를 수행한다.
2016년 아시안 리더십 컨퍼런스에 참여한 갤럽 회장 짐 클리프턴은 “모바일 기기의 확산으로 인해 갈수록 사람들은 여론조사에 비협조적이며, 여론조사의 정보는 미래를 예측하기가 과거 그 어느 때보다 어렵다”라고 말했다. 또한, “여론조사를 통해 수집된 데이터는 신뢰하기 어렵고, 기존 데이터는 가치가 없다. 빅데이터 기술을 활용하여 데이터를 분석하고 새로운 의미를 발견하거나 해법을 제공하는 것이 미래의 갤럽이 할 일”이라고 언급했다. 한 가지 예로, 최근 제 45대 미국 대통령 선거에서 뉴욕타임스와 워싱턴포스트 등 미국의 대부분의 언론사들은 힐러리 클린턴 대통령 후보가 당선될 것이라고 예측했다. 하지만 많은 언론들의 예측과 다르게 도널드 트럼프가 미국 대통령으로 당선되었다. 이는 조사원이 직접 여론조사를 수행하고 결과를 분석하는 기존의 전통적인 방식은 효율성이 크게 떨어지는 것을 의미하며, 기존의 전통적인 방식은 다음과 같은 단점들이 존재한다. 첫째, 기존의 전통적인 방식은 조사원과 통계 전문가를 활용하기 위해 많은 비용이 소요된다. 둘째, 같은 주제라도 설문지의 문항 차이로 인해 다른 결과를 얻을 수 있다. 셋째, 설문 응답자의 주관적인 판단이 들어갈 위험이 존재한다. 마지막으로, 가장 중요한 문제는 설문 응답률과 표본의 크기가 높지 않으면 모집단을 추정하는데 많은 왜곡이 가해질 수 있어 신뢰성이 있는 결과를 얻을 수 없다. 게다가 사람에 의한 조사 방법에 의하면 빠른 시간 내에 결과를 얻는 것은 불가능하다.
실시예들은 논쟁적인 뉴스 기사들의 극성을 분석하는 기술을 제공한다. 또한, 실시예들은 논쟁적인 뉴스 기사들의 토픽을 자동으로 요약하는 기술을 제공한다. 또한, 실시예들은 데이터 분석을 통하여 여론조사 결과를 자동으로 도출하고, 여론조사 결과를 자동으로 요약하는 기술을 제공한다.
실시예들은 뉴스 기사뿐 아니라 소셜 네트워크에 포스트된 컨텐츠 등 다양한 디지털 컨텐츠에 적용될 수 있다.
일 측에 따른 디지털 컨텐츠를 분석하는 방법은 특정 주제에 대응하는 키워드를 수신하는 단계; 상기 키워드에 기초하여, 상기 주제에 대한 디지털 컨텐츠를 수집하는 단계; 상기 디지털 컨텐츠로부터 상기 주제와 관련된 복수의 의견들 및 상기 의견들을 제공하는 복수의 정보원들을 추출하는 단계; 상기 복수의 정보원들에 기초하여 연결망을 생성하는 단계; 상기 연결망에 기초하여, 상기 주제에 대한 정량 분석 및 정성 분석 중 적어도 하나를 수행하는 단계; 및 상기 분석 결과를 제공하는 단계를 포함한다.
상기 복수의 정보원들을 추출하는 단계는 상기 디지털 컨텐츠가 뉴스 기사인 경우, 미리 정해진 인용 부호에 인접한 단어들로부터 정보원을 추출하는 단계를 포함할 수 있다.
상기 복수의 정보원들을 추출하는 단계는 상기 디지털 컨텐츠가 소셜 네트워크에 포스팅된 컨텐츠인 경우, 댓글의 작성자를 정보원으로 추출하는 단계를 포함할 수 있다.
상기 연결망을 생성하는 단계는 상기 추출된 복수의 정보원들을 노드로 구성하는 단계; 및 동일한 디지털 컨텐츠로부터 추출된 정보원들에 대응하는 노드들을 서로 연결하는 단계를 포함할 수 있다.
상기 정량 분석을 수행하기 위하여, 상기 수행하는 단계는 상기 의견들의 극성(polarity)을 찬성, 중립, 및 반대로 분류하는 단계; 상기 연결망에 기초하여 상기 복수의 정보원들의 가중치들을 산출하는 단계; 및 상기 분류 결과 및 상기 가중치들에 기초하여, 상기 주제에 대한 찬성 의견 및 반대 의견의 정량적 통계를 산출하는 단계를 포함할 수 있다.
상기 정량적 통계를 산출하는 단계는 상기 복수의 정보원들 각각에 대응하여, 해당하는 정보원의 의견들의 극성 및 상기 해당하는 정보원의 가중치에 기초하여, 상기 정보원의 스코어를 산출하는 단계; 및 상기 복수의 정보원들의 스코어들에 기초하여, 상기 정량적 통계를 산출하는 단계를 포함할 수 있다.
상기 정성 분석을 수행하기 위하여, 상기 수행하는 단계는 상기 연결망에 포함된 복수의 서브 그래프들에 기초하여, 상기 주제에 대한 시간 연대기적 주요 스토리들을 검출하는 단계; 및 상기 주요 스토리들 각각을 중립적으로 설명하는 대표 문장, 상기 주제에 대한 대표 찬성 의견, 및 상기 주제에 대한 대표 반대 의견을 추출하는 단계를 포함할 수 있다.
상기 주요 스토리들을 추출하는 단계는 상기 서브 그래프들 각각에 대응하여, 해당하는 서브 그래프에 속한 적어도 하나의 정보원이 포함된 디지털 컨텐츠를 수집하는 단계; 상기 적어도 하나의 정보원이 포함된 디지턴 컨텐츠를 내용 유사도와 시간 유사도를 기준으로 비지도 클러스터링(Unsupervised Clustering)하는 단계; 및 상기 클러스터링 결과 생성된 클러스터들 각각을 주요 스토리로 결정하는 단계를 포함할 수 있다.
상기 대표 문장, 상기 대표 찬성 의견, 및 상기 대표 반대 의견을 추출하는 단계는 상기 주요 스토리들 각각에 대응하여, 해당하는 주요 스토리에 속한 디지털 컨텐츠 중 최신 디지털 컨텐츠를 선택하는 단계; 문장의 중립적 특성에 관한 제1 기준, 문장의 제목 유사도에 관한 제2 기준, 및 문장의 위치에 관한 제3 기준 중 적어도 하나에 기초하여, 상기 최신 디지털 컨텐츠로부터 상기 대표 문장을 추출하는 단계; 상기 해당하는 주요 스토리의 정보원들 중 영향력이 가장 높은 찬성 극성의 정보원 및 영향력이 가장 높은 반대 극성의 정보원을 추출하는 단계; 및 상기 추출된 정보원들의 의견들을 추출하는 단계를 포함할 수 있다.
실시예들에 의하면, 현재 조사원에 의해 이루어지는 여론조사의 부정확한 결과를 극복할 수 있다. 또한, 조사원이 수작업으로 여론조사를 수행하는 대신 제안된 알고리즘에 의하여 웹 상에 있는 데이터가 자동으로 수집되고 분석됨으로써 객관적인 여론의 흐름이 정확히 파악될 수 있다.
실시예들에 의하면, 여론 조사를 위해 조사원과 통계 전공자의 도움을 받지 않아 비용이 절감될 수 있다. 또한, 여론조사 수행을 위한 소요시간을 대폭 감소시킬 수 있다. 또한, 시간 별, 오피니언 리더(opinion leader), 주요 찬반 논거 등 해당 주제에 대한 전체적인 내용과 세부적인 내용이 자동으로 추출될 수 있다.
도 1(a), 도 1(b), 도 1(c) 및 도 1(d)는 일 실시예에 따른 정보원 연결망을 설명하는 도면.
도 2(a), 도 2(b) 및 도 2(c)는 일 실시예에 다른 베이스라인 방법을 이용하여 찬반비율을 추정하는 동작을 설명하는 도면.
도 3은 일 실시예에 따른 정보원의 영향력을 고려하여 논쟁적인 주제에 대한 찬반비율을 추정하는 동작을 설명하는 도면.
도 4는 일 실시예에 따른 주요 스토리를 검출하는 방법을 설명하는 도면.
도 5는 일 실시예에 따른 스토리 인식 클러스터링 방법을 설명하는 도면.
도 6은 일 실시예에 따른 주요 스토리 요약을 설명하는 도면.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
논쟁적인 주제와 관련된 정보원 연결망 생성
일 실시예에 다르면, 전체 디지털 컨텐츠로부터 특정 주제와 관련된 디지털 컨텐츠가 검색된다. 전체 디지털 컨텐츠는 미리 구비되거나, 네트워크 등을 통하여 실시간으로 구비될 수 있다. 디지털 컨텐츠는 뉴스 기사, 소셜 네트워크에 포스팅된 컨텐츠 등을 포함할 수 있다. 특정 주제는 찬성 의견과 반대 의견이 서로 대립하는 논쟁적인 주제일 수 있다. 이하, 설명의 편의를 위하여 디지털 컨텐츠가 뉴스 기사인 경우를 가정하고 실시예들을 설명한다.
논쟁적인 주제 c와 관련된 뉴스 기사들이 전체 뉴스 기사 D에서 검색 된다고 할 때, 논쟁적인 주제 c를 포함하는 뉴스 기사의 집합은
Figure PCTKR2018000653-appb-I000001
으로 표현될 수 있다. 이 때, 뉴스 기사 ni는 논쟁적인 주제 c를 포함하는 i번째 뉴스 기사이다. 일 예로, 검색 포탈에서 논쟁적인 주제 c에 대응하는 키워드가 검색 쿼리로 입력될 수 있다. 이 경우, 키워드에 기초하여, 논쟁적인 주제 c에 대한 뉴스 기사가 수집될 수 있다.
일 실시예에 따르면, D(c)에 포함된 정보원들이 추출되어, 정보원 연결망이 생성된다. 정보원은 논쟁적인 주제에 대한 찬성, 중립, 혹은 반대 의견을 개진하는 정보 소스이며, 해당하는 주제에 대한 전문적인 지식을 가지거나 업무상 경험이 풍부한 자연인일 수 있다. 디지털 컨텐츠가 뉴스 기사인 경우 정보원은 뉴스 정보원이며, 디지털 컨텐츠가 소셜 네트워크에 포스팅된 컨텐츠인 경우 정보원은 댓글을 작성한 사용자일 수 있다. 정보원 연결망은 논쟁적인 주제에 대한 의견을 개진한 정보원들을 기반으로 생성된 그래프로, 아래에서 상세히 설명하겠으나 복수의 서브 그래프들로 구성될 수 있다.
예를 들어, D(c)로부터 정보원들을 추출하기 위하여, 우선
Figure PCTKR2018000653-appb-I000002
을 만족하는 뉴스 기사 ni에서 미리 정해진 인용 부호(예를 들어, 큰 따옴표 쌍)를 가진
Figure PCTKR2018000653-appb-I000003
와 같은 문장들이 검출된다. 검출된 문장들은 논쟁적인 주제 c와 관련된 복수의 의견들일 수 있다.
미리 정해진 인용 부호(예를 들어, 큰 따옴표 쌍)을 기준으로 앞 및/또는 뒷부분에 인접하여 위치한 단어들을 기반으로 정보원이 검출될 수 있다. 예를 들어, 큰 따옴표 쌍을 기준으로 앞 및/또는 뒷부분에 인접하여 위치한 명사들을 기반으로 뉴스 정보원의 이름이 추출될 수 있다. 정보원 연결망을 생성하기 위해 뉴스 정보원들은 노드로 표현되며, 노드의 라벨은 뉴스 정보원의 이름으로 표현된다. 각각의 노드들은 인용문의 정보를 가지고 있다. 만약 뉴스 정보원 x와 y가 같은 뉴스 기사 ni에 포함된다면, 노드 x와 y는 서로 연결된다. 이러한 과정이 모든 뉴스 정보원에 대하여 실시됨으로써, 논쟁적인 주제 c와 관련된 정보원 연결망이 최종적으로 완성될 수 있다.
Figure PCTKR2018000653-appb-I000004
도 1(a), 도 1(b), 도 1(c) 및 도 1(d)는 일 실시예에 따른 정보원 연결망을 설명하는 도면이다. 도 1(a)를 참조하면, 두 개의 노드가 독립적으로 나타나 있으며, 이는 각 정보원 x와 y가 서로 다른 뉴스 기사에 인용되어 있다는 것을 의미한다. 반면, 도 1(b)를 참조하면, 두 노드가 서로 연결되어 있다. 이는 동일한 뉴스 기사 ni에 정보원 x와 y가 함께 인용되어 있다는 것을 의미한다.
도 1(c)를 참조하면, 하나의 뉴스 기사 ni에 정보원 x, y 및 w가 인용되어 있고, 다른 뉴스 기사 nj에 정보원 x, z 및 w가 인용되어 있다. 이 때, 뉴스 기사 ni와 nj에는 정보원 x와 w가 동시에 인용되어 있으며, 정보원 x와 w를 기준으로 정보원 연결망이 생성될 수 있다. 도 1(d)를 참조하면, 모든 정보원들이 뉴스 기사 ni에 인용되며, 뉴스 정보원 모두 밀접하게 연결되어 있다.
알고리즘 1은 논쟁적인 주제와 관련된 정보원 연결망을 생성하는 수도코드이다.
Figure PCTKR2018000653-appb-I000005
도면에 도시하지 않았으나, 디지털 컨텐츠가 소셜 네트워크에 포스팅된 컨텐츠인 경우, 해당하는 컨텐츠의 댓글을 이용하여 정보원들 및 의견들이 추출될 수 있다. 예를 들어, 논쟁적인 주제에 관한 컨텐츠가 수집되고, 댓글을 작성한 사용자들이 정보원들로 추출될 수 있다. 추출된 정보원들은 노드를 구성하며, 동일한 컨텐츠에 댓글을 작성한 정보원들의 노드들은 서로 연결될 수 있다.
논쟁적인 주제에 대한 극성 분석
일 실시예에 따르면, 논쟁적인 주제에 대한 극성 분석이 수행될 수 있다. 극성 분석을 통하여 논쟁적인 주제에 대한 정략 분석이 이루어질 수 있다. 논쟁적인 주제에 대한 찬성과 반대의 비율을 추정하기 위하여, 실시예들은 두 가지 방법을 제안한다.
방법 1: 베이스라인 방법을 통한 논쟁적인 주제에 대한 찬성과 반대의 비율 추정
방법 1은 ‘어떤 주제에 대한 찬반 비율을 추정하기 위해, 정보원 연결망에 있는 정보원의 각 인용문을 감성 분석하여 긍정 또는 부정 인용문으로 식별하고, 모든 인용문에 대한 긍정의 개수와 부정의 개수를 카운트하는 방법‘이다. 보다 구체적으로, 논쟁적인 주제의 찬성과 반대 비율을 추정하기 위해 감성 분석(Sentiment analysis) 방법이 이용될 수 있다. 감성 분석은 텍스트로부터 긍정, 부정, 중립에 대한 극성 정보를 측정하는 것이다. 뉴스 정보원 x와 정보원들의 직접 인용문 q는 한 쌍의
Figure PCTKR2018000653-appb-I000006
로 표현될 수 있으며, 인용문 q는 감성의 극성을 결정하는 중요한 정보가 된다. 감성분석 방법은 SA(*)라고 정의될 수 있다. 감성 분석 방법 SA(*)는
Figure PCTKR2018000653-appb-I000007
와 같이 표현될 수 있다. 여기서, +는 긍정을 의미하고, 0은 중립을 의미하며, -는 부정을 의미할 수 있다.
예를 들어, 뉴스 정보원 x의 직접 인용문은
Figure PCTKR2018000653-appb-I000008
이며, 각 인용문에 대한 감성분석 결과는
Figure PCTKR2018000653-appb-I000009
라고 가정할 수 있다. 이 경우, 정보원 x는 + 극성 2개, - 극성 1개, 및 중립 1개를 가진다.
베이스라인 방법은 모든 인용문에 대하여 감성분석을 실시하고, 각 극성을 카운트하는 방법이다. 이를 바탕으로 논쟁적인 주제 c에 대해 찬성하는 뉴스 정보원의 수를 추정할 수 있고, 마찬가지로, 논쟁적인 주제 c에 대해 반대하는 뉴스 정보원의 수 또한 추정할 수 있다.
논쟁적인 주제 c에 대한 찬반 비율을 추정하는 베이스라인 방법은 수학식 1과 수학식 2를 이용할 수 있다.
Figure PCTKR2018000653-appb-I000010
Figure PCTKR2018000653-appb-I000011
수학식 1 및 수학식 2는 논쟁적인 주제 c의 찬반 비율을 계산하기 위하여 긍정 또는 부정의 수를 긍정과 부정의 합으로 나눈 것이다. 알고리즘 2는 논쟁적인 주제 c에 대한 찬반비율을 추정하는 베이스라인 방법에 대한 수도코드이다.
Figure PCTKR2018000653-appb-I000012
도 2(a), 도 2(b) 및 도 2(c)는 일 실시예에 따른 베이스라인 방법을 이용하여 찬반비율을 추정하는 동작을 설명하는 도면이다. 도 2(a)를 참조하면, 논쟁적인 주제 c에 대한 첫 번째 뉴스 기사에 정보원 x, y, z가 인용되어 있고, 정보원 x는 논쟁적인 주제 c에 대하여 지지하고 있으며, 정보원 y, z는 논쟁적인 주제 c에 대하여 반대하는 입장일 수 있다. 도 2(b)를 참조하면, 논쟁적인 주제 c에 대한 두 번째 뉴스 기사에 정보원 x, w가 인용되어 있고, 정보원 x는 논쟁적인 주제 c에 대하여 지지하고 있으며, 정보원 w는 논쟁적인 주제 c에 대하여 반대하는 입장일 수 있다. 또한, 도 2(c)를 참조하면, 논쟁적인 주제 c에 대한 세 번째 뉴스 기사에 정보원 x, v가 인용되어 있고, 정보원 x는 논쟁적인 주제 c에 대하여 반대하고 있으며, 정보원 v는 논쟁적인 주제 c에 대하여 지지하는 입장일 수 있다.
이 경우, + 극성은 4개이고, - 극성은 3개이다. 수학식 1과 수학식 2에 따르면, 찬성 비율은 4/(4+3) = 0.57이고, 반대 비율은 3/(4+3) = 0.43으로 계산될 수 있다.
방법 2: 정보원의 영향력을 고려하여 논쟁적인 주제에 대한 찬성과 반대의 비율 추정
방법 2는 ‘어떤 주제에 대한 찬반 비율을 추정하기 위해, 방법 1에 추가적으로 뉴스정보원의 영향력을 고려하는 방법‘이다. 전술한 방법 1을 향상시키기 위하여, 논쟁적인 주제 c와 관련 있는 뉴스 정보원의 영향력 G가 고려될 수 있다. 방법 2에서는 논쟁적인 주제 c에 대하여 높은 영향력을 가지는 뉴스 정보원이 낮은 영향력을 가지는 뉴스 정보원보다 더 중요하다고 가정한다. 만약 뉴스 정보원 x는 y, ..., z와 같이 많은 이웃을 가지고 있고, 뉴스 정보원 y는 단일 이웃 p만 가지고 있다면, x가 y보다 더 많은 뉴스 기사에 인용되었으며, 논쟁적인 주제 c에 대하여 영향력이 있다고 볼 수 있다. 또한, 정보원 x가 낙태와 같은 주제에 대하여 일방적인 주장을 말할 때, 정보원 x는 지지자 또는 반대자의 대표자로, 오피니언 리더라고 지칭될 수 있다. 하지만, 정보원 y는 오직 한 번의 인터뷰를 진행하였으므로, 어느 한쪽 의견의 대표자가 될 수 없다.
이러한 논쟁적인 주제 c에 대한 오피니언 리더들의 영향력 G는 노드의 연결 정도 중심성(Degree Centrality)을 통해 결정될 수 있다. 여기서, 뉴스 정보원 x에 해당하는 노드 vx의 연결 정도 중심성의 값은 vx와 직접 연결되어 있는 노드의 수로 결정될 수 있다. 일 실시예에 따르면, 논쟁적인 주제 c에 대해 영향력 있는 뉴스 정보원에게 가중치를 부여함으로써, 천성과 반대 비율에 대한 새로운 접근법이 제공된다. 수학식 3은 가중치를 고려한 각 정보원에 대한 점수 PAC(x)에 대한 식이다.
Figure PCTKR2018000653-appb-I000013
여기서, w는 정보원 x의 가중치이고, 정보원 x가 논쟁적인 주제 c에 대하여 얼마나 영향력을 가졌는지를 나타낸다. w는 정보원 x의 연결 정도 중심성의 값으로 결정되며,
Figure PCTKR2018000653-appb-I000014
로 계산될 수 있다. 이 경우, 찬반 비율은 수학식 4 및 수학식 5를 통하여 추정될 수 있다.
Figure PCTKR2018000653-appb-I000015
Figure PCTKR2018000653-appb-I000016
도 3은 일 실시예에 따른 정보원의 영향력을 고려하여 논쟁적인 주제에 대한 찬반비율을 추정하는 동작을 설명하는 도면이다. 도 3을 참조하면, 최대 연결 정도 중심성을 가지는 뉴스 정보원은 뉴스 정보원 x이다. 뉴스 정보원 x의 연결 정도 중심성은 4이다.
도 2(a), 도 2(b) 및 도 2(c)를 참조하면, 정보원 x는 + 극성 2개 및 - 극성 1개를 가지고 있고, 두 극성 중 많은 쪽이 정보원 x에 대한 대표 극성으로 결정될 수 있다. 이에, 도 3에서 정보원 x는 + 극성으로 분류될 수 있다. 이 경우, 수학식 3을 통하여 정보원 x에 대한 점수를 계산하면, 정보원 x의 PAC(x) =
Figure PCTKR2018000653-appb-I000017
= 0.66으로 계산된다.
정보원 v와 w는 + 극성으로 분류되고, PAC(v) = PAC(w) =
Figure PCTKR2018000653-appb-I000018
= 0.25로 계산된다. 정보원 y와 z는 - 극성으로 분류되고, PAC(y) = PAC(z) =
Figure PCTKR2018000653-appb-I000019
= 0.5로 계산된다. + 극성의 합인
Figure PCTKR2018000653-appb-I000020
는 1.16이고, - 극성의 합인
Figure PCTKR2018000653-appb-I000021
는 1로 계산된다. 논쟁적인 주제 c에 대한 찬반 비율을 추정하면,
Figure PCTKR2018000653-appb-I000022
는 0.69로 계산되고,
Figure PCTKR2018000653-appb-I000023
는 0.31로 계산된다.
알고리즘 3은 방법 2에 따른 찬반 비율을 추정하는 수도코드이다.
Figure PCTKR2018000653-appb-I000024
일 실시예에 따르면, 논쟁적인 주제에 대한 정성 분석이 수행될 수 있다. 정성 분석은 아래에서 설명할 주요 스토리의 검출 및 요약을 포함할 수 있다.
논쟁적인 주제에 대한 주요 스토리 검출
대부분 영향력 있는 뉴스 정보원은 논쟁적인 주제 c에 대해 여러 시간에 걸쳐 의견을 주장하며, 정보원 연결망은 종종 하나 또는 하나 이상의 스토리를 포함한다. 뉴스 미디어 특성상 특정 사건이 발생하면 일정 주기 동안 비슷한 내용을 다루거나, 논쟁적인 주제 c와 관련된 다양한 사건의 뉴스 기사들이 존재한다.
일 실시예에 따르면, 논쟁적인 주제 c에 대한 주요 스토리를 검출하기 위하여 각 뉴스 기사 간의 유사도와 시간 차이가 고려될 수 있다. 예를 들어, 뉴스 정보원 x가 뉴스 정보원 y, z 및 w와 연관되어 있으며, 정보원 x의 영향력이 G라고 가정하자. 뉴스 정보원 x와 다른 뉴스 정보원들 간의 관계는 (x, y), (x, z) 및 (x, w)로 나타낼 수 있다.
(x, y)는 시간 ta에 스토리 s1을 전달하는 뉴스 기사 n1로 구성되고, (x, z)는 시간 tb에 스토리 s2를 전달하는 뉴스 기사 n2로 구성되며, (x, w)는 시간 tc에 스토리 s3을 전달하는 뉴스 기사 n3으로 구성되어 있다. 만약 ta와 tb에서 뉴스 기사 n1과 n2 사이의 유사도의 값이 특정 임계 값보다 큰 경우
Figure PCTKR2018000653-appb-I000025
뉴스 기사 n1과 n2는 동일한 스토리를 전달할 가능성이 있다.
일 실시예에 따르면, 비지도 클러스터링(Unsupervised Clustering) 방법이 이용될 수 있다. 예를 들어, 수학식 6을 이용하여 가장 가까운 객체들을 하나의 군집으로 병합하는 응집 클러스터링 알고리즘이 제안되며, 제안되는 알고리즘은 "스토리 인식 클러스터링(Story-aware Clustering) 방법"이라고 지칭될 수 있다.
Figure PCTKR2018000653-appb-I000026
여기서, vni는 뉴스 기사 ni의 특징 벡터이다. 우선, ni와 nj의 문장들에 기초하여 고유한 단어의 집합이 생성될 수 있다. 이 때, 각 단어들은 하나의 특징(혹은 차원)이 될 수 있다. 예를 들어, 단어의 수가 100개이면, vni는 100개의 특징으로 구성되는 특징 벡터일 수 있다. 만약 vni(i) = 1이면, 뉴스 기사 ni의 특징 벡터 vni의 i번째 특징과 일치하는 단어를 나타내는 것이며, 그렇지 않으면 0이다.
스토리 인식 클러스터링 방법은 자신의 개체 무리에 있는 각각의 벡터와 함께 시작한다. 각 단계에서 가장 비슷한 두 군집은 병합되며, 모든 벡터의 단일 클러스터가 만들어지면, 다음 단계로 넘어간다. 만약 모든 뉴스 기사에 대하여 클러스터링 과정이 끝나면, 덴드로그램(Dendrogram)의 레벨을 적절하게 끊어준다.
그 결과, 논쟁적인 주제 c에 대해 다양한 스토리가 포함된 군집 세트를 얻을 수 있다. 일 예로, 하기 뉴스 기사, n1, n2 및 n3의 내용은 다음과 같다.
Figure PCTKR2018000653-appb-I000027
각 뉴스 기사 간의 유사도를 f1(ni, nj)로 정의하고, 각 뉴스 기사 간의 기간 차이를 f2(ni, nj)로 정의할 수 있다. 각 뉴스 기사 간의 유사도는 1-기사 간의 유사도이며, f1(n1, n2) = 0.12, f1(n1, n3) = 0.36, 그리고 f1(n2, n3) = 0.3일 수 있다.
각 뉴스 기사 간의 기간 차이를 고려하기 위하여 각 뉴스 기사의 날짜들은 에포크 타임(epoch time)으로 변환될 수 있다. 각 뉴스 기사에 대한 기간 차이는 f2(n1, n2) = 3715200, f2(n1, n3) = 9417600, 그리고 f2(n2, n3) = 5702400일 수 있다. 뉴스 기사 간의 기간 차이는 최대 기간 차이를 기준으로 정규화될 수 있다. 이 경우, f2(n1, n2) = 0.16, f2(n1, n3) = 0.4, 그리고 f2(n2, n3) = 0.24일 수 있다.
수학식 6에 기초한 알고리즘 4가 수행되면, h1 = {n1, n2} 및 h2 = {n3}가 도출될 수 있다. h1에 포함된 {n1, n2}는 "필라델피아 주의 낙태 의사에 대한 살인 사건 공판 시작"과 "필라델피아 의사의 최종 변론"에 대하여 다루고 있고, h2 에 포함된 {n3}는 "낙태 법안을 위해 월요일 특별 세션에서 텍사스 입법부가 재 모집 되었다"는 내용을 포함하고 있다. 각각의 클러스터들은 하나의 스토리를 가지고 있다.
h1과 같이 복수의 뉴스 기사를 포함하도록 클러스터 되는 경우, 가장 최근 뉴스 기사 하나만 추출될 수 있다. 알고리즘 4는 일 실시예에 따른 스토리 인식 군집화 방법의 수도코드이다.
Figure PCTKR2018000653-appb-I000028
도 4는 일 실시예에 따른 주요 스토리를 검출하는 방법을 설명하는 도면이다. 도 4를 참조하면, n1, n2 및 n3은 낙태에 관한 뉴스 기사들이다. 보다 구체적으로, n1은 펜실베니아 주의 낙태 제한 법안에 관한 뉴스 기사로 n1의 정보원 a는 낙태를 찬성하는 입장이고, n2는 펜실베니아 주의 낙태 제한 법안에 관한 뉴스 기사로 n2의 정보원 b는 낙태를 반대하는 입장이며, n3은 텍사스 주의 낙태 제한 법안에 관한 뉴스 기사로 n3의 정보원 c는 낙태를 찬성하는 입장이다.
뉴스 기사 n1 및 n2는 서로 다른 입장의 인용문을 포함하나, 동일하게 펜실베니아 주의 낙태 제한 법안에 관한 내용을 다루고 있으므로, 동일한 스토리로 분류되는 것이 바람직하다. 반면, 뉴스 기사 n1 및 n3은 동일한 입장의 인용문을 포함하나, 서로 다른 주의 낙태 제한 법안에 관한 내용을 다루고 있고, 기간이 7개월 이상 상이하므로 서로 다른 스토리로 분류되는 것이 바람직하다.
도 5는 일 실시예에 따른 스토리 인식 클러스터링 방법을 설명하는 도면이다. sim(ni, nj)는 뉴스 기사 간의 내용 유사도이고, gap(ni, nj)는 뉴스 기사 간의 시간 차이이다. 뉴스 기사 간의 내용이 유사할수록 sim(ni, nj)이 작아지고, 뉴스 기사 간의 시간 차이가 좁을수록 gap(ni, nj)이 작아질 수 있다.
또한, dis(ni, nj)는 뉴스 기사 간의 거리로, 실시예들은 뉴스 기사 간의 거리에 기초하여 클러스터링을 수행할 수 있다. 예를 들어, dis(ni, nj)이 작을수록 동일한 클러스터로 분류될 가능성이 높아질 수 있다.
도 5를 참조하면, 뉴스 기사 간의 내용 유사도 만을 고려하는 경우, 뉴스 기사 n1과 n3가 하나의 클러스터로 분류될 수 있다. 하지만, 제안하는 방법과 같이 뉴스 기사 간의 유사도 뿐 아니라 뉴스 기사의 시간 차이까지 함께 고려하는 경우, n1과 n2가 하나의 클러스터로 분류될 수 있다.
논쟁적인 주제에 대한 주요 스토리 요약
논쟁적인 주제 c에 대한 주요 스토리들은 연결 리스트 L에 저장될 수 있다. L은 노드들의 리스트이며, 각 노드들은 데이터 필드와 링크 필드로 구성될 수 있다. 이 때, 뉴스 기사들의 정보는 가장 최근의 뉴스 기사 순으로 정렬되며, 각 데이터 필드에는 다음과 같은 항목들이 포함될 수 있다.
- 대표 문장: 논쟁적인 주제와 관련된 뉴스 기사 내용 중 중립적이며, 전체 내용을 포괄하는 문장
- 찬성론자: 논쟁적인 주제에 대하여 지지하는 주요 오피니언 리더들의 인용문
- 반대론자: 논쟁적인 주제에 대하여 반대하는 주요 오피니언 리더들의 인용문
스토리 인식 군집화 방법에 의하여 hi가 주어지면 hi의 모든 뉴스 기사는 각각의 문장들의 집합
Figure PCTKR2018000653-appb-I000029
으로 이루어진다. 대표 문장을 추출하기 위하여 수학식 7이 이용될 수 있다.
Figure PCTKR2018000653-appb-I000030
여기서, wf + wg + wh = 1이며, f()는 사실 정보(fact information)를 기반으로 선형결합 된 함수이다. 뉴스 기사에 나타나는 사실 단어들은 다른 단어보다 중요하며, 감성적 의미와 관련이 없을 수 있다. f()는 날짜, 장소, 기관(조직), 퍼센트, 숫자, 중립적인 감정 점수, 또는 이들의 다양한 조합을 고려할 수 있다. 만약, 문장 li에 날짜, 장소, 기관, 퍼센트 및 숫자에 관한 명사가 하나 이상 포함되는 경우 f1(li) ~ f5(li)의 값은 1이고, 그렇지 않은 경우 0이다. 중립적인 감정의 점수 f6(li)는
Figure PCTKR2018000653-appb-I000031
로 계산될 수 있다. 이러한 6가지 특징들에 대한 점수들을 선형 결합하여 f() 값이 계산될 수 있다.
g()는 뉴스 기사 ni의 제목과 li간의 유사성을 측정하는 함수이다. 대표 문장은 뉴스 기사의 제목과 유사하며, 제목보다 더 풍부한 정보를 제공해야 한다고 가정될 수 있다. 우선, 제목과 li에 불 용어들(Stopwords)을 제거하고, 스테머(Stemmer)를 고려할 수 있다. 여기서, 불 용어는 관사, 전치사, 접속사 등 색인 단어로 의미가 없는 단어를 의미한다. 스테머 방법을 이용하여 어간이 추출될 수 있다. 예를 들어, "matting" 단어로부터 어간 "mat"이 추출될 수 있다.
g()에서 세 가지가 고려될 수 있다. 첫째,
Figure PCTKR2018000653-appb-I000032
와 같이 미리 정의된 구문 유사성 척도가 이용된다. 여기서,
Figure PCTKR2018000653-appb-I000033
는 문장 li에 포함된 단어들의 집합과 뉴스 기사의 제목에 포함된 단어들의 집합 사이의 합집합을 의미하며,
Figure PCTKR2018000653-appb-I000034
는 두 단어 집합 간의 교집합을 의미한다. 둘째, 단어들의 의미 모호성을 해결하기 위해 의미론적 유사성이 측정된다. 예를 들어, cost와 price는 비용과 가격이라는 뜻을 가진 동의어이며, 뉴스 기사 제목과 문장 li에 대한 동의어가 고려될 수 있다. 셋째, 기존의 구문 유사성을 개선하기 위하여 위치와 날짜 정보가 고려된다.
예를 들어,
Figure PCTKR2018000653-appb-I000035
와 같이 유사성이 측정될 수 있다.
마지막으로, h()가 고려될 수 있다. 뉴스 기사 내 특정 위치의 문장들(예를 들어, 처음 몇 문장들)이 전반적인 내용을 포함할 가능성이 존재한다. 따라서, 주어진 뉴스 기사의 문장들에 일련 번호가 할당될 수 있다. 예를 들어, 뉴스 기사 n1에 세 개의 문장들 l1, l2 및 l3이 포함된다고 가정할 때, 각 문장들은 1, 2, 3에 해당하는 일련 번호를 가질 수 있다. 문장의 위치를 고려하여,
Figure PCTKR2018000653-appb-I000036
을 통하여 문장 위치에 대한 중요도가 계산될 수 있다. 여기서, L은 뉴스 기사 ni에 포함된 문장들의 총 개수이고, nli는 각 문장에 해당하는 일련 번호이다.
수학식 7의 score(li)의 최종 값을 계산하기 위하여, wf, wg 및 wh의 매개 변수 값이 실험을 통하여 조정될 수 있다.
또한, 뉴스 기사 ni에서 찬성과 반대 의견을 제시하는 인용문이 핵심 문장과 함께 요약될 수 있다. 이를 위하여 연결 정도 중심성(혹은 매개 중심성)을 측정하여, 뉴스 기사 ni에서 찬성과 반대 측의 인용문을 함께 제시한다. 예를 들어, 다음과 같은 낙태에 대한 뉴스 기사가 있을 수 있다.
Figure PCTKR2018000653-appb-I000037
먼저 뉴스 제목과 뉴스 기사 내용을 문장 단위로 분해한 뒤, 각 문장에서 불 용어를 제거한다 (l1 = {Lawyers final arguments Monday trial Kermit Gosnell Philadelphia doctor charged murder babies born live abortions}, l2 = {Deliberations expected begin Tuesday instructions jury Common Pleas Judge Jerey Philadelphia Inquirer reported}, ...). 이후, 대표 문장을 추출하기 위하여 사실, 사건, 위치 정보 등에 대한 특징들이 고려된다.
a) 사실 정보 추출: 각 문장에 지역, 기관, 날짜 등이 태그(tag)된다(l1 = {Lawyers final arguments <DATE>Monday trial Kermit Gosnell <LOCATION>Philadelphia doctor charged murder babies born live abortions}, l2 = {Deliberations expected begin <DATE>Tuesday instructions jury <ORGANIZATION>Common Pleas Judge Jerey Philadelphia Inquirer reported}, ...).
다음으로 각 문장 li에 포함된 태그 정보(예를 들어, <DATE>, <LOCATION> 등)를 확인한다. 첫 번째 문장 l1의 경우, 두 개의 태그 <DATE>와 <LOCATION>이 포함되므로, f1(l1) = 1, f2(l1) = 1이 되고, f3(l1) = f4(l1) = f5(l1) = 0이 된다. 두 번째 문장 l2의 경우, f1(l1) = 1, f3(l1) = 1이 되고, f2(l1) = f4(l1) = f5(l1) = 0이 된다.
또한, 중립적인 단어를 고려하기 위하여 문장에 포함된 모든 단어에 대하여 감성 분석이 수행된다. 예를 들어, 전체 단어에서 중립 감정을 가지는 단어가 50개라고 가정하자. 만약, 첫 번째 문장 l1에 중립 단어가 15개일 경우, f6(l1) = 15/50이며, 두 번째 문장 l2에 중립 단어가 11개일 경우, f6(l2) = 11/50이 된다.
마지막으로,
Figure PCTKR2018000653-appb-I000038
로 f()가 계산된다. f(l1)은 (0.3 x 1) + (0.3 x 1) + (0.1 x 0.3) = 0.63이고, f(l2)는 (0.3 x 1) + (0.1 x 1) + (0.1 x 0.22) = 0.422이다. 나머지 문장들도 동일한 방법으로 계산된다.
b) 사건 정보 추출: 뉴스 기사의 제목과 내용에 대하여 불 용어 제거 및 스테머를 처리하며, 뉴스 기사의 제목과 각 문장 li에 대한 유사도를 측정한다. 뉴스 기사의 제목은 {Lawyers close argument abort doctor trial}이며, 뉴스 기사의 내용은 l1 = {Lawyers nal argument Mondai trial Kermit Gosnell Philadelphia doctor charg murder babi born live abort} 및 l2 = {Deliber expect begin Tuesdai instruct juri Common Plea Judg Jerei Philadelphia Inquirer report} 등으로 이루어진다.
- 구문 유사도: 첫 번째 문장은 (뉴스 기사의 제목 ∪ 첫 번째 문장 li) = 16, (뉴스 기사의 제목 ∩ 첫 번째 문장 li) = 5이므로, 유사도 값은 5/16 = 0.3125로 계산될 수 있다. 또한, 두 번째 문장의 유사도 값은 0/20 = 0으로 계산될 수 있다. 유사도 값으로 Jaccard 유사도 값이 이용될 수 있다.
- 의미론적 유사도: 각 단어들에 대하여 동의어를 고려할 때 제목과 첫 번째 문장 사이의 유사도 값은 0.4769이고, 제목과 두 번째 문장 사이의 유사도 값은 0.033이다.
Figure PCTKR2018000653-appb-I000039
을 이용하여 g()를 계산하면, g(l1) = (0.3 x 0.3125) + (0.3 x 0.3125) + (0.4 x 0.4769) = 0.3783이고, g(l2) = (0.3 x 0) + (0.3 x 0) + (0.4 x 0.033) = 0.3783이 된다.
- 장소와 날짜를 고려한 구문 유사도: 구문 유사도 값과 장소, 날짜를 고려한다. 첫 번째 문장은 장소와 날짜를 포함하므로
Figure PCTKR2018000653-appb-I000040
0.3125이고, 두 번째 문장은
Figure PCTKR2018000653-appb-I000041
0이다.
c) 위치 정보 계산: 각 문장에 고유한 번호를 부여한다. 예를 들어, l1, l2, ..., lk에 각각 1, 2, ..., k가 할당되며,
Figure PCTKR2018000653-appb-I000042
을 이용하여 각 문장 위치에 대한 중요도가 고려된다. h(l1) = 1이고 h(l2) = 0.699일 수 있다.
마지막 단계로, 수학식 7을 통해 가장 높은 점수를 가지는 하나의 대표 문장이 추출된다.
도 6은 일 실시예에 따른 주요 스토리 요약을 설명하는 도면이다. 도 6을 참조하면, 뉴스 기사로부터 대표 문장, 찬성 측 오피니언 리더 및 인용문, 및 반대 측 오피니언 리더 및 인용문이 자동으로 추출될 수 있다.
알고리즘 4는 논쟁적인 주제에 대한 주요 스토리를 검출하는 수도코드이다.
Figure PCTKR2018000653-appb-I000043
Figure PCTKR2018000653-appb-I000044
전술한 것과 같이, 실시예들은 기존 여론조사의 한계를 극복하기 위해, 웹으로부터 뉴스 기사들을 수집하고 분석하여 논쟁적인 주제에 대한 찬성과 반대의 비율을 제시한다. 게다가, 뉴스 기사들에 대한 요약 결과를 함께 제공함으로써, 사용자들에게 보다 유익한 정보를 전달한다.
실시예들은 논쟁적인 주제(예를 들어, 낙태 혹은 불법이민 등)가 입력되면 그 주제와 관련된 뉴스 기사들을 수집한다. 그 후, 논쟁적인 주제에 따른 찬성과 반대의 비율로 정량화한다. 이러한 찬성과 반대의 비율을 통해, 보다 쉽게 그 주제에 대한 의미 있는 정보를 쉽게 알 수 있다. 예를 들어, 논쟁적인 주제 t1에 대한 찬성과 반대의 비율이 각각 51%-49%일 경우, t1은 사회적으로 찬성과 반대에 대한 의견이 심각하게 대립되며, 사회통합을 위해 시급히 해결해야 할 문제 중 하나이다. 반면에 논쟁적인 주제 t2는 찬성과 반대의 비율이 75%-25%이고, 대부분 사람은 t2에 대해 찬성 측의 의견이 많다는 것을 알 수 있으며, 사회적으로 시급히 해결 되지 않아도 될 문제 중 하나다. 흥미롭게도 어떤 주제들은 시간이 지남에 따라 찬성과 반대 비율은 지속해서 변하고, 국가 또는 사회마다 같은 주제의 찬반 비율이 서로 상이하다.
실시예들은 논쟁적인 주제와 관련된 흥미로운 스토리들을 연대순으로 추출할 수 있다. 논쟁적인 주제에 대한 흥미로운 스토리를 검출하기 위해, 스토리 인식 클러스터링 방법이 제안되었다.
실시예들은 논쟁적인 주제에 대한 뉴스 기사를 요약하여 스토리들을 시각화 하여 보여줄 수 있다. 이때, 스토리는 특정 시점에서 논쟁적인 주제에 대한 사건을 요약 한 것이며, 지지자와 반대하는 주요 오피니언 리더의 인용문도 함께 제시한다.
일 측에 따르면, 논쟁적인 주제에 대한 찬반 비율을 측정하고, 찬성과 반대 측의 주요 오피니언 리더들의 의견을 함께 보여주는 스토리들을 최근 순서대로 자동으로 출력함으로써, 데이터 분석을 통한 실제 여론조사 결과를 도출한다.
일 측에 따르면, 논쟁적인 주제(키워드)가 포함된 뉴스 기사들을 수집한 후, 각 뉴스 기사에서 뉴스정보원과 뉴스정보원의 인용문을 추출하고, 감성 분석을 통해 각 뉴스정보원의 인용문이 긍정인지 부정인지를 판별하며, 긍정 인용문과 부정 인용문의 개수를 카운트하여 해당 주제에 대한 찬반 비율을 추정한다.
일 측에 따르면, 논쟁적인 주제(키워드)가 포함된 뉴스 기사들을 수집한 후, 각 뉴스 기사에서 뉴스정보원과 뉴스정보원의 인용문을 추출하고, 감성 분석을 통해 각 뉴스정보원의 인용문이 긍정인지 부정인지를 판별하며, 뉴스정보원을 정점(노드)으로 하고, 두 명 이상의 뉴스정보원들이 동일한 뉴스 기사에서 인용되었다면 그 뉴스정보원들에 해당하는 정점들은 간선(에지)으로 연결하여 소셜 네트워크를 형성한다. 소셜 네트워크 분석방법인 연결정도 중심성(degree centrality) 또는 매개 중심성(betweenness centrality)을 측정하여 뉴스정보원의 중요도를 정량적으로 계산하며, 뉴스정보원의 중요도를 고려하면서 긍정 또는 부정 인용문의 개수를 카운트하여 해당 주제에 대한 찬반 비율을 추정한다.
일 측에 따르면, 정보원 연결망에서 연결정도 중심성(degree centrality) 또는 매개 중심성(betweenness centrality)을 측정함으로써 주요 오피니언 리더에 해당하는 뉴스정보원들을 식별한다.
일 측에 따르면, 논쟁적인 주제에 대한 구체적인 사건이나 스토리들을 검출하기 위해, 그 주제에 해당하는 정보원 연결망의 모든 노드들이 포함된 뉴스 기사들을 수집하여 계층적인 클러스터링 방법(hierarchical clustering method)을 사용하여 유사한 뉴스 기사들이 포함된 군집들을 출력한다. 이 때 유사도(similarity 또는 distance) 방법을 사용하여 유사한 텍스트의 뉴스 기사를 찾고, 또한 뉴스 기사 사이의 발행 날짜가 가장 가까운 뉴스 기사들을 찾아 군집하는 방법을 사용한다.
일 측에 따르면, 논쟁적인 주제에 대한 스토리는 ① 스토리 제목, ② 날짜, ③ 스토리를 소개하는 중립적이고 대표적인 문장, ④ 찬성 측의 중요한 뉴스정보원과 인용문, ⑤ 반대 측의 중요한 뉴스정보원과 인용문으로 구성된다.
일 측에 따르면, 스토리를 소개하는 중립적이고 대표적인 문장을 자동으로 검출하기 위해 목적 함수(object function)를 사용한다. 목적 함수는 ① 사실(fact) 정보, ② 뉴스 기사 제목과 텍스트의 유사성, ③ 문장의 위치(location) 정보를 기반으로 구현된다. 사실 정보는 장소, 기관, 날짜, 퍼센트, 숫자, 중립적인 감정의 점수 등을 고려하여 측정된다. 뉴스 제목과 텍스트 간의 유사성은 구문(syntactic) 유사 정도, 의미론적(semantic) 유사 정도, 위치와 날짜 정보를 고려한 구문의 유사 정도로 측정된다. 문장의 위치가 뉴스 기사에서 어느 부분에 위치하는지를 정량적으로 측정한다. 이러한 목적 함수의 여러 항은 심층 학습(deep learning) 방법을 사용하여 자동으로 중요도가 계산되고, 가중평균으로 구해진다. 목적 함수의 수치가 높은 문장일수록, 스토리를 소개하는 중립적이고 대표적인 문장이 된다.
일 측에 따르면, 제안 방안의 어플리케이션으로 검색엔진에서 논쟁적인 주제에 대한 키워드(주제)를 입력한 후 실행하면, 그 주제에 해당하는 스토리들이 최근 순서대로 출력된다.
일 측에 따르면, 데이터 기반의 여론조사 결과를 도출하는 핵심 아이디어는 비정형 데이터를 소셜 네트워크로 변환한 후 소셜 네트워크 분석 기법을 사용한다. 뉴스기사의 경우에는 뉴스정보원연결망을 이용하고, 소셜 미디어에서는 댓글 작성자를 정점으로 하고, 같은 곳에 댓글을 단 작성자들을 서로 연결하여 소셜 네트워크를 생성한다. 또한 감성 분석을 통해 댓글의 긍부정을 판별한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (10)

  1. 특정 주제에 대응하는 키워드를 수신하는 단계;
    상기 키워드에 기초하여, 상기 주제에 대한 디지털 컨텐츠를 수집하는 단계;
    상기 디지털 컨텐츠로부터 상기 주제와 관련된 복수의 의견들 및 상기 의견들을 제공하는 복수의 정보원들을 추출하는 단계;
    상기 복수의 정보원들에 기초하여 연결망을 생성하는 단계;
    상기 연결망에 기초하여, 상기 주제에 대한 정량 분석 및 정성 분석 중 적어도 하나를 수행하는 단계; 및
    상기 분석 결과를 제공하는 단계
    를 포함하는, 디지털 컨텐츠를 분석하는 방법.
  2. 제1항에 있어서,
    상기 복수의 정보원들을 추출하는 단계는
    상기 디지털 컨텐츠가 뉴스 기사인 경우, 미리 정해진 인용 부호에 인접한 단어들로부터 정보원을 추출하는 단계
    를 포함하는, 디지털 컨텐츠를 분석하는 방법.
  3. 제1항에 있어서,
    상기 복수의 정보원들을 추출하는 단계는
    상기 디지털 컨텐츠가 소셜 네트워크에 포스팅된 컨텐츠인 경우, 댓글의 작성자를 정보원으로 추출하는 단계
    를 포함하는, 디지털 컨텐츠를 분석하는 방법.
  4. 제1항에 있어서,
    상기 연결망을 생성하는 단계는
    상기 추출된 복수의 정보원들을 노드로 구성하는 단계; 및
    동일한 디지털 컨텐츠로부터 추출된 정보원들에 대응하는 노드들을 서로 연결하는 단계
    를 포함하는, 디지털 컨텐츠를 분석하는 방법.
  5. 제1항에 있어서,
    상기 정량 분석을 수행하기 위하여, 상기 수행하는 단계는
    상기 의견들의 극성(polarity)을 찬성, 중립, 및 반대로 분류하는 단계;
    상기 연결망에 기초하여 상기 복수의 정보원들의 가중치들을 산출하는 단계; 및
    상기 분류 결과 및 상기 가중치들에 기초하여, 상기 주제에 대한 찬성 의견 및 반대 의견의 정량적 통계를 산출하는 단계
    를 포함하는, 디지털 컨텐츠를 분석하는 방법.
  6. 제5항에 있어서,
    상기 정량적 통계를 산출하는 단계는
    상기 복수의 정보원들 각각에 대응하여, 해당하는 정보원의 의견들의 극성 및 상기 해당하는 정보원의 가중치에 기초하여, 상기 정보원의 스코어를 산출하는 단계; 및
    상기 복수의 정보원들의 스코어들에 기초하여, 상기 정량적 통계를 산출하는 단계
    를 포함하는, 디지털 컨텐츠를 분석하는 방법.
  7. 제1항에 있어서,
    상기 정성 분석을 수행하기 위하여, 상기 수행하는 단계는
    상기 연결망에 포함된 복수의 서브 그래프들에 기초하여, 상기 주제에 대한 시간 연대기적 주요 스토리들을 검출하는 단계; 및
    상기 주요 스토리들 각각을 중립적으로 설명하는 대표 문장, 상기 주제에 대한 대표 찬성 의견, 및 상기 주제에 대한 대표 반대 의견을 추출하는 단계
    를 포함하는, 디지털 컨텐츠를 분석하는 방법.
  8. 제7항에 있어서,
    상기 주요 스토리들을 추출하는 단계는
    상기 서브 그래프들 각각에 대응하여,
    해당하는 서브 그래프에 속한 적어도 하나의 정보원이 포함된 디지털 컨텐츠를 수집하는 단계;
    상기 적어도 하나의 정보원이 포함된 디지턴 컨텐츠를 내용 유사도와 시간 유사도를 기준으로 비지도 클러스터링(Unsupervised Clustering)하는 단계; 및
    상기 클러스터링 결과 생성된 클러스터들 각각을 주요 스토리로 결정하는 단계
    를 포함하는, 디지털 컨텐츠를 분석하는 방법.
  9. 제7항에 있어서,
    상기 대표 문장, 상기 대표 찬성 의견, 및 상기 대표 반대 의견을 추출하는 단계는
    상기 주요 스토리들 각각에 대응하여,
    해당하는 주요 스토리에 속한 디지털 컨텐츠 중 최신 디지털 컨텐츠를 선택하는 단계;
    문장의 중립적 특성에 관한 제1 기준, 문장의 제목 유사도에 관한 제2 기준, 및 문장의 위치에 관한 제3 기준 중 적어도 하나에 기초하여, 상기 최신 디지털 컨텐츠로부터 상기 대표 문장을 추출하는 단계;
    상기 해당하는 주요 스토리의 정보원들 중 영향력이 가장 높은 찬성 극성의 정보원 및 영향력이 가장 높은 반대 극성의 정보원을 추출하는 단계; 및
    상기 추출된 정보원들의 의견들을 추출하는 단계
    를 포함하는, 디지털 컨텐츠를 분석하는 방법.
  10. 제1항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
PCT/KR2018/000653 2017-01-13 2018-01-15 디지털 컨텐츠를 분석하는 방법 WO2018131955A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/080,891 US20190034417A1 (en) 2017-01-13 2018-01-15 Method for analyzing digital contents

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170006408A KR101851890B1 (ko) 2017-01-13 2017-01-13 디지털 컨텐츠를 분석하는 방법
KR10-2017-0006408 2017-01-13

Publications (1)

Publication Number Publication Date
WO2018131955A1 true WO2018131955A1 (ko) 2018-07-19

Family

ID=62621300

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/000653 WO2018131955A1 (ko) 2017-01-13 2018-01-15 디지털 컨텐츠를 분석하는 방법

Country Status (3)

Country Link
US (1) US20190034417A1 (ko)
KR (1) KR101851890B1 (ko)
WO (1) WO2018131955A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885442B2 (en) * 2018-02-02 2021-01-05 Tata Consultancy Services Limited Method and system to mine rule intents from documents
US11521098B2 (en) * 2018-03-28 2022-12-06 University Of Massachusetts Modeling controversy within populations
US10565403B1 (en) 2018-09-12 2020-02-18 Atlassian Pty Ltd Indicating sentiment of text within a graphical user interface
KR102211075B1 (ko) * 2019-01-03 2021-02-02 아주대학교 산학협력단 교육 자료를 수집하는 방법 및 장치
CN111859982B (zh) * 2020-06-19 2024-04-26 北京百度网讯科技有限公司 语言模型的训练方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110097320A (ko) * 2010-02-25 2011-08-31 고려대학교 산학협력단 뉴스 데이터 분석 장치 및 방법
KR20120114414A (ko) * 2011-03-14 2012-10-17 에스케이플래닛 주식회사 온라인 상에서의 사용자 의견 정보 분석 시스템 및 이를 이용한 온라인 활동 분석 방법
KR20130067070A (ko) * 2011-12-13 2013-06-21 한국과학기술원 논쟁적인 이슈에 관한 상반된 관점들을 제시할 수 있는 기사 분류 방법 및 시스템
KR101401175B1 (ko) * 2012-12-28 2014-05-29 성균관대학교산학협력단 가중치 tf 기법을 이용한 텍스트 마이닝 방법 및 시스템
KR20150083165A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 시간의 흐름에 따른 오피니언 분석 시스템 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2390704A (en) * 2002-07-09 2004-01-14 Canon Kk Automatic summary generation and display
US20080215607A1 (en) * 2007-03-02 2008-09-04 Umbria, Inc. Tribe or group-based analysis of social media including generating intelligence from a tribe's weblogs or blogs
US8280885B2 (en) * 2007-10-29 2012-10-02 Cornell University System and method for automatically summarizing fine-grained opinions in digital text
US8650023B2 (en) * 2011-03-21 2014-02-11 Xerox Corporation Customer review authoring assistant
US8650198B2 (en) * 2011-08-15 2014-02-11 Lockheed Martin Corporation Systems and methods for facilitating the gathering of open source intelligence
US20170083817A1 (en) * 2015-09-23 2017-03-23 Isentium, Llc Topic detection in a social media sentiment extraction system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110097320A (ko) * 2010-02-25 2011-08-31 고려대학교 산학협력단 뉴스 데이터 분석 장치 및 방법
KR20120114414A (ko) * 2011-03-14 2012-10-17 에스케이플래닛 주식회사 온라인 상에서의 사용자 의견 정보 분석 시스템 및 이를 이용한 온라인 활동 분석 방법
KR20130067070A (ko) * 2011-12-13 2013-06-21 한국과학기술원 논쟁적인 이슈에 관한 상반된 관점들을 제시할 수 있는 기사 분류 방법 및 시스템
KR101401175B1 (ko) * 2012-12-28 2014-05-29 성균관대학교산학협력단 가중치 tf 기법을 이용한 텍스트 마이닝 방법 및 시스템
KR20150083165A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 시간의 흐름에 따른 오피니언 분석 시스템 및 방법

Also Published As

Publication number Publication date
KR101851890B1 (ko) 2018-06-07
US20190034417A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
WO2018131955A1 (ko) 디지털 컨텐츠를 분석하는 방법
CN110516067B (zh) 基于话题检测的舆情监控方法、系统及存储介质
Reis et al. Supervised learning for fake news detection
Farouk Measuring sentences similarity: a survey
Gupta et al. Amazonqa: A review-based question answering task
Guo et al. To link or not to link? a study on end-to-end tweet entity linking
WO2019103183A1 (ko) Esg 기반의 기업 평가 수행 장치 및 이의 작동 방법
Athar et al. Detection of implicit citations for sentiment detection
US20120303661A1 (en) Systems and methods for information extraction using contextual pattern discovery
Zhang et al. The challenge of data-driven requirements elicitation techniques: Systematic Literature Review & Controlled Experiment
WO2023096254A1 (ko) 인공지능 기반 직업 매칭 시스템
CN110162632B (zh) 一种新闻专题事件发现的方法
WO2014030834A1 (ko) 문법의 오류 검출 방법, 이를 위한 오류검출장치 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록매체
Zhang et al. A context-enriched neural network method for recognizing lexical entailment
Siddiqua et al. Stance detection on microblog focusing on syntactic tree representation
WO2021068349A1 (zh) 基于区块链的图片标注方法、装置及存储介质、服务器
Mazoyer et al. Real-time collection of reliable and representative tweets datasets related to news events
Yehia et al. Text mining and knowledge discovery from big data: challenges and promise
Liebeskind et al. Semiautomatic construction of cross-period thesaurus
WO2019039659A1 (ko) 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들
Gupta et al. Research and implementation of event extraction from twitter using LDA and scoring function
WO2022080583A1 (ko) 시계열 분포 특징을 고려한 딥러닝 기반 비트코인 블록 데이터 예측 시스템
CN110674288A (zh) 一种应用于网络安全领域的用户画像方法
WO2022114447A1 (ko) 유사 임상 시험 데이터 제공 방법 및 이를 실행하는 서버
Drymonas et al. Opinion mapping travelblogs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18739274

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18739274

Country of ref document: EP

Kind code of ref document: A1