WO2019013376A1 - 텍스트 보완된 자동 통계학자 모델을 이용한 지지율 예측 방법 및 장치 - Google Patents

텍스트 보완된 자동 통계학자 모델을 이용한 지지율 예측 방법 및 장치 Download PDF

Info

Publication number
WO2019013376A1
WO2019013376A1 PCT/KR2017/007873 KR2017007873W WO2019013376A1 WO 2019013376 A1 WO2019013376 A1 WO 2019013376A1 KR 2017007873 W KR2017007873 W KR 2017007873W WO 2019013376 A1 WO2019013376 A1 WO 2019013376A1
Authority
WO
WIPO (PCT)
Prior art keywords
kernel
word
text data
applying
gaussian process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/007873
Other languages
English (en)
French (fr)
Inventor
문일철
박준건
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of WO2019013376A1 publication Critical patent/WO2019013376A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures

Definitions

  • the present invention relates to a method and apparatus for predicting a support ratio, and more particularly, to a method and apparatus for predicting a support ratio of a politician by applying time series text data to a multidimensional Gaussian process.
  • Predicting the popularity rate of politicians is an area of constant concern for the public. Predicting support rates during the election will affect the campaign strategy of voters and politicians who want to know what others are saying.
  • the presidential candidate's approval rating is the best way to open a direct public survey, but open interviews need a way of knowing their approval rating indirectly because of the time and expense involved.
  • the present disclosure is applicable to predicting politician support rates by extending an automatic statistian model by supplementing textual information on the kernel configuration processor.
  • the present disclosure is applicable to complex and non-linear trends by exploiting the advantages of automatic bayesian covariance discovery.
  • This disclosure can provide what text input (word) is important in including some kernel functionality to supplement text.
  • a method for predicting a rating by applying a multidimensional Gaussian process to time-series text data, which is performed by a computer.
  • the method may include preprocessing time series text data and applying the preprocessed time series text data to a multidimensional Gaussian process.
  • the step of preprocessing the time series text data comprises calculating a TF-IDF value of the document frequency versus term frequency, performing an impact assessment of each word, And adding a hyper parameter indicating a degree of affirmation of the rate of affirmation.
  • a method for applying a multi-dimensional Gaussian process performed by a computer to predict a rating.
  • the method includes calculating a TF-IDF value of a document frequency versus term frequency, performing an impact assessment of each word, and applying each word subjected to the impact assessment to a multidimensional Gaussian process .
  • the base kernel is a Constant (CON) kernel
  • the modified CON kernel can specify constants for each of the multidimensions.
  • the basic kernel is a PER kernel
  • the modified PER kernel may specify a periodic and length scale hyperparameter for each word, and may be multiplied by the term of the PER kernel function configured as a hyperparameter.
  • the basic kernel is a LIN kernel
  • the modified LIN kernel can assign hyperparameters to each word, and add the term of a LIN kernel function consisting of hyper parameters.
  • performing the impact assessment of each word may perform an impact assessment by selecting a predefined number of words having an inverse of the document frequency versus term frequency (TF-IDF) value.
  • TF-IDF document frequency versus term frequency
  • a method of applying a multidimensional Gaussian process to time-series text data, performed by a computer may include preprocessing time series text data, applying the preprocessed time series text data to a multidimensional Gaussian process, and normalizing the model using Bayesian information criterion (BIC) measurements.
  • BIC Bayesian information criterion
  • a computer device operable to execute the method described above may be provided.
  • a computer readable storage medium having stored thereon one or more instructions for causing a computer to perform the method when executed by a computer, .
  • a politician support rate prediction method that can be applied to complex and non-linear trends can be provided by taking advantage of automatic Bayesian covariance discovery.
  • a politician support rate prediction method may be provided that provides what text input (word) is important in including a kernel function that performs text supplementation.
  • FIG. 1 is a flow chart illustrating a flow diagram in which the method of the present invention is performed, in accordance with one embodiment of the present invention.
  • FIG. 2 is a graph showing an example of a conventional SE kernel, a PER kernel, and a LIN kernel function.
  • Figure 3 is a graph showing the support ratio prediction for each of the four candidates, in accordance with an embodiment of the present invention.
  • 4A to 4C are graphs showing quantitative evaluation values of fitting results according to an embodiment of the present invention.
  • 5A shows a hyperparameter analysis of Candidate 1, according to one embodiment of the present invention, and is a histogram of hyperparameter values.
  • FIG. 5B is a graph of hyperparameter values for each input, representing hyperparameter analysis of candidate 1, in accordance with one embodiment of the present invention.
  • " block " or " part &quot means a functional part that performs at least one function or operation, and may be implemented in hardware or software or a combination of hardware and software. Also, a plurality of 'blocks' or 'sub-units' may be embodied in at least one processor integrated with at least one software module, except for 'blocks' or 'sub-units' that need to be implemented in specific hardware .
  • the present invention relates to a method for predicting the popularity rate of politicians using news articles related to politics.
  • FIG. 1 is a flow chart of a method for predicting the popularity rating of politicians using news articles, in accordance with an embodiment of the present invention.
  • time series text data can be preprocessed.
  • preprocessing of time series text data may be to extract nouns from news articles, using some of the speech tagging, POS tagging.
  • only newspaper articles including related keywords among newspaper articles including keywords can be collected and only words corresponding to nouns can be extracted through morphological analysis.
  • step S102 the inversion (TF-IDF) value of the document frequency versus term frequency can be calculated for each noun.
  • TF-IDF represents a score indicating the importance of a given word in a document in a corpus.
  • the top 500 words with high TF-IDF values can be selected as inputs to automatic Bayesian covariance discovery (ABCD), where the input is the normalized occurrence frequency value of the word selected by the high TF-IDF value .
  • ABCD automatic Bayesian covariance discovery
  • step S103 the influence evaluation of each word can be performed.
  • the impact assessment of each word may be performed by applying a textual input to the ABCD model.
  • step S104 of this disclosure the basic kernel is modified to apply the ABCD model.
  • the modified basic kernel has a form similar to that of the basic kernel, while the modified basic kernel is a hyper-parameter that affects the approval rating for each word, that is, the influence of each word to predict the presidential candidate approval rate ).
  • the SE kernel may be excluded to prevent the word's influence from being reduced due to the smoothness of the squared exponential (SE) kernel.
  • the present invention can modify the Constant (CON) kernel, the PER kernel, and the LIN kernel as basic kernel functions, and can expand the kernel by adding and multiply the kernel operation to find the best structure of the kernel for data .
  • the CON kernel function is a constant function.
  • the constant is not differentiated in the training period, and the constant is the same throughout all the dimensions. In the present invention, differentiated training was conducted for each dimension, but the difference was not significant.
  • X1 and X2 are the input values of the kernel function, and the frequencies of the selected words in the document generated for one day.
  • I is the index of each dimension (or word)
  • D is the total number of dimensions (the number of selected words) Means a constant value of the dimension.
  • the PER kernel function may mean a repetitive operation of a function.
  • a periodic, length scale hyperparameter for each word is specified and the term of the PER kernel function is multiplied by the hyperparameter.
  • the periodic hyperparameter of each word determines the period of each word, and the hyperparameter of each length scale can determine the length of the change in function of each word.
  • the following expression represents a modified multidimensional PER kernel.
  • X1 and X2 are the input values of the kernel function, and the frequencies of the selected words in the document generated for one day.
  • i is the index of each dimension (or word) and D is the total number of dimensions (the number of selected words). Denotes the weight of the dimension, Pi denotes the period, and Ii denotes the amplitude.
  • the LIN kernel function may mean the linearity of the function. Similarly, you can assign a hyperparameter to each word to capture the linearity of each word, and add a term for the LIN kernel number consisting of hyper parameters.
  • the slope parameter can provide an indication of how the word frequency affects the rate of support.
  • the following expression represents a modified multidimensional LIN kernel.
  • X1 and X2 are the input values of the kernel function, and the frequencies of the selected words in the document generated during the day.
  • I is the index of each dimension (or word) and D is the total number of dimensions (the number of selected words).
  • Ci mean the y-intercept and x-intercept, Represents a slope.
  • tree search methods and Bayesian information criterion (BIC) measurements may be used to select and extend the most appropriate kernel structure for a given data.
  • BIC Bayesian information criterion
  • For the best kernel structure in the case of a tree search, all possible basic kernel function candidates and operations were considered, and the search selected kernel structures among candidates with the lowest BIC.
  • the model normalizes the model to avoid over-fitting problems because the training data is better suited when the model has a complex structure.
  • BIC is one way to consider normalization using multiple parameters. The BIC is officially defined as:
  • N is the maximum number of possibilities for the model
  • n is the number of data points in the training data
  • k is the number of parameters included in the model.
  • the learning period and the test period were divided.
  • the learning period was 80% of the whole period, from January 1, 2017 to February 1, 2017.
  • the model was learned by using the data of the learning period, and the result of the model was compared with the actual values of the test period.
  • FIG. 2 is a graph showing an example of a conventional SE kernel, a PER kernel, and a LIN kernel function.
  • the x-axis is the input value
  • the y-axis is the probability that the kernel function will have the value of x.
  • the different colors are the result of inputting each input value.
  • 3 shows an actual value, a predicted value, and a confidence interval of the entire period. 3 illustrates a quantitative evaluation of fitting results. As expected, when the number of input words increases, the BIC score decreases, but until the word size becomes 100 or more, the BIC score remains high. This can indicate the number and list of meaningful words to predict the rating.
  • Candidate 3 showed the highest rating in the periodically visible variation, and our model was able to turn on periodic motion as a periodic kernel function after kernel function expansion.
  • Table 1 shows the best kernel structure and input size for each candidate.
  • the best performance kernel structure provides the smallest BIC score and the smallest input magnitude provides the smallest Mean Absolute Error (MAE) value in the experimental data.
  • MAE Mean Absolute Error
  • the mean absolute error (MAE) and the root mean square error (RMSE) show relative performance when integrating words into the ABCD model.
  • An input size of one means that the input is simply time-sensitive information except for the text input.
  • MAE and RMSE are generally reduced when increasing the number of words in the teens.
  • the MAE and RMSE of the test period show a relatively flat structure until the number of words reaches a certain point (that is, 11 words for candidate 1). This may mean that the model may be operable when it exceeds the appropriate set of words. Some might argue that this negates the validity of the result, but the test should be interpreted as being relatively satisfied when the set size of the word is limited.
  • the true value of this model comes from Table 1, where periodic, linear and automatic trending structures are identified. The value also comes from the interpretation of the learned hyperparameter of FIG.
  • Figures 4A-4C show values and distributions of optimized hyperparameter variables.
  • the hyper parameter is the length parameter of the periodic kernel used in candidate 1. If the value is small, the influence appears in a short cycle, and if the value of the hyperparameter is large, the influence of the corresponding dimension shows a cycle of long cycle. When we tested the smallest value of a hyperparameter, the corresponding dimension was the latest information survey, constitutional revision, and so on. Some words (ie, up-to-date) have lexical significance rather than political meaning and should be considered.
  • FIG. 4A when the size of the input value becomes 50 or more, the BIC tends to decrease.
  • the dotted line indicates that the training interval is stable at 20 or more, and the solid line indicates that the input value does not appear to have a significant influence on the input value.
  • FIG. 4C it is stable when the number is more than 50 in the training interval, and the solid line shows that there is no significant influence on the input value (that is, there is no tendency).
  • 5A is a histogram illustrating the hyperparameter analysis of Candidate 1 and plotting the frequency of hyperparameter values according to one embodiment of the present invention.
  • FIG. 5B is a graph of hyperparameter values for each input, representing hyperparameter analysis of candidate 1, in accordance with one embodiment of the present invention.
  • the word of 23.27.39 appears the larger the value of the hyperparameter, the greater the periodic motion. The smaller the shorter the change occurs.
  • 23, Pyeongtaek, and Cheonan have large hyperparameters, which means that they fit well with the politicians' tendencies.
  • the present invention is not limited to the examples described herein, but may be variously modified, rearranged and replaced without departing from the scope of the present invention.
  • the various techniques described herein may be implemented in hardware or software, or a combination of hardware and software.
  • certain aspects or portions of an analysis machine for software safety analysis in accordance with the present disclosure may be implemented with one or more computer programs executable by a general purpose or special purpose microprocessor, micro-controller, or the like.
  • a computer program according to an embodiment of the present invention may be stored in a storage medium readable by a computer processor or the like such as a nonvolatile memory such as EPROM, EEPROM, flash memory device, a magnetic disk such as an internal hard disk and a removable disk, CDROM disks, and the like. Also, the program code (s) may be implemented in assembly language or machine language.
  • a storage medium readable by a computer processor or the like such as a nonvolatile memory such as EPROM, EEPROM, flash memory device, a magnetic disk such as an internal hard disk and a removable disk, CDROM disks, and the like.
  • the program code (s) may be implemented in assembly language or machine language.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

컴퓨터에 의해 수행되는, 시계열 텍스트 데이터에 다차원 가우시안 프로세스를 적용하여 지지율을 예측하는 방법이 제공된다. 본 발명의 방법은, 시계열 텍스트 데이터를 전처리하는 단계와, 상기 전처리된 시계열 텍스트 데이터에 다차원 가우시안 프로세스를 적용하는 단계를 포함하고, 시계열 텍스트 데이터를 전처리하는 단계는 문서 빈도 대 용어 빈도의 역산(TF-IDF) 값을 계산하는 단계와, 각 단어의 영향 평가를 수행하는 단계와, 기본 커널을 수정하여 각 단어에 대한 지지율 영향도를 나타내는 하이퍼 파라미터(hyper parameter)를 추가하는 단계를 포함한다.

Description

텍스트 보완된 자동 통계학자 모델을 이용한 지지율 예측 방법 및 장치
본 발명은 지지율 예측 방법 및 장치에 관한 것으로, 보다 구체적으로는 시계열 텍스트 데이터를 다차원 가우시안 프로세스에 적용하여 정치인의 지지율을 예측하는 방법 및 장치에 관한 것이다.
정치인의 지지율을 예측하는 것은 대중들이 지속적으로 관심을 가지는 분야이다. 선거 기간 동안의 지지율 예측은 다른 사람들의 의견을 알고 싶어하는 유권자나 정치인의 캠페인 전략에 영향을 미치게 된다. 대통령 후보 지지율은 직접적으로는 공개되는 공개 설문 조사는 가장 좋은 방법이지만, 공개 설문 조사는 시간과 비용이 상당히 들기 때문에 간접적으로 지지율을 알 수 있는 방법이 필요하다.
과거의 연구에서는 이렇게 특정 인물의 지지율과 상관되는 변수들을 모델링하여 지지율을 예측해보는 연구는 있었지만 그 변수들은 특정 도메인에만 한정되었다. 또한 그 변수들과 지지율의 상관관계를 확인하였지만 지지율에 대한 수치적인 접근법이 부족하였다. 따라서, 뉴스 기사와 같은 지지율 이외의 출처로부터 복잡한 비선형 경향을 포착할 수 있으며 정치적 맥락을 연결시킬 수 있는 예측 모델을 개발할 필요성이 있는데, 자동 통계학자 모델은 변화가 발생한 원인에 대해 설명하는 것이 어렵다는 문제점이 있다.
따라서, 본 개시는 커널 구성 프로세서 상에서 텍스트 정보를 보완함으로써 자동 통계학자 모델을 확장하여 정치인 지지율을 예측하는데 적용가능하다.
본 개시는 자동 베이지안 공분산 발견(automatic bayesian covariance discovery)의 이점을 이용함으로써 복잡하고 비선형적인 트랜드에 적용이 가능하다.
본 개시는 텍스트 보완을 하는데 어떤 커널 기능을 포함함에 있어 어떤 텍스트 입력(단어)이 중요한지를 제공할 수 있다.
본 발명의 일 실시에 따르면, 컴퓨터에 의해 수행되는, 시계열 텍스트 데이터에 다차원 가우시안 프로세스를 적용하여 지지율을 예측하는 방법이 제공된다. 본 방법은 시계열 텍스트 데이터를 전처리하는 단계와, 상기 전처리된 시계열 텍스트 데이터를 다차원 가우시안 프로세스에 적용하는 단계를 포함할 수 있다.
일 실시예에서, 시계열 텍스트 데이터를 전처리하는 단계는 문서 빈도 대 용어 빈도의 역산(TF-IDF) 값을 계산하는 단계와, 각 단어의 영향 평가를 수행하는 단계와, 기본 커널을 수정하여 각 단어에 대한 지지율 영향도를 나타내는 하이퍼 파라미터(hyper parameter)를 추가하는 단계를 포함할 수 있다.
본 발명의 다른 측면에서, 컴퓨터에 의해 수행되는, 다차원 가우시안 프로세스를 적용하여 지지율을 예측하는 방법이 제공된다. 본 방법은 문서 빈도 대 용어 빈도의 역산(TF-IDF) 값을 계산하는 단계와, 각 단어의 영향 평가를 수행하는 단계와, 상기 영향 평가를 수행한 각 단어를 다차원 가우시안 프로세스에 적용하는 단계를 포함할 수 있다.
일 실시예에서, 상기 기본 커널은 Constant (CON) 커널이고, 수정된 CON 커널은 다차원 각각에 대한 상수를 지정할 수 있다.
일 실시예에서, 상기 기본 커널은 PER 커널이고, 수정된 PER 커널은 각각의 단어에 대한 주기적이고 길이 스케일의 하이퍼 파라미터를 지정하고, 하이퍼 파라미터로 구성된 PER 커널 함수의 용어를 곱일 수 있다.
일 실시예에서, 상기 기본 커널은 LIN 커널이고, 수정된 LIN 커널은 각 단어에 하이퍼 파라미터를 할당하고, 하이퍼 파라미터로 구성된 LIN 커널 함수의 용어를 추가할 수 있다.
일 실시예에서, 상기 각 단어의 영향 평가를 수행하는 단계는 상기 문서 빈도 대 용어 빈도의 역산(TF-IDF) 값이 상위인 사전 정의된 수의 단어를 선정하여 영향 평가를 수행할 수 있다.
본 방법의 다른 실시예에 따르면, 컴퓨터에 의해 수행되는, 시계열 텍스트 데이터에 다차원 가우시안 프로세스를 적용하는 방법이 제공된다. 본 방법은 시계열 텍스트 데이터를 전처리하는 단계와, 상기 전처리된 시계열 텍스트 데이터를 다차원 가우시안 프로세스에 적용하는 단계와 베이지안 정보 기준(BIC) 측정 값을 사용하여 모델을 정규화하는 단계를 포함할 수 있다.
본 방법의 다른 측면에 있어서, 컴퓨터 장치로서, 상기 기재된 방법을 실행하도록 동작 가능한 컴퓨터 장치가 제공될 수 있다.
본 방법의 또 다른 측면에 있어서, 하나 이상의 명령어가 저장된 컴퓨터 판독 가능한 저장 매체로서, 상기 하나 이상의 명령어는 컴퓨터에 의해 실행되는 경우, 컴퓨터로 하여금 상기 방법을 실행하게 하는, 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
본 개시에 의하면, 자동 베이지안 공분산 발견의 이점을 이용함으로써 복잡하고 비선형적인 트랜드에 적용 가능한 정치인 지지율 예측 방법이 제공될 수 있다.
본 개시에 의하면, 텍스트 보완을 하는 커널 기능을 포함함에 있어 어떤 텍스트 입력(단어)이 중요한지를 제공하는 정치인 지지율 예측 방법이 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따라, 본 발명의 방법이 수행되는 흐름도를 도시하는 흐름도이다.
도 2는 종례의 SE 커널, PER 커널 및 LIN 커널 함수의 일 예를 도시하는 그래프이다.
도 3은 본 발명의 일 실시예에 따라, 4명의 후보 각각 대한 지지율 예측을 나타내는 그래프이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따라, 피팅 결과값의 정량적인 평가 값을 도시하는 그래프이다.
도 5a는 본 발명의 일 실시예에 따라, 후보 1의 하이퍼 파라미터 분석을 나타내며, 하이퍼 파라미터 값의 히스토그램이다.
도 5b는 본 발명의 일 실시예에 따라, 후보 1의 하이퍼 파라미터 분석을 나타내며, 각각의 입력에 대한 하이퍼 파라미터 값의 그래프이다.
이하, 첨부 도면을 참조하여 본 발명의 실시예에 관하여 상세히 설명한다. 이하에서는, 본 발명의 요지를 불필요하게 흐릴 우려가 있다고 판단되는 경우, 이미 공지된 기능 및 구성에 관한 구체적인 설명을 생략한다. 또한, 이하에서 설명하는 내용은 어디까지나 본 발명의 일 실시예에 관한 것일 뿐 본 발명이 이로써 제한되는 것은 아님을 알아야 한다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 발명을 한정하려는 의도에서 사용된 것이 아니다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 또한, 본 발명의 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다.
본 명세서에 기재된 실시예에 있어서 '블록' 또는 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '블록' 또는 '부'는, 특정한 하드웨어로 구현될 필요가 있는 '블록' 또는 '부'를 제외하고는, 적어도 하나의 소프트웨어 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
덧붙여, 달리 정의되지 않는 한 기술적 또는 과학적인 용어를 포함하여, 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의된 용어들은, 관련 기술의 문맥상 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 발명의 명세서에서 명백하게 달리 정의하지 않는 한 과도하게 제한 또는 확장하여 해석되지 않는다는 점을 알아야 한다.
이하, 첨부된 도면을 참조하여, 본 발명의 실시예에 대해 구체적으로 설명하기로 한다.
본 발명은 정치와 관련된 뉴스 기사를 사용하여 정치인들의 지지율을 예측하는 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른, 뉴스 기사를 사용하여 정치인들의 지지율을 예측하는 방법의 흐름도이다.
단계(S101)에서, 시계열 텍스트 데이터를 전처리할 수 있다. 일 실시예에서, 시계열 텍스트 데이터의 전처리는 스피치 태깅, POS 태깅을 일부 사용하여, 뉴스 기사에서 명사를 뽑아내는 것일 수 있다. 일 실시예에서, 키워드를 포함한 신문 기사 중 연관된 키워드를 포함한 신문 기사만을 수집하여 형태소 분석을 통해 명사에 해당하는 단어만을 추출할 수 있다.
이후 단계(S102)에서는 각각의 명사에 대해서, 문서 빈도 대 용어 빈도의 역산(TF-IDF) 값을 계산할 수 있다. 여기서, TF-IDF는 코퍼스에 있는 문서에서 주어진 단어의 중요성을 나타내는 점수를 나타낸다. 높은 TF-IDF 값을 가지는 상위 500개의 단어가 자동 베이지안 공분산 발견(automatic bayesian covariance discovery: ABCD)의 입력으로 선택될 수 있는데, 입력은 높은 TF-IDF 값에 의해 선택된 단어의 정규화된 발생 빈도 값이다.
단계(S103)에서, 각 단어의 영향 평가를 수행할 수 있다. 일 실시예에서, 각 단어의 영향 평가는 텍스트 입력을 ABCD 모델에 적용하여 수행될 수 있다. 본 개시의 단계(S104)에서는 기본 커널을 수정하여 ABCD 모델을 적용한다. 수정된 기본 커널은 기본 커널과 유사한 형태를 가지면서, 차별점으로 수정된 기본 커널은 각 단어에 대해 지지율에 영향을 나타내는, 즉 대통령 후보 지지율 예측하기 위한 각 단어의 영향 평가하는 하이퍼 파라미터(hyper-parameter)를 가지고 있다.
본 발명의 일 실시예에서, SE(squared exponential) 커널의 평탄화(smoothness)로 인하여 단어의 영향력이 줄어드는 것을 방지하기 위해 SE 커널은 제외할 수 있다.
본 발명은 기본 커널 함수로 Constant (CON) 커널, PER 커널 및 LIN 커널을 수정하여 사용할 수 있고, 데이터에 대한 커널의 최상의 구조를 찾기 위해 커널 연산에 덧셈과 곱셈을 적용하여 커널을 확장할 수 있다.
일 실시예에 있어서, CON 커널 함수는 상수 함수이다. 다차원 공간으로 CON 커널을 수정하기 위해서, 우리는 각 차원에 대한 상수를 지정하고, 상수를 추가할 수 있다. 그러나 본 발명에서는 훈련 기간(training period)에서는 상수를 차별화하지 않았고, 상수는 모든 차원에 걸쳐 동일하게 두었다. 본 발명에서 각각의 차원에 대해서 차별화된 훈련을 각각 실험하였으나, 그 차이는 크지 않았다.
Figure PCTKR2017007873-appb-I000001
여기서, X1와 X2는 커널함수의 입력값으로 하루동안 생성된 문서에서 선택된 단어의 빈도수이다. 또한 i는 각 차원(혹은 단어)의 인덱스이며 D는 총 차원수(선택된 단어의 수)이고,
Figure PCTKR2017007873-appb-I000002
는 그 차원의 상수값을 의미한다.
일 실시예에 있어서, PER 커널 함수는 함수의 반복 동작을 의미할 수 있다. 각 차원의 다른 동작을 포착하기 위해, 각각의 단어에 대한 주기적이고 길이 스케일의 하이퍼 파라미터를 지정하고, 하이퍼 파라미터로 구성된 PER 커널 함수의 용어를 곱한다. 각각의 단어의 주기적인 하이퍼 파라미터는 각 단어의 주기를 결정하고, 각각의 길이 스케일의 하이퍼 파라미터는 각 단어의 함수의 변화의 길이를 결정할 수 있다. 다음 수식은 수정된 다차원 PER 커널을 나타낸다.
Figure PCTKR2017007873-appb-I000003
여기서, X1와 X2는 커널함수의 입력값으로 하루 동안 생성된 문서에서 선택된 단어의 빈도수이다. 또한, i는 각 차원(혹은 단어)의 인덱스이며 D는 총 차원수(선택된 단어의 수)이다.
Figure PCTKR2017007873-appb-I000004
는 그 차원의 가중치를 의미하며, Pi 는 주기를 나타내고, Ii는 진폭을 의미한다.
일 실시예에서, LIN 커널 함수는 함수의 선형성을 의미할 수 있다. 마찬가지로 각 단어의 선형성을 포착하기 위해 각 단어에 하이퍼 파라미터를 할당하고, 하이퍼 파라미터로 구성된 LIN 커널 함수의 용어를 추가할 수 있다. 기울기 파라미터는 단어 빈도가 어떻게 지지율에 미치는 영향을 변하는지를 제공할 수 있다. 다음의 수식은 수정된 다차원 LIN 커널을 나타낸다.
Figure PCTKR2017007873-appb-I000005
여기서, X1과 X2는 커널함수의 입력값으로 하루동안 생성된 문서에서 선택된 단어의 빈도수이다. 또한 i는 각 차원(혹은 단어)의 인덱스이며 D는 총 차원수(선택된 단어의 수)이다.
Figure PCTKR2017007873-appb-I000006
와 Ci 는 y-절편과 x-절편을 의미하며
Figure PCTKR2017007873-appb-I000007
는 기울기를 나타낸다.
일 실시예에 있어서, 주어진 데이터에 대해 가장 적합한 커널 구조를 선택하고 확장하기 위해서, 트리 검색 방법 및 베이지안 정보 기준(BIC) 측정 값이 사용될 수 있다. 일 실시예에서, 최고의 커널 구조를 위해, 트리 검색의 경우, 모든 가능한 기본 커널 함수의 후보 및 연산이 고려되었고, 검색은 가장 낮은 BIC 를 가지는 후보들 중 커널 구조를 선택했다. 모델은 모델이 복잡한 구조를 가질 때 학습 데이터가 더 잘 맞아, 과적합(over-fitting)문제를 방지하기 위해 모델을 정규화하였다. BIC 는 여러 파라미터를 사용하여 정규화를 고려하는 방법 중 하나이다. BIC는 공식적으로 다음과 같이 정의된다.
Figure PCTKR2017007873-appb-I000008
여기서
Figure PCTKR2017007873-appb-I000009
은 모델에 대한 가능성의 최대값이고, n은 훈련 데이터 중 여러 데이터 포인트를 나타내며, k는 모델에 포함된 파라미터의 개수이다.
본 발명의 실험 결과는 아래와 같다.
A. 데이터 셋
2017년 1월 1일부터 2017년 2월 7일까지의 대통령 후보의 지지율을 수집하고, 같은 기간 YTN의 정치 신문 기사 11476건을 수집하였다. POS 태커로부터, 상기 신문기사로부터 18622 개의 명사를 추출하고, 각 단어의 TF-IDF 값을 계산하였다, 상기 명사 중에 우리는 높은 TF-IDF 값을 가지는 상위 500 개의 단어를 시계열 정보의 입력으로 선택하였다. 마지막으로, 2017 한국 대통령 선거의 상위 4명의 대통령 후보를 선택하여 우리의 모델의 성능을 테스트하였다.
본 발명의 모델의 성능을 테스트 하기 위하여, 학습 기간과 테스트 기간을 나누었다. 전체 기간의 80%를 학습기간으로 하였고, 2017년 1월 1일부터 2017년 2월 1일까지이다. 학습기간의 데이터를 이용하여 모델을 학습시켰고, 모델의 결과를 테스트 기간이 실제 값들과 비교하였다.
B. 정량적 평가
도 2는 종례의 SE 커널, PER 커널 및 LIN 커널 함수의 일예를 도시하는 그래프이다. x 축은 입력값이고, y축은 커널 함수에 x의 값을 넣었을 때 나오는 확률이다. 서로 다른 색은 각 입력값을 넣었을 때의 결과값을 의미한다.
도 3은 전체 기간의 실제 값, 예측값 및 신뢰구간(confidence interval)을 도시한다. 설명하면, 도 3은 피팅 결과의 정량적인 평가를 나타낸다. 예상대로, 입력 단어의 수가 커지면 BIC 점수는 작아지나, 단어 사이즈가 100 이상이 될 때까지는 BIC 점수가 높게 유지된다. 이는 지지율을 예측하기 위해 의미 있는 단어의 수와 리스트를 나타낼 수 있다.
테스트 기간 동안, 실제값의 대부분은 후보 3을 제외하고 신뢰구간에 포함된된다. 또한, 후보 1 은 주기적으로 볼 수 있는 변동에서 가장 높은 지지율을 보였고 우리의 모델은 주기적 움직임을 커널 함수 확장 후에 주기적 커널 함수로서 켭처할 수 있었다.
Figure PCTKR2017007873-appb-I000010
표 1: 각 후보에게 있어 가장 성능이 좋은 커널 구조와 입력 크기를 나타낸다. 가장 성능이 좋은 커널 구조는 가장 작은 BIC 점수를 제공하고 입력 크기가 가장 적절한 것은 실험 데이터에 있어 가장 작은 평균절대오차(Mean Absolute Error: MAE)값을 제공한다.
또한, 평균절대오차(MAE) 및 평균제곱근오차(Root Mean Square Error: RMSE)는 ABCD 모델에 단어를 통합할 때 상대적인 성능을 나타낸다. 입력 사이즈가 하나라는 것은 입력이 텍스트 입력을 제외한 단순히 시계열적 정보라는 것을 의미한다. MAE 및 RMSE는 일반적으로 학슴 시기에 단어의 수를 증가시킬 때 일반적으로 감소한다. 그러나 테스트 시기의 MAE 및 RMSE는 단어의 수가 특정 지점(즉, 후보 1의 경우 11 단어)이 될 때까지 상대적으로 평평한 구조를 나타낸다. 이는 적절한 단어의 셋을 초과할 때 해당 모델이 오퍼빗될 수 있음을 의미할 수 있다. 일부는 이 점이 본 결과의 타당성을 부정한다고 주장할 수 있겠으나, 테스트는 단어의 집합 크기가 제한될 때 상대적으로 만족된다라고 해석되어야 한다. 또한, 이 모델의 진정한 가치는 주기적으로 선평적이며 자동적인 트랜드 구조가 식별된 테이블 1에서 나온다. 또한, 가치는 도 4의 학습된 하이퍼 파라미터의 해석으로부터 나온다.
C. 정성 분석
도 4a 내지 도 4c는 최적화된 하이퍼 파라미터 변수의 값과 분포를 나타낸다. 하이퍼 파라미터는 후보 1에 사용된 주기적 커널의 길이 파라미터이다. 값이 작으면 영향력은 짧은 주기로 나타나고 하이퍼 파라미터의 값이 크면 대응하는 차원의 영향도는 긴 주기의 사이클을 보인다. 하이퍼 파라미터의 가장 작은 값을 실험했을 때, 대응하는 차원은 최신 정보조사, 헌법 개정 등이었다. 일부 단어 (즉, 최신)는 정치적 의미 보다는 어휘적 의미가 있었으므로 이를 고려해야 한다.
도 4a에서 입력값의 크기가 50 이상이 되면 BIC가 줄어드는 경향을 보인다. 도 4b에서 점선은 훈련구간으로 20이상이면 안정적임을 보이며, 실선은 실험구간으로 입력값에 큰 영향이 없는 것으로 보임을 알 수 있다. 도 4c에서 훈련구간에서 50 이상이면 안정적임을 보이며, 실선은 실험구간으로 입력값에 큰 영향이 없는 것으로 (즉, 경향이 없는 것으로) 보인다.
그러나, 일부 단어 (즉, 헌법 수정)는 주요한 정치적 의미를 가지므로 우리의 분석은 이러한 단어는 후보 1의 지지율에 근시적인 영향을 미친다. 헌번 개정이 논의되고 후보 1이 개정안에 동의하지 않았다는 것은 사실이다 또한 개정 노력은 곧 사그러들며 이것이 영향의 짧은 주기를 만들어낸다는 것도 사실이다. 우리가 길이 스케일의 파라미터의 가장 높은 값을 실험할 떄, 대응하는 차원이 귀향, 집회당, 재벌 등과 같은 단어였다. 유사하게, 일부 단어(재벌)는 한국의 사업 형태를 생성하고 후보 1에 대한 장기간 영향도에 있어서 주요한 정치적 의미를 가진다. 후보 1은 재벌이 한국 경재 발전에 방해가 된다고 주장해 왔다. 후보 1은 영향력의 긴 주기를 생성하는 1월 초에 재벌 개혁 정책을 약속했다.
도 5a는 본 발명의 일 실시예에 따라, 후보 1의 하이퍼 파라미터 분석을 나타내며, 하이퍼 파라미터 값의 빈도수를 그린 히스토그램이다.
도 5b는 본 발명의 일 실시예에 따라, 후보 1의 하이퍼 파라미터 분석을 나타내며, 각각의 입력에 대한 하이퍼 파라미터 값의 그래프이다. 23.27.39 의 단어가 나왔을 때는 하이퍼 파라미터의 값이 클수록 큰 주기의 움직임을 보인다. 작을수록 단기적 변화가 생긴다. 각 단어의 차원에 대응시켜서 봤을 때, 23, 평택, 천안함은 하이퍼 파라미터가 큰데, 이 정치인의 성향과 잘 들어 맞는다는 것을 의미한다.
텍스트 증가된 ABCD 모델로 분석한 정치적 지지율에 관한 예시를 제시한다. 원래 ABCD 모델은 시계열적 정보만을 사용하였으나, 본 발명에서는 원문 정보(textual information)를 사용하여 분석에 의미론적인 의미와 합리적 근거를 추가하였다. 본 발명의 실험은 텍스트 추가된 ABCD가 고유한 지지율의 주기적, 선형적 등의 동향을 포착할 수 있다는 것을 보여준다. 또한, 본 발명은 이러한 동향을 설명하는 키워드를 포착하고 이러한 포착된 키워드는 주어진 정치적 문맥에서 해석될 수 있다.
당업자라면 알 수 있듯이 본 발명은 본 명세서에서 기술된 예시에 한정되는 것이 아니라 본 발명의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 재구성 및 대체될 수 있다. 예를 들어, 본원에 기술된 다양한 기술들은 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 따라서, 본원에 따른 소프트웨어 안전성 분석을 위한 분석 머신의 특정한 양태나 부분은 범용 또는 전용 마이크로프로세서, 마이크로-컨트롤러 등에 의해 실행 가능한 하나 이상의 컴퓨터 프로그램으로 구현될 수 있다. 본 발명의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨터 프로세서 등에 의해 판독 가능한 저장 매체, 예컨대 EPROM, EEPROM, 플래시 메모리장치와 같은 비휘발성 메모리, 내장형 하드 디스크와 착탈식 디스크 같은 자기 디스크, 광자기 디스크, 및 CDROM 디스크 등을 포함한 다양한 유형의 저장 매체에 저장된 형태로 구현될 수 있다. 또한, 프로그램 코드(들)는 어셈블리어나 기계어로 구현될 수 도 있다.
본 발명의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 이하의 특허청구범위에 의해 모두 포괄하고자 한다.

Claims (10)

  1. 컴퓨터에 의해 수행되는, 시계열 텍스트 데이터에 다차원 가우시안 프로세스를 적용하여 지지율을 예측하는 방법으로서,
    시계열 텍스트 데이터를 전처리하는 단계와,
    상기 전처리된 시계열 텍스트 데이터에 다차원 가우시안 프로세스를 적용하는 단계
    를 포함하는 지지율 예측 방법.
  2. 제1항에 있어서,
    시계열 텍스트 데이터를 전처리하는 단계는
    문서 빈도 대 용어 빈도의 역산(TF-IDF) 값을 계산하는 단계와,
    각 단어의 영향 평가를 수행하는 단계와,
    기본 커널을 수정하여 각 단어에 대한 지지율 영향도를 나타내는 하이퍼 파라미터(hyper parameter)를 추가하는 단계
    를 포함하는 지지율 예측 방법.
  3. 컴퓨터에 의해 수행되는, 다차원 가우시안 프로세스를 적용하여 지지율을 예측하는 방법으로서,
    문서 빈도 대 용어 빈도의 역산(TF-IDF) 값을 계산하는 단계와,
    각 단어의 영향 평가를 수행하는 단계와,
    상기 영향 평가를 수행한 각 단어에 다차원 가우시안 프로세스를 적용하는 단계
    를 포함하는 지지율 예측 방법.
  4. 제2항에 있어서,
    상기 기본 커널은 Constant (CON) 커널이고, 수정된 CON 커널은 다차원 각각에 대한 상수를 지정하는 지지율 예측 방법.
  5. 제2항에 있어서,
    상기 기본 커널은 PER 커널이고, 수정된 PER 커널은 각각의 단어에 대한 주기적이고 길이 스케일의 하이퍼 파라미터를 지정하고, 하이퍼 파라미터로 구성된 PER 커널 함수의 용어를 곱하는 지지율 예측 방법.
  6. 제2항에 있어서,
    상기 기본 커널은 LIN 커널이고, 수정된 LIN 커널은 각 단어에 하이퍼 파라미터를 할당하고, 하이퍼 파라미터로 구성된 LIN 커널 함수의 용어를 추가하는 지지율 예측 방법.
  7. 제2항에 있어서,
    상기 각 단어의 영향 평가를 수행하는 단계는
    상기 문서 빈도 대 용어 빈도의 역산(TF-IDF) 값이 상위인 사전 정의된 수의 단어를 선정하여 영향 평가를 수행하는 것인 지지율 예측 방법.
  8. 컴퓨터에 의해 수행되는, 시계열 텍스트 데이터에 다차원 가우시안 프로세스를 적용하는 방법으로서,
    시계열 텍스트 데이터를 전처리하는 단계와,
    상기 전처리된 시계열 텍스트 데이터에 다차원 가우시안 프로세스를 적용하는 단계와
    베이지안 정보 기준(BIC) 측정 값을 사용하여 모델을 정규화하는 단계를 포함하는 지지율 예측 방법.
  9. 컴퓨터 장치로서, 제1항 내지 제8항 중 어느 한 항의 방법을 실행하도록 동작 가능한 컴퓨터 장치.
  10. 하나 이상의 명령어가 저장된 컴퓨터 판독 가능한 저장 매체로서, 상기 하나 이상의 명령어는 컴퓨터에 의해 실행되는 경우, 컴퓨터로 하여금 제1항 내지 제8항 중 어느 한 항의 방법을 실행하게 하는, 컴퓨터 판독 가능한 저장 매체.
PCT/KR2017/007873 2017-07-14 2017-07-21 텍스트 보완된 자동 통계학자 모델을 이용한 지지율 예측 방법 및 장치 Ceased WO2019013376A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0089573 2017-07-14
KR1020170089573A KR101991569B1 (ko) 2017-07-14 2017-07-14 텍스트 보완된 자동 통계학자 모델을 이용한 지지율 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2019013376A1 true WO2019013376A1 (ko) 2019-01-17

Family

ID=65001730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/007873 Ceased WO2019013376A1 (ko) 2017-07-14 2017-07-21 텍스트 보완된 자동 통계학자 모델을 이용한 지지율 예측 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101991569B1 (ko)
WO (1) WO2019013376A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230034153A1 (en) * 2021-07-14 2023-02-02 International Business Machines Corporation Keyword extraction with an advanced term frequency - inverse document frequency method for word embedding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613397B1 (ko) * 2015-05-29 2016-04-18 한국과학기술원 시계열 텍스트 데이터 및 시계열 수치 데이터의 연관 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613397B1 (ko) * 2015-05-29 2016-04-18 한국과학기술원 시계열 텍스트 데이터 및 시계열 수치 데이터의 연관 방법 및 그 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "UNIST Developing an Artificial intelligence Relational Automatic Statistician System", 27 June 2016 (2016-06-27), pages 1 - 2, XP055679261, Retrieved from the Internet <URL:http://www.dvnnews.com/news/articleView.html?idxno=14762> *
DAEMIN PARK: "Automated Time Series Content Analysis with News Big Data Analytics:", KOREAN JOURNAL OF JOURNALISM & COMMUNICATION STUDIES, vol. 60, no. 5, 1 October 2016 (2016-10-01), pages 353 - 407, XP055684449 *
NA YEONG YEONG: "Analysis of Approval Ratings of Presidental Candidates Regression Models Multidimentional Gaussian process and time series text data", PROCEEDINGS OF THE KOREAN OPERATIONS RESEARCH AND MANAGEMENT SCIENCE SOCIETY (KORMS) CONFERENCE, pages 1151 - 1156 *
YUNSEONG HWANG: "Automatic Construction of Nonparametric Relational Regression Models for Multiple Time Series", INTERNATIONAL CONFERENCE ON MACHINE LEARNING (ICML, 19 June 2016 (2016-06-19), pages 3030 - 3039, Retrieved from the Internet <URL:https://pdfs.semanticscholar.org/4a22/143f499fe3506329f4d83fffc94a0cd88fbe.pdf?_ga=2.162429948.1974677847.1511152331-1865043545.1489130336> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230034153A1 (en) * 2021-07-14 2023-02-02 International Business Machines Corporation Keyword extraction with an advanced term frequency - inverse document frequency method for word embedding
US11842160B2 (en) * 2021-07-14 2023-12-12 International Business Machines Corporation Keyword extraction with frequency—inverse document frequency method for word embedding

Also Published As

Publication number Publication date
KR101991569B1 (ko) 2019-06-19
KR20190007915A (ko) 2019-01-23

Similar Documents

Publication Publication Date Title
US12001514B2 (en) Image classification modeling while maintaining data privacy compliance
US20210216915A1 (en) Systems and Methods for Predictive Coding
AU2024204609A1 (en) System and engine for seeded clustering of news events
AU2013329525B2 (en) System and method for recursively traversing the internet and other sources to identify, gather, curate, adjudicate, and qualify business identity and related data
CA3053081A1 (en) Utilizing machine learning models to automatically generate contextual insights and actions based on legal regulations
CN105069143B (zh) 提取文档中关键词的方法及装置
CN108875059B (zh) 用于生成文档标签的方法、装置、电子设备和存储介质
CN107102993B (zh) 一种用户诉求分析方法和装置
Hadi et al. Aobtm: Adaptive online biterm topic modeling for version sensitive short-texts analysis
CN118093660A (zh) 一种图书馆数据处理方法、装置、电子设备及存储介质
Hellrich et al. Exploring diachronic lexical semantics with JeSemE
WO2023048807A1 (en) Hierarchical representation learning of user interest
Ardimento et al. A text-based regression approach to predict bug-fix time
US11822609B2 (en) Prediction of future prominence attributes in data set
WO2019013376A1 (ko) 텍스트 보완된 자동 통계학자 모델을 이용한 지지율 예측 방법 및 장치
Zimniewicz et al. Scheduling aspects in keyword extraction problem
CN119691152A (zh) 一种两阶段少样本自动事实核查方法、电子设备及存储介质
CN120087371A (zh) 一种工单处理方法、装置和设备
Lapeña et al. Improving traceability links recovery in process models through an ontological expansion of requirements
CN113626340B (zh) 测试需求识别方法、装置、电子设备及存储介质
Gomes et al. Effort estimation in named entity tagging tasks
Wachsmuth et al. Constructing efficient information extraction pipelines
CN119577790B (zh) 软件风险评估方法、装置、存储介质、程序产品及设备
CN117892726A (zh) 一种词库管理方法、装置、电子设备和可读存储介质
Bao et al. The Energy Footprint of LLM-Based Environmental Analysis: LLMs and Domain Products

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17917843

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17917843

Country of ref document: EP

Kind code of ref document: A1