WO2022114363A1 - 비지도학습방법론에 기인한 지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치 - Google Patents

비지도학습방법론에 기인한 지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치 Download PDF

Info

Publication number
WO2022114363A1
WO2022114363A1 PCT/KR2020/018784 KR2020018784W WO2022114363A1 WO 2022114363 A1 WO2022114363 A1 WO 2022114363A1 KR 2020018784 W KR2020018784 W KR 2020018784W WO 2022114363 A1 WO2022114363 A1 WO 2022114363A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning model
cluster
group
clusters
model
Prior art date
Application number
PCT/KR2020/018784
Other languages
English (en)
French (fr)
Inventor
최유리
김지훈
고재현
최정혁
Original Assignee
주식회사 솔리드웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 솔리드웨어 filed Critical 주식회사 솔리드웨어
Publication of WO2022114363A1 publication Critical patent/WO2022114363A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Definitions

  • An embodiment of the present invention relates to a method and apparatus for generating a supervised learning model using an unsupervised learning model, and a method and apparatus for interpreting an unsupervised learning model using the supervised learning model generated through the method.
  • Supervised learning is a learning method using learning data in which result values for input values are given. Therefore, for the supervised learning method, labeling of data is required. In supervised learning, it is possible to create a model that meets the user's intention through the data labeling process. However, most of the data that occurs in the industrial field, in the economic world, or online is unlabeled data. Therefore, supervised learning methods cannot be used with these data and unsupervised learning methods can be applied. One of the unsupervised learning methods, clustering, can try to solve the problem. Clustering in unsupervised learning only forms clusters according to the properties of the algorithm, but has a limitation that the user cannot know what criteria the clustering is based on.
  • An object of the present invention is to provide a method and an apparatus for generating a supervised learning model using unlabeled data.
  • Another technical problem to be achieved by an embodiment of the present invention is to provide a method and an apparatus for interpreting an unsupervised learning model using a supervised learning model.
  • an example of a method for generating a supervised learning model includes: grouping data into a plurality of clusters using an unsupervised learning model; training a supervised learning model for predicting a first group using training data obtained by dividing data into a first group including at least one cluster among the plurality of clusters and a second group including the remaining clusters; and providing a learned supervised learning model.
  • An example of an unsupervised learning model interpretation method for solving the above technical problem is a method of interpreting an unsupervised learning model using a supervised learning model, by using the unsupervised learning model Recognizing the cluster properties including the degree of influence of the variable on the cluster or the classification condition of the variable among the variables constituting the data based on the supervised learning model for predicting the generated cluster; and outputting the cluster attribute.
  • an example of a learning model management apparatus includes: a clustering unit for grouping data into a plurality of clusters using an unsupervised learning model; and a model generation unit for learning a supervised learning model for predicting the first group using the training data obtained by dividing the data into a first group including any one of the plurality of clusters and a second group including the remaining clusters. includes ;
  • the learning model management apparatus includes a model analysis unit for identifying a cluster property including a degree of influence of a variable on a cluster or a classification condition of a variable among the variables constituting the data based on the supervised learning model; may include
  • a supervised learning model may be generated using unlabeled data.
  • the supervised learning model it is possible to provide information that can interpret each cluster of the unsupervised learning model.
  • FIG. 1 is a flowchart illustrating an example of a method for generating a supervised learning model according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating a relationship between a supervised learning model and an unsupervised learning model according to an embodiment of the present invention
  • FIG. 3 is a view showing an example of a learning method of a supervised learning model according to an embodiment of the present invention
  • FIG. 4 is a diagram showing an example in which the supervised learning model according to an embodiment of the present invention is implemented as a decision tree model
  • FIG. 5 is a diagram showing an example of a decision path of a decision tree model according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an example of an analysis method of an unsupervised learning model using a supervised learning model according to an embodiment of the present invention
  • FIG. 7 and 8 are views showing various examples of displaying cluster properties according to an embodiment of the present invention.
  • FIG. 9 is a diagram showing the configuration of an example of a learning model management apparatus according to an embodiment of the present invention.
  • 1 is a flowchart illustrating an example of a method for generating a supervised learning model according to an embodiment of the present invention.
  • 2 is a diagram illustrating a relationship between a supervised learning model and an unsupervised learning model according to an embodiment of the present invention.
  • the learning model management apparatus groups the data 200 into a plurality of clusters 220, 222, 224 using the unsupervised learning model 210 (S100).
  • the data 200 is not limited to any one object or type, such as business management data, customer data, sensing data of various manufacturing equipment, or various online information.
  • the data 200 of this embodiment is unlabeled data, or data that is not suitable for use in a supervised learning model because it does not fit the purpose intended by the user even if it is labeled.
  • the unsupervised learning model 210 may be a variety of conventional models that group data into a plurality of clusters based on a pattern or structure between the data. For example, K-Means may be used as the unsupervised learning model 210 . According to an embodiment, the number of clusters 220 , 222 , and 224 generated by the unsupervised learning model 210 may or may not be predefined.
  • the learning model management apparatus learns the supervised learning model 230 by using the plurality of clusters 220 , 222 , 224 generated by the unsupervised learning model 210 ( S110 ). For example, if the data is grouped into N clusters 220, 222, 224, the learning model management apparatus includes a first group including the first cluster 220 and the remaining clusters (ie, 2 to N clusters) 222, 224. After classifying the data into a second group, the supervised learning model 230 is trained to predict the first group. The learning method of the supervised learning model will be reviewed again in FIG. 3 .
  • the supervised learning model 230 may be a variety of conventional models such as a decision tree model, a ridge regression model, a logistic regression model, a generalized linear model, etc. , is not limited to any one model.
  • the learning model management apparatus provides the learned supervised learning model 230 (S220).
  • the learning model management apparatus may generate and provide one supervised learning model 230 for predicting any one of the plurality of clusters 220 , 222 , and 224 .
  • the learning model management apparatus may generate and provide a first supervised learning model for predicting the first cluster 220 , or may generate and provide a second supervised learning model for predicting the second cluster 222 . .
  • all N supervised learning models for predicting each of the N clusters 220 , 222 , and 224 may be generated and provided.
  • FIG. 3 is a diagram illustrating an example of a learning method of a supervised learning model according to an embodiment of the present invention.
  • the learning model management apparatus includes a first group 300 including any one cluster from N clusters 220 , 222 , 224 generated through an unsupervised learning model, and a second group 310 including the remaining clusters. ) is created. That is, the learning model management apparatus labels the data into the first group 300 and the second group 310 . For example, the learning model management apparatus may tag data belonging to the first group 300 as '1', and may tag data belonging to the second group 310 as '0'. Various methods of labeling data belonging to each group 300 and 310 other than '1' and '0' may be applied to the present embodiment.
  • the learning model management apparatus learns the supervised learning model 230 by using the learning data composed of data labeled with the first group 300 and the second group 310 .
  • the supervised learning model 230 receives training data, it outputs a prediction result 320 of which data belongs to the first group 300 and the second group 310, and the prediction result 320 ) is compared with the ground truth of the training data, and the learning process is performed to adjust internal parameters, etc.
  • the learning model management apparatus predicts the first cluster 220 using the first group 300 including the first cluster 220 and the second group 310 including the second to N clusters 222 and 224 .
  • the first supervised learning model can be trained.
  • the learning model management apparatus uses a second group including the first group including the second cluster 222 and the remaining clusters (that is, the first cluster and the third to N clusters) 220 and 224 to the second cluster ( 222), the second supervised learning model can be trained. In this way, the learning model management apparatus can learn N supervised learning models for predicting each cluster 220 , 222 , 224 .
  • the learning model management apparatus divides the N clusters into a first group including at least two or more clusters and a second group including the remaining clusters, and then trains the supervised learning model to predict the clusters of the first group.
  • the supervised learning model ( 230) to generate a model for predicting whether data belongs to the first group.
  • various methods of dividing groups for generating a supervised learning model may be applied to the present embodiment.
  • FIG. 4 is a diagram illustrating an example in which the supervised learning model according to an embodiment of the present invention is implemented as a decision tree model.
  • the decision tree model consists of a parent node 400, decision nodes 410,412,420,422,424,426 of each layer, and terminal nodes 430-446.
  • This embodiment is only an example for helping understanding, and the depth of the decision tree model or the number of end nodes may have various forms depending on the embodiment.
  • the terminal nodes 430 to 446 of the decision tree model belongs to one of the two groups.
  • the first, second, fifth, and eighth end nodes 430,432,438,446 may belong to the first group
  • the third, fourth, fifth, and sixth end nodes 434,436,440,442 may belong to the second group. It is possible to determine which group the data belongs to according to which end node the data belongs to.
  • FIG. 5 is a diagram illustrating an example of a decision path of a decision tree model according to an embodiment of the present invention.
  • the path from the parent node 400 to the end node 432 of the decision tree model is determined by the branching conditions of the decision nodes 410 and 420 .
  • the first branch condition of the first decision node 410 and the second branch condition of the second decision node 420 exist. do.
  • the decision tree model was trained using the training data obtained by dividing the clusters 200, 222, 224 into the first group 300 and the second group 310 as shown in FIG. 3, and the second end node 432 as shown in FIG. Let's say we belong to the first group. Then, the property of the data classified as the second end node 432 may be described by the first branch condition and the second branch condition. If the first group 300 is a first cluster 220 clustered by the unsupervised learning model 210 in FIG. 2 , the property of the first cluster 220 of the unsupervised learning model 210 is the first branch. It can be expressed as a condition and a second branch condition. That is, the property of the cluster generated by the unsupervised learning model 210 can be described using the supervised learning model 230 . This will be looked at again in FIG. 6 .
  • FIG. 6 is a flowchart illustrating an example of an analysis method of an unsupervised learning model using a supervised learning model according to an embodiment of the present invention.
  • the learning model management apparatus uses the unsupervised learning model 210 to cluster the data 200 into a plurality of clusters 220,222,224 (S600), and a plurality of clusters 200,222,224
  • the supervised learning model 230 is trained by dividing it into at least two or more groups (S610). A method of generating such a supervised learning model is the same as described with reference to FIGS. 1 to 3 .
  • the learning model management apparatus uses the supervised learning model 230 to identify and display the cluster properties including the degree of influence of the variable on the cluster or the classification condition of the variable (S620, S630).
  • the supervised learning model 230 is a decision tree model
  • the learning model management apparatus may identify the cluster property using the branch condition of the decision node of the decision tree model as described with reference to FIGS. 4 and 5 . For example, when the first, second, fifth, and eighth end nodes 430, 432, 438, and 446 belong to the first group (the group to which the first cluster belongs) as shown in FIG.
  • the branch condition of the decision node of the decision path can be presented as attribute information of the first cluster.
  • the user can easily determine by what criteria the corresponding cluster is classified by using each branch condition indicated by attribute information.
  • the learning model management apparatus includes a plurality of end nodes (430,432,438,446) belonging to the first group as shown in FIG. 4, classifying data for each end node instead of the entire end node (430,432,438,446) belonging to the first group At least one or more end nodes may be selected based on the number of frequencies, and a branch condition of a decision path leading to the selected end node may be provided as a cluster attribute.
  • the learning model management apparatus sets the branching condition of the decision-making path for the first end node and the eighth end node with a large number of data frequencies to the first cluster. It can be output as a property.
  • various methods of selecting some of the end nodes related to the first group may be applied to the present embodiment.
  • the learning model management apparatus may determine the degree of influence of a variable on each cluster based on the size of the coefficients (a 1 ,a 2 ,...,a n ), and then output the degree of influence of the variable as a property of each cluster.
  • each variable may be scaled to a size value within the same range.
  • the absolute value of the coefficient indicates the influence of the variable, and the sign of the coefficient can provide the direction of change.
  • the learning model management apparatus may determine the degree of influence of a variable on the predicted value of the supervised learning model and output it as attribute information of each cluster.
  • the learning model management apparatus uses Patent Application No. 10-2020-130475 "Method for Interpreting Machine Learning Prediction Results Based on Variable Influence and its Apparatus" to determine the influence of each variable on the predicted value of the supervised learning model.
  • FIG. 7 and 8 are diagrams illustrating various examples of displaying a cluster attribute according to an embodiment of the present invention.
  • the learning model management apparatus may display results of statistical analysis of data belonging to each cluster in a two-dimensional graph. For example, by using a two-dimensional heatmap 700 in which the horizontal axis is the data variable and the vertical axis is each cluster, the average of the data belonging to each cluster is displayed in numbers, graphs, or different colors according to the size. can For example, when the first variable is age, the learning model management apparatus sets the average age of data belonging to the first cluster, the second cluster, and the third cluster in a column 710 where each cluster and the variable meet in different colors. can be displayed as
  • the learning model management apparatus may display a plurality of variables constituting data of each cluster in 2D or 3D.
  • the learning model management apparatus may use various dimensionality reduction methods such as Principal Component Analysis (PCA), Uniform Maniford Approximation and Projection (UMAP), and t-distributed Stochastic Neighbor Embedding (t-SNE).
  • PCA Principal Component Analysis
  • UMAP Uniform Maniford Approximation and Projection
  • t-SNE t-distributed Stochastic Neighbor Embedding
  • FIG. 9 is a diagram showing the configuration of an example of a learning model management apparatus according to an embodiment of the present invention.
  • the learning model management apparatus 900 includes a clustering unit 910 , a model generating unit 920 , and a model analyzing unit 930 .
  • the model analysis unit 930 may be omitted.
  • the learning model management apparatus 900 may be implemented with various types of computing devices including a memory, a processor, an input/output device, and the like.
  • each of the components 910 , 920 , and 930 may be implemented as software, loaded in a memory, and then performed by a processor.
  • the clustering unit 900 groups data into a plurality of clusters using the unsupervised learning model.
  • the unsupervised learning model 210 may cluster the data 200 into N clusters 220 , 222 , and 224 .
  • the model generator 910 divides the data into a first group including any one cluster among a plurality of clusters generated by the unsupervised learning model and a second group including the remaining clusters using the training data to first Train a supervised learning model to predict groups.
  • An example of a learning method of the supervised learning model is shown in FIG. 3 .
  • the model generator 910 may provide a screen interface for the user to select at least one of a plurality of clusters generated by the unsupervised learning model.
  • the model generator 910 may set the cluster selected by the user as the first group through the screen interface, set the remaining clusters as the second group, and then train and generate the supervised learning model based on this.
  • the model generator may automatically generate all of the plurality of supervised learning models for each of the plurality of clusters without user intervention.
  • the model analysis unit 920 identifies and outputs cluster properties including the degree of influence of data variables or classification conditions for each cluster based on the supervised learning model for predicting clusters generated by the unsupervised learning model.
  • An example of a method for recognizing cluster properties when the supervised learning model is a decision tree model is shown in FIG. 5 .
  • the model analysis unit 920 may include a screen interface unit for displaying cluster properties.
  • the model analyzer 920 may display all the properties of each cluster through the screen interface, or display the properties of the cluster selected by the user from among a plurality of clusters through the screen interface.
  • the present invention can also be implemented as computer-readable codes on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device.
  • the computer-readable recording medium is distributed in a network-connected computer system so that the computer-readable code can be stored and executed in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치가 개시된다. 학습모델관리장치는 비지도학습모델을 이용하여 데이터를 복수 개의 군집으로 그룹화하고, 복수 개의 군집 중 어느 하나의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 데이터를 구분한 학습데이터를 이용하여 제1 그룹을 예측하는 지도학습모델을 학습시키고, 지도학습모델을 기초로 데이터를 구성하는 변수들 중 군집에 대한 변수의 영향도 또는 변수의 분류 조건을 포함하는 군집 속성을 파악한다.

Description

비지도학습방법론에 기인한 지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치
본 발명의 실시 예는 비지도학습모델을 이용하여 지도학습모델을 생성하는 방법 및 그 장치와 이를 통해 생성한 지도학습모델을 이용하여 비지도학습모델을 해석하는 방법 및 그 장치에 관한 것이다.
지도학습(Supervised Learning)은 입력값에 대한 결과값이 주어지는 학습데이터를 이용하는 학습방법이다. 따라서 지도학습방법을 위해서는 데이터의 레이블링(labeling)이 필요하다. 지도학습은 데이터 레이블링 과정을 통해 사용자 의도에 맞는 모델의 생성이 가능하다. 그러나 산업 현장이나 경제계 또는 온라인 등에서 발생하는 대부분의 데이터는 레이블링되지 않은 데이터이다. 따라서 이들 데이터로는 지도학습방법을 사용할 수 없으며 비지도학습방법을 적용할 수 있다. 비지도학습(Unsupervised Learning) 방법론 중 하나인 군집화(cluster)를 통해 문제 해결을 도모해 볼 수 있으나. 비지도학습의 군집화는 알고리즘의 속성에 따라 군집을 형성할 뿐 어떤 기준으로 군집화가 이루어지는지 사용자가 알 수 없는 한계점을 가진다.
본 발명의 실시 예가 이루고자 하는 기술적 과제는, 레이블링이 되지 않는 데이터를 이용하여 지도학습모델을 생성하는 방법 및 그 장치를 제공하는 데 있다.
본 발명의 실시 예가 이루고자 하는 다른 기술적 과제는, 지도학습모델을 이용하여 비지도학습모델을 해석하는 방법 및 그 장치를 제공하는 데 있다.
상기의 기술적 과제를 해결하기 위한, 본 발명의 실시 예에 따른 지도학습모델 생성 방법의 일 예는, 비지도학습모델을 이용하여 데이터를 복수 개의 군집으로 그룹화하는 단계; 상기 복수 개의 군집 중 적어도 하나의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 데이터를 구분한 학습데이터를 이용하여 제1 그룹을 예측하는 지도학습모델을 학습시키는 단계; 및 학습 완료된 지도학습모델을 제공하는 단계;를 포함한다.
상기의 기술적 과제를 해결하기 위한, 본 발명의 실시 예에 따른 비지도학습모델 해석 방법의 일 예는, 지도학습모델을 이용하여 비지도학습모델을 해석하는 방법에 있어서, 비지도학습모델에 의해 생성된 군집을 예측하는 지도학습모델을 기초로 데이터를 구성하는 변수들 중 군집에 대한 변수의 영향도 또는 변수의 분류 조건을 포함하는 군집 속성을 파악하는 단계; 및 상기 군집 속성을 출력하는 단계;를 포함한다.
상기의 기술적 과제를 해결하기 위한, 본 발명의 실시 예에 따른 학습모델관리장치의 일 예는, 비지도학습모델을 이용하여 데이터를 복수 개의 군집으로 그룹화하는 군집화부; 및 상기 복수 개의 군집 중 어느 하나의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 데이터를 구분한 학습데이터를 이용하여 제1 그룹을 예측하는 지도학습모델을 학습시키는 모델생성부;를 포함한다.
일 실시 예로, 학습모델관리장치는 상기 지도학습모델을 기초로 상기 데이터를 구성하는 변수들 중 군집에 대한 변수의 영향도 또는 변수의 분류 조건을 포함하는 군집 속성을 파악하는 모델해석부;를 더 포함할 수 있다.
본 발명의 실시 예에 따르면, 레이블링되지 않은 데이터를 이용하여 지도학습모델을 생성할 수 있다. 또한 지도학습모델을 이용하여 비지도학습모델의 각 군집을 해석할 수 있는 정보를 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 지도학습모델 생성 방법의 일 예를 도시한 흐름도,
도 2는 본 발명의 실시 예에 따른 지도학습모델과 비지도학습모델의 관계를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 지도학습모델의 학습 방법의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 지도학습모델을 의사결정나무모델로 구현한 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 의사결정나무모델의 의사결정 경로의 일 예를 도시한 도면,
도 6은 본 발명이 실시 예에 따른 지도학습모델을 이용한 비지도학습모델의 해석방법의 일 예를 도시한 흐름도,
도 7 및 도 8은 본 발명의 실시 예에 따른 군집 속성을 표시하는 다양한 예를 도시한 도면, 그리고,
도 9는 본 발명의 실시 예에 따른 학습모델관리장치의 일 예의 구성을 도시한 도면이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치에 대해 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 지도학습모델 생성 방법의 일 예를 도시한 흐름도이다. 도 2는 본 발명의 실시 예에 따른 지도학습모델과 비지도학습모델의 관계를 도시한 도면이다.
도 1 및 도 2를 함께 참조하면, 학습모델관리장치는 비지도학습모델(210)을 이용하여 데이터(200)를 복수 개의 군집(220,222,224)으로 그룹화한다(S100). 데이터(200)는 기업의 경영 데이터나 고객 데이터, 제조업의 각종 장비의 센싱데이터 또는 온라인 상의 각종 정보 등 그 대상이나 종류는 어느 하나로 한정되는 것은 아니다. 다만, 본 실시 예의 데이터(200)는 레이블링(labeling)되지 않은 데이터이거나, 레이블링이 되었다고 하여도 사용자가 의도하는 목적에 맞지 않아 지도학습모델에 사용하기 부적합한 데이터이다.
비지도학습모델(210)은 데이터 사이의 패턴이나 구조를 기초로 데이터를 복수의 군집으로 그룹화하는 종래의 다양한 모델일 수 있다. 예를 들어, 비지도학습모델(210)로 K-Means 등이 사용될 수 있다. 실시 예에 따라, 비지도학습모델(210)이 생성하는 군집(220,222,224)의 개수는 미리 정의되거나 정의되지 않을 수 있다.
학습모델관리장치는 비지도학습모델(210)이 생성한 복수의 군집(220,222,224)을 이용하여 지도학습모델(230)을 학습시킨다(S110). 예를 들어, 데이터가 N개의 군집(220,222,224)으로 그룹화되었다면, 학습모델관리장치는 제1 군집(220)을 포함하는 제1 그룹과 나머지 군집(즉, 제2~N 군집)(222,224)을 포함하는 제2 그룹으로 데이터를 구분한 후 지도학습모델(230)이 제1 그룹을 예측하도록 학습시킨다. 지도학습모델의 학습 방법에 대해서는 도 3에서 다시 살펴본다. 지도학습모델(230)은 의사결정나무모델(Decision Tree)이나 리지회귀모델(Ridge Regression), 로지스틱회귀모델(Logistic Regression), 일반화선형모델(Generalized Linear Model) 등 종래의 다양한 종류의 모델일 수 있으며, 어느 하나의 모델로 한정되는 것은 아니다.
학습모델관리장치는 학습 완료된 지도학습모델(230)을 제공한다(S220). 학습모델관리장치는 복수 개의 군집(220,222,224) 중 어느 하나의 군집을 예측하는 하나의 지도학습모델(230)을 생성하여 제공할 수 있다. 예를 들어, 학습모델관리장치는 제1 군집(220)을 예측하는 제1 지도학습모델을 생성하여 제공하거나, 제2 군집(222)을 예측하는 제2 지도학습모델을 생성하여 제공할 수 있다. 또는, N개의 군집(220,222,224)의 각각을 예측하는 N개의 지도학습모델을 모두 생성하여 제공할 수 있다.
도 3은 본 발명의 실시 예에 따른 지도학습모델의 학습 방법의 일 예를 도시한 도면이다.
도 3을 참조하면, 학습모델관리장치는 비지도학습모델을 통해 생성된 N개의 군집(220,222,224)에서 어느 하나의 군집을 포함하는 제1 그룹(300)과 나머지 군집을 포함하는 제2 그룹(310)을 생성한다. 즉, 학습모델관리장치는 데이터를 제1 그룹(300)과 제2 그룹(310)으로 레이블링한다. 예를 들어, 학습모델관리장치는 제1 그룹(300)에 속한 데이터를 '1'로 태깅하고, 제2 그룹(310)에 속한 데이터를 '0'으로 태깅할 수 있다. '1'과 '0' 외에 각 그룹(300,310)에 속한 데이터를 레이블링하는 다양한 방법이 본 실시 예에 적용될 수 있다.
학습모델관리장치는 제1 그룹(300)과 제2 그룹(310)으로 레이블링된 데이터로 구성된 학습데이터를 이용하여 지도학습모델(230)을 학습시킨다. 예를 들어, 지도학습모델(230)은 학습데이터를 입력받으면 데이터가 제1 그룹(300)과 제2 그룹(310) 중 어디에 속하는지 예측한 결과(320)를 출력하고, 그 예측 결과(320)를 학습데이터의 정답지(ground truth)와 비교하여 내부 파라메터 등을 조정하는 학습 과정을 수행한다.
학습모델관리장치는 제1 군집(220)을 포함하는 제1 그룹(300)과 제2~N 군집(222,224)을 포함하는 제2 그룹(310)을 이용하여 제1 군집(220)을 예측하도록 제1 지도학습모델을 학습시킬 수 있다. 또는 학습모델관리장치는 제2 군집(222)을 포함하는 제1 그룹과 나머지 군집(즉, 제1 군집과 제3~N 군집)(220,224)을 포함하는 제2 그룹을 이용하여 제2 군집(222)을 예측하도록 제2 지도학습모델을 학습시킬 수 있다. 이와 같은 방법으로, 학습모델관리장치는 각각의 군집(220,222,224)을 예측하는 N개의 지도학습모델을 학습시킬 수 있다.
다른 실시 예로, 학습모델관리장치는 N개의 군집을 적어도 둘 이상의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 분할한 후 제1 그룹의 군집을 예측하도록 지도학습모델을 학습시킬 수 있다. 예를 들어, 제1 군집(220)과 제2 군집(222)을 포함하는 제1 그룹과 제3~N 군집(224)을 포함하는 제2 그룹으로 분할한 학습데이터를 이용하여 지도학습모델(230)을 학습시켜 데이터가 제1 그룹에 속할지 예측하는 모델을 생성할 수 있다. 이 외에도 지도학습모델의 생성을 위하여 군집을 나누는 다양한 방법이 본 실시 예에 적용될 수 있다.
도 4는 본 발명의 실시 예에 따른 지도학습모델을 의사결정나무모델로 구현한 일 예를 도시한 도면이다.
도 4를 참조하면, 의사결정나무모델은 부모노드(parent node)(400), 각 계층의 결정노드(decision node)(410,412,420,422,424,426), 그리고 종단노드(terminal node)(430~446)로 구성된다. 본 실시 예는 이해를 돕기 위한 하나의 예일 뿐 의사결정나무모델의 깊이나 종단노드의 수 등은 실시 예에 따라 다양한 형태일 수 있다.
도 3과 같이 군집(200,222,224)을 제1 그룹(300)과 제2 그룹(310)으로 분할한 학습데이터를 이용하여 의사결정나무모델을 학습시키는 경우에 의사결정나무모델의 종단노드(430~446)는 두 그룹 중 어느 하나의 그룹에 속하게 된다. 예를 들어, 제1,2,5,8 종단노드(430,432,438,446)는 제1 그룹에 속하고, 제3,4,5,6 종단노드(434,436,440,442)는 제2 그룹에 속할 수 있다. 데이터가 어느 종단노드에 속하는지에 따라 데이터가 어느 그룹에 속하는지 판단할 수 있다.
도 5는 본 발명의 실시 예에 따른 의사결정나무모델의 의사결정 경로의 일 예를 도시한 도면이다.
도 5를 참조하면, 의사결정나무모델의 부모노드(400)에서 종단노드(432)에 이르는 경로는 결정노드(410,420)의 분기조건에 의해 결정된다. 예를 들어, 부모노드(400)에서 제2 종단노드(432)에 이르는 의사결정 경로에는 제1 결정노드(410)의 제1 분기조건과 제2 결정노드(420)의 제2 분기조건이 존재한다.
의사결정나무모델이 도 3과 같이 군집(200,222,224)을 제1 그룹(300)과 제2 그룹(310)으로 분할한 학습데이터를 이용하여 학습되었고, 제2 종단노드(432)가 도 4와 같이 제1 그룹에 속한다고 하자. 그러면, 제2 종단노드(432)로 분류되는 데이터의 속성은 제1 분기조건과 제2 분기조건에 의해 설명될 수 있다. 제1 그룹(300)이 도 2에서 비지도학습모델(210)에 의해 군집화된 제1 군집(220)이라고 한다면, 비지도학습모델(210)의 제1 군집(220)의 속성은 제1 분기조건과 제2 분기조건으로 표시될 수 있다. 즉, 비지도학습모델(210)에 의해 생성된 군집의 속성이 지도학습모델(230)을 이용하여 설명될 수 있다. 이에 대해서는 도 6에서 다시 살펴본다.
도 6은 본 발명이 실시 예에 따른 지도학습모델을 이용한 비지도학습모델의 해석방법의 일 예를 도시한 흐름도이다.
도 2 및 도 6을 함께 참조하면, 학습모델관리장치는 비지도학습모델(210)을 이용하여 데이터(200)를 복수 개의 군집(220,222,224)으로 군집화하고(S600), 복수 개의 군집(200,222,224)을 적어도 둘 이상의 그룹으로 나누어 지도학습모델(230)을 학습시킨다(S610). 이러한 지도학습모델을 생성하는 방법은 도 1 내지 도 3에서 설명한 바와 동일하다.
학습모델관리장치는 지도학습모델(230)을 이용하여 군집에 대한 변수의 영향도 또는 변수의 분류 조건을 포함하는 군집 속성을 파악하고 표시한다(S620,S630). 지도학습모델(230)이 의사결정나무모델인 경우에, 학습모델관리장치는 도 4 및 도 5에서 설명한 바와 같이 의사결정나무모델의 결정노드의 분기조건을 이용하여 군집 속성을 파악할 수 있다. 예를 들어, 도 4와 같이 제1,2,5,8 종단노드(430,432,438,446)가 제1 그룹(제1 군집이 속한 그룹)에 속하는 경우에, 학습모델관리장치는 부모노드(400)에서 제1,2,5,8 종단노드(430,432,438,446)의 각각에 이는 의사결정 경로의 결정노드의 분기 조건을 제1 군집의 속성 정보로 제시할 수 있다. 사용자는 속성 정보로 표시된 각 분기조건을 이용하여 해당 군집이 어떠한 기준으로 분류되어 있는지 용이하게 파악할 수 있다.
다른 실시 예로, 학습모델관리장치는 제1 그룹에 속하는 종단노드(430,432,438,446)가 개수가 도 4와 같이 복수 개인 경우에 제1 그룹에 속한 종단노드(430,432,438,446) 전체가 아닌 각 종단노드별 데이터의 분류 빈도 수를 기준으로 적어도 하나 이상의 종단노드를 선택하고 선택된 종단노드에 이르는 의사결정 경로의 분기조건을 군집 속성으로 제공할 수 있다. 예를 들어, 제1 종단노드(430)로 분류된 데이터의 개수가 200개이고, 제2 종단노드(432), 제5 종단노드(438)로 분류된 데이터의 개수가 각각 5, 10개이며, 제8 종단노드(446)로 분류된 데이터의 개수가 150개이면, 학습모델관리장치는 데이터 빈도 수가 많은 제1 종단노드와 제8 종단노드에 대한 의사결정 경로의 분기조건을 제1 군집의 군집 속성으로 출력할 수 있다. 이 외에도 제1 그룹과 관련된 종단노드 중 일부를 선정하는 다양한 방법이 본 실시 예에 적용될 수 있다.
또 다른 실시 예로, 지도학습모델(230)이 선형모델이면 학습모델관리장치는 y=a1x1+a2x2+...anxn 등과 같은 모델을 생성할 수 있다. 학습모델관리장치는 계수(a1,a2,...,an)의 크기를 기초로 각 군집에 미치는 변수의 영향도를 파악한 후 변수의 영향도를 각 군집 속성으로 출력할 수 있다. 계수를 기초로 각 변수의 영향도를 파악하는 경우에 각 변수는 동일 범위의 크기 값으로 스케일링 될 수 있다. 계수의 절대값은 변수의 영향력을 나타내고 계수의 부호는 변화의 방향을 제공할 수 있다.
또 다른 실시 예로, 학습모델관리장치는 지도학습모델의 예측값에 대한 변수의 영향도를 파악하여 각 군집의 속성 정보로 출력할 수 있다. 예를 들어, 학습모델관리장치는 특허출원번호 제10-2020-130475호 "변수 영향도 기반 머신러닝 예측 결과 해석 방법 및 그 장치"를 이용하여 지도학습모델의 예측값에 미치는 각 변수의 영향을 파악할 수 있다.
도 7 및 도 8은 본 발명의 실시 예에 따른 군집 속성을 표시하는 다양한 예를 도시한 도면이다.
도 7을 참조하면, 학습모델관리장치는 각 군집에 속한 데이터의 통계적 분석 결과를 2차원 그래프로 표시할 수 있다. 예를 들어, 가로축은 데이터의 변수, 세로축은 각 군집으로 하는 2차원 히트맵(heapmap)(700)을 이용하여 각 군집에 속한 데이터의 평균을 숫자나 그래프 또는 크기에 따른 서로 다른 색상으로 표시할 수 있다. 예를 들어, 제1 변수가 나이인 경우에, 학습모델관리장치는 제1 군집, 제2 군집 및 제3 군집에 속한 데이터의 나이 평균을 각 군집과 변수가 만나는 칸(710)에 서로 다른 색상으로 표시할 수 있다.
도 8을 참조하면, 학습모델관리장치는 각 군집의 데이터를 구성하는 복수의 변수를 2차원 또는 3차원으로 표시할 수 있다. 예를 들어, 학습모델관리장치는 PCA(Principal Component Analysis), UMAP(Uniform Maniford Approximation and Projection), t-SNE(t-distributed Stochastic Neighbor Embedding) 등의 다양한 차원축소방법을 이용할 수 있다.
도 9는 본 발명의 실시 예에 따른 학습모델관리장치의 일 예의 구성을 도시한 도면이다.
도 9를 참조하면, 학습모델관리장치(900)는 군집화부(910), 모델생성부(920) 및 모델해석부(930)를 포함한다. 다른 실시 예로, 모델해석부(930)는 생략될 수 있다. 학습모델관리장치(900)는 메모리, 프로세서, 입출력장치 등을 포함하는 다양한 종류의 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 각 구성(910,920,930)은 소프트웨어로 구현되어 메모리에 탑재된 후 프로세서에 의해 수행될 수 있다.
군집화부(900)는 비지도학습모델을 이용하여 데이터를 복수 개의 군집으로 그룹화한다. 예를 들어, 도 2와 같이 비지도학습모델(210)은 데이터(200)를 N개의 군집(220,222,224)으로 군집화할 수 있다.
모델생성부(910)는 비지도학습모델에 의해 생성된 복수 개의 군집 중 어느 하나의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 데이터를 구분한 학습데이터를 이용하여 제1 그룹을 예측하는 지도학습모델을 학습시킨다. 지도학습모델의 학습 방법의 예가 도 3에 도시되어 있다.
일 실시 예로, 모델생성부(910)는 비지도학습모델에 의해 생성된 복수 개의 군집 중 사용자가 적어도 하나 이상을 선택할 수 있는 위한 화면 인터페이스를 제공할 수 있다. 모델생성부(910)는 화면 인터페이스를 통해 사용자가 선택한 군집을 제1 그룹으로 설정하고 나머지 군집을 제2 그룹으로 설정한 후 이를 기초로 지도학습모델을 학습시켜 생성할 수 있다. 다른 예로, 모델생성부는 사용자의 관여 없이 자동으로 복수 개의 군집의 각각을 위한 복수 개의 지도학습모델을 모두 생성할 수 있다.
모델해석부(920)는 비지도학습모델에 의해 생성된 군집을 예측하는 지도학습모델을 기초로 각 군집에 대한 데이터 변수의 영향도 또는 분류 조건 등을 포함하는 군집 속성을 파악하여 출력한다. 지도학습모델이 의사결정나무모델인 경우에 군집 속성을 파악하는 방법의 일 예가 도 5에 도시되어 있다.
일 실시 예로, 모델해석부(920)는 군집 속성을 표시하는 화면 인터페이스부를 포함할 수 있다. 예를 들어, 모델해석부(920)는 각 군집의 속성을 화면 인터페이스를 통해 모두 표시하거나, 화면 인터페이스를 통해 복수 개의 군집 중 사용자가 선택한 군집에 대한 속성을 표시할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 비지도학습모델을 이용하여 데이터를 복수 개의 군집으로 그룹화하는 단계;
    상기 복수 개의 군집 중 적어도 하나의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 데이터를 구분한 학습데이터를 이용하여 제1 그룹을 예측하는 지도학습모델을 학습시키는 단계; 및
    학습 완료된 지도학습모델을 제공하는 단계;를 포함하는 것을 특징으로 하는 지도학습모델 생성 방법.
  2. 제 1항에 있어서,
    상기 군집화하는 단계는, 데이터를 N개의 군집으로 그룹화하는 단계를 포함하고,
    상기 학습시키는 단계는,
    상기 N개의 군집의 각각에 대하여 지도학습모델을 생성하기 위하여, 상기 N개의 군집을 어느 하나의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 분할하는 단계; 및
    상기 제1 그룹과 상기 제2 그룹을 포함하는 학습데이터를 이용하여 각 군집을 예측하는 N개의 지도학습모델을 학습시키는 단계;를 포함하는 것을 특징으로 하는 지도학습모델 생성 방법.
  3. 제 1항에 있어서,
    상기 지도학습모델은 의사결정나무모델 또는 선형모델인 것을 특징으로 하는 비지도학습모델 해석 방법.
  4. 제 1항에 의해 생성된 지도학습모델을 이용하여 비지도학습모델을 해석하는 방법에 있어서,
    비지도학습모델에 의해 생성된 군집을 예측하는 지도학습모델을 기초로 데이터를 구성하는 변수들 중 군집에 대한 변수의 영향도 또는 변수의 분류 조건을 포함하는 군집 속성을 파악하는 단계; 및
    상기 군집 속성을 출력하는 단계;를 포함하는 것을 특징으로 하는 비지도학습모델 해석 방법.
  5. 제 4항에 있어서, 상기 군집 속성을 파악하는 단계는,
    상기 N개의 군집 중 어느 하나의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 분할하는 단계;
    상기 제1 그룹과 상기 제2 그룹을 포함하는 학습데이터를 이용하여 의사결정나무모델을 학습시키는 단계;
    상기 의사결정나무모델에서 상기 제1 그룹에 해당하는 적어도 하나 이상의 종단노드를 파악하는 단계;
    상기 의사결정나무모델의 부모노드에서 상기 종단노드에 이르는 경로의 결정노드를 파악하는 단계; 및
    상기 결정노드에 정의된 분기조건을 제시하는 단계;를 포함하는 것을 특징으로 비지도학습모델 해석 방법.
  6. 제 5항에 있어서, 상기 종단노드를 파악하는 단계는,
    데이터 빈도 수를 기준으로 적어도 하나 이상의 종단노드를 선택하는 단계를 포함하는 것을 특징으로 하는 비지도학습모델 해석 방법.
  7. 제 4항에 있어서, 상기 군집 속성을 파악하는 단계는,
    상기 N개의 군집 중 어느 하나의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 분할하는 단계;
    상기 제1 그룹과 상기 제2 그룹을 포함하는 학습데이터를 이용하여 선형모델을 학습시키는 단계; 및
    상기 선형모델에서 각 변수에 대한 계수의 크기를 기초로 군집에 대한 각 변수의 영향도를 제시하는 단계;를 포함하는 것을 특징으로 하는 비지도학습모델 해석 방법.
  8. 비지도학습모델을 이용하여 데이터를 복수 개의 군집으로 그룹화하는 군집화부; 및
    상기 복수 개의 군집 중 어느 하나의 군집을 포함하는 제1 그룹과 나머지 군집을 포함하는 제2 그룹으로 데이터를 구분한 학습데이터를 이용하여 제1 그룹을 예측하는 지도학습모델을 학습시키는 모델생성부;를 포함하는 것을 특징으로 하는 학습모델관리장치.
  9. 제 8항에 있어서,
    상기 지도학습모델을 기초로 상기 데이터를 구성하는 변수들 중 군집에 대한 변수의 영향도 또는 변수의 분류 조건을 포함하는 군집 속성을 파악하는 모델해석부;를 더 포함하는 것을 특징으로 하는 학습모델관리장치.
  10. 제 1항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2020/018784 2020-11-27 2020-12-21 비지도학습방법론에 기인한 지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치 WO2022114363A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200163343A KR102273867B1 (ko) 2020-11-27 2020-11-27 비지도학습방법론에 기인한 지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치
KR10-2020-0163343 2020-11-27

Publications (1)

Publication Number Publication Date
WO2022114363A1 true WO2022114363A1 (ko) 2022-06-02

Family

ID=76860712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018784 WO2022114363A1 (ko) 2020-11-27 2020-12-21 비지도학습방법론에 기인한 지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR102273867B1 (ko)
WO (1) WO2022114363A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102664053B1 (ko) * 2021-10-01 2024-05-09 한국전력공사 기계학습 기반 선로부하 예측모델 해석 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293464A1 (en) * 2017-04-07 2018-10-11 Hrl Laboratories, Llc Method for understanding machine-learning decisions based on camera data
JP2020042330A (ja) * 2018-09-06 2020-03-19 株式会社リコー 情報処理装置、データ分類方法およびプログラム
KR102092684B1 (ko) * 2020-01-23 2020-03-24 주식회사 두두아이티 랜덤 포레스트 기법을 이용한 사이버 보안 훈련 장치 및 방법
KR102158100B1 (ko) * 2019-03-08 2020-09-22 (주)엔키아 이상 감지를 이용한 모니터링 자동화 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293464A1 (en) * 2017-04-07 2018-10-11 Hrl Laboratories, Llc Method for understanding machine-learning decisions based on camera data
JP2020042330A (ja) * 2018-09-06 2020-03-19 株式会社リコー 情報処理装置、データ分類方法およびプログラム
KR102158100B1 (ko) * 2019-03-08 2020-09-22 (주)엔키아 이상 감지를 이용한 모니터링 자동화 방법 및 장치
KR102092684B1 (ko) * 2020-01-23 2020-03-24 주식회사 두두아이티 랜덤 포레스트 기법을 이용한 사이버 보안 훈련 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Master Thesis", 1 February 2020, AJOU UNIVERSITY GRADUATE SCHOOL OF COMPUTER SCIENCE AND ENGINEERING, Korea, article KIM YONG-JUN: "Rule-based Big 5 Personality Analysis Using Unsupervised Learning", pages: 1 - 75, XP055936320 *

Also Published As

Publication number Publication date
KR102273867B1 (ko) 2021-07-06

Similar Documents

Publication Publication Date Title
US8121961B2 (en) Feedback in group based hierarchical temporal memory system
US8195582B2 (en) Supervision based grouping of patterns in hierarchical temporal memory (HTM)
EP3905126A2 (en) Image clustering method and apparatus
CN110781919A (zh) 分类模型训练方法、分类方法、装置及设备
WO2022005091A1 (ko) 골 연령 판독 방법 및 장치
US20210304123A1 (en) System and method for identifying object information in image or video data
WO2021107422A1 (ko) 에너지 사용량 데이터의 비지도 학습 기반 부하 모니터링 방법
WO2018212396A1 (ko) 데이터를 분석하는 방법, 장치 및 컴퓨터 프로그램
Bhattacharya Some Salient Aspects of Machine Learning Research: A Bibliometric Analysis.
CN111523421A (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN112364708B (zh) 基于知识蒸馏与对抗学习的多模态人体动作识别方法
Gorokhovatskyi et al. Explanation of CNN image classifiers with hiding parts
WO2021111540A1 (ja) 評価方法、評価プログラム、および情報処理装置
WO2022114363A1 (ko) 비지도학습방법론에 기인한 지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치
WO2023085717A1 (ko) 클러스터링을 기반으로 하는 레이블링을 수행하기 위한 장치, 이상 탐지를 위한 장치 및 이를 위한 방법
CN117132763A (zh) 电力图像异常检测方法、装置、计算机设备和存储介质
CN112819024A (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
Alam et al. Social media images classification models for real-time disaster response
CN112085281B (zh) 检测业务预测模型安全性的方法及装置
CN115439919B (zh) 模型更新方法、装置、设备、存储介质及程序产品
CN117197568A (zh) 一种基于clip的零样本图像识别方法
Müller et al. Visual Analysis for Hospital Infection Control using a RNN Model.
Debbi Causal explanation of convolutional neural networks
WO2022114364A1 (ko) 비지도학습에서의 사용자의도 반영 방법 및 그 장치
WO2022114600A1 (ko) 의료 영상 기반의 뇌백질 병변 탐지 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20963757

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20963757

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 241023)