WO2021117921A1 - 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치 - Google Patents

다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치 Download PDF

Info

Publication number
WO2021117921A1
WO2021117921A1 PCT/KR2019/017371 KR2019017371W WO2021117921A1 WO 2021117921 A1 WO2021117921 A1 WO 2021117921A1 KR 2019017371 W KR2019017371 W KR 2019017371W WO 2021117921 A1 WO2021117921 A1 WO 2021117921A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
artificial intelligence
layer
model
data
Prior art date
Application number
PCT/KR2019/017371
Other languages
English (en)
French (fr)
Inventor
이정우
배기덕
이종득
엄태영
최영호
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Publication of WO2021117921A1 publication Critical patent/WO2021117921A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to an apparatus and method for evaluating classification inference performance of an artificial intelligence model.
  • the main field of application of the current AI model is to classify signals (images, voices, etc.).
  • This AI model includes several layers of convolutional layers and fully-connected layers.
  • the present invention is to provide an apparatus and method for evaluating classification inference performance of an artificial intelligence model.
  • the evaluation apparatus of the present invention includes: a selection unit for selecting specific data from a pre-classified data set, and inputting the specific data into an artificial intelligence model; an extraction unit for extracting a feature vector output from each layer of the artificial intelligence model to which the specific data is input; and an evaluation unit for evaluating classification inference performance of the artificial intelligence model using the feature vector output for each layer.
  • the evaluation method of the present invention inputs the classified data to each artificial intelligence model, and generates for each layer of the artificial intelligence model by the input data extracted feature vectors, and the classification inference performance of each AI model can be evaluated by calculating the correlation between the feature vectors.
  • a pre-trained model when a pre-trained model is selected, it can be comparatively analyzed which model among several models has better inference performance for the data area of the corresponding field.
  • FIG. 1 is a schematic diagram showing an evaluation device of the present invention.
  • FIG. 2 is a schematic diagram illustrating a first selection mode of a selection unit.
  • FIG. 3 is a schematic diagram illustrating a second selection mode of the selection unit.
  • FIG. 4 is a schematic diagram showing the operation of the extraction unit.
  • FIG. 5 is a schematic diagram illustrating an operation of an evaluation unit.
  • FIG. 6 is a diagram illustrating a computing device according to an embodiment of the present invention.
  • 'and/or' includes a combination of a plurality of listed items or any of a plurality of listed items.
  • 'A or B' may include 'A', 'B', or 'both A and B'.
  • the evaluation apparatus 100 of the present invention may extract a feature vector inferred for each layer in the model from the AI model for classification composed of multiple layers.
  • the main feature 1 of the present invention may be a data input method and a method for evaluating classification inference performance from feature vectors extracted for each layer.
  • the main feature 2 of the present invention may be a method of preprocessing a feature vector and calculating a similarity measurement for classification inference performance evaluation.
  • the transfer learning method may be to extract a feature vector for an inference result of a pre-trained model, and to generate and learn a new several-layer model using the extracted feature vector as an input.
  • extracting a feature vector from a pre-trained model it usually targets the last layer of the model, but it is also possible to extract from the middle layer of the model.
  • data for performance evaluation can be arranged according to a specific rule and then used as input for several artificial intelligence models.
  • classification inference performance between AI models can be evaluated using feature vectors of various dimensions output from each layer in the AI model.
  • the AI model and inner layer with the strongest classification performance can be identified.
  • the evaluation apparatus 100 of the present invention may use only data belonging to the same classification as an input of the AI model.
  • the evaluation apparatus 100 of the present invention may bind data selected from different classifications into one and use it as an input of an AI model.
  • the feature vector can be extracted from both the result of calculation in each layer of the AI model or the output of each layer.
  • classification inference performance can be evaluated using feature vectors output for each layer.
  • a model having a higher degree of similarity between feature vectors extracted from each layer may be defined as having high classification inference performance.
  • a model whose similarity is lower among feature vectors extracted from each layer may be defined as having higher classification inference performance.
  • the evaluation apparatus 100 of the present invention may obtain a cross-correlation for each piece of a feature vector having a uniform length by covering (masking) a window of a specific length. After obtaining all Spearman correlation coefficients for each cross correlation degree, the evaluation apparatus 100 may express classification inference performance as a value obtained by averaging the obtained values. Finally, the evaluation apparatus 100 may generate a table of classification inference performance values for each layer for each AI model and compare them with each other.
  • the evaluation apparatus 100 described above may be implemented by the selection unit 110 , the extraction unit 130 , and the evaluation unit 150 .
  • FIG. 1 is a schematic diagram showing an evaluation apparatus 100 of the present invention.
  • the evaluation apparatus 100 may include a selection unit 110 , an extraction unit 130 , and an evaluation unit 150 .
  • the selection unit 110 may select specific data from the pre-classified data set and input the selected specific data into the artificial intelligence model M.
  • the selection unit 110 may communicate with the database 20 in which the classified data set is recorded.
  • the selection unit 110 may be formed integrally with the database 20 in which the classified data set is recorded.
  • the selector 110 may receive a data set that has been pre-classified from the database 20 .
  • the selection unit 110 may communicate with the model server 40 in which a plurality of artificial intelligence models are stored, and receive a model to be evaluated from the model server 40 .
  • the model server 40 may be provided in the evaluation device 100 .
  • the extraction unit 130 may extract a feature vector output from each layer of the artificial intelligence model to which specific data is input.
  • the evaluation unit 150 may evaluate the classification inference performance of the AI model or the classification inference performance of each layer of the AI model by using the feature vector output for each layer.
  • the selection unit 110 may operate in the first selection mode or the second selection mode.
  • FIG. 2 is a schematic diagram illustrating a first selection mode of the selection unit 110 .
  • the first selection mode may include an operation mode for generating input data of an artificial intelligence model by extracting a plurality of data included in the same classification.
  • the first selection mode may be an operation mode in which a plurality of data is extracted from a specific category selected from among a plurality of classifications and provided as input data of the artificial intelligence model M.
  • the selection unit 110 extracts a plurality of data included in the second classification 2 and provides it as input data of the artificial intelligence model M.
  • the second classification 2 may include various types of data classified in the same way using human resources or already completed models in advance.
  • FIG. 3 is a schematic diagram illustrating a second selection mode of the selection unit 110 .
  • the second selection mode may include an operation mode of generating input data of the artificial intelligence model by collecting data of different classifications.
  • the selection unit 110 may select and extract only one data from each different classification.
  • the selector 110 may generate input data of the artificial intelligence model M by collecting only one selected data for each classification.
  • the input data may be formed in a matrix or vector format required by the artificial intelligence model M.
  • a model inferring a high degree of similarity between feature vectors for a plurality of data belonging to the same classification may be defined as having high classification inference performance.
  • a model that infers a low degree of similarity between feature vectors for a plurality of data belonging to different classifications may be defined as having high classification inference performance.
  • the evaluator 150 may operate in a first evaluation mode for evaluating inference performance for 'high similarity' or a second evaluation mode for evaluating inference performance for 'low similarity'.
  • the selection unit 110 and the evaluation unit 150 may operate in conjunction with each other.
  • the first selection mode and the first evaluation mode may be performed together by a link operation between the selection unit 110 and the evaluation unit 150 .
  • the model M can be naturally evaluated for 'high similarity'.
  • the second selection mode and the second evaluation mode may be performed together by a link operation between the selection unit 110 and the evaluation unit 150 .
  • the evaluation of the model M with respect to 'low similarity' may be naturally performed.
  • Input data generated by the selection unit 110 operating in the second selection mode may be input to the evaluation unit 150 .
  • the evaluation unit 150 may evaluate the inference performance for 'low similarity'.
  • FIG. 4 is a schematic diagram illustrating the operation of the extraction unit 130 .
  • the artificial intelligence model M may perform inference on the input data provided from the selection unit 110 .
  • a feature vector may be output from each layer of the model M.
  • the feature vector output from a specific layer is used as an input for the next layer, so that the calculation can proceed to the final layer.
  • the extractor 130 may extract all the feature vectors generated in each layer.
  • the extractor 130 may extract the feature vector 1st from the first layer.
  • the extractor 130 may extract the feature vector 2nd from the second layer.
  • the extractor 130 may extract the feature vector Nth from the Nth layer.
  • the extractor 130 may provide the feature vector extracted from each layer to the evaluator 150 .
  • FIG. 5 is a schematic diagram illustrating an operation of the evaluation unit 150 .
  • the evaluation unit 150 may use all the feature vectors extracted from each layer by the extraction unit 130 to evaluate the performance of the AI model M.
  • the evaluator 150 may obtain a cross correlation between feature vectors output for each layer.
  • the evaluator 150 may obtain a Spearman correlation coefficient for the cross-correlation degree.
  • the evaluation unit 150 may evaluate the classification inference performance of the artificial intelligence model M using the average value of the Spearman correlation coefficient.
  • the inference performance evaluation performed by the evaluator 150 may be performed through similarity analysis and correlation analysis between feature vectors output from a plurality of layers.
  • the evaluation unit 150 may use windows window1, .., window k so that evaluation is performed regardless of the dimensional difference between the feature vectors.
  • the evaluator 150 may mask a window of a set length on the feature vector output for each layer.
  • the evaluation unit 150 may evaluate the classification inference performance of the AI model by using a cross correlation obtained for each piece of the feature vector of a set length. Since the feature vector fragment is extracted from the area masked by the window, the length (dimension) may be the same as the set length of the window.
  • the evaluator 150 may mask a window having a length equal to or less than the length of the shortest feature vector among the feature vectors output for each layer to each feature vector.
  • the evaluation unit 150 may calculate an evaluation index of classification inference performance of the artificial intelligence model for each piece of each feature vector masked in the window.
  • the evaluation unit 150 may move the window one space at a time.
  • the evaluation unit 150 may calculate an evaluation index whenever the window moves one by one.
  • the evaluator 150 may obtain cross-correlation analysis and Spearman correlation coefficients S-Value 1 , ..., S-Value k for each piece of each feature vector.
  • the evaluation unit 150 may obtain a Spearman correlation coefficient whenever the window moves.
  • the evaluator 150 may obtain a classification inference performance value z of a specific layer by averaging a plurality of Spearman correlation coefficients.
  • the evaluation method of the present invention may be performed by the evaluation apparatus 100 .
  • the classified data when transfer learning is performed using a plurality of previously learned artificial intelligence models, the classified data may be input to each artificial intelligence model.
  • the evaluation method of the present invention may extract a feature vector generated for each layer of the AI model by the corresponding input data.
  • the evaluation method of the present invention can evaluate the classification inference performance of each AI model by calculating the correlation between the feature vectors extracted for each layer.
  • the computing device TN100 of FIG. 6 may be a device (eg, an evaluation device, etc.) described herein.
  • the computing device TN100 may include at least one processor TN110 , a transceiver device TN120 , and a memory TN130 .
  • the computing device TN100 may further include a storage device TN140 , an input interface device TN150 , an output interface device TN160 , and the like.
  • Components included in the computing device TN100 may be connected by a bus TN170 to communicate with each other.
  • the processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140.
  • the processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to an embodiment of the present invention are performed.
  • the processor TN110 may be configured to implement procedures, functions, methods, and the like described in connection with an embodiment of the present invention.
  • the processor TN110 may control each component of the computing device TN100 .
  • Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110 .
  • Each of the memory TN130 and the storage device TN140 may be configured as at least one of a volatile storage medium and a non-volatile storage medium.
  • the memory TN130 may include at least one of a read only memory (ROM) and a random access memory (RAM).
  • the transceiver TN120 may transmit or receive a wired signal or a wireless signal.
  • the transceiver TN120 may be connected to a network to perform communication.
  • the embodiment of the present invention is not implemented only through the apparatus and/or method described so far, and a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded may be implemented. And, such an implementation can be easily implemented by those skilled in the art from the description of the above-described embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)

Abstract

평가 장치가 제공된다. 상기 평가 장치는 기분류된 데이터 세트에서 특정 데이터를 선택하고, 상기 특정 데이터를 인공지능 모델에 입력하는 선택부; 상기 특정 데이터가 입력된 상기 인공지능 모델의 각 계층(layer)에서 출력되는 특징 벡터를 추출하는 추출부; 각 계층마다 출력된 상기 특징 벡터를 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가하는 평가부;를 포함할 수 있다.

Description

다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치
본 발명은 인공지능 모델의 분류 추론 성능을 평가하는 장치 및 방법에 관한 것이다.
현재의 인공지능 모델의 주요 활용 분야는 신호(영상, 음성 등)를 분류(Classification)하는 것이다. 이러한 인공지능 모델은 여러 계층의 컨볼루션(Convolution) 레이어 및 완전 연결(Fully-Connected) 레이어를 포함하고 있다.
인공지능 모델의 레이어가 많을수록(깊을수록) 분류 추론의 성능이 높아지지만, 이를 학습하는데 매우 많은 컴퓨팅 자원과 시간이 필요하다. 근래 여러 연구자에 의해 많은 모델이 개발되었고, 많은 계층으로 구성된 사전 학습된 모델이 공개되고 있다. 이러한 모델은 주로 ImageNet이라고 하는 이미지 분류를 위한 데이터셋을 사용하여 학습되어 있다. 따라서, 다른 분야의 데이터 영역(ImageNet 이외의 이미지들이나 음성 신호 등)에 대해서는 추론 성능이 달라질 수 있다.
다양한 활용 분야 또는 데이터 영역에 인공지능 모델을 적용하는 방법 중의 하나로, 기공개된 사전 학습된 분류 인공지능 모델을 이용하는 전이 학습(Transfer Learning)이 존재한다. 전이 학습을 통해 학습 시간을 줄이고 다른 데이터 영역(Domain)에서도 높은 정확도의 결과를 얻을 수 있도록 시도되고 있다.
본 발명은 인공지능 모델의 분류 추론 성능을 평가하는 장치 및 방법을 제공하기 위한 것이다.
본 발명의 평가 장치는 기분류된 데이터 세트에서 특정 데이터를 선택하고, 상기 특정 데이터를 인공지능 모델에 입력하는 선택부; 상기 특정 데이터가 입력된 상기 인공지능 모델의 각 계층(layer)에서 출력되는 특징 벡터를 추출하는 추출부; 각 계층마다 출력된 상기 특징 벡터를 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가하는 평가부;를 포함할 수 있다.
본 발명의 평가 방법은 사전에 학습된 복수의 인공지능 모델을 이용하여 전이 학습을 수행할 때, 기분류된 데이터를 각 인공지능 모델에 입력하고, 입력 데이터에 의해 인공지능 모델의 각 계층마다 생성된 특징 벡터를 추출하며, 상기 특징 벡터 간의 상관도 계산을 통해 각 인공지능 모델의 분류 추론 성능을 평가할 수 있다.
각종 신호, 데이터를 분류하기 위한 인공지능 모델의 전이 학습을 위해 전이 학습의 기반이 되는 사전 학습된 모델이 선정될 필요가 있다.
본 발명에 따르면, 사전 학습된 모델이 선정될 때, 여러 모델 중 어떤 모델이 해당 분야의 데이터 영역에 대해 더 나은 추론 성능을 갖는지 비교분석될 수 있다.
도 1은 본 발명의 평가 장치를 나타낸 개략도이다.
도 2는 선택부의 제1 선택 모드를 나타낸 개략도이다.
도 3은 선택부의 제2 선택 모드를 나타낸 개략도이다.
도 4는 추출부의 동작을 나타낸 개략도이다.
도 5는 평가부의 동작을 나타낸 개략도이다.
도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
사전에 학습된 여러 인공지능 모델을 이용하여 전이 학습을 수행할 때, 어떤 인공지능 모델이 추론 분류 성능이 높은지를 평가하기 위한 방안이 제안될 수 있다.
본 발명의 평가 장치(100)는 다중 계층(layer)으로 구성된 분류용 인공지능 모델에서 모델 내부의 각 계층별로 추론되는 특징 벡터를 추출할 수 있다.
본 발명의 주요 특징 ①은 데이터 입력 방식과 계층별로 추출된 특징 벡터로부터 분류 추론 성능을 평가하는 방법일 수 있다.
본 발명의 주요 특징 ②는 분류 추론 성능 평가를 위한 특징 벡터의 전처리 및 유사성 측정의 계산 방법일 수 있다.
전이 학습의 방법은, 사전 학습된 모델의 추론 결과에 대한 특징 벡터를 추출하고, 추출된 특징 벡터를 입력으로 하는 새로운 수개 계층의 모델을 생성하여 학습하는 것일 수 있다. 사전 학습된 모델로부터 특징 벡터를 추출할 때는 보통 모델의 최종 끝단 계층을 대상으로 하지만, 모델의 중간 계층에서 추출하는 것 또한 가능하다.
본 발명의 특징 ①에 따르면, 성능 평가를 위한 데이터가 특정한 규칙에 따라 배치된 뒤 여러 인공지능 모델의 입력으로 사용될 수 있다. 특징 ①에 따르면, 인공지능 모델 내의 각 계층에서 출력된 다양한 차원의 특징 벡터(Feature Vector)들을 사용하여 인공지능 모델 간의 분류 추론 성능이 평가될 수 있다. 특징 ①에 따르면, 가장 강한 분류 성능을 갖는 인공지능 모델 및 내부 계층이 파악될 수 있다.
높은 유사도를 갖는지에 대한 추론 성능 평가('높은 유사도' 평가) 시에, 본 발명의 평가 장치(100)는 같은 분류에 속하는 데이터들만을 인공지능 모델의 입력으로 사용할 수 있다.
낮은 유사도를 갖는지에 대한 추론 성능 평가('낮은 유사도' 평가) 시에, 본 발명의 평가 장치(100)는 각기 다른 분류에서 선택된 데이터들을 하나로 묶어 인공지능 모델의 입력으로 사용할 수 있다.
특징 벡터는 인공지능 모델의 각 계층에서 연산된 결과 또는 각 계층의 출력으로부터 모두 추출될 수 있다.
특징 ②에 따르면, 각 계층별로 출력된 특징 벡터를 사용하여 분류 추론 성능이 평가될 수 있다. 학습을 위한 데이터 세트 중 같은 분류에 속한 여러 데이터들이 입력된 경우, 각 계층에서 추출된 특징 벡터 간의 유사도가 더 높게 파악된 모델이 분류 추론 성능이 높은 것으로 정의될 수 있다. 학습을 위한 데이터 세트 중 서로 다른 분류에 속한 데이터들이 입력된 경우, 각 계층에서 추출된 특징 벡터 간에는 유사도가 더 낮게 파악된 모델이 분류 추론 성능이 높은 것으로 정의될 수 있다.
유사도의 평가 방법으로 교차 상관분석(Cross Correlation)이 사용되는 것이 좋다. 인공지능 모델의 각 계층의 크기가 다를 수 있으며, 이에 따라 각 계층으로부터 추출되는 특징 벡터의 크기 또한 다를 수 있다. 따라서, 본 발명의 평가 장치(100)는 특정 길이의 윈도우를 씌워(마스킹) 균일한 길이의 특징 벡터 조각별로 교차 상관도를 구할 수 있다. 평가 장치(100)는 각 교차 상관도들에 대한 스피어만 상관계수(Spearman correlation coefficient)를 모두 구한 후, 구해진 값의 평균을 낸 값으로 분류 추론 성능을 표현할 수 있다. 최종적으로, 평가 장치(100)는 각 인공지능 모델에 대해 각 계층 별로 분류 추론 성능값에 대한 표를 생성하고, 서로 비교할 수 있다.
이상에서 설명된 평가 장치(100)는 선택부(110), 추출부(130), 평가부(150)에 의해 구현될 수 있다.
도 1은 본 발명의 평가 장치(100)를 나타낸 개략도이다.
인공지능 모델의 분류 추론 성능의 평가를 위해, 평가 장치(100)는 선택부(110), 추출부(130), 평가부(150)를 포함할 수 있다.
선택부(110)는 기분류된 데이터 세트에서 특정 데이터를 선택하고, 선택된 특정 데이터를 인공지능 모델 M에 입력할 수 있다. 선택부(110)는 기분류된 데이터 세트가 기록된 데이터베이스(20)와 통신할 수 있다. 또는, 선택부(110)는 기분류된 데이터 세트가 기록된 데이터베이스(20)와 일체로 형성될 수 있다. 선택부(110)는 데이터베이스(20)로부터 기분류된 데이터 세트를 수신할 수 있다.
선택부(110)는 복수의 인공지능 모델이 저장된 모델 서버(40)와 통신하고, 모델 서버(40)로부터 평가 대상이 되는 모델을 제공받을 수 있다. 모델 서버(40)는 평가 장치(100)에 마련되어도 무방하다.
추출부(130)는 특정 데이터가 입력된 인공지능 모델의 각 계층(layer)에서 출력되는 특징 벡터를 추출할 수 있다.
평가부(150)는 각 계층마다 출력된 특징 벡터를 이용해서 인공지능 모델의 분류 추론 성능을 평가하거나 인공지능 모델의 계층별 분류 추론 성능을 평가할 수 있다.
선택부(110)는 제1 선택 모드 또는 제2 선택 모드로 동작할 수 있다.
도 2는 선택부(110)의 제1 선택 모드를 나타낸 개략도이다.
제1 선택 모드는 동일 분류에 포함된 데이터를 복수개 추출해서 인공지능 모델의 입력 데이터를 생성하는 동작 모드를 포함할 수 있다.
도 2를 살펴보면, 분류 1, 2, 3,..., N이 존재하고 있다. 제1 선택모드는 복수의 분류 중 선택된 특정 분류 내에서 복수개의 데이터를 추출해서 인공지능 모델 M의 입력 데이터로 제공하는 동작 모드일 수 있다.
일 예로, 도 2에 선택부(110)는 제2 분류 2에 포함된 복수개의 데이터를 추출해서 인공지능 모델 M의 입력 데이터로 제공하고 있다. 제2 분류 2는 사전에 인적 자원 또는 이미 완성된 모델을 이용해 동일하게 분류된 각종 데이터를 포함할 수 있다.
도 3은 선택부(110)의 제2 선택 모드를 나타낸 개략도이다.
제2 선택 모드는 서로 다른 분류의 데이터를 취합해서 인공지능 모델의 입력 데이터를 생성하는 동작 모드를 포함할 수 있다.
도 3을 살펴보면, 제2 선택 모드에서 선택부(110)는 서로 다른 각 분류에서 데이터를 하나씩만 선택하고 추출할 수 있다. 선택부(110)는 각 분류별로 하나씩만 선택한 데이터를 취합해서 인공지능 모델 M의 입력 데이터를 생성할 수 있다. 이때, 입력 데이터는 인공지능 모델 M에서 요구하는 행렬 또는 벡터 형식 등으로 형성될 수 있다.
동일 분류에 속한 복수의 데이터에 대한 특징 벡터 간의 유사도를 높게 추론한 모델을 분류 추론 성능이 높은 것으로 정의할 수 있다. 서로 다른 분류에 속한 복수의 데이터에 대한 특징 벡터 간의 유사도를 낮게 추론한 모델을 분류 추론 성능이 높은 것으로 정의할 수 있다.
평가부(150)는 '높은 유사도'에 대한 추론 성능을 평가하는 제1 평가 모드 또는 '낮은 유사도'에 대한 추론 성능을 평가하는 제2 평가 모드로 동작할 수 있다.
선택부(110)와 평가부(150)는 서로 연계해서 동작할 수 있다.
일 예로, 선택부(110)와 평가부(150)의 연계 동작에 의해 제1 선택 모드와 제1 평가 모드가 함께 수행될 수 있다. 이 경우, 제1 선택 모드 또는 제1 평가 모드가 실행되면, 자연스럽게 '높은 유사도'에 대한 모델 M의 평가가 이루어질 수 있다
일 예로, 선택부(110)와 평가부(150)의 연계 동작에 의해 제2 선택 모드와 제2 평가 모드가 함께 수행될 수 있다. 이 경우, 제2 선택 모드 또는 제2 평가 모드가 실행되면, 자연스럽게 '낮은 유사도'에 대한 모델 M의 평가가 이루어질 수 있다.
제2 선택 모드로 동작한 선택부(110)에 의해 생성된 입력 데이터는 평가부(150)로 입력될 수 있다. 해당 평가부(150)는 '낮은 유사도'에 대한 추론 성능을 평가할 수 있다.
도 4는 추출부(130)의 동작을 나타낸 개략도이다.
선택부(110)로부터 제공된 입력 데이터에 대해 인공지능 모델 M은 추론을 수행할 수 있다. 추론의 수행 과정에서 모델 M의 각 계층(layer)에서 특징 벡터가 출력될 수 있다. 특정 계층에서 출력된 특징 벡터는 다음 계층의 입력으로 사용되는 방식으로 최종 계층까지 계산이 진행될 수 있다.
추출부(130)는 각 계층에서 생성된 특징 벡터를 모두 추출할 수 있다.
일 예로, 추출부(130)는 제1 계층에서 특징 벡터 1st를 추출할 수 있다. 추출부(130)는 제2 계층에서 특징 벡터 2nd를 추출할 수 있다. 추출부(130)는 제N 게층에서 특징 벡터 Nth를 추출할 수 있다. 추출부(130)는 각 계층에서 추출한 특징 벡터를 평가부(150)에 제공할 수 있다.
도 5는 평가부(150)의 동작을 나타낸 개략도이다.
평가부(150)는 추출부(130)에 의해 각 계층으로부터 추출된 모든 특징 벡터를 인공지능 모델 M의 성능 평가에 사용할 수 있다.
일 예로, 평가부(150)는 각 계층마다 출력된 특징 벡터(Feature Vector) 간의 교차 상관도(Cross Correlation)을 구할 수 있다.
평가부(150)는 교차 상관도에 대한 스피어만 상관 계수(Spearman correlation coefficient)를 구할 수 있다.
평가부(150)는 스피어만 상관 계수의 평균값을 이용해서 인공지능 모델 M의 분류 추론 성능을 평가할 수 있다.
평가부(150)에 의해 이루어지는 추론 성능 평가는 복수의 계층으로부터 출력된 특징 벡터 간의 유사도 분석, 상관 관계 분석을 통해 이루어질 수 있다.
그런데, 계층별로 추출되는 특징 벡터의 차원(크기)이 서로 다를 수 있다. 특징 벡터의 차원 차이에 상관없이 평가가 수행되도록, 평가부(150)는 윈도우 window1,.., window k를 사용할 수 있다.
평가부(150)는 각 계층마다 출력된 특징 벡터에 설정 길이의 윈도우를 마스킹할 수 있다. 평가부(150)는 설정 길이의 특징 벡터 조각별로 구한 교차 상관도(Cross Correlation)를 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가할 수 있다. 특징 벡터 조각은 윈도우에 의해 마스킹된 영역에서 추출된 것이므로, 그 길이(차원)는 윈도우의 설정 길이와 동일할 수 있다.
일 예로, 평가부(150)는 각 계층마다 출력된 특징 벡터 중에서 가장 짧은 특징 벡터의 길이 이하의 길이를 갖는 윈도우를 각 특징 벡터에 마스킹할 수 있다.
평가부(150)는 윈도우에 마스킹된 각 특징 벡터의 조각별로 인공 지능 모델의 분류 추론 성능의 평가 지표를 산출할 수 있다.
평가부(150)는 윈도우의 현재 마스킹 위치에 대한 평가 지표가 산출되면, 윈도우를 한칸씩 움직일 수 있다.
평가부(150)는 윈도우가 한칸씩 움직일 때마다 평가 지표를 산출할 수 있다.
예를 들어, 평가부(150)는 각 특징 벡터의 조각별로 교차 상관 분석 및 스피어만 상관 계수 S-Value1,..., S-Valuek를 구할 수 있다. 평가부(150)는 윈도우가 움직일 때마다 스피어만 상관 계수를 구할 수 있다. 평가부(150)는 복수의 스피어만 상관 계수를 평균(Mean)하여 특정 계층의 분류 추론 성능값 z를 구할 수 있다.
본 발명의 평가 방법은 평가 장치(100)에 의해 수행될 수 있다.
본 발명의 평가 방법은 사전에 학습된 복수의 인공지능 모델을 이용하여 전이 학습을 수행할 때, 기분류된 데이터를 각 인공지능 모델에 입력할 수 있다. 본 발명의 평가 방법은 해당 입력 데이터에 의해 인공지능 모델의 각 계층마다 생성된 특징 벡터를 추출할 수 있다. 본 발명의 평가 방법은 각 계층마다 추출된 특징 벡터 간의 상관도 계산을 통해 각 인공지능 모델의 분류 추론 성능을 평가할 수 있다.
도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 6의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 평가 장치 등) 일 수 있다.
도 6의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

  1. 기분류된 데이터 세트에서 특정 데이터를 선택하고, 상기 특정 데이터를 인공지능 모델에 입력하는 선택부;
    상기 특정 데이터가 입력된 상기 인공지능 모델의 각 계층(layer)에서 출력되는 특징 벡터를 추출하는 추출부;
    각 계층마다 출력된 상기 특징 벡터를 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가하거나 상기 인공지능 모델의 계층별 분류 추론 성능을 평가하는 평가부;
    를 포함하는 평가 장치.
  2. 제1항에 있어서,
    상기 선택부는 제1 선택 모드 또는 제2 선택 모드로 동작하고,
    상기 제1 선택 모드는 동일 분류에 포함된 데이터를 복수개 추출해서 상기 인공지능 모델의 입력 데이터를 생성하는 동작 모드이며,
    상기 제2 선택 모드는 서로 다른 분류의 데이터를 취합해서 상기 인공지능 모델의 입력 데이터를 생성하는 동작 모드이고,
    상기 평가부는 '높은 유사도'에 대한 추론 성능을 평가하는 제1 평가 모드 또는 '낮은 유사도'에 대한 추론 성능을 평가하는 제2 평가 모드로 동작하며,
    상기 선택부와 상기 평가부는 서로 연계해서 동작하고,
    상기 선택부와 상기 평가부의 연계 동작에 의해 상기 제1 선택 모드와 상기 제1 평가 모드가 함께 수행되며,
    상기 선택부와 상기 평가부의 연계 동작에 의해 상기 제2 선택 모드와 상기 제2 평가 모드가 함께 수행되는 평가 장치.
  3. 제1항에 있어서,
    상기 선택부는 서로 다른 각 분류에서 데이터를 하나씩만 선택하고,
    상기 선택부는 각 분류별로 하나씩만 선택한 데이터를 취합해서 상기 인공지능 모델의 입력 데이터를 생성하며,
    상기 입력 데이터가 입력된 상기 평가부는 '낮은 유사도'에 대한 추론 성능을 평가하는 평가 장치.
  4. 제1항에 있어서,
    상기 평가부는 각 계층마다 출력된 상기 특징 벡터 간의 교차 상관도(Cross Correlation)를 구하고,
    상기 평가부는 상기 교차 상관도에 대한 스피어만 상관 계수(Spearman correlation coefficient)를 구하며,
    상기 평가부는 상기 스피어만 상관 계수의 평균값을 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가하는 평가 장치.
  5. 제1항에 있어서,
    상기 평가부는 각 계층마다 출력된 상기 특징 벡터에 설정 길이의 윈도우를 마스킹하고, 상기 설정 길이의 특징 벡터 조각별로 구한 교차 상관도(Cross Correlation)를 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가하는 평가 장치.
  6. 제1항에 있어서,
    상기 평가부는 각 계층마다 출력된 상기 특징 벡터 중에서 가장 짧은 특징 벡터의 길이 이하의 길이를 갖는 윈도우를 각 특징 벡터에 마스킹하고,
    상기 평가부는 상기 윈도우에 마스킹된 각 특징 벡터의 조각별로 상기 인공지능 모델의 분류 추론 성능의 평가 지표를 산출하며,
    상기 평가부는 상기 윈도우의 현재 마스킹 위치에 대해 상기 평가 지표가 산출되면, 상기 윈도우를 한칸씩 움직이고,
    상기 평가부는 상기 윈도우가 한칸씩 움직일 때마다 상기 평가 지표를 산출하는 평가 장치.
  7. 제6항에 있어서,
    상기 평가부는 각 특징 벡터의 조각별로 교차 상관 분석 및 스피어만 상관 계수를 구하고,
    상기 평가부는 상기 윈도우가 움직일 때마다 상기 스피어만 상관 계수를 구하며,
    상기 평가부는 복수의 스피어만 상관 계수를 평균하여 특정 계층의 분류 추론 성능값을 구하는 평가 장치.
  8. 평가 장치에 의해 수행되는 평가 방법에 있어서,
    사전에 학습된 복수의 인공지능 모델을 이용하여 전이 학습을 수행할 때, 기분류된 데이터를 각 인공지능 모델에 입력하고, 입력 데이터에 의해 인공지능 모델의 각 계층마다 생성된 특징 벡터를 추출하며, 상기 특징 벡터 간의 상관도 계산을 통해 각 인공지능 모델의 분류 추론 성능을 평가하는 평가 방법.
PCT/KR2019/017371 2019-12-09 2019-12-10 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치 WO2021117921A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190162872A KR102235588B1 (ko) 2019-12-09 2019-12-09 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치
KR10-2019-0162872 2019-12-09

Publications (1)

Publication Number Publication Date
WO2021117921A1 true WO2021117921A1 (ko) 2021-06-17

Family

ID=75466391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/017371 WO2021117921A1 (ko) 2019-12-09 2019-12-10 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치

Country Status (2)

Country Link
KR (1) KR102235588B1 (ko)
WO (1) WO2021117921A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310335A1 (en) * 2014-04-29 2015-10-29 International Business Machines Corporation Determining a performance prediction model for a target data analytics application
US20160078358A1 (en) * 2014-09-16 2016-03-17 Trooly Inc. Determining trustworthiness and compatibility of a person
WO2017055878A1 (en) * 2015-10-02 2017-04-06 Tractable Ltd. Semi-automatic labelling of datasets
WO2017134554A1 (en) * 2016-02-05 2017-08-10 International Business Machines Corporation Efficient determination of optimized learning settings of neural networks
KR20190086134A (ko) * 2018-01-12 2019-07-22 세종대학교산학협력단 인공 신경망을 구성하는 복수의 학습 모델 중 최적 학습 모델 선택 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9450978B2 (en) * 2014-01-06 2016-09-20 Cisco Technology, Inc. Hierarchical event detection in a computer network
DE112015002433T5 (de) * 2014-05-23 2017-03-23 Datarobot Systeme und Techniken zur prädikativen Datenanalytik
WO2018075995A1 (en) * 2016-10-21 2018-04-26 DataRobot, Inc. Systems for predictive data analytics, and related methods and apparatus
KR101880547B1 (ko) 2017-03-06 2018-07-20 서강대학교산학협력단 유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법
US11436496B2 (en) * 2018-04-20 2022-09-06 Google Llc Systems and methods for regularizing neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310335A1 (en) * 2014-04-29 2015-10-29 International Business Machines Corporation Determining a performance prediction model for a target data analytics application
US20160078358A1 (en) * 2014-09-16 2016-03-17 Trooly Inc. Determining trustworthiness and compatibility of a person
WO2017055878A1 (en) * 2015-10-02 2017-04-06 Tractable Ltd. Semi-automatic labelling of datasets
WO2017134554A1 (en) * 2016-02-05 2017-08-10 International Business Machines Corporation Efficient determination of optimized learning settings of neural networks
KR20190086134A (ko) * 2018-01-12 2019-07-22 세종대학교산학협력단 인공 신경망을 구성하는 복수의 학습 모델 중 최적 학습 모델 선택 방법 및 장치

Also Published As

Publication number Publication date
KR102235588B1 (ko) 2021-04-02

Similar Documents

Publication Publication Date Title
WO2020122456A1 (ko) 이미지와 텍스트간 유사도 매칭 시스템 및 방법
WO2018217019A1 (ko) 신경망 학습 기반의 변종 악성 코드를 탐지하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
WO2018212494A1 (ko) 객체를 식별하는 방법 및 디바이스
Feyerabend On the" meaning" of scientific terms
WO2019098414A1 (ko) 약한 지도 학습에 기초한 뉴럴 네트워크의 계층적 학습 방법 및 장치
WO2019004671A1 (ko) 인공지능 기반 악성코드 검출 시스템 및 방법
WO2019172498A1 (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
WO2020071877A1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
WO2019098418A1 (ko) 뉴럴 네트워크 학습 방법 및 디바이스
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
WO2022163996A1 (ko) 자기주의 기반 심층 신경망 모델을 이용한 약물-표적 상호작용 예측 장치 및 그 방법
WO2021107422A1 (ko) 에너지 사용량 데이터의 비지도 학습 기반 부하 모니터링 방법
WO2020192523A1 (zh) 译文质量检测方法、装置、机器翻译系统和存储介质
CN113313241A (zh) 确定深度学习模型的张量信息的方法和计算装置
WO2022139325A1 (ko) 과적합 없는 단일 신경망 기반 다중 도메인 적응 학습을 위한 컴퓨터 시스템, 및 그의 방법
WO2021091096A1 (ko) 공정성 분류 네트워크를 이용한 시각 질의 응답 방법 및 장치
WO2014092265A1 (ko) 문법 오류 정정 시스템 및 이를 이용한 문법 오류 정정 방법
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
WO2021117921A1 (ko) 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치
WO2020209487A1 (ko) 인공 신경망 기반의 장소 인식 장치 및 이의 학습 장치
WO2024111730A1 (ko) Ai 기반 객체 재인식 장치 및 이를 위한 방법
WO2023033194A1 (ko) 가지치기 기반 심층 신경망 경량화에 특화된 지식 증류 방법 및 시스템
WO2023106870A1 (ko) Cmp를 이용한 재구조화된 합성곱 신경망 시스템 및 그 동작 방법
WO2024101466A1 (ko) 속성 기반 실종자 추적 장치 및 방법
WO2022260392A1 (ko) 단말에서 동작하는 이미지 프로세싱 인공 신경망 모델 생성 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19956117

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19956117

Country of ref document: EP

Kind code of ref document: A1