KR102235588B1 - 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치 - Google Patents

다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치 Download PDF

Info

Publication number
KR102235588B1
KR102235588B1 KR1020190162872A KR20190162872A KR102235588B1 KR 102235588 B1 KR102235588 B1 KR 102235588B1 KR 1020190162872 A KR1020190162872 A KR 1020190162872A KR 20190162872 A KR20190162872 A KR 20190162872A KR 102235588 B1 KR102235588 B1 KR 102235588B1
Authority
KR
South Korea
Prior art keywords
evaluation
artificial intelligence
intelligence model
layer
unit
Prior art date
Application number
KR1020190162872A
Other languages
English (en)
Inventor
이정우
배기덕
이종득
엄태영
최영호
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to KR1020190162872A priority Critical patent/KR102235588B1/ko
Priority to PCT/KR2019/017371 priority patent/WO2021117921A1/ko
Application granted granted Critical
Publication of KR102235588B1 publication Critical patent/KR102235588B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)

Abstract

평가 장치가 제공된다. 상기 평가 장치는 기분류된 데이터 세트에서 특정 데이터를 선택하고, 상기 특정 데이터를 인공지능 모델에 입력하는 선택부; 상기 특정 데이터가 입력된 상기 인공지능 모델의 각 계층(layer)에서 출력되는 특징 벡터를 추출하는 추출부; 각 계층마다 출력된 상기 특징 벡터를 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가하는 평가부;를 포함할 수 있다.

Description

다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치{APPARATUS AND METHOD OF THE INFERENCE CLASSIFICATION PERFORMANCE EVALUATION FOR EACH LAYER OF ARTIFICIAL INTELLIGENCE MODEL COMPOSED OF MULTIPLE LAYERS}
본 발명은 인공지능 모델의 분류 추론 성능을 평가하는 장치 및 방법에 관한 것이다.
현재의 인공지능 모델의 주요 활용 분야는 신호(영상, 음성 등)를 분류(Classification)하는 것이다. 이러한 인공지능 모델은 여러 계층의 컨볼루션(Convolution) 레이어 및 완전 연결(Fully-Connected) 레이어를 포함하고 있다.
인공지능 모델의 레이어가 많을수록(깊을수록) 분류 추론의 성능이 높아지지만, 이를 학습하는데 매우 많은 컴퓨팅 자원과 시간이 필요하다. 근래 여러 연구자에 의해 많은 모델이 개발되었고, 많은 계층으로 구성된 사전 학습된 모델이 공개되고 있다. 이러한 모델은 주로 ImageNet이라고 하는 이미지 분류를 위한 데이터셋을 사용하여 학습되어 있다. 따라서, 다른 분야의 데이터 영역(ImageNet 이외의 이미지들이나 음성 신호 등)에 대해서는 추론 성능이 달라질 수 있다.
다양한 활용 분야 또는 데이터 영역에 인공지능 모델을 적용하는 방법 중의 하나로, 기공개된 사전 학습된 분류 인공지능 모델을 이용하는 전이 학습(Transfer Learning)이 존재한다. 전이 학습을 통해 학습 시간을 줄이고 다른 데이터 영역(Domain)에서도 높은 정확도의 결과를 얻을 수 있도록 시도되고 있다.
한국등록특허공보 제1880547호에는 유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법이 나타나 있다.
한국등록특허공보 제1880547호
본 발명은 인공지능 모델의 분류 추론 성능을 평가하는 장치 및 방법을 제공하기 위한 것이다.
본 발명의 평가 장치는 기분류된 데이터 세트에서 특정 데이터를 선택하고, 상기 특정 데이터를 인공지능 모델에 입력하는 선택부; 상기 특정 데이터가 입력된 상기 인공지능 모델의 각 계층(layer)에서 출력되는 특징 벡터를 추출하는 추출부; 각 계층마다 출력된 상기 특징 벡터를 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가하는 평가부;를 포함할 수 있다.
본 발명의 평가 방법은 사전에 학습된 복수의 인공지능 모델을 이용하여 전이 학습을 수행할 때, 기분류된 데이터를 각 인공지능 모델에 입력하고, 입력 데이터에 의해 인공지능 모델의 각 계층마다 생성된 특징 벡터를 추출하며, 상기 특징 벡터 간의 상관도 계산을 통해 각 인공지능 모델의 분류 추론 성능을 평가할 수 있다.
각종 신호, 데이터를 분류하기 위한 인공지능 모델의 전이 학습을 위해 전이 학습의 기반이 되는 사전 학습된 모델이 선정될 필요가 있다.
본 발명에 따르면, 사전 학습된 모델이 선정될 때, 여러 모델 중 어떤 모델이 해당 분야의 데이터 영역에 대해 더 나은 추론 성능을 갖는지 비교분석될 수 있다.
도 1은 본 발명의 평가 장치를 나타낸 개략도이다.
도 2는 선택부의 제1 선택 모드를 나타낸 개략도이다.
도 3은 선택부의 제2 선택 모드를 나타낸 개략도이다.
도 4는 추출부의 동작을 나타낸 개략도이다.
도 5는 평가부의 동작을 나타낸 개략도이다.
도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
사전에 학습된 여러 인공지능 모델을 이용하여 전이 학습을 수행할 때, 어떤 인공지능 모델이 추론 분류 성능이 높은지를 평가하기 위한 방안이 제안될 수 있다.
본 발명의 평가 장치(100)는 다중 계층(layer)으로 구성된 분류용 인공지능 모델에서 모델 내부의 각 계층별로 추론되는 특징 벡터를 추출할 수 있다.
본 발명의 주요 특징 ①은 데이터 입력 방식과 계층별로 추출된 특징 벡터로부터 분류 추론 성능을 평가하는 방법일 수 있다.
본 발명의 주요 특징 ②는 분류 추론 성능 평가를 위한 특징 벡터의 전처리 및 유사성 측정의 계산 방법일 수 있다.
전이 학습의 방법은, 사전 학습된 모델의 추론 결과에 대한 특징 벡터를 추출하고, 추출된 특징 벡터를 입력으로 하는 새로운 수개 계층의 모델을 생성하여 학습하는 것일 수 있다. 사전 학습된 모델로부터 특징 벡터를 추출할 때는 보통 모델의 최종 끝단 계층을 대상으로 하지만, 모델의 중간 계층에서 추출하는 것 또한 가능하다.
본 발명의 특징 ①에 따르면, 성능 평가를 위한 데이터가 특정한 규칙에 따라 배치된 뒤 여러 인공지능 모델의 입력으로 사용될 수 있다. 특징 ①에 따르면, 인공지능 모델 내의 각 계층에서 출력된 다양한 차원의 특징 벡터(Feature Vector)들을 사용하여 인공지능 모델 간의 분류 추론 성능이 평가될 수 있다. 특징 ①에 따르면, 가장 강한 분류 성능을 갖는 인공지능 모델 및 내부 계층이 파악될 수 있다.
높은 유사도를 갖는지에 대한 추론 성능 평가('높은 유사도' 평가) 시에, 본 발명의 평가 장치(100)는 같은 분류에 속하는 데이터들만을 인공지능 모델의 입력으로 사용할 수 있다.
낮은 유사도를 갖는지에 대한 추론 성능 평가('낮은 유사도' 평가) 시에, 본 발명의 평가 장치(100)는 각기 다른 분류에서 선택된 데이터들을 하나로 묶어 인공지능 모델의 입력으로 사용할 수 있다.
특징 벡터는 인공지능 모델의 각 계층에서 연산된 결과 또는 각 계층의 출력으로부터 모두 추출될 수 있다.
특징 ②에 따르면, 각 계층별로 출력된 특징 벡터를 사용하여 분류 추론 성능이 평가될 수 있다. 학습을 위한 데이터 세트 중 같은 분류에 속한 여러 데이터들이 입력된 경우, 각 계층에서 추출된 특징 벡터 간의 유사도가 더 높게 파악된 모델이 분류 추론 성능이 높은 것으로 정의될 수 있다. 학습을 위한 데이터 세트 중 서로 다른 분류에 속한 데이터들이 입력된 경우, 각 계층에서 추출된 특징 벡터 간에는 유사도가 더 낮게 파악된 모델이 분류 추론 성능이 높은 것으로 정의될 수 있다.
유사도의 평가 방법으로 교차 상관분석(Cross Correlation)이 사용되는 것이 좋다. 인공지능 모델의 각 계층의 크기가 다를 수 있으며, 이에 따라 각 계층으로부터 추출되는 특징 벡터의 크기 또한 다를 수 있다. 따라서, 본 발명의 평가 장치(100)는 특정 길이의 윈도우를 씌워(마스킹) 균일한 길이의 특징 벡터 조각별로 교차 상관도를 구할 수 있다. 평가 장치(100)는 각 교차 상관도들에 대한 스피어만 상관계수(Spearman correlation coefficient)를 모두 구한 후, 구해진 값의 평균을 낸 값으로 분류 추론 성능을 표현할 수 있다. 최종적으로, 평가 장치(100)는 각 인공지능 모델에 대해 각 계층 별로 분류 추론 성능값에 대한 표를 생성하고, 서로 비교할 수 있다.
이상에서 설명된 평가 장치(100)는 선택부(110), 추출부(130), 평가부(150)에 의해 구현될 수 있다.
도 1은 본 발명의 평가 장치(100)를 나타낸 개략도이다.
인공지능 모델의 분류 추론 성능의 평가를 위해, 평가 장치(100)는 선택부(110), 추출부(130), 평가부(150)를 포함할 수 있다.
선택부(110)는 기분류된 데이터 세트에서 특정 데이터를 선택하고, 선택된 특정 데이터를 인공지능 모델 M에 입력할 수 있다. 선택부(110)는 기분류된 데이터 세트가 기록된 데이터베이스(20)와 통신할 수 있다. 또는, 선택부(110)는 기분류된 데이터 세트가 기록된 데이터베이스(20)와 일체로 형성될 수 있다. 선택부(110)는 데이터베이스(20)로부터 기분류된 데이터 세트를 수신할 수 있다.
선택부(110)는 복수의 인공지능 모델이 저장된 모델 서버(40)와 통신하고, 모델 서버(40)로부터 평가 대상이 되는 모델을 제공받을 수 있다. 모델 서버(40)는 평가 장치(100)에 마련되어도 무방하다.
추출부(130)는 특정 데이터가 입력된 인공지능 모델의 각 계층(layer)에서 출력되는 특징 벡터를 추출할 수 있다.
평가부(150)는 각 계층마다 출력된 특징 벡터를 이용해서 인공지능 모델의 분류 추론 성능을 평가하거나 인공지능 모델의 계층별 분류 추론 성능을 평가할 수 있다.
선택부(110)는 제1 선택 모드 또는 제2 선택 모드로 동작할 수 있다.
도 2는 선택부(110)의 제1 선택 모드를 나타낸 개략도이다.
제1 선택 모드는 동일 분류에 포함된 데이터를 복수개 추출해서 인공지능 모델의 입력 데이터를 생성하는 동작 모드를 포함할 수 있다.
도 2를 살펴보면, 분류 1, 2, 3,..., N이 존재하고 있다. 제1 선택모드는 복수의 분류 중 선택된 특정 분류 내에서 복수개의 데이터를 추출해서 인공지능 모델 M의 입력 데이터로 제공하는 동작 모드일 수 있다.
일 예로, 도 2에 선택부(110)는 제2 분류 2에 포함된 복수개의 데이터를 추출해서 인공지능 모델 M의 입력 데이터로 제공하고 있다. 제2 분류 2는 사전에 인적 자원 또는 이미 완성된 모델을 이용해 동일하게 분류된 각종 데이터를 포함할 수 있다.
도 3은 선택부(110)의 제2 선택 모드를 나타낸 개략도이다.
제2 선택 모드는 서로 다른 분류의 데이터를 취합해서 인공지능 모델의 입력 데이터를 생성하는 동작 모드를 포함할 수 있다.
도 3을 살펴보면, 제2 선택 모드에서 선택부(110)는 서로 다른 각 분류에서 데이터를 하나씩만 선택하고 추출할 수 있다. 선택부(110)는 각 분류별로 하나씩만 선택한 데이터를 취합해서 인공지능 모델 M의 입력 데이터를 생성할 수 있다. 이때, 입력 데이터는 인공지능 모델 M에서 요구하는 행렬 또는 벡터 형식 등으로 형성될 수 있다.
동일 분류에 속한 복수의 데이터에 대한 특징 벡터 간의 유사도를 높게 추론한 모델을 분류 추론 성능이 높은 것으로 정의할 수 있다. 서로 다른 분류에 속한 복수의 데이터에 대한 특징 벡터 간의 유사도를 낮게 추론한 모델을 분류 추론 성능이 높은 것으로 정의할 수 있다.
평가부(150)는 '높은 유사도'에 대한 추론 성능을 평가하는 제1 평가 모드 또는 '낮은 유사도'에 대한 추론 성능을 평가하는 제2 평가 모드로 동작할 수 있다.
선택부(110)와 평가부(150)는 서로 연계해서 동작할 수 있다.
일 예로, 선택부(110)와 평가부(150)의 연계 동작에 의해 제1 선택 모드와 제1 평가 모드가 함께 수행될 수 있다. 이 경우, 제1 선택 모드 또는 제1 평가 모드가 실행되면, 자연스럽게 '높은 유사도'에 대한 모델 M의 평가가 이루어질 수 있다
일 예로, 선택부(110)와 평가부(150)의 연계 동작에 의해 제2 선택 모드와 제2 평가 모드가 함께 수행될 수 있다. 이 경우, 제2 선택 모드 또는 제2 평가 모드가 실행되면, 자연스럽게 '낮은 유사도'에 대한 모델 M의 평가가 이루어질 수 있다.
제2 선택 모드로 동작한 선택부(110)에 의해 생성된 입력 데이터는 평가부(150)로 입력될 수 있다. 해당 평가부(150)는 '낮은 유사도'에 대한 추론 성능을 평가할 수 있다.
도 4는 추출부(130)의 동작을 나타낸 개략도이다.
선택부(110)로부터 제공된 입력 데이터에 대해 인공지능 모델 M은 추론을 수행할 수 있다. 추론의 수행 과정에서 모델 M의 각 계층(layer)에서 특징 벡터가 출력될 수 있다. 특정 계층에서 출력된 특징 벡터는 다음 계층의 입력으로 사용되는 방식으로 최종 계층까지 계산이 진행될 수 있다.
추출부(130)는 각 계층에서 생성된 특징 벡터를 모두 추출할 수 있다.
일 예로, 추출부(130)는 제1 계층에서 특징 벡터 1st를 추출할 수 있다. 추출부(130)는 제2 계층에서 특징 벡터 2nd를 추출할 수 있다. 추출부(130)는 제N 게층에서 특징 벡터 Nth를 추출할 수 있다. 추출부(130)는 각 계층에서 추출한 특징 벡터를 평가부(150)에 제공할 수 있다.
도 5는 평가부(150)의 동작을 나타낸 개략도이다.
평가부(150)는 추출부(130)에 의해 각 계층으로부터 추출된 모든 특징 벡터를 인공지능 모델 M의 성능 평가에 사용할 수 있다.
일 예로, 평가부(150)는 각 계층마다 출력된 특징 벡터(Feature Vector) 간의 교차 상관도(Cross Correlation)을 구할 수 있다.
평가부(150)는 교차 상관도에 대한 스피어만 상관 계수(Spearman correlation coefficient)를 구할 수 있다.
평가부(150)는 스피어만 상관 계수의 평균값을 이용해서 인공지능 모델 M의 분류 추론 성능을 평가할 수 있다.
평가부(150)에 의해 이루어지는 추론 성능 평가는 복수의 계층으로부터 출력된 특징 벡터 간의 유사도 분석, 상관 관계 분석을 통해 이루어질 수 있다.
그런데, 계층별로 추출되는 특징 벡터의 차원(크기)이 서로 다를 수 있다. 특징 벡터의 차원 차이에 상관없이 평가가 수행되도록, 평가부(150)는 윈도우 window1,.., window k를 사용할 수 있다.
평가부(150)는 각 계층마다 출력된 특징 벡터에 설정 길이의 윈도우를 마스킹할 수 있다. 평가부(150)는 설정 길이의 특징 벡터 조각별로 구한 교차 상관도(Cross Correlation)를 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가할 수 있다. 특징 벡터 조각은 윈도우에 의해 마스킹된 영역에서 추출된 것이므로, 그 길이(차원)는 윈도우의 설정 길이와 동일할 수 있다.
일 예로, 평가부(150)는 각 계층마다 출력된 특징 벡터 중에서 가장 짧은 특징 벡터의 길이 이하의 길이를 갖는 윈도우를 각 특징 벡터에 마스킹할 수 있다.
평가부(150)는 윈도우에 마스킹된 각 특징 벡터의 조각별로 인공 지능 모델의 분류 추론 성능의 평가 지표를 산출할 수 있다.
평가부(150)는 윈도우의 현재 마스킹 위치에 대한 평가 지표가 산출되면, 윈도우를 한칸씩 움직일 수 있다.
평가부(150)는 윈도우가 한칸씩 움직일 때마다 평가 지표를 산출할 수 있다.
예를 들어, 평가부(150)는 각 특징 벡터의 조각별로 교차 상관 분석 및 스피어만 상관 계수 S-Value1,..., S-Valuek를 구할 수 있다. 평가부(150)는 윈도우가 움직일 때마다 스피어만 상관 계수를 구할 수 있다. 평가부(150)는 복수의 스피어만 상관 계수를 평균(Mean)하여 특정 계층의 분류 추론 성능값 z를 구할 수 있다.
본 발명의 평가 방법은 평가 장치(100)에 의해 수행될 수 있다.
본 발명의 평가 방법은 사전에 학습된 복수의 인공지능 모델을 이용하여 전이 학습을 수행할 때, 기분류된 데이터를 각 인공지능 모델에 입력할 수 있다. 본 발명의 평가 방법은 해당 입력 데이터에 의해 인공지능 모델의 각 계층마다 생성된 특징 벡터를 추출할 수 있다. 본 발명의 평가 방법은 각 계층마다 추출된 특징 벡터 간의 상관도 계산을 통해 각 인공지능 모델의 분류 추론 성능을 평가할 수 있다.
도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 6의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 평가 장치 등) 일 수 있다.
도 6의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
20...데이터베이스 40...모델 서버
100...평가 장치 110...선택부
130...추출부 150...평가부

Claims (8)

  1. 기분류된 데이터 세트에서 특정 데이터를 선택하고, 상기 특정 데이터를 인공지능 모델에 입력하는 선택부;
    상기 특정 데이터가 입력된 상기 인공지능 모델의 각 계층(layer)에서 출력되는 특징 벡터를 추출하는 추출부;
    각 계층마다 출력된 상기 특징 벡터를 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가하거나 상기 인공지능 모델의 계층별 분류 추론 성능을 평가하는 평가부;를 포함하고,
    상기 평가부는 각 계층마다 출력된 상기 특징 벡터 중에서 가장 짧은 특징 벡터의 길이 이하의 길이를 갖는 윈도우를 각 특징 벡터에 마스킹하고,
    상기 평가부는 상기 윈도우에 마스킹된 각 특징 벡터의 조각별로 상기 인공지능 모델의 분류 추론 성능의 평가 지표를 산출하며,
    상기 평가부는 상기 윈도우의 현재 마스킹 위치에 대해 상기 평가 지표가 산출되면, 상기 윈도우를 한칸씩 움직이고,
    상기 평가부는 상기 윈도우가 한칸씩 움직일 때마다 상기 평가 지표를 산출하는 평가 장치.
  2. 제1항에 있어서,
    상기 선택부는 제1 선택 모드 또는 제2 선택 모드로 동작하고,
    상기 제1 선택 모드는 동일 분류에 포함된 데이터를 복수개 추출해서 상기 인공지능 모델의 입력 데이터를 생성하는 동작 모드이며,
    상기 제2 선택 모드는 서로 다른 분류의 데이터를 취합해서 상기 인공지능 모델의 입력 데이터를 생성하는 동작 모드이고,
    상기 평가부는 '높은 유사도'에 대한 추론 성능을 평가하는 제1 평가 모드 또는 '낮은 유사도'에 대한 추론 성능을 평가하는 제2 평가 모드로 동작하며,
    상기 선택부와 상기 평가부는 서로 연계해서 동작하고,
    상기 선택부와 상기 평가부의 연계 동작에 의해 상기 제1 선택 모드와 상기 제1 평가 모드가 함께 수행되며,
    상기 선택부와 상기 평가부의 연계 동작에 의해 상기 제2 선택 모드와 상기 제2 평가 모드가 함께 수행되는 평가 장치.
  3. 제1항에 있어서,
    상기 선택부는 서로 다른 각 분류에서 데이터를 하나씩만 선택하고,
    상기 선택부는 각 분류별로 하나씩만 선택한 데이터를 취합해서 상기 인공지능 모델의 입력 데이터를 생성하며,
    상기 입력 데이터가 입력된 상기 평가부는 '낮은 유사도'에 대한 추론 성능을 평가하는 평가 장치.
  4. 제1항에 있어서,
    상기 평가부는 각 계층마다 출력된 상기 특징 벡터 간의 교차 상관도(Cross Correlation)를 구하고,
    상기 평가부는 상기 교차 상관도에 대한 스피어만 상관 계수(Spearman correlation coefficient)를 구하며,
    상기 평가부는 상기 스피어만 상관 계수의 평균값을 이용해서 상기 인공지능 모델의 분류 추론 성능을 평가하는 평가 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 평가부는 각 특징 벡터의 조각별로 교차 상관 분석 및 스피어만 상관 계수를 구하고,
    상기 평가부는 상기 윈도우가 움직일 때마다 상기 스피어만 상관 계수를 구하며,
    상기 평가부는 복수의 스피어만 상관 계수를 평균하여 특정 계층의 분류 추론 성능값을 구하는 평가 장치.
  8. 평가 장치에 의해 수행되는 평가 방법에 있어서,
    사전에 학습된 복수의 인공지능 모델을 이용하여 전이 학습을 수행할 때, 기분류된 데이터를 각 인공지능 모델에 입력하고, 입력 데이터에 의해 인공지능 모델의 각 계층마다 생성된 특징 벡터를 추출하며, 상기 특징 벡터 간의 상관도 계산을 통해 각 인공지능 모델의 분류 추론 성능을 평가하고,
    각 계층마다 생성된 상기 특징 벡터 중에서 가장 짧은 특징 벡터의 길이 이하의 길이를 갖는 윈도우를 각 특징 벡터에 마스킹하고,
    상기 윈도우에 마스킹된 각 특징 벡터의 조각별로 상기 인공지능 모델의 분류 추론 성능의 평가 지표를 산출하며,
    상기 윈도우의 현재 마스킹 위치에 대해 상기 평가 지표가 산출되면, 상기 윈도우를 한칸씩 움직이고,
    상기 윈도우가 한칸씩 움직일 때마다 상기 평가 지표를 산출하는 평가 방법.
KR1020190162872A 2019-12-09 2019-12-09 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치 KR102235588B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190162872A KR102235588B1 (ko) 2019-12-09 2019-12-09 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치
PCT/KR2019/017371 WO2021117921A1 (ko) 2019-12-09 2019-12-10 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190162872A KR102235588B1 (ko) 2019-12-09 2019-12-09 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치

Publications (1)

Publication Number Publication Date
KR102235588B1 true KR102235588B1 (ko) 2021-04-02

Family

ID=75466391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190162872A KR102235588B1 (ko) 2019-12-09 2019-12-09 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치

Country Status (2)

Country Link
KR (1) KR102235588B1 (ko)
WO (1) WO2021117921A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193697A1 (en) * 2014-01-06 2015-07-09 Cisco Technology, Inc. Cross-validation of a learning machine model across network devices
JP2017520068A (ja) * 2014-05-23 2017-07-20 データロボット， インコーポレイテッド 予測データ分析のためのシステムおよび技術
WO2017134554A1 (en) * 2016-02-05 2017-08-10 International Business Machines Corporation Efficient determination of optimized learning settings of neural networks
KR101880547B1 (ko) 2017-03-06 2018-07-20 서강대학교산학협력단 유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법
KR20190086134A (ko) * 2018-01-12 2019-07-22 세종대학교산학협력단 인공 신경망을 구성하는 복수의 학습 모델 중 최적 학습 모델 선택 방법 및 장치
US20190325313A1 (en) * 2018-04-20 2019-10-24 Google Llc Systems and Methods for Regularizing Neural Networks
JP2019537125A (ja) * 2016-10-21 2019-12-19 データロボット， インコーポレイテッド 予測データ分析のためのシステムおよび関連する方法および装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095230A (zh) * 2014-04-29 2015-11-25 国际商业机器公司 确定目标数据分析应用的性能预测模型的方法及装置
US9070088B1 (en) * 2014-09-16 2015-06-30 Trooly Inc. Determining trustworthiness and compatibility of a person
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193697A1 (en) * 2014-01-06 2015-07-09 Cisco Technology, Inc. Cross-validation of a learning machine model across network devices
JP2017520068A (ja) * 2014-05-23 2017-07-20 データロボット， インコーポレイテッド 予測データ分析のためのシステムおよび技術
WO2017134554A1 (en) * 2016-02-05 2017-08-10 International Business Machines Corporation Efficient determination of optimized learning settings of neural networks
JP2019537125A (ja) * 2016-10-21 2019-12-19 データロボット， インコーポレイテッド 予測データ分析のためのシステムおよび関連する方法および装置
KR101880547B1 (ko) 2017-03-06 2018-07-20 서강대학교산학협력단 유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법
KR20190086134A (ko) * 2018-01-12 2019-07-22 세종대학교산학협력단 인공 신경망을 구성하는 복수의 학습 모델 중 최적 학습 모델 선택 방법 및 장치
US20190325313A1 (en) * 2018-04-20 2019-10-24 Google Llc Systems and Methods for Regularizing Neural Networks

Also Published As

Publication number Publication date
WO2021117921A1 (ko) 2021-06-17

Similar Documents

Publication Publication Date Title
Boulahia et al. Early, intermediate and late fusion strategies for robust deep learning-based multimodal action recognition
US11631248B2 (en) Video watermark identification method and apparatus, device, and storage medium
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN109858506B (zh) 一种面向卷积神经网络分类结果的可视化算法
CN112766279B (zh) 一种基于联合注意力机制的图像特征提取方法
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
CN111242948B (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN109766557A (zh) 一种情感分析方法、装置、存储介质及终端设备
KR20190056940A (ko) 멀티모달 데이터 학습 방법 및 장치
CN110796199A (zh) 一种图像处理方法、装置以及电子医疗设备
KR20200052446A (ko) 딥러닝 모델 학습 장치 및 방법
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN115131645A (zh) 神经网络的训练和应用方法、装置及存储介质
KR20190128933A (ko) 시공간 주의 기반 감정 인식 장치 및 방법
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
CN110083842A (zh) 译文质量检测方法、装置、机器翻译系统和存储介质
Chen et al. Exploring gradient-based multi-directional controls in gans
CN112860907B (zh) 一种情感分类方法及设备
JP2021021978A (ja) 情報処理装置及びプログラム
CN111914809B (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
JP2021197184A (ja) 分類器を訓練及びテストするためのデバイス及び方法
CN108985385A (zh) 基于生成对抗学习的快速弱监督目标检测方法
CN110853072B (zh) 基于自引导推理的弱监督图像语义分割方法
KR102235588B1 (ko) 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치
CN112560712B (zh) 基于时间增强图卷积网络的行为识别方法、装置及介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant