KR102535010B1 - 가중치 기반 앙상블 모델 선택 시스템 및 방법 - Google Patents

가중치 기반 앙상블 모델 선택 시스템 및 방법 Download PDF

Info

Publication number
KR102535010B1
KR102535010B1 KR1020220051852A KR20220051852A KR102535010B1 KR 102535010 B1 KR102535010 B1 KR 102535010B1 KR 1020220051852 A KR1020220051852 A KR 1020220051852A KR 20220051852 A KR20220051852 A KR 20220051852A KR 102535010 B1 KR102535010 B1 KR 102535010B1
Authority
KR
South Korea
Prior art keywords
ensemble
model
client
neural network
server
Prior art date
Application number
KR1020220051852A
Other languages
English (en)
Inventor
김태주
송병학
정지모
Original Assignee
주식회사 플랜티넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 플랜티넷 filed Critical 주식회사 플랜티넷
Priority to KR1020220051852A priority Critical patent/KR102535010B1/ko
Application granted granted Critical
Publication of KR102535010B1 publication Critical patent/KR102535010B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 학습 및 성능 측정을 통한 앙상블 모델을 선택하는 과정을 통해 가장 효율적인 앙상블 모델이 배포되도록 하는 기술적 사상에 관한 것으로서, 일실시예에 따른 가중치 기반 앙상블 모델 선택 시스템은 학습 데이터 세트를 이용하여 신경망 모델에 대한 학습 및 성능 측정을 수행하는 학습 및 성능 측정 처리부, 및 상기 학습 및 성능 측정된 결과를 기반으로 독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하는 앙상블 모델 선택부를 포함할 수 있다.

Description

가중치 기반 앙상블 모델 선택 시스템 및 방법{Weight-based ensemble model selection system and method}
본 발명은 가중치 기반 앙상블 모델 선택 기술에 관한 것으로서, 보다 상세하게는 학습 및 성능 측정을 통한 앙상블 모델을 선택하는 과정을 통해 가장 효율적인 앙상블 모델이 배포되도록 하는 기술적 사상에 관한 것이다.
딥러닝은 인간의 뇌 신경 회로를 모방한 신경 회로망(neural network)을 다층적으로 구성하여 컴퓨터가 다양한 데이터를 통해 마치 사람처럼 생각하고 배울 수 있도록 하는 기술이다.
특히, 많은 데이터를 분류해서 같은 집합들끼리 묶고 상하의 관계를 파악하는 기술로서, 기계학습의 한 분야라고 할 수 있다.
기계학습은 컴퓨터에게 먼저 다양한 정보를 가르치고 그 학습한 결과에 따라 컴퓨터가 새로운 것을 예측하는 반면, 딥러닝은 인간의 '가르침'이라는 과정을 거치지 않아도 스스로 학습하고 미래의 상황을 예측할 수 있다.
예를 들어, 기계학습이 개발자가 다양한 고양이 사진을 컴퓨터에게 보여주고 '이것이 고양이이다.'라고 알려준 다음, 새로운 고양이 사진을 보았을 때 '고양이'라고 판단할 수 있도록 하는 것과는 다르게, 딥러닝은 스스로가 여러 가지 고양이 사진을 찾아보고 '고양이'에 대해 학습한 다음 새로운 고양이 사진을 보고 '고양이'라고 구분한다.
근래에는 이러한 딥러닝에 대한 정확도와 처리 속도 향상을 위해 다양한 응용기술들이 개발되고 있는 상황이다.
"EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks", ICML 2019에서는 Model Scaling에 따른 정확도에 대한 연구가 진행 되었으며, Width, Depth, Resolution이 커질수록 정확도가 증가하고, Width, Depth, Resolution이 커질수록 연산량과 모델 사이즈도 같이 증가하는 결과를 보였다.
"대용량 이미지넷 인식을 위한 CNN 기반 웨이티드 앙상블 기법", 대한임베디드공학회논문지(2020년)에서는 Top-5 CNN 모델과 웨이티드 앙상블 모델의 에러율을 비교하였다.
이 중에 웨이티드 앙상블의 앙상블이 에러율이 3.297로서 가장 늦은 것으로 분석되었다.
한편, "Wisdom of Committees: An Overlooked Approach To Faster and More Accurate Models", Computer Vision and Pattern Recognition (2021)에서는 앙상블 모델 vs. 단일 모델의 비교를 통해 평균 FLOPS에 대한 ImageNet Top-1 정확도(%)를 비교 하였다.
그 결과, 작은 모델들을 앙상블하는 것이 더 적은 연산 비용을 사용하면서 큰 단일 모델의 정확도와 비슷하고, 캐스케이드 방법은 속도, 연산 비용, 정확도 모두에서 단일 모델의 성능을 능가하는 것으로 분석 되었다.
일반적으로 딥러닝에서 학습 데이터가 충분할 때 large-scale 모델이 small-scale 모델보다 높은 정확도를 갖는다. 또한 하나의 모델을 사용할 때보다 여러 모델을 함께 사용하는 것이 분류 정확도가 높다. 그러나 large-scale 모델 또는 여러 모델을 on-device로 서비스하면 디바이스의 연산 비용이 너무 많이 증가하게 되고 서버에 올리면 트래픽이 많아지고 통신 지연이 발생할 수 있는 문제가 있다.
한국등록특허 제10-2224253호 "심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법" 한국공개특허 제10-2215978호 "블록체인망 상 비동기 분산 병렬형 앙상블 모델 학습 및 추론 시스템 및 그 방법"
본 발명은 가중치 기반 앙상블 모델 선택과정에서, 학습 및 성능 측정 단계에서 얻은 양성 임계값과 음성 임계값을 바탕으로 레이어 별 임계값을 계산하고 적용하여 서비스하는 것을 목적으로 한다.
본 발명은 일반적으로 음성 데이터가 대부분을 차지하는 일반적인 서비스에서 음성 데이터는 클라이언트에서 조기 분류하고 종료하여 트래픽과 리소스를 절약하고, 또한 그렇지 않은 불확실한 데이터에 대해서는 더 크고 정확한 서버 앙상블 레이어에서 추가 검사를 함으로써 양상 판별에 대해 더 높은 정확도를 기대하는 것을 목적으로 한다.
본 발명은 신경망 모델을 조합하여 리소스를 줄이면서 성능을 높이는 협력적인 클라이언트-서버 구조의 딥러닝 모델 앙상블 방법을 제공하는 것을 목적으로 한다.
본 발명은 캐스케이드와 웨이티드 앙상블 방법을 같이 사용하여 캐스케이드 방법이 갖는 연산 비용의 장점과 웨이티드 앙상블 방법의 분류 정확도의 장점을 동시에 갖도록 하는 딥러닝 모델 앙상블 방법을 제공하는 것을 목적으로 한다.
본 발명은 서로 다른 네트워크 구조를 갖는 딥러닝 모델들은 앙상블로 조합했을 때 상호 보완하여 성능을 향상시키는 것을 목적으로 한다.
본 발명은 판정이 불확실한 데이터에 대해서 다음 앙상블 레이어에서 추가 검사하여 양성 판정에 대해 정확도를 높이는 것을 목적으로 한다.
본 발명은 앙상블 레이어의 초기 인퍼런스 결과에 따라 동적으로 서버 앙상블 레이어 수를 조절하고 앙상블 레이어 별 최적의 임계값을 찾아 분류 결정하여 성능을 향상시키는 것을 목적으로 한다.
일실시예에 따른 가중치 기반 앙상블 모델 선택 시스템은 학습 데이터 세트를 이용하여 신경망 모델에 대한 학습 및 성능 측정을 수행하는 학습 및 성능 측정 처리부, 및 상기 학습 및 성능 측정된 결과를 기반으로 독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하는 앙상블 모델 선택부를 포함할 수 있다.
일실시예에 따른 상기 독립적인 클라이언트 모델에 있어, 상기 클라이언트는 입력되는 데이터 세트에 대해 제1 신경망 모델에 대한 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 임계값을 기준으로 음성 판정이 되지 않은 나머지의 데이터 세트를 기반으로 클라이언트 앙상블 레이어 수를 결정하고, 상기 결정된 클라이언트 앙상블 레이어 수 만큼 상기 제1 신경망 모델에 직렬 연결된 신경망 모델들을 통한 음성 판정을 수행하며, 상기 결정된 클라이언트 앙상블 레이어 수 만큼의 음성 판정을 수행할 수 있다.
일실시예에 따른 상기 독립적인 서버 모델에 있어, 상기 서버는 학습된 복수의 신경망 모델들이 웨이티드 앙상블의 구조로 구현되고, 입력되는 데이터 세트에 대해 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 앙상블 레이어에서의 초기 인퍼런스 스코어에 기초하여 서버 앙상블 레이어 수인 N을 결정하며, 상기 서버 앙상블 레이어 수 결정부의 결정에 따라 상기 제1 앙상블 레이어에 캐스케이드 형태로 배치되는 N-1개의 앙상블 레이어를 통해, 상기 데이터 세트 중에서, 음성 판정을 받지 않은 나머지 데이터 세트들에 대해, 각 앙상블 레이어에서의 임계값을 기준으로 음성 판정을 수행할 수 있다.
일실시예에 따른 상기 협력적인 클라이언트-서버 모델은 클라이언트에서, 입력되는 데이터 세트에 대해, 단일의 신경망 모델이 캐스케이드 앙상블의 구조로 구현되는 신경망 모델을 통해 음성 판정을 수행하되, 음성 판정이 되지 않은 나머지 데이터 세트에 대해 서버 판정을 요청하고, 서버에서, 상기 서버 판정 요청된 데이터 세트에 대해, 학습된 복수의 신경망 모델들이 적어도 하나 이상의 웨이티드 앙상블의 구조로 구현되는 신경망 모델을 이용하여 음성 판정을 수행할 수 있다.
일실시예에 따른 상기 학습 및 성능 측정 처리부는, 폭(width), 깊이(depth), 해상도(resolution) 중에서 적어도 하나에 기초하여 복수의 크기를 갖는 n개의 모델들을 학습시키고, 학습 후 성능 측정 결과를 바탕으로 양성 정확도, 음성 정확도, 연산량, 지연도와 양성 임계값과 음성 임계값을 계산할 수 있다.
일실시예에 따른 상기 학습 및 성능 측정 처리부는, 상기 독립적인 클라이언트 모델에 대해, 모델 경량화 과정을 거친 후 성능 측정을 수행할 수 있다.
일실시예에 따른 상기 학습 및 성능 측정 처리부는, quantization, pruning, knowledge distillation 중에서 적어도 하나 이상을 이용하여, 상기 독립적인 클라이언트 모델에 대한 모델 경량화 과정을 수행할 수 있다.
일실시예에 따른 상기 앙상블 모델 선택부는, 각각의 모델들의 성능 측정 결과와 가중치를 바탕으로 상기 독립적인 클라이언트 모델, 상기 독립적인 서버 모델, 상기 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하고, 클러스터링 할 수 있다.
일실시예에 따른 상기 앙상블 모델 선택부는, 신경망 모델에 대한 연산량과 지연도를 고려하여 앙상블 레이어에서의 신경망 모델에 대한 순서를 결정할 수 있다.
일실시예에 따른 상기 앙상블 모델 선택부는, 신경망 모델에 대한 연산량과 지연도가 작을수록 앙상블 레이어의 앞쪽에 배치되도록 신경망 모델에 대한 순서를 결정할 수 있다.
일실시예에 따른 상기 앙상블 모델 선택부는, 각각의 모델들에 대한 양성 정확도, 음성 정확도, 연산량, 및 지연도에 대한 동일한 가중치를 바탕으로 상기 독립적인 클라이언트 모델을 선택할 수 있다.
일실시예에 따른 상기 앙상블 모델 선택부는, 각각의 모델들에 대한 연산량, 및 지연도 보다 양성 정확도, 음성 정확도에 보다 높은 가중치를 적용하여 상기 독립적인 서버 모델을 선택할 수 있다.
일실시예에 따른 가중치 기반 앙상블 모델 선택 방법은 학습 데이터 세트를 이용하여 신경망 모델에 대한 학습 및 성능 측정을 수행하는 단계, 및 상기 학습 및 성능 측정된 결과를 기반으로 독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택할 수 있다.
일실시예에 따른 상기 독립적인 클라이언트 모델에 있어, 상기 클라이언트는 입력되는 데이터 세트에 대해 제1 신경망 모델에 대한 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 임계값을 기준으로 음성 판정이 되지 않은 나머지의 데이터 세트를 기반으로 클라이언트 앙상블 레이어 수를 결정하고, 상기 결정된 클라이언트 앙상블 레이어 수 만큼 상기 제1 신경망 모델에 직렬 연결된 신경망 모델들을 통한 음성 판정을 수행하며, 상기 결정된 클라이언트 앙상블 레이어 수 만큼의 음성 판정을 수행할 수 있다.
일실시예에 따른 상기 독립적인 서버 모델에 있어, 상기 서버는 학습된 복수의 신경망 모델들이 웨이티드 앙상블의 구조로 구현되고, 입력되는 데이터 세트에 대해 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 앙상블 레이어에서의 초기 인퍼런스 스코어에 기초하여 서버 앙상블 레이어 수인 N을 결정하며, 상기 서버 앙상블 레이어 수 결정부의 결정에 따라 상기 제1 앙상블 레이어에 캐스케이드 형태로 배치되는 N-1개의 앙상블 레이어를 통해, 상기 데이터 세트 중에서, 음성 판정을 받지 않은 나머지 데이터 세트들에 대해, 각 앙상블 레이어에서의 임계값을 기준으로 음성 판정을 수행할 수 있다.
일실시예에 따른 상기 협력적인 클라이언트-서버 모델은 클라이언트에서, 입력되는 데이터 세트에 대해, 단일의 신경망 모델이 캐스케이드 앙상블의 구조로 구현되는 신경망 모델을 통해 음성 판정을 수행하되, 음성 판정이 되지 않은 나머지 데이터 세트에 대해 서버 판정을 요청하고, 서버에서, 상기 서버 판정 요청된 데이터 세트에 대해, 학습된 복수의 신경망 모델들이 적어도 하나 이상의 웨이티드 앙상블의 구조로 구현되는 신경망 모델을 이용하여 음성 판정을 수행할 수 있다.
일실시예에 따른 상기 학습 및 성능 측정을 수행하는 단계는, 폭(width), 깊이(depth), 해상도(resolution) 중에서 적어도 하나에 기초하여 복수의 크기를 갖는 n개의 모델들을 학습시키고, 학습 후 성능 측정 결과를 바탕으로 양성 정확도, 음성 정확도, 연산량, 지연도와 양성 임계값과 음성 임계값을 계산할 수 있다.
일실시예에 따른 상기 학습 및 성능 측정을 수행하는 단계는, 상기 독립적인 클라이언트 모델에 대해, 모델 경량화 과정을 거친 후 성능 측정을 수행할 수 있다.
일실시예에 따른 상기 학습 및 성능 측정을 수행하는 단계는, quantization, pruning, knowledge distillation 중에서 적어도 하나 이상을 이용하여, 상기 독립적인 클라이언트 모델에 대한 모델 경량화 과정을 수행할 수 있다.
일실시예에 따른 상기 적어도 하나의 앙상블 모델을 선택하는 단계는, 각각의 모델들의 성능 측정 결과와 가중치를 바탕으로 상기 독립적인 클라이언트 모델, 상기 독립적인 서버 모델, 상기 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하고, 클러스터링 할 수 있다.
일실시예에 따른 상기 적어도 하나의 앙상블 모델을 선택하는 단계는, 신경망 모델에 대한 연산량과 지연도를 고려하여 앙상블 레이어에서의 신경망 모델에 대한 순서를 결정할 수 있다.
일실시예에 따른 상기 적어도 하나의 앙상블 모델을 선택하는 단계는, 신경망 모델에 대한 연산량과 지연도가 작을수록 앙상블 레이어의 앞쪽에 배치되도록 신경망 모델에 대한 순서를 결정할 수 있다.
일실시예에 따른 상기 적어도 하나의 앙상블 모델을 선택하는 단계는, 각각의 모델들에 대한 양성 정확도, 음성 정확도, 연산량, 및 지연도에 대한 동일한 가중치를 바탕으로 상기 독립적인 클라이언트 모델을 선택할 수 있다.
일실시예에 따른 상기 적어도 하나의 앙상블 모델을 선택하는 단계는, 각각의 모델들에 대한 연산량, 및 지연도 보다 양성 정확도, 음성 정확도에 보다 높은 가중치를 적용하여 상기 독립적인 서버 모델을 선택할 수 있다.
일실시예에 따른 적어도 하나 이상의 프로세서에 의해서 실행되는 컴퓨터 판독 가능한 프로그램은, 학습 데이터 세트를 이용하여 신경망 모델에 대한 학습 및 성능 측정을 수행하는 명령어 세트, 및 상기 학습 및 성능 측정된 결과를 기반으로 독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하는 명령어 세트를 포함할 수 있다.
일실시예에 따르면, 가중치 기반 앙상블 모델 선택과정에서, 학습 및 성능 측정 단계에서 얻은 양성 임계값과 음성 임계값을 바탕으로 레이어 별 임계값을 계산하고 적용하여 서비스할 수 있다.
일실시예에 따르면, 일반적으로 음성 데이터가 대부분을 차지하는 일반적인 서비스에서 음성 데이터는 클라이언트에서 조기 분류하고 종료하여 트래픽과 리소스를 절약하고, 또한 그렇지 않은 불확실한 데이터에 대해서는 더 크고 정확한 서버 앙상블 레이어에서 추가 검사를 함으로써 양상 판별에 대해 더 높은 정확도를 기대할 수 있다.
일실시예에 따르면, 신경망 모델을 조합하여 리소스를 줄이면서 성능을 높이는 클라이언트-서버 구조의 딥러닝 모델 앙상블 방법을 제공할 수 있다.
일실시예에 따르면, 캐스케이드와 웨이티드 앙상블 방법을 같이 사용하여 캐스케이드 방법이 갖는 연산 비용의 장점과 웨이티드 앙상블 방법의 분류 정확도의 장점을 동시에 갖도록 할 수 있다.
일실시예에 따르면, 서로 다른 네트워크 구조를 갖는 딥러닝 모델들은 앙상블로 조합했을 때 상호 보완하여 성능을 향상시킬 수 있다.
일실시예에 따르면, 판정이 불확실한 데이터에 대해서 다음 앙상블 레이어에서 추가 검사하여 양성 판정에 대해 정확도를 높일 수 있다.
일실시예에 따르면, 앙상블 레이어의 초기 인퍼런스 결과에 따라 동적으로 서버 앙상블 레이어 수를 조절하고 앙상블 레이어 별 최적의 임계값을 찾아 분류 결정하여 성능을 향상시킬 수 있다.
도 1은 음성 판정 또는 양성 판정에 대해 설명하는 도면이다.
도 2는 일실시예에 따른 가중치 기반 앙상블 모델 선택 시스템을 설명하는 도면이다.
도 3은 일실시예에 따른 가중치 기반 앙상블 모델 선택 시스템의 구체적인 구조를 설명하는 도면이다.
도 4a는 일실시예에 따른 독립적인 클라이언트 모델을 설명하는 도면이다.
도 4b는 일실시예에 따른 독립적인 서버 모델을 설명하는 도면이다.
도 4c는 일실시예에 따른 협력적인 서버-클라이언트 모델을 설명하는 도면이다.
도 6는 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법 중에서 클라이언트 모델의 동작을 설명하는 도면이다.
도 7은 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법 중에서 서버 모델의 동작을 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 딥러닝 모델 앙상블에 의한 음성 판정 또는 양성 판정에 대해 설명하는 도면이다.
가중치 기반 앙상블 모델 선택과정에서, 학습 및 성능 측정 단계에서 얻은 양성 임계값과 음성 임계값을 바탕으로 레이어 별 임계값을 계산하고 적용하여 서비스할 수 있다.
특히, 가중치 기반 앙상블 모델은 일반적으로 음성 데이터가 대부분을 차지하는 일반적인 서비스에서 음성 데이터는 클라이언트에서 조기 분류하고 종료하여 트래픽과 리소스를 절약할 수 있다. 또한 그렇지 않은 불확실한 데이터에 대해서는 더 크고 정확한 서버 앙상블 레이어에서 추가 검사를 함으로써 양상 판별에 대해 더 높은 정확도를 기대할 수 있다.
일실시예에 따른 딥러닝 모델 앙상블은 입력되는 데이터 세트에 대해서 기설정된 임계값과 비교하여 임계값을 초과하는 경우와, 초과하지 않는 두 가지의 여부를 판단할 수 있다.
본 발명에서는 설명의 편의를 위해, 이러한 판단 결과가 음성 또는 양성으로 결정되는 것으로서 발명의 핵심 구성들을 설명한다.
보다 구체적인 예로, 영상 컨텐츠를 데이터 세트로 하여 영상 컨텐츠 내에서 유해한 부분을 판정하기 위해 일실시예에 따른 딥러닝 모델 앙상블을 사용할 수 있다.
일실시예에 따른 딥러닝 모델 앙상블은 영상 컨텐츠 내에서 유해하다고 판단되는 부분을 양성으로 판정하고, 유해하지 않다고 판단되는 부분을 음성으로 판정할 수 있다.
영상 컨텐츠 내에서 양성 또는 음성으로 판정하는 것은 일실시예일 뿐 이에 한정되는 것은 아니다.
또한, 데이터에서 유해성 여부를 판단하지 않고, 노멀 또는 비노멀의 정도를 수치화 하는 분석을 통해 이상 징후를 판단하여 음성 또는 양성 여부를 판단할 수 있다.
음성은 false로 양성은 true로 해석될 수 있고, 그 반대의 경우도 가능하다.
예를 들면, 데이터의 이상 징후를 판단하여 이상 징후가 의심되는 데이터를 음성으로 판정하고, 그 반대의 데이터를 양성으로 판정할 수도 있다.
일실시예에 따른 딥러닝 모델 앙상블은 입력되는 영상 컨텐츠 내에서 확실히 유해하지 않다고 판단되는 부분에 대해서는 음성 데이터로 분류하고 조기 종료할 수 있다.
도면부호 101은 클라이언트 모델에서 음성 데이터 필터링되는 부분으로서 음성으로 판정될 가능성이 높은 데이터부분에 해당된다.
한편, 도면부호 102와 같이 입력되는 영상 컨텐츠 내에서 불확실한 데이터로 분류하는 경우, 앙상블 레이어에서 추가 검사가 필요하다.
본 발명에서는 도면부호 102에 대한 부분에 대해 서버 모델에서 양성 여부를 판단할 수 있다.
서로 다른 네트워크 구조를 갖는 딥러닝 모델들을 앙상블로 조합했을 때 상호 보완하여 성능 향상을 가져올 수 있다.
일실시예에 따른 모델 앙상블 방법은 클라이언트측에서는 캐스케이드 방법이 갖는 연산 비용의 장점을 활용할 수 있다. 특히, 클라이언트측에서는 디바이스의 연산 비용이 너무 많이 증가하게 되고 서버에 올리면 트래픽이 많아지고 통신 지연이 발생할 수 있는 데이터 세트에 대해서 음성 판정을 수행할 수 있다.
한편, 서버측에서는 캐스케이드와 웨이티드 앙상블 방법을 같이 사용하여 캐스케이드 방법이 갖는 연산 비용의 장점과 웨이티드 앙상블 방법의 분류 정확도의 장점을 동시에 갖는다.
특히, 서버측에서는 불확실한 데이터에 대해서는 더 크고 정확한 서버 앙상블 레이어에서 추가 검사를 함으로써 양상 판별에 대해 더 높은 정확도를 기대할 수 있다.
도면부호 100과 같이, 일반적으로 음성 데이터가 대부분을 차지하는 일반적인 서비스에서 음성 데이터를 조기에 분류하여 종료하고 그렇지 않은 불확실한 데이터에 대해서 다음 앙상블 레이어에서 추가 검사하여 양성 판정에 대해 높은 정확도를 기대할 수 있다.
또한, 앙상블 레이어의 초기 인퍼런스 결과에 따라 동적으로 서버 앙상블 레이어 수를 조절하고 앙상블 레이어 별 최적의 임계값을 찾아 분류 결정하여 성능을 향상시킬 수 있다.
도 2는 일실시예에 따른 가중치 기반 앙상블 모델 선택 시스템(200)을 설명하는 도면이다.
일실시예에 따르면, 가중치 기반 앙상블 모델 선택과정에서, 학습 및 성능 측정 단계에서 얻은 양성 임계값과 음성 임계값을 바탕으로 레이어 별 임계값을 계산하고 적용하여 서비스할 수 있다.
일반적으로 음성 데이터가 대부분을 차지하는 일반적인 서비스에서 음성 데이터는 클라이언트에서 조기 분류하고 종료하여 트래픽과 리소스를 절약하고, 또한 그렇지 않은 불확실한 데이터에 대해서는 더 크고 정확한 서버 앙상블 레이어에서 추가 검사를 함으로써 양상 판별에 대해 더 높은 정확도를 기대할 수 있다.
이를 위해, 일실시예에 따른 가중치 기반 앙상블 모델 선택 시스템(200)은 학습 및 성능 측정 처리부(210)와 앙상블 모델 선택부(220)를 포함할 수 있다.
일실시예에 따른 학습 및 성능 측정 처리부(210)는 학습 데이터 세트를 이용하여 신경망 모델에 대한 학습 및 성능 측정을 수행할 수 있다.
예를 들어, 일실시예에 따른 학습 및 성능 측정 처리부(210)는 폭(width), 깊이(depth), 해상도(resolution) 중에서 적어도 하나에 기초하여 복수의 크기를 갖는 n개의 모델들을 학습시키고, 학습 후 성능 측정 결과를 바탕으로 양성 정확도, 음성 정확도, 연산량, 지연도와 양성 임계값과 음성 임계값을 계산할 수 있다.
또한, 일실시예에 따른 학습 및 성능 측정 처리부(210)는 독립적인 클라이언트 모델에 대해, 모델 경량화 과정을 거친 후 성능 측정을 수행할 수 있다.
일실시예에 따른 학습 및 성능 측정 처리부(210)는 quantization, pruning, knowledge distillation 중에서 적어도 하나 이상을 이용하여, 독립적인 클라이언트 모델에 대한 모델 경량화 과정을 수행할 수 있다.
일실시예에 따른 앙상블 모델 선택부(220)는 학습 및 성능 측정된 결과를 기반으로 독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택할 수 있다.
본 명세서에서 사용되는 독립적인 클라이언트 모델이란, 입력되는 데이터 세트에 대해 제1 신경망 모델에 대한 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 임계값을 기준으로 음성 판정이 되지 않은 나머지의 데이터 세트를 기반으로 클라이언트 앙상블 레이어 수를 결정하고, 상기 결정된 클라이언트 앙상블 레이어 수 만큼 상기 제1 신경망 모델에 직렬 연결된 신경망 모델들을 통한 음성 판정을 수행하며, 상기 결정된 클라이언트 앙상블 레이어 수 만큼의 음성 판정을 수행하는 클라이언트측의 딥러닝 모델 앙상블을 의미한다.
본 명세서에서 사용되는 독립적인 서버 모델이란, 학습된 복수의 신경망 모델들이 웨이티드 앙상블의 구조로 구현되고, 입력되는 데이터 세트에 대해 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 앙상블 레이어에서의 초기 인퍼런스 스코어에 기초하여 서버 앙상블 레이어 수인 N을 결정하며, 서버 앙상블 레이어 수 결정부의 결정에 따라 상기 제1 앙상블 레이어에 캐스케이드 형태로 배치되는 N-1개의 앙상블 레이어를 통해, 상기 데이터 세트 중에서, 음성 판정을 받지 않은 나머지 데이터 세트들에 대해, 각 앙상블 레이어에서의 임계값을 기준으로 음성 판정을 수행하는 서버측의 딥러닝 모델 앙상블을 의미한다.
본 명세서에서 사용되는 협력적인 클라이언트-서버 모델이란, 클라이언트측에서는 입력되는 데이터 세트에 대해, 단일의 신경망 모델이 캐스케이드 앙상블의 구조로 구현되는 신경망 모델을 통해 음성 판정을 수행하되, 음성 판정이 되지 않은 나머지 데이터 세트에 대해 서버 판정을 요청하고, 서버측에서는, 서버 판정 요청된 데이터 세트에 대해, 학습된 복수의 신경망 모델들이 적어도 하나 이상의 웨이티드 앙상블의 구조로 구현되는 신경망 모델을 이용하여 음성 판정을 수행하는 딥러닝 모델 앙상블을 의미한다.
일실시예에 따른 앙상블 모델 선택부(220)는 각각의 모델들의 성능 측정 결과와 가중치를 바탕으로 상기 독립적인 클라이언트 모델, 상기 독립적인 서버 모델, 상기 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하고, 클러스터링할 수 있다.
또한, 일실시예에 따른 앙상블 모델 선택부(220)는 독립적인 클라이언트 모델에 대해서만, 모델 경량화 과정을 거친 후 성능 측정을 수행 할 수 있다.
특히, 일실시예에 따른 앙상블 모델 선택부(220)는 quantization, pruning, knowledge distillation 중에서 적어도 하나 이상을 이용하여, 독립적인 클라이언트 모델에 대한 모델 경량화 과정을 수행할 수 있다.
일실시예에 따른 앙상블 모델 선택부(220)는 각각의 모델들의 성능 측정 결과와 가중치를 바탕으로 상기 독립적인 클라이언트 모델, 상기 독립적인 서버 모델, 상기 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하고, 클러스터링할 수 있다.
일실시예에 따른 앙상블 모델 선택부(220)는 신경망 모델에 대한 연산량과 지연도를 고려하여 앙상블 레이어에서의 신경망 모델에 대한 순서를 결정할 수 있다.
일실시예에 따른 앙상블 모델 선택부(220)는 신경망 모델에 대한 연산량과 지연도가 작을수록 앙상블 레이어의 앞쪽에 배치되도록 신경망 모델에 대한 순서를 결정할 수 있다.
예를 들어, 일실시예에 따른 앙상블 모델 선택부(220)는 각각의 모델들에 대한 양성 정확도, 음성 정확도, 연산량, 및 지연도에 대한 동일한 가중치를 바탕으로 상기 독립적인 클라이언트 모델을 선택할 수 있고, 각각의 모델들에 대한 연산량, 및 지연도 보다 양성 정확도, 음성 정확도에 보다 높은 가중치를 적용하여 상기 독립적인 서버 모델을 선택할 수 있다.
도 3은 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법을 설명하는 도면(300)이다.
일실시예에 따른 가중치 기반 앙상블 모델 선택 방법은 도면부호 310의 과정을 통해 학습 데이터 세트를 이용하여 신경망 모델에 대한 학습 및 성능 측정을 수행할 수 있다.
구체적으로, 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법은 학습 및 성능 측정을 수행하기 위해, 폭(width), 깊이(depth), 해상도(resolution) 등에 따라 작은 모델에서부터 큰 모델까지 다양한 형태와 크기를 갖는 n개의 모델들을 학습시킨다.
또한, 학습 후 성능 측정 결과를 바탕으로 양성 정확도, 음성 정확도, 연산량과 지연도와 양성 임계값과 음성 임계값을 계산할 수 있다.
클라이언트 모델은 리소스 사용량에 민감하기 때문에 모델 경량화 과정을 거친 후 성능 측정을 한다. 모델 경량화는 quantization, pruning, knowledge distillation 등의 방법을 사용한다.
일실시예에 따른 가중치 기반 앙상블 모델 선택 방법은 [수학식 1]의 성능측정 메트릭을 활용할 수 있다.
성능 측정은 독립적이거나 협력적인 앙상블 모델의 특성을 잘 표현할 수 있는 4개의 메트릭(양성 정확도, 음성 정확도, 연산량, 지연도)을 사용하고, 양성 정확도는 f1 score를 이용하고 음성 정확도는 negative predictive value과 true negative rate의 조화 평균(harmonic mean)값으로 한다.
[수학식 1]
Figure 112022045095089-pat00001
Figure 112022045095089-pat00002
where
Figure 112022045095089-pat00003
Figure 112022045095089-pat00004
where
Figure 112022045095089-pat00005
여기서, 각 변수가 의미하는 바는 다음의 표와 같다.
[표 1]
Figure 112022045095089-pat00006
가중치 기반 앙상블 모델 선택을 위해, 일실시예에 따른 상기 학습 및 성능 측정 처리부는, 클라이언트 모델, 서버 모델, 클라이언트-서버 모델에 따라 적합한 성능 측정 메트릭 가중치를 적용하여 아래 수학식을 통해 모델 별 성능 측정 점수를 계산할 수 있다.
[수학식 2]
Figure 112022045095089-pat00007
Figure 112022045095089-pat00008
이 과정에서 클라이언트 가중치는 다음과 같이 정의될 수 있고,
Figure 112022045095089-pat00009
Figure 112022045095089-pat00010
Figure 112022045095089-pat00011
서버 가중치는 다음과 같이 정의될 수 있다.
Figure 112022045095089-pat00012
Figure 112022045095089-pat00013
Figure 112022045095089-pat00014
또한, 도면부호 320의 과정을 학습 및 성능 측정된 결과를 기반으로 독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택할 수 있다.
앙상블 모델 선택을 위해, 각각의 모델들의 성능 측정 결과와 가중치를 바탕으로 세가지 형태로 모델(독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델)을 선택하고 클러스터링한다.
일례로, 독립적인 클라이언트 모델을 선택하기 위해, 리소스 사용량에 민감한 클라이언트 모델은 양성 정확도, 음성 정확도, 연산량, 지연도 모두에 비슷한 가중치를 두고 모델을 선택한다.
독립적인 서버 모델을 선택하기 위해, 클라이언트보다 리소스 제약이 덜한 서버 모델은 연산량, 지연도보다 양성 정확도와 음성 정확도에 더 높은 가중치를 두고 모델을 선택한다
협력적인 클라이언트-서버 모델을 선택하는데 있어, 클라이언트 모델은 가벼우면서 음성에 대한 정확도가 상대적으로 높은 모델을 선택하여 음성 데이터를 조기에 판별하도록 한다. 양성 정확도보다는 음성 정확도가 높고 연산량, 지연도가 작은 모델일수록 높은 우선순위에 두고 선택한다.
서버 모델을 선택하는데 있어, 불확실한 데이터에 대한 양성 여부를 최종 판별하는 서버 모델은 무겁더라도 양성에 대한 정확도가 높은 모델들로 구성한다. 다른 성능측정 파라미터보다 양성 정확도를 가장 높은 우선순위에 두고 모델을 선택한다. 양성 정확도가 동일하다면 음성 정확도가 더 높은 모델을 선택한다.
캐스케이드 레이어 구성에서 가볍고 빠른 모델이 앞에 있을수록 음성 데이터가 더 빨리 필터링 되는 효과가 있다. 따라서 선택된 모델 구성 시 연산량과 지연도가 작을수록 앞쪽 레이어에 배치하여 성능을 극대화한다. 이는 위 세가지 모델 모두 공통으로 해당된다.
또한, 도면부호 330을 통해 학습 및 성능 측정 단계에서 얻은 양성 임계값과 음성 임계값을 바탕으로 레이어 별 임계값을 계산하고 적용하여 서비스할 수 있다.
도 4a는 일실시예에 따른 독립적인 클라이언트 모델을 설명하는 도면이다.
독립적인 클라이언트 모델의 구조에 입력되는 데이터 세트에 대해, 클라이언트는 단일의 신경망 모델이 캐스케이드 앙상블의 구조로 구현되는 신경망 모델을 통해 음성 판정을 수행하되, 음성 판정이 되지 않은 나머지 데이터 세트에 대해서는 양성으로 판단할 수 있다.
특히, 클라이언트는 제1 앙상블 레이어(411)를 이용하여 입력되는 데이터 세트에 대해 제1 신경망 모델에 대한 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 임계값을 기준으로 음성 판정이 되지 않은 나머지의 데이터 세트를 기반으로 클라이언트 앙상블 레이어 수인 Nc를 결정(412)하고, 결정된 클라이언트 앙상블 레이어 수 만큼 상기 제1 신경망 모델에 직렬 연결된 신경망 모델들인, 제2 앙상블 레이어(413) 및 제Nc앙상블 레이어(414)를 통한 음성 판정을 수행하며, 결정된 클라이언트 앙상블 레이어 수 만큼의 음성 판정을 수행한 후에도 음성 판정되지 않은 나머지의 데이터 세트에 대해 서버 판정을 요청할 수 있다.
일실시예에 따른, 클라이언트는 직전 앙상블 레이어에 대한 인퍼런스 스코어의 불확실성(Uncertainty)을 산출하고, 산출한 불확실성(Uncertainty)을 이용하여 연산할 클라이언트 앙상블 레이어 수를 결정할 수 있다.
일실시예에 따른, 클라이언트는 직전 앙상블 레이어의 음성 임계값, 양성 임계값, 인퍼런스 스코어를 이용하여 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
또한, 일실시예에 따른 클라이언트는 불확실성이 0과 1사이의 값을 갖고, 음성 임계값과 양성 임계값에서 멀어질수록 커지도록 상기 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
또한, 일실시예에 따른 클라이언트는 결정된 클라이언트 앙상블 레이어 수만큼의 앙상블 레이어를 통한 음성 판정 후, 최종 분류 결정 과정(415)을 수행하되, 음성 판정에 사용된 신경망 모델들의 산술 가중치 합을 계산하고, 상기 산술 가중치 합이 임계값 보다 클 경우에 양성으로 판정할 수 있다.
도 4b는 일실시예에 따른 독립적인 서버 모델을 설명하는 도면이다.
서버는 각 앙상블 레이어에 인접하여 복수개가 위치하는 것으로 도시 하였지만, 복수개로 존재할 수도 있고, 하나의 모듈 형태로 구현될 수도 있다. 또한, 앙상블 레이어의 일부 구성으로 포함되어 동작할 수도 있다.
먼저, 일실시예에 따른 제1 앙상블 레이어(421)는 학습된 복수의 신경망 모델들이 웨이티드 앙상블의 구조로 구현되고, 입력되는 데이터 세트에 대해 제1 임계값을 기준으로 음성 판정을 수행할 수 있다.
제1 앙상블 레이어(421)는 입력된 초기 데이터 세트 중에서 제1 앙상블 레이어(421)의 임계값 T1을 기준으로 음성 데이터를 판정할 수 있다.
제1 앙상블 레이어(421)는 각 신경망 모델들(DNN #11, DNN #12, ... DNN #1ki)에 대한 가중치(w11, w12, ... w1ki)합을 기반으로 하는 제1 앙상블 레이어에서의 초기 인퍼런스 스코어를 기반으로 하여 서버 앙상블 레이어 수(Ns)의 결정(422)이 가능하다.
또한, 제2 앙상블 레이어(423)는 초기 데이터 세트 중에서 제1 앙상블 레이어(421)에서 음성 데이터를 판정된 부분을 제외한 나머지 부분에 대해 제2 앙상블 레이어(423)의 임계값 T2를 기반으로 하여 음성 데이터인지 여부를 판정할 수 있다.
또한, 제2 앙상블 레이어(423)는 각 신경망 모델들(DNN #21, DNN #22, ... DNN #2ki)에 대한 가중치(w21, w22, ... w2 ki )합을 기반으로 하는 제2 앙상블 레이어에서의 인퍼런스 스코어를 기반으로 하여 서버 앙상블 레이어 수(Ns)의 결정이 가능하다.
각 앙상블 레이어는 끝 단에 서버 앙상블 레이어 수 결정을 반복하면서, Ns를 업데이트할 수 있다.
산출된 Ns개의 앙상블 레이어에서 음성 또는 양성 데이터의 여부가 판정되어, 최종적으로 음성 데이터로 판정되지 않은 나머지 데이터 세트에 대해 본 발명에서는 최종 분류 결정(425)을 수행하여 음성 또는 양성 여부를 최종 판정할 수 있다. 최종 분류 결정 단계에서는 클라이언트와 서버 전체 레이어에 대한 모델 가중치 합으로 양성 여부를 결정한다.
음성 데이터로 판정되지 않은 나머지 데이터 세트는 무해하다고 '확실하게' 판정되지 않은 모호한 데이터 세트일 수 있다.
즉, 유해한 데이터일 수도 있고, 무해한 데이터일 수도 있다.
만약 유해한 컨텐츠를 추려내는 시스템에 적용된다면, 확실히 무해하다고 판단되지 않는 이상 의심을 갖고, 계속해서 양성 데이터인지 또는 음성 데이터인지를 판단할 수 있다.
도 4c는 일실시예에 따른 협력적인 서버-클라이언트 모델을 설명하는 도면이다.
일실시예에 따른 모델 앙상블 알고리즘은 클라이언트, 서버에서 독립적으로 on-device 또는 서빙의 형태로 사용되거나 협력적인 클라이언트-서버 방식으로도 사용될 수 있다.
On-device 형태로 서비스 시 성능 최적화를 위해 앙상블 레이어의 내부 모델의 개수를 늘리기 보다는 앙상블 서버 앙상블 레이어 수를 늘리는 방향으로 구성한다.
모델 앙상블 방법에서 사용되는 신경망 모델은 단일의 텍스트 또는 이미지 분류 모델이 사용될 수도 있고 다중 입력 형태로 여러 모델을 같이 사용할 수도 있다.
일실시예에 따른 서버는 제1 앙상블 레이어에서의 초기 인퍼런스 스코어에 기초하여 서버 앙상블 레이어 수인 Ns을 결정(437)할 수 있다.
보다 구체적으로, 일실시예에 따른 가중치 기반 앙상블 모델 시스템(430)은 서버에 의해 동작하는 서버측과 클라이언트에 의해 동작하는 클라이언트측으로 구분될 수 있다.
입력되는 데이터 세트에 대해, 클라이언트는 단일의 신경망 모델이 캐스케이드 앙상블의 구조로 구현되는 신경망 모델을 통해 음성 판정을 수행하되, 음성 판정이 되지 않은 나머지 데이터 세트에 대해 서버 판정을 요청할 수 있다.
특히, 클라이언트는 제1 앙상블 레이어(431)를 이용하여 입력되는 데이터 세트에 대해 제1 신경망 모델에 대한 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 임계값을 기준으로 음성 판정이 되지 않은 나머지의 데이터 세트를 기반으로 클라이언트 앙상블 레이어 수인 Nc를 결정(432)하고, 결정된 클라이언트 앙상블 레이어 수 만큼 상기 제1 신경망 모델에 직렬 연결된 신경망 모델들인, 제2 앙상블 레이어(433) 및 제Nc앙상블 레이어(434)를 통한 음성 판정을 수행하며, 결정된 클라이언트 앙상블 레이어 수 만큼의 음성 판정을 수행한 후에도 음성 판정되지 않은 나머지의 데이터 세트에 대해 서버 판정을 요청할 수 있다.
일실시예에 따른, 클라이언트는 직전 앙상블 레이어에 대한 인퍼런스 스코어의 불확실성(Uncertainty)을 산출하고, 산출한 불확실성(Uncertainty)을 이용하여 연산할 클라이언트 앙상블 레이어 수를 결정할 수 있다.
일실시예에 따른, 클라이언트는 직전 앙상블 레이어의 음성 임계값, 양성 임계값, 인퍼런스 스코어를 이용하여 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
또한, 일실시예에 따른 클라이언트는 불확실성이 0과 1사이의 값을 갖고, 음성 임계값과 양성 임계값에서 멀어질수록 커지도록 상기 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
또한, 일실시예에 따른 클라이언트는 결정된 클라이언트 앙상블 레이어 수만큼의 앙상블 레이어를 통한 음성 판정 후, 최종 분류 결정 과정(435)을 수행하되, 음성 판정에 사용된 신경망 모델들의 산술 가중치 합을 계산하고, 상기 산술 가중치 합이 임계값 보다 클 경우에 상기 서버 판정을 요청할 수 있다.
서버는 제1 앙상블 레이어(436)에 이은 서버 앙상블 레이어 수 결정부(437)에 대해서 도시하고 있으나, 제1 앙상블 레이어(436) 이외에도 Ns-1개의 앙상블 레이어 각각의 끝단에는 직전 앙상블 레이어에서의 인퍼런스 스코어에 기초하여 서버 앙상블 레이어 수인 Ns을 다시 결정할 수 있다.
즉, 앙상블 레이어-서버 앙상블 레이어 수 결정 과정을 반복적으로 수행하는 형태로 해석될 수 있다.
일실시예에 따른 서버는 학습된 복수의 신경망 모델들을 클러스터링한 후, 직전의 앙상블 레이어에 대한 인퍼런스 스코어의 불확실성(Uncertainty)을 산출하고, 산출한 불확실성(Uncertainty)을 이용하여 연산할 서버 앙상블 레이어 수를 결정할 수 있다.
특히, 일실시예에 따른 서버는 직전 앙상블 레이어의 음성 임계값, 양성 임계값, 인퍼런스 스코어를 이용하여 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
일실시예에 따른 서버는 불확실성이 0과 1사이의 값을 갖고, 음성 임계값과 양성 임계값에서 멀어질수록 커지도록 상기 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
서버는 산출한 불확실성(Uncertainty)에 비례하여 서버 앙상블 레이어 수인 Ns를 결정할 수 있다.
예를 들어, 산출한 불확실성(Uncertainty)이 커지는 만큼 서버 앙상블 레이어 수인 Ns가 늘어날 수 있다.
일실시예에 따른 서버는 학습된 모델들을 클러스터링한 후 첫번째 앙상블 레이어 스코어의 불확실성(Uncertainty)을 기반으로 연산할 서버 앙상블 레이어 수를 결정할 수 있다.
특히, 불확실성(Uncertainty)은 0과 1사이의 값을 가지며 Tnegative 와 Tpositive에서 멀어질수록 커진다.
불확실성(Uncertainty)이 높을수록 더 많은 레이어의 검증을 거쳐 분류 신뢰도를 향상시킬 수 있다.
구체적으로, 일실시예에 따른 서버는 다음의 수학식을 통해 불확실성(Uncertainty)과 서버 앙상블 레이어 수인 Ns를 산출할 수 있다.
[수학식 3]
Figure 112022045095089-pat00015
Figure 112022045095089-pat00016
여기서, Ns는 선택된 서버 앙상블 레이어 수고, n은 전체 서버 앙상블 레이어 수며, UC는 불확실성(Uncertainty), h는 인퍼런스 스코어, Tinegative는 음성 임계값, Tipositive는 양성 임계값을 의미한다.
서버 모델도 클라이언트 모델과 같이 캐스케이드 앙상블 방법을 사용하여 음성 임계값 {}에 만족하면 early exit하여 연산 비용을 최소화한다. 분류 레이어 내에서 웨이티드 앙상블 방법을 같이 사용하여 캐스케이드 방법의 분류 정확도를 향상시킨다. 웨이티드 앙상블 방법은 모델 가중치와 스코어 곱의 합으로 계산한다. 웨이티드 앙상블 방법의 가중치는 분류 정확도가 높은 모델에 더 큰 가중치를 부여한다. 웨이티드 앙상블의 모델들은 서버의 GPU 또는 TPU와 같은 가속기로 병렬 처리하여 앙상블 레이어의 인퍼런스 지연을 최소화한다.
[수학식 4]
parallel for
Figure 112022045095089-pat00017
1 to
Figure 112022045095089-pat00018
do
Figure 112022045095089-pat00019
end for
Figure 112022045095089-pat00020
일실시예에 따른 제Ns 앙상블 레이어(439)는 서버의 결정에 따라 제1 앙상블 레이어(436)에 캐스케이드 형태로 배치되는 Ns-1개의 앙상블 레이어(438, 439)를 통해, 데이터 세트 중에서, 음성 판정을 받지 않은 나머지 데이터 세트들에 대해, 각 앙상블 레이어에서의 임계값을 기준으로 음성 판정을 수행할 수 있다.
일실시예에 따른 서버는 제Ns 앙상블 레이어에서 음성 판정되지 않은 데이터 세트들에 대해 최종적으로 양성 판정을 수행할 수 있다.
또한, 서버는 음성 판정에 사용된 전체의 앙상블 레이어에 대한 신경망 모델 가중치 합을 이용하여 양성 여부를 최종 결정할 수 있다.
일실시예에 따른 서버는 각 앙상블 레이어에 대한 임계값을 결정할 수 있다.
이를 위해, 서버는 학습 데이터 세트를 이용하여, 복수의 신경망 모델들을 학습하도록 처리하고, 테스트 데이터 세트를 이용하여 상기 학습된 복수의 신경망 모델들에 대한 성능을 측정할 수 있다.
또한, 측정한 성능을 기반으로, 각 앙상블 레이어에 대한 임계값을 산출할 수 있다.
한편, 서버는 학습된 복수의 신경망 모델들에 대한 성능으로서, 거짓 양성 비율(False Positive Rate), 참 양성 비율(True Positive Rate), 참 음성 비율(True Negative Rate), 거짓 음성 비율(False Negative Rate), 분류 이득, 분류 리스크, 양성 임계값, 음성 임계값을 측정할 수 있다.
이 경우, 서버는 참 양성 비율(True Positive Rate)과 거짓 음성 비율(False Negative Rate)의 차이를 이용하여 상기 분류 이득을 산출하고, 참 음성 비율(True Negative Rate)과 거짓 양성 비율(False Positive Rate)의 차이를 이용하여 분류 리스크를 산출할 수 있다.
일실시예에 따른 제1 앙상블 레이어(436) 및 Ns개의 앙상블 레이어(439) 중에서 적어도 하나의 앙상블 레이어는, 각 앙상블 레이어 내에서 학습시킨 신경망 모델들에 대해, 분류 정확도를 기준으로 가중치를 신경망 모델들 각각에 부여하여 가중치 합하는 방식으로 인퍼런스 스코어를 산출할 수 있다.
한편, 제1 앙상블 레이어(436) 및 N개의 앙상블 레이어(438, 439) 중에서 적어도 하나의 앙상블 레이어는, 산출된 인퍼런스 스코어를 각 신경망 모델의 임계값으로 나눈 값을 0과 1사이 값으로 정규화한 정규화 값을 이용하여 음성 판성을 수행할 수 있다.
앙상블 레이어간 캐스케이드 앙상블의 구조는 음성 임계값
Figure 112022045095089-pat00021
에 만족하면 early exit하여 연산 비용을 최소화할 수 있다.
각 앙상블 레이어 내에서 학습시킨 모델들을 웨이티드 앙상블 형태로 조합하여 분류 정확도를 향상시킨다. 웨이티드 앙상블 방법은 분류 정확도가 높은 모델에 더 큰 가중치를 부여하여 모델들을 가중치 합하는 방식으로 계산한다.
앙상블 레이어 내 모델들은 각각 다른 정확도와 임계값을 갖기 때문에 불균형이 존재한다. 이러한 불균형을 제거하기 위해서 인퍼런스 스코어
Figure 112022045095089-pat00022
를 각 모델의 임계값
Figure 112022045095089-pat00023
으로 나눈
Figure 112022045095089-pat00024
0과 1사이 값으로 정규화한
Figure 112022045095089-pat00025
을 이용한다.
[수학식 5]
Figure 112022045095089-pat00026
일실시예에 따른 서버는 제Ns 앙상블 레이어에서 음성 판정되지 않은 데이터 세트들에 대해 최종적으로 양성 판정을 수행할 수 있다.
최종 분류 결정 단계에서는 클라이언트와 서버 전체 레이어에 대한 모델 가중치 합으로 양성 여부를 결정한다.
전체 레이어에 대한 모델 가중치 합을 이용하여 양성 여부를 최종 결정한다. 단순 레이어에 대한 캐스케이드 앙상블보다 한번 더 전체 레이어에 대한 모델 가중치 합을 이용하여 분류함으로써 양성 판정의 신뢰도를 높였다.
Figure 112022045095089-pat00027
i번째 레이어의 정확도에 대한 가중치이고 전체 앙상블 레이어 가중치의 합은 1이다.
[수학식 6]
Figure 112022045095089-pat00028
도 5는 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법을 설명하는 도면이다.
일실시예에 따른 가중치 기반 앙상블 모델 선택 방법은 클라이언트 모델, 서버 모델, 클라이언트-서버 모델 중에서 적용할 모델 구성 타입을 선택할 수 있다(단계 501).
다음으로, 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법은 클라이언트 모델에 해당하는 가중치를 선택하고(단계 502), 서버 모델에 해당하는 가중치를 선택하며(단계 503), 클라이언트-서버 모델에 해당하는 가중치를 선택(단계 504)할 수 있다.
다음으로, 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법은 선택한 각각의 모델에 대한 가중치를 적용하여 앙상블 모델을 선택할 수 있다(단계 505).
이 과정에서 양성 정확도, 음성 정확도, 연산량, 지연도를 고려하여 앙상블 모델을 선택할 수 있다.
다음으로, 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법은 앙상블 모델에 대한 연산 순서를 최적화할 수 있다(단계 506).
예를 들어, 신경망 모델에 대한 연산량과 지연도가 작을수록 앙상블 레이어의 앞쪽에 배치되도록 신경망 모델에 대한 순서를 결정할 수 있다.
도 6는 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법 중에서 클라이언트 모델의 동작을 설명하는 도면이다.
일실시예에 따른 가중치 기반 앙상블 모델 방법은 클라이언트측에 캐스테이드의 구조로 위치하는 1 내지 n번째 레이어에서 신경망 모델에 대한 모델 클러스터링을 수행할 수 있다(단계 601).
다음으로, 일실시예에 따른 가중치 기반 앙상블 모델 방법은 학습된 복수의 신경망 모델들이 캐스케이드 앙상블의 구조로 구현되는 제1 앙상블 레이어에서, 입력되는 데이터 세트에 대해 제1 임계값을 기준으로 음성 판정을 수행할 수 있다(단계 602).
클라이언트는 입력되는 데이터 세트에 대해 제1 신경망 모델에 대한 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 임계값을 기준으로 음성 판정이 되지 않은 나머지의 데이터 세트를 기반으로 클라이언트 앙상블 레이어 수인 Nc를 결정할 수 있다(단계 603).
결정된 클라이언트 앙상블 레이어 수 만큼 제1 신경망 모델에 직렬 연결된 신경망 모델들에서
Figure 112022045095089-pat00029
번째 레이어 인퍼런스를 통한 음성 판정을 수행하고(단계 604), 결정된 클라이언트 앙상블 레이어 수 만큼의 음성 판정을 수행한 후에도 음성 판정되지 않은 나머지의 데이터 세트에 대해 서버 판정을 요청할 수 있다.
이를 위해, 일실시예에 따른 가중치 기반 앙상블 모델 방법은 결정된 클라이언트 앙상블 레이어 수만큼의 앙상블 레이어를 통한 음성 판정 후, 최종 분류 결정 과정을 수행(단계 605)할 수 있다.
최종 분류 결정 과정에서는, 음성 판정에 사용된 신경망 모델들의 산술 가중치 합을 계산할 수 있다.
또한, 일실시예에 따른 가중치 기반 앙상블 모델 방법은 최종 분류 결정된 신경망 모델들의 산술 가중치 합이 임계값 보다 큰지 여부를 판단하여(단계 606), 크다면 음성이 아니라고 판단하여 서버 판정을 요청할 수 있다(단계 607).
일실시예에 따른 클라이언트는, 직전 앙상블 레이어에 대한 인퍼런스 스코어의 불확실성(Uncertainty)을 산출하고, 상기 산출한 불확실성(Uncertainty)을 이용하여 연산할 클라이언트 앙상블 레이어 수를 결정할 수 있다.
또한, 클라이언트는, 직전 앙상블 레이어의 음성 임계값, 양성 임계값, 인퍼런스 스코어를 이용하여 상기 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
일실시예에 따른 클라이언트는, 상기 불확실성이 0과 1사이의 값을 갖고, 음성 임계값과 양성 임계값에서 멀어질수록 커지도록 상기 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
도 7은 일실시예에 따른 가중치 기반 앙상블 모델 선택 방법 중에서 서버 모델의 동작을 설명하는 도면이다.
일실시예에 따른 가중치 기반 앙상블 모델 방법은 1 내지 n번째 레이어에서 신경망 모델에 대한 모델 클러스터링을 수행할 수 있다(단계 701).
다음으로, 일실시예에 따른 가중치 기반 앙상블 모델 방법은 학습된 복수의 신경망 모델들이 웨이티드 앙상블의 구조로 구현되는 제1 앙상블 레이어에서, 입력되는 데이터 세트에 대해 제1 임계값을 기준으로 음성 판정을 수행할 수 있다.
이를 위해, 일실시예에 따른 가중치 기반 앙상블 모델 방법은 제1 앙상블 레이어에서의 초기 인퍼런스 스코어를 산출하고(단계 702), 산출된 초기 인퍼런스 스코어에 기초하여 서버 앙상블 레이어 수인 Ns을 결정할 수 있다(단계 703).
다음으로, 일실시예에 따른 가중치 기반 앙상블 모델 방법은 결정된 서버 앙상블 레이어 수인 Ns에 기반하여 Ns번째 레이어까지 앙상블 레이어 인퍼런스 스코어를 산출할 수 있다(단계 704).
이 과정에서 일실시예에 따른 가중치 기반 앙상블 모델 방법은 Ns-1개의 앙상블 레이어를 이용하여, 상기 데이터 세트 중에서 음성 판정을 받지 않은 나머지 데이터 세트들에 대한 음성 판정을 수행하되, 각 앙상블 레이어에서의 임계값을 기준으로 음성 판정을 수행할 수 있다.
일실시예에 따른 가중치 기반 앙상블 모델 방법은 Ns-1개의 앙상블 레이어 각각의 끝단에서 직전 앙상블 레이어에서의 인퍼런스 스코어에 기초하여 서버 앙상블 레이어 수인 Ns를 다시 결정할 수 있다.
일실시예에 따른 가중치 기반 앙상블 모델 방법은 제Ns 앙상블 레이어에서 음성 판정되지 않은 데이터 세트들에 대해 최종적으로 양성 판정을 수행하기 위해 최종 분류 결정을 수행할 수 있다(단계 705).
일실시예에 따른 가중치 기반 앙상블 모델 방법은 제1 앙상블 레이어 및 상기 Ns개의 앙상블 레이어 중에서 적어도 하나의 앙상블 레이어에서 인퍼런스 스코어를 산출하는 과정을 수행할 수 있다.
예를 들어, 일실시예에 따른 가중치 기반 앙상블 모델 방법은 인퍼런스 스코어를 산출하기 위해, 각 앙상블 레이어 내에서 학습시킨 신경망 모델들에 대해, 분류 정확도를 기준으로 가중치를 상기 신경망 모델들 각각에 부여하고, 부여한 가중치를 합하는 방식으로 인퍼런스 스코어를 산출할 수 있다.
일실시예에 따른 가중치 기반 앙상블 모델 방법은 음성 판성을 수행하기 위해, 산출된 인퍼런스 스코어를 각 신경망 모델의 임계값으로 나눈 값을 0과 1사이 값으로 정규화한 정규화 값을 이용하여 음성 판성을 수행할 수 있다.
일실시예에 따른 가중치 기반 앙상블 모델 방법은 서버 앙상블 레이어 수인 Ns를 결정하기 위해, 학습된 복수의 신경망 모델들을 클러스터링한 후, 직전의 앙상블 레이어에 대한 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다. 또한, 일실시예에 따른 가중치 기반 앙상블 모델 방법은 산출한 불확실성(Uncertainty)을 이용하여 연산할 서버 앙상블 레이어 수를 결정할 수 있다.
일실시예에 따른 가중치 기반 앙상블 모델 방법은 불확실성(Uncertainty)을 산출하기 위해, 직전 앙상블 레이어의 음성 임계값, 양성 임계값, 인퍼런스 스코어를 이용하여 상기 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
일실시예에 따른 가중치 기반 앙상블 모델 방법은 0과 1사이의 값을 갖고, 음성 임계값과 양성 임계값에서 멀어질수록 커지도록 상기 인퍼런스 스코어의 불확실성(Uncertainty)을 산출할 수 있다.
일례로, 앙상블 레이어 적응적 임계값을 계산하기 위해서는 앙상블 레이어 별
Figure 112022045095089-pat00030
과
Figure 112022045095089-pat00031
이 필요하다.
테스트 데이터셋을 이용한 성능 측정 단계에서
Figure 112022045095089-pat00032
,
Figure 112022045095089-pat00033
,
Figure 112022045095089-pat00034
,
Figure 112022045095089-pat00035
을 얻고, 이를 이용하여
Figure 112022045095089-pat00036
과
Figure 112022045095089-pat00037
을 계산한다.
Figure 112022045095089-pat00038
과
Figure 112022045095089-pat00039
사이 값 중 앙상블 레이어 위치에 따라 적합한 임계값으로 결정한다.
일실시예에 따른 가중치 기반 앙상블 모델 시스템 및 방법은 앙상블 레이어 임계값을 결정할 수 있으며, 앙상블 레이어 임계값을 결정하기 위해, 학습 데이터 세트를 이용하여, 상기 복수의 신경망 모델들을 학습할 수 있다. 또한, 테스트 데이터 세트를 이용하여 상기 학습된 복수의 신경망 모델들에 대한 성능을 측정하며, 측정한 성능을 기반으로, 각 앙상블 레이어에 대한 임계값을 산출할 수 있다.
구체적인 예로, 앙상블 레이어 임계값을 결정하기 위해, 학습된 복수의 신경망 모델들에 대한 성능으로서, 거짓 양성 비율(False Positive Rate), 참 양성 비율(True Positive Rate), 참 음성 비율(True Negative Rate), 거짓 음성 비율(False Negative Rate), 분류 이득, 분류 리스크, 양성 임계값, 음성 임계값을 측정할 수 있다.
일실시예에 따른 가중치 기반 앙상블 모델 방법은 앙상블 레이어 임계값을 결정하기 위해, 참 양성 비율(True Positive Rate)과 거짓 음성 비율(False Negative Rate)의 차이를 이용하여 상기 상기 분류 이득을 산출하고, 참 음성 비율(True Negative Rate)과 거짓 양성 비율(False Positive Rate)의 차이를 이용하여 상기 분류 리스크를 산출할 수 있다.
앙상블 레이어 임계값 결정 방법은 아래의 수학식을 통해 수행될 수 있다.
[수학식 7]
Figure 112022045095089-pat00040
여기서, FPi는 거짓 양성 비율(False Positive Rate), TPi는 참 양성 비율(True Positive Rate), TNi는 참 음성 비율(True Negative Rate), FNi는 거짓 음성 비율(False Negative Rate), Bi는 분류 이득, Ri는 분류 리스크,
Figure 112022045095089-pat00041
는 양성 임계값,
Figure 112022045095089-pat00042
는 음성 임계값으로 해석될 수 있다.
Figure 112022045095089-pat00043
는
Figure 112022045095089-pat00044
와
Figure 112022045095089-pat00045
사이 값 중
Figure 112022045095089-pat00046
가 커질수록
Figure 112022045095089-pat00047
서 멀어지고
Figure 112022045095089-pat00048
가까운 값을 갖도록 하여 앙상블 레이어 별 최적의 임계값을 갖도록 한다.
Figure 112022045095089-pat00049
에서는 추가 검사에 대한 리스크를 포함시키고, 반대로
Figure 112022045095089-pat00050
에서는 그만큼 감소시킴으로써 음성과 양성 임계값 간의 균형을 맞출 수 있다.
Figure 112022045095089-pat00051
째 앙상블 레이어에서
Figure 112022045095089-pat00052
보다 작은 인퍼런스 스코어는 조기 종료하고 양성 임계값
Figure 112022045095089-pat00053
을 갖는 마지막 레이어에서는 음성이 아닐 경우 최종 분류 결정 단계 양성 여부를 최종 판단할 수 있다.
아래의 수학식은 일실시예에 따른 앙상블 레이어 임계값 결정 예시를 설명한다.
T1으로 갈 수록 음성 판정의 정확도가 향상되고, T1에서 멀어질수록 양성 판정의 정확도가 향상될 수 있다.
[수학식 8]
Figure 112022045095089-pat00054
Figure 112022045095089-pat00055
는
Figure 112022045095089-pat00056
와
Figure 112022045095089-pat00057
사이 값 중
Figure 112022045095089-pat00058
가 커질수록
Figure 112022045095089-pat00059
서 멀어지고
Figure 112022045095089-pat00060
가까운 값을 갖는다.
Figure 112022045095089-pat00061
가 서서히 증가하면서 음성 데이터는 재확인 과정을 거치면서 필터링되고
Figure 112022045095089-pat00062
가까워질수록 양성 판정에 대한 정확도는 증가하게 되는 효과가 있다.
결국, 본 발명을 이용하는 경우, 가중치 기반 앙상블 모델 선택과정에서, 학습 및 성능 측정 단계에서 얻은 양성 임계값과 음성 임계값을 바탕으로 레이어 별 임계값을 계산하고 적용하여 서비스할 수 있다.
또한, 일반적으로 음성 데이터가 대부분을 차지하는 일반적인 서비스에서 음성 데이터는 클라이언트에서 조기 분류하고 종료하여 트래픽과 리소스를 절약하고, 또한 그렇지 않은 불확실한 데이터에 대해서는 더 크고 정확한 서버 앙상블 레이어에서 추가 검사를 함으로써 양상 판별에 대해 더 높은 정확도를 기대할 수 있다.
신경망 모델을 조합하여 리소스를 줄이면서 성능을 높이는 가중치 기반 앙상블 모델 방법을 제공할 수 있다.
또한, 본 발명을 이용하는 경우, 캐스케이드와 웨이티드 앙상블 방법을 같이 사용하여 캐스케이드 방법이 갖는 연산 비용의 장점과 웨이티드 앙상블 방법의 분류 정확도의 장점을 동시에 갖도록 할 수 있고, 서로 다른 네트워크 구조를 갖는 딥러닝 모델들은 앙상블로 조합했을 때 상호 보완하여 성능을 향상시킬 수 있다.
뿐만 아니라, 판정이 불확실한 데이터에 대해서 다음 앙상블 레이어에서 추가 검사하여 양성 판정에 대해 정확도를 높일 수 있고, 앙상블 레이어의 초기 인퍼런스 결과에 따라 동적으로 서버 앙상블 레이어 수를 조절하고 앙상블 레이어 별 최적의 임계값을 찾아 분류 결정하여 성능을 향상시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (26)

  1. 앙상블 모델 선택 시스템에 있어서,
    학습 데이터 세트를 이용하여 신경망 모델에 대한 학습 및 성능 측정을 수행하는 학습 및 성능 측정 처리부; 및
    상기 학습 및 성능 측정된 결과를 기반으로 독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 상기 학습 및 성능 측정된 결과와 각각의 신경망 모델들의 양성 정확도 또는 음성 정확도에 대한 가중치를 바탕으로 선택하는 앙상블 모델 선택부를 포함하고,
    상기 독립적인 클라이언트 모델에 있어,
    상기 앙상블 모델 선택 시스템과 네트워크로 연결되는 클라이언트는 입력되는 데이터 세트에 대해 제1 신경망 모델에 대한 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 임계값을 기준으로 음성 판정이 되지 않은 나머지의 데이터 세트를 기반으로 클라이언트 앙상블 레이어 수를 결정하고, 상기 결정된 클라이언트 앙상블 레이어 수 만큼 상기 제1 신경망 모델에 직렬 연결된 신경망 모델들을 통한 음성 판정을 수행하며, 상기 결정된 클라이언트 앙상블 레이어 수 만큼의 음성 판정을 수행하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 독립적인 서버 모델에 있어,
    상기 앙상블 모델 선택 시스템과 네트워크로 연결되는 서버는 학습된 복수의 신경망 모델들이 웨이티드 앙상블의 구조로 구현되고, 입력되는 데이터 세트에 대해 제1 임계값을 기준으로 음성 판정을 수행하고,
    캐스케이드 형태로 배치되는 복수의 앙상블 레이어들 중 첫번째 앙상블 레이어인 제1 앙상블 레이어에서의 초기 인퍼런스 스코어에 기초하여 서버 앙상블 레이어 수인 N을 결정하며,
    상기 서버 앙상블 레이어 수에 따라 상기 제1 앙상블 레이어에 캐스케이드 형태로 배치되는 N-1개의 앙상블 레이어를 통해, 상기 데이터 세트 중에서, 음성 판정을 받지 않은 나머지 데이터 세트들에 대해, 각 앙상블 레이어에서의 임계값을 기준으로 음성 판정을 수행하는 가중치 기반 앙상블 모델 선택 시스템.
  4. 제1항에 있어서,
    상기 협력적인 클라이언트-서버 모델은
    상기 앙상블 모델 선택 시스템과 네트워크로 연결되는 클라이언트에서, 입력되는 데이터 세트에 대해, 단일의 신경망 모델이 캐스케이드 앙상블의 구조로 구현되는 신경망 모델을 통해 음성 판정을 수행하되, 음성 판정이 되지 않은 나머지 데이터 세트에 대해 서버 판정을 요청하고,
    상기 앙상블 모델 선택 시스템과 네트워크로 연결되는 서버에서, 상기 서버에 의해 판정 요청된 데이터 세트에 대해, 학습된 복수의 신경망 모델들이 적어도 하나 이상의 웨이티드 앙상블의 구조로 구현되는 신경망 모델을 이용하여 음성 판정을 수행하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 시스템.
  5. 제1항에 있어서,
    상기 학습 및 성능 측정 처리부는,
    폭(width), 깊이(depth), 해상도(resolution) 중에서 적어도 하나에 기초하여 복수의 크기를 갖는 n개의 모델들을 학습시키고,
    학습 후 성능 측정 결과를 바탕으로 양성 정확도, 음성 정확도, 연산량, 지연도와 양성 임계값과 음성 임계값을 계산하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 시스템.
  6. 제5항에 있어서,
    상기 학습 및 성능 측정 처리부는,
    상기 독립적인 클라이언트 모델에 대해, 모델 경량화 과정을 거친 후 성능 측정을 수행하는 가중치 기반 앙상블 모델 선택 시스템.
  7. 제6항에 있어서,
    상기 학습 및 성능 측정 처리부는,
    quantization, pruning, knowledge distillation 중에서 적어도 하나 이상을 이용하여, 상기 독립적인 클라이언트 모델에 대한 모델 경량화 과정을 수행하는 가중치 기반 앙상블 모델 선택 시스템.
  8. 제1항에 있어서,
    상기 앙상블 모델 선택부는,
    상기 각각의 신경망 모델들의 성능 측정 결과와 가중치를 바탕으로 상기 독립적인 클라이언트 모델, 상기 독립적인 서버 모델, 상기 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하고, 클러스터링 하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 시스템.
  9. 제8항에 있어서,
    상기 앙상블 모델 선택부는,
    신경망 모델에 대한 연산량과 지연도를 고려하여 앙상블 레이어에서의 신경망 모델에 대한 순서를 결정하는 가중치 기반 앙상블 모델 선택 시스템.
  10. 제8항에 있어서,
    상기 앙상블 모델 선택부는,
    신경망 모델에 대한 연산량과 지연도가 작을수록 앙상블 레이어의 앞쪽에 배치되도록 신경망 모델에 대한 순서를 결정하는 가중치 기반 앙상블 모델 선택 시스템.
  11. 제8항에 있어서,
    상기 앙상블 모델 선택부는,
    상기 각각의 신경망 모델들에 대한 양성 정확도, 음성 정확도, 연산량, 및 지연도에 대한 동일한 가중치를 바탕으로 상기 독립적인 클라이언트 모델을 선택하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 시스템.
  12. 제8항에 있어서,
    상기 앙상블 모델 선택부는,
    상기 각각의 신경망 모델들에 대한 연산량, 지연도 보다 양성 정확도, 음성 정확도에 보다 높은 가중치를 적용하여 상기 독립적인 서버 모델을 선택하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 시스템.
  13. 제8항에 있어서,
    상기 앙상블 모델 선택부는,
    협력적인 클라이언트-서버 모델을 선택하는 경우,
    상기 클라이언트 모델에 대해서는, 기준 이하로 가벼우면서 음성에 대한 정확도가 서버 모델에 비해 상대적으로 높은 모델을 선택하여 음성 데이터를 조기에 판별하고, 양성 정확도보다는 음성 정확도가 높고 연산량, 지연도가 기준 이하로 작은 모델에 대해 우선순위를 부여하며,
    상기 서버 모델에 대해서는, 양성에 대한 정확도가 기준 이상인 모델들로 구성하되, 다른 성능측정 파라미터보다 양성 정확도를 가장 높은 우선순위에 두고 모델을 선택하며, 음성 정확도가 더 높은 모델을 선택하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 시스템.
  14. 앙상블 모델 선택 시스템에 의해 수행되는 가중치 기반 앙상블 모델 선택 방법에 있어서,
    학습 데이터 세트를 이용하여 신경망 모델에 대한 학습 및 성능 측정을 수행하는 단계; 및
    독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 상기 학습 및 성능 측정된 결과와 각각의 신경망 모델들의 양성 정확도 및 음성 정확도에 대한 가중치를 바탕으로 선택하는 단계를 포함하고,
    상기 독립적인 클라이언트 모델에 있어,
    상기 앙상블 모델 선택 시스템과 네트워크로 연결되는 클라이언트는 입력되는 데이터 세트에 대해 제1 신경망 모델에 대한 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 임계값을 기준으로 음성 판정이 되지 않은 나머지의 데이터 세트를 기반으로 클라이언트 앙상블 레이어 수를 결정하고, 상기 결정된 클라이언트 앙상블 레이어 수 만큼 상기 제1 신경망 모델에 직렬 연결된 신경망 모델들을 통한 음성 판정을 수행하며, 상기 결정된 클라이언트 앙상블 레이어 수 만큼의 음성 판정을 수행하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 방법.
  15. 삭제
  16. 제14항에 있어서,
    상기 독립적인 서버 모델에 있어,
    상기 앙상블 모델 선택 시스템과 네트워크로 연결되는 서버는 학습된 복수의 신경망 모델들이 웨이티드 앙상블의 구조로 구현되고, 입력되는 데이터 세트에 대해 제1 임계값을 기준으로 음성 판정을 수행하고,
    캐스케이드 형태로 배치되는 복수의 앙상블 레이어들 중 첫번째 앙상블 레이어인 제1 앙상블 레이어에서의 초기 인퍼런스 스코어에 기초하여 서버 앙상블 레이어 수인 N을 결정하며,
    상기 서버 앙상블 레이어 수에 따라 상기 제1 앙상블 레이어에 캐스케이드 형태로 배치되는 N-1개의 앙상블 레이어를 통해, 상기 데이터 세트 중에서, 음성 판정을 받지 않은 나머지 데이터 세트들에 대해, 각 앙상블 레이어에서의 임계값을 기준으로 음성 판정을 수행하는 협력적인 가중치 기반 앙상블 모델 선택 방법.
  17. 제14항에 있어서,
    상기 협력적인 클라이언트-서버 모델은
    상기 앙상블 모델 선택 시스템과 네트워크로 연결되는 클라이언트에서, 입력되는 데이터 세트에 대해, 단일의 신경망 모델이 캐스케이드 앙상블의 구조로 구현되는 신경망 모델을 통해 음성 판정을 수행하되, 음성 판정이 되지 않은 나머지 데이터 세트에 대해 서버 판정을 요청하고,
    상기 앙상블 모델 선택 시스템과 네트워크로 연결되는 서버에서, 상기 서버에 의해 판정 요청된 데이터 세트에 대해, 학습된 복수의 신경망 모델들이 적어도 하나 이상의 웨이티드 앙상블의 구조로 구현되는 신경망 모델을 이용하여 음성 판정을 수행하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 방법.
  18. 제14항에 있어서,
    상기 학습 및 성능 측정을 수행하는 단계는,
    폭(width), 깊이(depth), 해상도(resolution) 중에서 적어도 하나에 기초하여 복수의 크기를 갖는 n개의 모델들을 학습시키고,
    학습 후 성능 측정 결과를 바탕으로 양성 정확도, 음성 정확도, 연산량, 지연도와 양성 임계값과 음성 임계값을 계산하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 방법.
  19. 제18항에 있어서,
    상기 학습 및 성능 측정을 수행하는 단계는,
    상기 독립적인 클라이언트 모델에 대해, 모델 경량화 과정을 거친 후 성능 측정을 수행하는 가중치 기반 앙상블 모델 선택 방법.
  20. 제19항에 있어서,
    상기 학습 및 성능 측정을 수행하는 단계는,
    quantization, pruning, knowledge distillation 중에서 적어도 하나 이상을 이용하여, 상기 독립적인 클라이언트 모델에 대한 모델 경량화 과정을 수행하는 가중치 기반 앙상블 모델 선택 방법.
  21. 제14항에 있어서,
    상기 적어도 하나의 앙상블 모델을 선택하는 단계는,
    상기 각각의 신경망 모델들의 성능 측정 결과와 가중치를 바탕으로 상기 독립적인 클라이언트 모델, 상기 독립적인 서버 모델, 상기 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하고, 클러스터링 하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 방법.
  22. 제21항에 있어서,
    상기 적어도 하나의 앙상블 모델을 선택하는 단계는,
    신경망 모델에 대한 연산량과 지연도를 고려하여 앙상블 레이어에서의 신경망 모델에 대한 순서를 결정하는 가중치 기반 앙상블 모델 선택 방법.
  23. 제21항에 있어서,
    상기 적어도 하나의 앙상블 모델을 선택하는 단계는,
    신경망 모델에 대한 연산량과 지연도가 작을수록 앙상블 레이어의 앞쪽에 배치되도록 신경망 모델에 대한 순서를 결정하는 가중치 기반 앙상블 모델 선택 방법.
  24. 제21항에 있어서,
    상기 적어도 하나의 앙상블 모델을 선택하는 단계는,
    상기 각각의 신경망 모델들에 대한 양성 정확도, 음성 정확도, 연산량, 및 지연도에 대한 동일한 가중치를 바탕으로 상기 독립적인 클라이언트 모델을 선택하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 방법.
  25. 제21항에 있어서,
    상기 적어도 하나의 앙상블 모델을 선택하는 단계는,
    각각의 모델들에 대한 연산량, 및 지연도 보다 양성 정확도, 음성 정확도에 보다 높은 가중치를 적용하여 상기 독립적인 서버 모델을 선택하는 것을 특징으로 하는 가중치 기반 앙상블 모델 선택 방법.
  26. 적어도 하나 이상의 프로세서에 의해서 실행되는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 있어서,
    학습 데이터 세트를 이용하여 신경망 모델에 대한 학습 및 성능 측정을 수행하는 명령어 세트; 및
    상기 학습 및 성능 측정된 결과를 기반으로 독립적인 클라이언트 모델, 독립적인 서버 모델, 협력적인 클라이언트-서버 모델 중에서 적어도 하나의 앙상블 모델을 선택하는 명령어 세트를 포함하고,
    상기 독립적인 클라이언트 모델에 있어,
    앙상블 모델 선택 시스템과 네트워크로 연결되는 클라이언트는 입력되는 데이터 세트에 대해 제1 신경망 모델에 대한 제1 임계값을 기준으로 음성 판정을 수행하고, 상기 제1 임계값을 기준으로 음성 판정이 되지 않은 나머지의 데이터 세트를 기반으로 클라이언트 앙상블 레이어 수를 결정하고, 상기 결정된 클라이언트 앙상블 레이어 수 만큼 상기 제1 신경망 모델에 직렬 연결된 신경망 모델들을 통한 음성 판정을 수행하며, 상기 결정된 클라이언트 앙상블 레이어 수 만큼의 음성 판정을 수행하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체.
KR1020220051852A 2022-04-27 2022-04-27 가중치 기반 앙상블 모델 선택 시스템 및 방법 KR102535010B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220051852A KR102535010B1 (ko) 2022-04-27 2022-04-27 가중치 기반 앙상블 모델 선택 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220051852A KR102535010B1 (ko) 2022-04-27 2022-04-27 가중치 기반 앙상블 모델 선택 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102535010B1 true KR102535010B1 (ko) 2023-05-26

Family

ID=86536890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220051852A KR102535010B1 (ko) 2022-04-27 2022-04-27 가중치 기반 앙상블 모델 선택 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102535010B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966557B1 (ko) * 2017-12-08 2019-04-05 세종대학교산학협력단 빅데이터와 머신러닝을 이용한 수리부속수요 예측 시스템 및 방법
KR20200098904A (ko) * 2019-02-13 2020-08-21 아주대학교산학협력단 학습 모델 생성 장치 및 방법
KR20210003004A (ko) * 2019-07-01 2021-01-11 한국전자통신연구원 앙상블 모델 기반 이상 진단 및 예측 방법과 장치
KR102215978B1 (ko) 2019-09-17 2021-02-16 주식회사 라인웍스 블록체인망 상 비동기 분산 병렬형 앙상블 모델 학습 및 추론 시스템 및 그 방법
KR102224253B1 (ko) 2019-04-15 2021-03-08 계명대학교 산학협력단 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법
KR20210055992A (ko) * 2019-11-08 2021-05-18 엘지전자 주식회사 인공지능 모델 관리 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966557B1 (ko) * 2017-12-08 2019-04-05 세종대학교산학협력단 빅데이터와 머신러닝을 이용한 수리부속수요 예측 시스템 및 방법
KR20200098904A (ko) * 2019-02-13 2020-08-21 아주대학교산학협력단 학습 모델 생성 장치 및 방법
KR102224253B1 (ko) 2019-04-15 2021-03-08 계명대학교 산학협력단 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법
KR20210003004A (ko) * 2019-07-01 2021-01-11 한국전자통신연구원 앙상블 모델 기반 이상 진단 및 예측 방법과 장치
KR102215978B1 (ko) 2019-09-17 2021-02-16 주식회사 라인웍스 블록체인망 상 비동기 분산 병렬형 앙상블 모델 학습 및 추론 시스템 및 그 방법
KR20210055992A (ko) * 2019-11-08 2021-05-18 엘지전자 주식회사 인공지능 모델 관리 방법 및 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks", ICML 2019
"The Threshold Approach to Clinical Decision Making", N Engl J Med (1980)
"Wisdom of Committees: An Overlooked Approach To Faster and More Accurate Models", Computer Vision and Pattern Recognition (2021)
"대용량 이미지넷 인식을 위한 CNN 기반 Weighted 앙상블 기법", 대한임베디드공학회논문지(2020년)

Similar Documents

Publication Publication Date Title
CN108654091B (zh) 用于游戏中作弊校验的方法、介质、装置和计算设备
CN110673951B (zh) 通用运行环境的拟态调度方法、系统及介质
US20200218985A1 (en) System and method for synthetic-model-based benchmarking of ai hardware
US20200042419A1 (en) System and method for benchmarking ai hardware using synthetic ai model
KR102167011B1 (ko) 샘플링 및 적응적으로 변경되는 임계치에 기초하여 뉴럴 네트워크를 학습하는데 이용되는 하드 네거티브 샘플을 추출하는 영상 학습 장치 및 상기 장치가 수행하는 방법
CN108776833B (zh) 一种数据处理方法、系统及计算机可读存储介质
CN115277354B (zh) 一种面向指挥控制网络管理系统的故障检测方法
CN114925238B (zh) 一种基于联邦学习的视频片段检索方法及系统
KR20170097535A (ko) 비관심 아이템을 활용한 아이템 추천 방법 및 장치
CN113553138A (zh) 一种云资源调度的方法及装置
CN109508658A (zh) 一种多生物特征联合识别方法及装置
CN112215362A (zh) 用于转换数据和优化数据转换的双重机器学习管道
KR20170052448A (ko) 인증 방법 및 장치, 및 인식기 학습 방법 및 장치
KR102535010B1 (ko) 가중치 기반 앙상블 모델 선택 시스템 및 방법
Hidayat et al. Performance Analysis and mitigation of virtual machine server by using naive bayes classification
KR102209505B1 (ko) 데이터 빈도수 분석을 통한 인공지능 학습 방법 및 장치
KR102472596B1 (ko) 레이어 적응적 임계값 결정 기반 딥러닝 모델 앙상블 장치 및 방법
KR102460521B1 (ko) 협력적인 클라이언트-서버 구조의 딥러닝 모델 앙상블 시스템 및 방법
CN111783930A (zh) 一种基于路径状态的神经网络测试充分性评估方法
Babu et al. Three-stage multi-objective feature selection with distributed ensemble machine and deep learning for processing of complex and large datasets
KR102245896B1 (ko) 인공 지능 모형 기반의 어노테이션 데이터 검증 방법 및 그 시스템
KR102244705B1 (ko) 학습데이터 생성을 위한 크라우드소싱 기반 유사 프로젝트의 작업 단가 역전 조정을 통한 작업자 유입 조절 방법
Zavvar et al. Measuring service quality in service-oriented architectures using a hybrid particle swarm optimization algorithm and artificial neural network (PSO-ANN)
JP7349404B2 (ja) 判定装置、判定方法及び判定プログラム
JP2021099781A (ja) 人工知能学習データの生成のためのクラウドソーシング基盤プロジェクトの作業者及び検収者の増減運用方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant