KR20180069877A - 머신 러닝 기반 네트워크 모델 구축 방법 및 장치 - Google Patents

머신 러닝 기반 네트워크 모델 구축 방법 및 장치 Download PDF

Info

Publication number
KR20180069877A
KR20180069877A KR1020187013732A KR20187013732A KR20180069877A KR 20180069877 A KR20180069877 A KR 20180069877A KR 1020187013732 A KR1020187013732 A KR 1020187013732A KR 20187013732 A KR20187013732 A KR 20187013732A KR 20180069877 A KR20180069877 A KR 20180069877A
Authority
KR
South Korea
Prior art keywords
network
data processing
network model
processing step
data
Prior art date
Application number
KR1020187013732A
Other languages
English (en)
Other versions
KR102173555B1 (ko
Inventor
보 정
즈빈 류
르자 류
첸 천
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20180069877A publication Critical patent/KR20180069877A/ko
Application granted granted Critical
Publication of KR102173555B1 publication Critical patent/KR102173555B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G06N99/005—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

머신 러닝 기반 네트워크 모델 구축 방법 및 장치가 개시되어 있다. 이 방법은, 원본 네트워크 모델의 데이터 처리 흐름 및 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 참조 데이터 세트를 획득하는 단계(S101); 데이터 처리 흐름 및 참조 데이터 세트에 따라 적어도 하나의 서브 네트워크를 계층적으로 구축하는 단계(S102); 참조 데이터 세트를 이용하여 적어도 하나의 서브 네트워크에 대한 최적화 훈련을 수행하는 단계(S103); 및 최적화 훈련 후에 적어도 하나의 서브 네트워크를 조합하고 처리하여 타깃 네트워크 모델을 형성하는 단계(S104)를 포함한다. 이 기술적 해결책은 네트워크 모델 구축 프로세스를 단순화할 수 있고, 그에 의해 모델 구축 효율이 향상된다.

Description

머신 러닝 기반 네트워크 모델 구축 방법 및 장치
관련출원
본 출원은 2016년 6월 2일자로 출원된 "머신 러닝 기반 네트워크 모델 구축 방법 및 장치"라는 명칭의 중국 특허 출원 제201610389530.9호의 우선권을 주장하고, 이 출원은 그 전문이 본 명세서에 참조에 의해 포함된다.
기술분야
본 출원은 인터넷 기술 분야에 관한 것으로서, 특히 머신 러닝 기반 네트워크 모델 구축 방법 및 장치에 관한 것이다.
머신 러닝 기술의 급속한 발전으로 머신 러닝 방법이 더 많은 분야에서 네트워크 모델을 구축하기 위해 사용되기 시작했고, 구축된 네트워크 모델은 분석, 제어 및 결정 도구로 사용된다. 네트워크 모델에는 비 신경망(NN: neural network)과 NN 모델이 포함된다. NN은 서로 접속되어 있는 큰 수의 처리 유닛(뉴런이라고 함)으로 형성되는 복잡한 네트워크 시스템이고, 높은 복잡도의 비선형 동적 학습 시스템이다. NN의 기본은 뉴런이고, NN 모델은 네트워크 토폴로지, 노드 피처 및 뉴런의 학습 규칙을 사용하여 나타낸다.
본 출원의 실시예는 네트워크 모델을 구축하는 프로세스를 단순화하고 모델 구축 효율을 향상시키기 위한 머신 러닝 기반 네트워크 모델 구축 방법 및 장치를 제공한다.
본 출원의 실시예의 제1 양태는 머신 러닝 기반 네트워크 모델 구축 방법을 제공하고, 하기를 포함한다:
원본 네트워크 모델의 데이터 처리 절차 및 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 참조 데이터 세트를 획득하는 단계;
데이터 처리 절차 및 참조 데이터 세트에 따라 적어도 하나의 서브 네트워크를 계층적으로 구축하는 단계;
참조 데이터 세트를 이용하여 적어도 하나의 서브 네트워크에 대한 최적화 훈련을 수행하는 단계; 및
최적화 훈련이 수행된 적어도 하나의 서브 네트워크를 병합하여 타깃 네트워크 모델을 형성하는 단계.
원본 네트워크 모델의 데이터 처리 절차 및 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 참조 데이터 세트를 획득하는 단계는:
데이터 처리 절차에서 원본 네트워크 모델에 의해 수행되는 적어도 하나의 데이터 처리 단계를 획득하는 단계;
원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터를 획득하는 단계; 및
원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터로부터 일부 또는 모든 데이터를 추출하여 참조 데이터 세트를 형성하는 단계 - 참조 데이터 세트는 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 포함함 -를 포함한다.
데이터 처리 절차 및 참조 데이터 세트에 따라 적어도 하나의 서브 네트워크를 계층적으로 구축하는 단계는:
각각의 데이터 처리 단계와 등가인 서브 네트워크의 네트워크 메인 구조에 대한 미리 설정된 등가 대응 관계 표를 검색하는 단계;
각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹에 따라, 데이터 처리 단계와 등가인 서브 네트워크의 입력 계층 구조 및 출력 계층 구조를 결정하는 단계; 및
각각의 데이터 처리 단계와 등가인 서브 네트워크의 네트워크 메인 구조, 입력 계층 구조 및 출력 계층 구조에 따라, 데이터 처리 단계와 등가인 서브 네트워크를 구축하는 단계 - 하나의 서브 네트워크는 하나의 데이터 처리 단계와 등가임 -를 포함한다.
참조 데이터 세트를 이용하여 적어도 하나의 서브 네트워크에 대한 최적화 훈련을 수행하는 단계는:
참조 데이터 세트로부터 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 순차적으로 판독하는 단계; 및
각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여 및 NN 훈련 최적화 알고리즘에 따라 각각의 데이터 처리 단계와 등가인 서브 네트워크의 파라미터에 대한 최적화 조정을 수행하는 단계 - 파라미터는 네트워크 노드, 가중치, 및 훈련율 중 적어도 하나를 포함함 - 를 포함한다.
최적화 훈련이 수행된 적어도 하나의 서브 네트워크를 병합하여 타깃 네트워크 모델을 형성하는 단계는:
적어도 하나의 서브 네트워크로부터의 임의의 서브 네트워크를 시드 네트워크로서 선택하는 단계;
각각의 데이터 처리 단계에 따라 지정된 병합 시퀀스를 획득하고, 병합 시퀀스에 따라 적어도 하나의 서브 네트워크로부터의 시드 네트워크 이외의 서브 네트워크를 병합될 대상 네트워크로서 선택하는 단계;
완전 접속 방식으로 시드 네트워크 및 병합될 대상 네트워크에 대한 병합 접속을 수행하는 단계;
병합 접속이 성공하면, 시드 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹 및 병합될 대상 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여, 병합 접속에 의해 획득되는 네트워크의 파라미터에 대한 최적화 조정을 수행하는 단계; 및
적어도 하나의 서브 네트워크 모두에 대해 병합 접속이 수행될 때까지 병합 접속에 의해 획득되는 네트워크를 시드 네트워크로서 사용하여 프로세스를 반복하여, 타깃 네트워크 모델을 형성하는 단계를 포함한다.
방법은:
병합 접속이 실패하면, 시드 네트워크와 병합될 대상 네트워크 간에 숨겨진 중간 계층을 추가하고, 숨겨진 중간 계층을 이용하여 완전 접속 방식으로 시드 네트워크와 병합될 대상 네트워크에 대한 병합 접속을 수행하는 단계를 추가로 포함한다.
본 출원의 실시예의 제2 양태는 머신 러닝 기반 네트워크 모델 구축 장치를 제공하고, 하기를 포함한다:
원본 네트워크 모델의 데이터 처리 절차 및 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 참조 데이터 세트를 획득하도록 구성된 획득 모듈;
데이터 처리 절차 및 참조 데이터 세트에 따라 적어도 하나의 서브 네트워크를 계층적으로 구축하도록 구성된 계층적 구축 모듈;
참조 데이터 세트를 이용하여 적어도 하나의 서브 네트워크에 대한 최적화 훈련을 수행하도록 구성된 최적화 훈련 모듈; 및
최적화 훈련이 수행된 적어도 하나의 서브 네트워크를 병합하여 타깃 네트워크 모델을 형성하도록 구성된 병합 모듈.
획득 모듈은 하기를 포함한다:
데이터 처리 절차에서 원본 네트워크 모델에 의해 수행되는 적어도 하나의 데이터 처리 단계를 획득하도록 구성된 단계 획득 유닛;
원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터를 획득하도록 구성된 데이터 획득 유닛; 및
원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터로부터 일부 또는 모든 데이터를 추출하여 참조 데이터 세트를 형성하도록 구성된 샘플링 추출 유닛 - 참조 데이터 세트는 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 포함함 -.
계층적 구축 모듈은 하기를 포함한다:
각각의 데이터 처리 단계와 등가인 서브 네트워크의 네트워크 메인 구조에 대한 미리 설정된 등가 대응 관계 표를 검색하도록 구성된 검색 유닛;
각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹에 따라, 데이터 처리 단계와 등가인 서브 네트워크의 입력 계층 구조 및 출력 계층 구조를 결정하도록 구성된 결정 유닛; 및
각각의 데이터 처리 단계와 등가인 서브 네트워크의 네트워크 메인 구조, 입력 계층 구조, 및 출력 계층 구조에 따라 데이터 처리 단계와 등가인 서브 네트워크를 구축하도록 구성된 구축 유닛 - 하나의 서브 네트워크는 하나의 데이터 처리 단계와 등가임-.
최적화 훈련 모듈은 하기를 포함한다:
참조 데이터 세트로부터 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 순차적으로 판독하도록 구성된 판독 유닛; 및
각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여 그리고 NN 훈련 최적화 알고리즘에 따라 각각의 데이터 처리 단계와 등가인 서브 네트워크의 파라미터에 대한 최적화 조정을 수행하도록 구성된 조정 유닛 - 파라미터는 네트워크 노드, 가중치, 및 훈련율 중 적어도 하나를 포함함 -.
병합 모듈은 하기를 포함한다:
적어도 하나의 서브 네트워크로부터의 임의의 서브 네트워크를 시드 네트워크로서 선택하도록 구성된 시드 선택 유닛;
각각의 데이터 처리 단계에 따라 지정된 병합 시퀀스를 획득하고, 병합 시퀀스에 따라 적어도 하나의 서브 네트워크로부터의 시드 네트워크 이외의 서브 네트워크를 병합될 대상 네트워크로서 선택하도록 구성된 병합될 대상 선택 유닛;
시드 네트워크와 병합될 대상 네트워크 사이에서 입력 계층과 출력 계층을 분할하도록 구성된 분할 유닛(splitting unit);
완전 접속 방식으로 시드 네트워크 및 병합될 대상 네트워크에 대해 병합 접속을 수행하도록 구성된 병합 접속 유닛; 및
병합 접속이 성공하면, 시드 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹 및 병합될 대상 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여 병합 접속에 의해 획득된 네트워크의 파라미터에 대한 최적화 조정을 수행하도록 구성된 최적화 조정 유닛 - 시드 선택 유닛은, 병합 접속이 적어도 하나의 서브 네트워크 모두에 대해 수행될 때까지 병합 접속에 의해 획득된 네트워크를 시드 네트워크로서 사용하여, 병합될 대상 선택 유닛, 분할 유닛, 병합 접속 유닛, 및 최적화 조정 유닛에 의해 수행되는 대응 처리를 반복하여, 타깃 네트워크 모델을 형성하도록 추가로 구성됨 - 을 포함하는 장치.
병합 모듈은:
병합 접속이 실패하면, 시드 네트워크와 병합될 대상 네트워크 사이에 숨겨진 중간 계층을 추가하여, 병합 접속 유닛이 숨겨진 중간 계층을 이용하여 완전 접속 방식으로 시드 네트워크 및 병합될 대상 네트워크에 대해 병합 접속을 수행하도록 구성된 추가 유닛을 추가로 포함한다.
본 출원의 실시예에서, 원본 네트워크 모델의 데이터 처리 절차가 분석되고, 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 실제 운행 데이터가 참조 데이터 세트로서 사용되고, 적어도 하나의 등가 서브 네트워크가 계층적으로 구축되고, 적어도 하나의 서브 네트워크에 대해 최적화 훈련이 수행되고, 최종적으로 타깃 네트워크 모델이 병합에 의해 형성된다. 타깃 네트워크 모델의 계층들은 원본 네트워크 모델의 실제 운행 데이터를 사용하여 유연하고 신속하게 구축되고 이후 타깃 네트워크 모델을 형성하도록 병합되며, 처음부터 타깃 네트워크 모델의 전체 구조를 설계할 필요가 없다. 따라서, 모델 구축 프로세스가 단순화되고 모델 구축 효율이 효과적으로 향상된다. 타깃 네트워크 모델에 대한 최적화 조정은 분할 방식(divided manner)으로 수행되고, 최적화 조정은 각각의 서브 네트워크에 대해 먼저 수행되고, 이후 적어도 하나의 서브 네트워크가 병합되므로, 타깃 네트워크 모델의 최적화 조정 프로세스는 더 유연해지고 모델 구축 효율이 더욱 향상된다.
본 출원의 실시예에서의 또는 기존 기술에서의 기술적 해결책을 보다 명확하게 설명하기 위해, 하기에서 실시예 또는 기존 기술을 설명하기 위해 필요한 첨부 도면을 간략히 설명한다. 명백하게, 다음의 설명에서의 첨부 도면은 본 출원의 일부 실시예만을 도시할 뿐이고, 통상의 기술자는 창의적 노력 없이도 이들 첨부 도면으로부터 다른 도면을 여전히 도출할 수 있다.
도 1은 본 출원의 실시예에 따른 머신 러닝 기반 네트워크 모델 구축 방법의 흐름도이다.
도 2는 본 출원의 실시예에 따른 또 다른 머신 러닝 기반 네트워크 모델 구축 방법의 흐름도이다.
도 2a는 본 출원의 실시예에 따른 원본 네트워크 모델의 개략도이다.
도 3a는 본 출원의 일 실시예에 따라 원본 네트워크 모델에서 데이터 처리 단계 a1과 등가인 서브 네트워크 b1에 대해 최적화 훈련을 구축하고 수행하는 프로세스의 개략도이다.
도 3b는 본 출원의 일 실시예에 따른 서브 네트워크 b1과 서브 네트워크 b2의 병합 프로세스 및 병합 접속에 의해 획득된 네트워크에 대한 최적화 훈련 수행 프로세스에 대한 개략도이다.
도 3c는 본 출원의 일 실시예에 따른 서브 네트워크 b1과 서브 네트워크 b2의 병합 프로세스 및 병합 접속에 의해 획득된 네트워크에 대한 최적화 훈련 수행 프로세스의 또 다른 개략도이다.
도 4는 본 출원의 일 실시예에 따른 머신 러닝 기반 네트워크 모델 구축 장치의 개략 구조도이다.
도 5는 본 발명의 일 실시예에 따른 머신 러닝 기반 네트워크 모델 구축 장치의 개략 구조도이다.
하기에서, 본 출원의 실시예에 있어서의 첨부 도면을 참조하여 본 출원의 실시예에 있어서의 기술적 해결책을 명확하고 완전하게 설명한다. 명백하게, 설명된 실시예들은 모든 실시예가 아니라 본 출원의 일부 실시예들이다. 창의적 노력 없이 본 출원의 실시예에 기초하여 통상의 기술자에 의해 획득되는 다른 모든 실시예는 본 출원의 보호 범위 내에 속할 것이다.
본 출원의 일 실시예에서, NN 모델을 구축하기 위해 네트워크 모델에 대해 머신 러닝을 수행하는 프로세스에서, 기존 네트워크 모델의 데이터는 훈련 세트를 형성하도록 레이블링될 필요가 있고, 이후 NN 모델은 처음부터 구축된다. NN을 훈련하는 프로세스에서, 훈련 세트로서 사용되는 레이블링된 데이터를 생성하기 위해 방대한 데이터를 수작업으로 레이블링할 필요가 있다. 이 프로세스는 방대한 인간-머신 상호 작용을 필요로 하며, 큰 수의 디바이스 리소스를 소비할 필요가 있다. 추가로, 처음부터 NN 모델을 구축하려면 전체 구축된 네트워크 모델에 대해 복잡한 파라미터 조정이 필요하므로, 작업부하가 엄청나고 모델 구축 효율이 낮다.
네트워크 모델에는 비 NN 모델 및 NN 모델이 포함된다. NN은 서로 접속된 큰 수의 처리 유닛(NN에서 뉴런으로 지칭됨)에 의해 형성된 복잡한 네트워크 시스템이고, 높은 복잡도의 비선형 동적 학습 시스템이다. 뉴런은 NN을 형성하는 기본 단위이다. NN 모델은 네트워크 토폴로지, 노드 피처, 및 뉴런의 학습 규칙을 사용하여 나타낸다. 비 NN 모델과 비교할 때, NN 모델은 더 강한 딥 러닝(deep learning) 능력과 더 나은 환경 적응력을 가지고 있다.
본 출원의 실시예는 학습 기반 네트워크 모델 구축 방법 및 장치를 제공하여, 원본 네트워크 모델의 데이터 처리 절차가 분석되고, 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 실제 운행 데이터를 참조 데이터 세트로서 사용하여 적어도 하나의 등가 서브 네트워크가 계층적으로 구축되고, 적어도 하나의 서브 네트워크에 대해 최적화 훈련이 수행되고, 최종적으로 병합에 의해 타깃 네트워크 모델이 형성되도록 한다. 타깃 네트워크 모델은 머신 러닝 프로세스를 사용하여 구축되므로 다음과 같은 유용한 효과를 얻을 수 있다:
(1) 성능 신뢰성이 높다. 타깃 네트워크 모델은 원본 네트워크 모델의 데이터 처리 절차와 등가인 적어도 하나의 서브 네트워크에 대해 공동 최적화 조정(joint optimization adjustment)을 수행함으로써 획득된다. 따라서, 원본 네트워크 모델과 비교할 때, 타깃 네트워크 모델의 경우 데이터 처리 단계들 사이의 맞물림(running-in) 및 적응 문제를 더 이상 고려할 필요가 없다. 추가로, 공동 최적화 프로세스는 원본 네트워크 모델의 실제 운행 데이터를 기반으로 하므로, 타깃 네트워크 모델의 처리 성능 신뢰성이 보장될 수 있다.
(2) 조정 유연성이 높다. 타깃 네트워크 모델은 원본 네트워크 모델의 실제 운행 데이터를 훈련함으로써 변경되도록 구동된다. 따라서, 타깃 네트워크 모델을 조정할 필요가 있는 경우, 타깃 네트워크 모델의 계층화된 구조들 사이의 파라미터 적응 문제를 고려하지 않고 훈련 프로세스와 관계된 파라미터만을 조정할 필요가 있으므로, 조정 유연성이 비교적 높다. 또한, 원본 네트워크 모델에서 새로운 운행 데이터가 생기거나 발생될 경우, 과도한 사람의 간섭 없이 새로운 운행 데이터를 사용하여 타깃 네트워크 모델을 직접 조정할 수 있으므로, 인력 비용이 절감되고 모델 구축을 위한 작업부하가 감소되도록 한다.
(3) 구축 프로세스가 간단하다. 타깃 네트워크 모델은 처음부터 시작하여 구축될 필요가 없다. 따라서, 복잡한 네트워크 구조 조정 프로세스가 회피된다. 또한, 중복된 사람의 경험이 참조로서 필요하지 않으므로, 모델 구축 시간이 크게 단축되고 구축 효율이 향상된다.
(4) 데이터가 완전히 사용된다. 타깃 네트워크 모델은 공동 최적화에 의해 적어도 하나의 서브 네트워크에 의해 형성되는 딥 네트워크이므로 성능 신뢰성이 높아지도록 한다. 원본 네트워크 모델과 비교하여, 더 나은 성능 최적화를 구현할 수 있도록 파라미터들이 데이터 값들을 최대한 활용하기 위해서 지속적으로 반복될 수 있다.
(5) 타깃 네트워크 모델은 해석 가능성이 있다. 타깃 네트워크 모델은 머신 러닝 방법을 사용하여 원본 네트워크 모델에 대한 등가의 대체를 수행함으로써 형성된다. 이 프로세스에서, 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 실제 운행 데이터가 사용되며 사람이 이해하거나 인식하는 어떤 레이블링된 데이터도 추가되지 않으므로, 원본 네트워크 모델의 해석적 인자들이 어느 정도 상속되고 또한 타깃 네트워크 모델은 상대적으로 높은 해석 가능성 요건을 갖는 시나리오에 더욱 적용 가능하도록 된다.
원본 네트워크 모델은 비 NN 모델 또는 NN 모델일 수 있고, 타깃 네트워크 모델은 NN 모델일 수 있음에 유의해야 한다. 특별히 특정하지 않는 한, 본 출원의 이어지는 실시예들에서, 원본 네트워크 모델은 비 NN 모델을 예로서 사용하여 설명되고, 타깃 네트워크 모델은 NN 모델을 예로서 사용하여 설명된다.
전술한 설명에 기초하여, 본 출원의 실시예는 머신 러닝 기반 네트워크 모델 구축 방법을 개시한다. 도 1을 참조하면, 방법은 다음의 단계 S101 내지 단계 S104를 포함할 수 있다:
S101: 원본 네트워크 모델의 데이터 처리 절차 및 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 참조 데이터 세트를 획득한다.
원본 네트워크 모델은 분석, 제어 및 결정 도구로서 사용되고, 완전한 데이터 처리 절차를 형성하기 위해 운행 프로세스에서 일련의 데이터 처리 단계를 수행한다. 본 명세서의 데이터 처리 단계는 다음 중 하나 이상을 포함할 수 있지만, 이에 한정되는 것은 아니다:
(1). 단일 머신 러닝 단계. 이 단계는 분류 알고리즘, 클러스터링 알고리즘, 컴포넌트 분석 알고리즘, 디멘젼 축소 매핑 알고리즘, 및 인코더 방법을 기반으로 구현된다. 분류 알고리즘은 지원 벡터 머신(SVM), 결정 트리, 임계값 분류자, 로지스틱 회귀(logistic regression), 얕은 NN, 그래디언트 부스팅 결정 트리(GBDT), 약한 분류 알고리즘의 정확도를 높이는 방법, k-최근접 이웃(KNN), 베이즈 분류자, 무작위 포리스트 방법(random forest method), 및 다른 가능한 변형 방법을 포함할 수 있지만, 이것에만 한정되는 것은 아니다. 클러스터링 알고리즘은 분할 기반 클러스터링 방법(k-평균), k-센터, MeanShift, 스펙트럼 클러스터링, 잡음에 의한 애플리케이션의 밀도 기반 공간 클러스터링(DBSCAN) 알고리즘, 친화도 전파 방법을 포함할 수 있는데, 이것에만 한정되는 것은 아니다. 컴포넌트 분석 알고리즘은 주요 컴포넌트 분석(PCA), 표준 대응 관계 분석(CCA), 인자 분석, 푸리에 변환, 및 웨이브렛 분석을 포함할 수 있지만, 이에 한정되는 것은 아니다. 디멘젼 축소 매핑 알고리즘은 혼합 판별식 분석(MDA), Fisher 투영 및 lsoMap(전역 최적화 알고리즘)을 포함할 수 있지만, 이에 한정되는 것은 아니다. 인코더 방법은 선형 판별식 분석(LDA), 확률적 잠재 의미론적 분석(PLSA), 잠재 의미론적 분석(LSA), 및 스파스 코딩(sparse coding)을 포함하지만, 이에 한정되지는 않는다.
(2). 데이터 통계 단계. 이 단계는 데이터 통계 알고리즘에 기초하여 구현될 수 있고, 데이터 통계 알고리즘은 합산, 평균화, 분위 평가, 극단 값 평가, 중앙 통계 모멘트 평가, 카이 제곱 통계 평가 등을 포함할 수 있지만, 이에 한정되지는 않는다.
(3). 시퀀스 분석 단계. 이 단계는 시퀀스 분석 알고리즘에 기초하여 구현될 수 있고, 시퀀스 분석 알고리즘은 자기 회귀적 통합 이동 평균 모델(ARIMA) 회귀, 칼만 필터링(Karman filtering) 등을 포함할 수 있지만, 이에 한정되는 것은 아니다.
(4). 함수 처리 단계. 여기서의 함수는 선형 매핑 함수, 정보 엔트로피 포함 변환 함수, 분석 함수, 초월 함수 등을 포함할 수 있지만, 이에 한정되는 것은 아니다.
(5). 데이터 편집 처리 단계. 이 단계는 데이터 병합, 데이터 스크리닝, 데이터 분할, 데이터 변환 등을 포함할 수 있지만, 이에 한정되는 것은 아니다.
단계 S101에서, 원본 네트워크 모델에 의해 동작되는 데이터 처리 절차에서의 적어도 하나의 데이터 처리 단계가 분석되고 기록될 수 있다. 또한, 원본 네트워크 모델은 각각의 데이터 처리 단계를 수행할 때 운행 데이터를 발생한다. 여기서 운행 데이터(operating data)는 사용되는 입력 데이터 및 중간 데이터 및 실제 운행 프로세스에서 원본 네트워크 모델에 의해 획득되는 출력 데이터; 또는 입력 데이터, 중간 데이터, 및 훈련 또는 테스트 프로세스에서 원본 네트워크 모델에 의해 레이블링되고 사용되는 출력 데이터; 또는 원본 네트워크 모델에 대해 수작업으로 주입되는 아날로그 입력 데이터 및 중간 데이터 및 획득된 출력 데이터를 포함할 수 있는데, 이에 한정되는 것은 아니다. 이 단계에서, 일부 또는 모든 운행 데이터는 각각의 데이터 처리 단계의 운행 데이터로부터 참조 데이터 세트로서 추출된다.
S102: 데이터 처리 절차 및 참조 데이터 세트에 따라 적어도 하나의 서브 네트워크를 계층적으로 구축한다.
데이터 처리 절차는 원본 네트워크 모델에 의해 수행되는 적어도 하나의 데이터 처리 단계를 기록하고, 참조 데이터 세트는 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 포함한다. 계층적 구축의 아이디어는, 원본 네트워크 모델의 각각의 데이터 처리 단계는 등가 함수를 갖는 서브 네트워크에 의해 수행될 수 있고, 따라서 하나의 데이터 처리 단계는 하나의 서브 네트워크의 네트워크 메인 구조에 대응할 수 있고; 또한, 서브 네트워크의 입력/출력 계층은 데이터 처리 단계의 입력/출력 데이터에 의해 결정될 수 있다는 것에 있다. 따라서, 이 단계에서, 적어도 하나의 서브 네트워크는 원본 네트워크 모델의 데이터 처리 절차 및 추출된 참조 데이터 세트에 따라 계층적으로 구축될 수 있다. 예를 들어, 원본 네트워크 모델의 데이터 처리 절차가 "단계 a1 → 단계 a2 → 단계 a3 → 단계 a4"의 총 네 개의 데이터 처리 단계로 표현된다고 가정하면, 단계 a1은 제1 계층에서 서브 네트워크 b1과 등가이고, 서브 네트워크 b1의 메인 네트워크 구조가 단계 a1에서 결정되고, 단계 a1에서 추출된 입력/출력 데이터에 의해 서브 네트워크 b1의 입력 계층과 출력 계층이 결정되고; 유사하게, 단계 a2는 제2 계층에서 서브 네트워크 b2와 등가이고, 서브 네트워크 b2의 메인 네트워크 구조가 단계 a2에 의해 결정되고, 서브 네트워크 b2의 입력 계층 및 출력 계층은 단계 a2에서 추출된 입력/출력 데이터에 의해 결정된다. 유추에 의해, 단계 a4는 제4 계층에서 서브 네트워크 b4와 등가이고, 서브 네트워크 b4의 메인 네트워크 구조는 단계 a4에 의해 결정되고, 서브 네트워크 b4의 입력 계층 및 출력 계층은 단계 a4에서 추출된 입력/출력 데이터에 의해 결정된다. 타깃 네트워크 모델이 계층적 접속에 의해 서브 네트워크 b1, 서브 네트워크 b2, 서브 네트워크 b3, 및 서브 네트워크 b4에 의해 형성됨을 예에 따라서 추가로 알 수 있다.
S103: 참조 데이터 세트를 사용하여 적어도 하나의 서브 네트워크에 대한 최적화 훈련을 수행한다.
최적화 훈련의 목적은, 참조 데이터 세트 내의 데이터를 참조하여 적어도 하나의 서브 네트워크의 파라미터를 지속적으로 조정함으로써, 서브 네트워크의 성능 지표가 원본 네트워크 모델에서의 대응 데이터 처리 단계의 성능 지표와 동일하거나 더 높은 레벨에 도달하도록 하는 것이다. 여기서 서브 네트워크의 파라미터는 네트워크 노드, 가중치, 및 훈련율 중 적어도 하나를 포함할 수 있다. 특정 구현 동안, 각각의 데이터 처리 단계로부터 추출된 적어도 하나의 입력/출력 데이터 그룹은 데이터 처리 단계와 등가인 서브 네트워크상에서 최적화 훈련을 수행하기 위해 사용된다. 단계 S102의 예에 따르면, 참조 데이터 세트에서 단계 a1에 대응하는 적어도 하나의 입력/출력 데이터 그룹은 서브 네트워크 b1에 대한 최적화 훈련을 수행하기 위해 사용되고, 단계 a2에 대응하는 적어도 하나의 입력/출력 데이터 그룹은 서브 네트워크 b2에 대한 최적화 훈련을 수행하기 위해 사용된다. 유추에 의해, 단계 a4에 대응하는 적어도 하나의 입력/출력 데이터 그룹은 서브 네트워크 b4에 대한 최적화 훈련을 수행하기 위해 사용된다.
S104: 최적화 훈련이 수행된 적어도 하나의 서브 네트워크를 병합하여 타깃 네트워크 모델을 형성한다.
이 단계에서, 최적화 훈련이 수행된 적어도 하나의 서브 네트워크는 지속적으로 반복적으로 병합될 필요가 있다. 병합 프로세스에서, 지속적 병합에 의해 형성되는 네트워크에 대해 공동 최적화가 추가로 수행될 필요가 있어서, 완전한 타깃 네트워크 모델이 최종적으로 형성되도록 한다. 반복적인 병합 및 공동 최적화 프로세스를 사용하여 형성되는 타깃 네트워크 모델은 딥 네트워크이며 비교적 높은 성능 신뢰성을 제공한다.
이 출원의 이 실시예에서의 머신 러닝 기반 네트워크 모델 구축 방법에 의해, 원본 네트워크 모델의 데이터 처리 절차가 분석되고, 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 실제 운행 데이터가 참조 데이터 세트로서 사용되며, 적어도 하나의 등가 서브 네트워크가 계층적으로 구축되고, 최적화 훈련이 적어도 하나의 서브 네트워크에 대해 수행되고, 타깃 네트워크 모델이 병합에 의해 최종적으로 형성된다. 타깃 네트워크 모델의 계층들은 원본 네트워크 모델의 실제 운행 데이터를 사용하여 유연하고 신속하게 구축되고 이후 타깃 네트워크 모델을 형성하도록 병합되며, 처음부터 타깃 네트워크 모델의 전체 구조를 설계할 필요가 없다. 따라서, 모델 구축 프로세스가 단순화되고 모델 구축 효율이 효과적으로 향상된다. 타깃 네트워크 모델에 대한 최적화 조정은 분할 방식(divided manner)으로 수행되고, 최적화 조정은 각각의 서브 네트워크에 대해 먼저 수행되고, 이후 적어도 하나의 서브 네트워크가 병합되므로, 타깃 네트워크 모델의 최적화 조정 프로세스는 더 유연해지고 모델 구축 효율이 더욱 향상된다.
이 출원의 실시예는 또 다른 머신 러닝 기반 네트워크 모델 구축 방법을 개시한다. 도 2를 참조하면, 방법은 다음의 단계 S201 내지 단계 S204를 포함할 수 있다:
S201: 데이터 처리 절차에서 원본 네트워크 모델에 의해 수행되는 적어도 하나의 데이터 처리 단계를 획득한다.
원본 네트워크 모델은 분석, 제어 및 결정 도구로서 사용되고, 완전한 데이터 처리 절차를 형성하기 위해 운행 프로세스에서 일련의 데이터 처리 단계를 수행한다. 이 단계에서, 원본 네트워크 모델에 의해 동작되는 데이터 처리 절차에서 수행되는 적어도 하나의 데이터 처리 단계가 분석되고 기록될 수 있다. 예를 들면, 원본 네트워크 모델의 데이터 처리 절차에서 수행되는 "단계 a1 → 단계 a2 → 단계 a3 → 단계 a4"의 총 4개의 단계가 획득되는 것으로 가정한다.
본 출원의 실시예에서, 처리될 데이터는 원본 데이터(original data)로서 지칭된다. 원본 데이터는 일련의 데이터 처리 단계를 사용하여 처리되는데, 즉 원본 네트워크 모델에서의 데이터 처리 단계를 사용하여 처리되어 최종적으로 출력 결과를 획득하게 된다. 각각의 데이터 처리 단계는, 예를 들어 데이터를 분류하거나 통계를 통해 데이터를 획득하는 것인 특정 처리 함수를 완료하기 위해 사용된다. 데이터 처리 단계들은 데이터 처리 절차를 형성한다. 데이터 처리 절차는 데이터 처리 단계를 포함하는 하나 이상의 데이터 처리 서브 절차를 포함할 수 있다. 각각의 데이터 처리 서브 절차를 사용하여 획득된 결과를 출력 서브 결과라고 지칭한다. 출력 서브 결과들이 획득된 후, 데이터 서브 결과들은 병합되어 출력 결과를 획득하게 된다. 원본 네트워크 모델에서, 각각의 데이터 처리 단계는 네트워크 노드로서 지칭되고, 각각의 데이터 처리 서브 절차는 원본 네트워크 모델에서 서브 경로로서 지칭되고, 각각의 서브 경로는 데이터 처리 단계들의 수행 시퀀스에 따라 직렬로 네트워크 노드들을 순차적으로 접속하는 것에 의해 형성되는 단방향 경로이다. 원본 네트워크 모델은 서브 경로들을 조합하여 획득되는 네트워크 모델이다.
예를 들어, 원본 네트워크 모델을 형성하는 데이터 처리 절차에는 세 개의 데이터 처리 서브 절차가 포함된다. 제1 데이터 처리 서브 절차는 데이터 분류 처리 단계에 대응하는 노드 11, 데이터 통계 처리 단계에 대응하는 노드 12, 및 데이터 회귀 처리 단계에 대응하는 노드 13을 포함한다. 제2 데이터 처리 서브 절차는 데이터 클러스터링 처리 단계에 대응하는 노드 21 및 데이터 함수 매핑 처리 단계에 대응하는 노드 22를 포함한다. 제3 데이터 처리 서브 절차는 데이터 컴포넌트 분석 처리 단계에 대응하는 노드 31, 데이터 통계 처리 단계, 즉 노드 12에 대응하는 노드 32, 데이터 회귀 처리 단계, 즉 노드 13에 대응하는 노드 33, 및 데이터 시퀀스 분석 처리 단계에 대응하는 노드 34를 포함한다. 원본 데이터는 제1 데이터 처리 서브 절차에서 데이터 처리 단계들을 이용하여 처리되어, 제1 출력 서브 결과를 획득하게 된다. 원본 데이터는 제2 데이터 처리 서브 절차에서 데이터 처리 단계들을 이용하여 처리되어 제2 출력 서브 결과를 획득하게 된다. 원본 데이터는 제3 데이터 처리 서브 절차에서 데이터 처리 단계들을 이용하여 제3 출력 서브 결과를 획득하게 된다. 획득된 제1 출력 서브 결과, 제2 출력 서브 결과, 및 제3 출력 서브 결과에 대해 데이터 병합(원본 네트워크 모델에서의 노드 00에 대응함) 단계가 수행되어 출력 결과를 획득하게 된다. 도 2a에 도시된 바와 같이, 도 2a는 본 출원의 이 실시예에 따른 원본 네트워크 모델의 개략도이다.
단계 S201에서, 적어도 하나의 데이터 처리 단계, 예를 들어, 원본 네트워크 모델을 형성하는 데이터 처리 절차에서 도 2a의 노드 11에 대응하는 데이터 분류 처리 단계가 획득된다.
S202: 원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터를 획득한다.
원본 네트워크 모델은 각각의 데이터 처리 단계를 수행할 때 운행 데이터를 발생한다. 여기서 운행 데이터는 사용되는 입력 데이터 및 중간 데이터 및 실제 운행 프로세스에서 원본 네트워크 모델에 의해 획득되는 출력 데이터: 또는 입력 데이터, 중간 데이터, 및 훈련 또는 테스트 프로세스에서 원본 네트워크 모델에 의해 레이블링되고 사용되는 출력 데이터; 또는 원본 네트워크 모델에 대해 수작업으로 주입되는 아날로그 입력 데이터 및 중간 데이터 및 획득된 출력 데이터를 포함할 수 있는데, 이에 한정되는 것은 아니다. 이 단계에서, 원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터가 획득된다. S201에서 설명된 예에 따르면, 원본 네트워크 모델이 단계 a1을 수행할 때 발생되는 운행 데이터, 원본 네트워크 모델이 단계 a2를 수행할 때 발생되는 운행 데이터, 원본 네트워크 모델이 단계 a3을 수행할 때 발생되는 운행 데이터, 및 원본 네트워크 모델은 단계 a4를 수행할 때 발생되는 운행 데이터는 제각기 획득될 필요가 있다.
예를 들어, 단계에서, 각각의 데이터 처리 단계가 수행될 때 발생되는 운행 데이터가 획득될 수 있는데, 예를 들어 노드 11에 대응하는 데이터 분류 처리 단계가 수행될 때 발생되는 운행 데이터가 그러하다.
S203: 원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터로부터 참조 데이터 세트를 샘플로서 추출한다.
특정 구현에서, 이 실시예에 설명된 예에 따르면, 원본 네트워크 모델에 의해 단계 a1을 수행하는 프로세스에서 2개의 입력/출력 데이터 그룹이 발생된다고 가정하면, 단계에서, 2개의 입력/출력 데이터 그룹 중 하나가 샘플로서 추출되어 참조 데이터 세트에 추가될 수 있거나, 또는 2개의 입력/출력 데이터 그룹 모두가 추출되어 참조 데이터 세트에 추가될 수 있다. 유추하여, 참조 데이터 세트는 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 포함한다.
이 실시예의 단계 S201 내지 단계 S203은 도 1에 도시된 단계 S101의 특정 상세 단계들일 수 있다.
S204: 각각의 데이터 처리 단계와 등가인 서브 네트워크의 네트워크 메인 구조에 대해 미리 설정된 등가 대응 관계 표를 검색한다.
전술한 바와 같이, 데이터 처리 단계는 다음 중 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다: (1). 단일 머신 러닝 단계; (2). 데이터 통계 단계; (3). 시퀀스 분석 단계; (4). 함수 처리 단계; 및 (5). 데이터 편집 처리 단계. 각각의 유형의 데이터 처리 단계는 서브 네트워크의 등가 네트워크 메인 구조를 갖는다. 등가 관계에 대해, 다음 표 1을 참조하라:
미리 설정된 등가 대응 관계 표
데이터 처리 단계 등가 네트워크 메인 구조
단일 머신 러닝(분류) 완전 접속 계층 및 Maxout 계층
단일 머신 러닝(클러스터링 및 컴포넌트 분석) 오토인코더 및 제한된 볼츠만 머신들(RBM)
단일 머신 러닝(인코더) 오토인코더, 내장 구조, 및 장기-단기 메모리(LSTM)
데이터 통계 풀링 계층, 컨볼루션 계층, 및 완전 접속 계층
함수 처리(선형 매핑 함수) 다중 계층 퍼셉트론
시퀀스 분석 반복 NN(RNN), LSTM, 및 완전 접속 계층
데이터 편집 처리(데이터 병합 및 분할) 병합 계층 및 분할 계층
... ...
표 1의 우측 열에서, 복수의 네트워크 메인 구조가 존재하는 경우, 이는 임의의 네트워크 메인 구조 또는 임의의 네트워크 메인 구조들의 조합이 좌측 열에서의 데이터 처리 단계에 대응함을 나타낸다. 예를 들어, 데이터 통계 단계와 등가인 네트워크 메인 구조는 풀링 계층, 컨볼루션 계층 및 완전 접속 계층을 포함한다. 따라서, 풀링 계층, 컨볼루션 계층, 및 완전 접속 계층 중 임의의 하나 또는 그 조합이 데이터 통계 단계와 등가이다. 실제 적용시, 하나의 데이터 처리 단계가 서브 네트워크의 복수의 등가 네트워크 메인 구조를 갖는 경우, 서브 네트워크의 최종 네트워크 메인 구조는 실제 훈련 효과의 피드백을 사용하여 결정될 수 있는데, 예를 들어 에러율이 최소인 네트워크 메인 구조가 선택된다. 표 1은 하나도 빠짐없이 제시한 것은 아니고, 또 다른 데이터 처리 단계 및 등가 네트워크 메인 구조가 존재한다면 표 1에 추가될 수 있다는 것을 이해할 수 있다.
각각의 데이터 처리 단계에 대응하는 등가 네트워크 메인 구조는 표 1에 미리 저장되어 있다. 예를 들어, 데이터 분류 처리 단계의 등가 처리는 완전 접속 계층 및/또는 Maxout 계층의 네트워크 메인 구조를 사용함으로써 완료될 수 있다. 이 출원의 실시예에서, 각각의 네트워크 메인 구조는 적어도 하나의 뉴런(neuron)을 포함하는 신경 서브 네트워크일 수 있다. 이 출원의 실시예에서, 뉴런은 좁은 의미의 또는 일반화된 뉴런일 수 있다. 이 단계에서, 등가 대응 관계 표에 따라, 원본 네트워크 모델에서의 각각의 데이터 처리 단계에 대해 서브 네트워크의 등가 네트워크 메인 구조가 결정된다.
S205: 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹에 따라, 데이터 처리 단계와 등가인 서브 네트워크의 입력 계층 구조 및 출력 계층 구조를 결정한다.
단계에서, 서브 네트워크의 등가 입력 계층의 디멘젼(dimension)은 각각의 데이터 처리 단계에 대응하는 입력 데이터에 따라 결정될 필요가 있고, 서브 네트워크의 등가 출력 계층의 디멘젼은 각각의 데이터 처리 단계에 대응하는 출력 데이터에 따라 결정될 필요가 있다. 즉, 데이터 처리 단계와 등가인 서브 네트워크의 입력 계층의 디멘젼은 데이터 처리 단계에 대응하는 입력 데이터의 것과 동일하고, 데이터 처리 단계와 등가인 서브 네트워크의 출력 계층의 디멘젼은 데이터 처리 단계에 대응하는 출력 데이터의 것과 동일하다. 여기서의 디멘젼은 데이터 소스, 데이터량 등을 포함할 수 있다.
S206: 각각의 데이터 처리 단계와 등가인 서브 네트워크의 네트워크 메인 구조, 입력 계층 구조, 및 출력 계층 구조에 따라, 데이터 처리 단계와 등가인 서브 네트워크를 구축하고, 여기서 하나의 서브 네트워크는 하나의 데이터 처리 단계와 등가이다.
이 출원의 실시예에서, 하나의 서브 네트워크가 하나의 데이터 처리 단계와 등가인 것은, 동일 입력에 대해 서브 네트워크를 사용하는 처리에 의해 획득되는 처리 결과가 데이터 처리 단계를 사용하는 처리에 의해 획득되는 처리 결과와 동일하거나 유사하다는 것을 의미한다. 유사하다는 의미는 두 처리 결과의 차이가 미리 설정된 임계값보다 작음을 의미한다.
단계에서, 서브 네트워크의 네트워크 구조를 형성하기 위해, 서브 네트워크의 네트워크 메인 구조에 기초하여 입력 계층 구조 및 출력 계층 구조가 추가된다. 이 실시예의 단계 S204 내지 단계 S206은 도 1에 도시된 단계 S102의 특정 상세 단계일 수 있다.
S207: 참조 데이터 세트로부터 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 순차적으로 판독한다.
S208: 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여 그리고 NN 훈련 최적화 알고리즘에 따라 각각의 데이터 처리 단계와 등가인 서브 네트워크의 파라미터에 대한 최적화 조정을 수행하고, 여기서 파라미터는 네트워크 노드, 가중치, 및 훈련율 중 적어도 하나를 포함한다.
NN 훈련 최적화 알고리즘은 확률적 그래디언트 디센트 알고리즘, RMSProp(최적화 알고리즘), 모멘텀 방법, AdaGrad(파라미터들에 상이한 학습률들을 할당하기 위한 알고리즘), 및 AdaDelta(최적화 알고리즘) 중 적어도 하나를 포함할 수 있는데, 이에 한정되지는 않는다. 단계 S207 및 단계 S208에서, 각각의 데이터 처리 단계에서 추출된 적어도 하나의 입력/출력 데이터 그룹은 데이터 처리 단계와 등가인 서브 네트워크에 대한 최적화 훈련을 수행하기 위해 사용된다. 이 실시예에서 설명한 예에 따라, 단계 a1에 대응하는 적어도 하나의 입력/출력 데이터 그룹은 단계 a1과 등가인 서브 네트워크 b1의 최적화 훈련을 수행하기 위한 참조 데이터 세트로부터 판독되고, 단계 a2에 대응하는 적어도 하나의 입력/출력 데이터 그룹은 단계 a2와 등가인 서브 네트워크 b2에 대해 최적화 훈련을 수행하기 위한 참조 데이터 세트로부터 판독된다. 유추하여, 단계 a4에 대응하는 적어도 하나의 입력/출력 데이터 그룹은 단계 a4와 등가인 서브 네트워크 b4에 대해 최적화 훈련을 수행하기 위해 참조 데이터 세트로부터 판독된다. 이 실시예에서의 단계 S207 및 단계 S208은 도 1에 도시된 단계 S103의 특정 상세 단계일 수 있다.
단계 S204 내지 단계 S208에 대해서는 도 3a를 참조하라. 도 3a는 원본 네트워크 모델에서 데이터 처리 단계 a1과 등가인 서브 네트워크 b1에 대해 최적화 훈련을 구축하고 수행하는 프로세스의 개략도이다.
S209: 적어도 하나의 서브 네트워크로부터의 임의의 서브 네트워크를 시드 네트워크로서 선택한다.
S210: 미리 설정된 병합 시퀀스에 따라 병합될 대상 네트워크로서 적어도 하나의 서브 네트워크로부터 시드 네트워크 이외의 서브 네트워크를 선택하는데, 여기서 병합 시퀀스는 데이터 처리 단계들에 따라 설정되고, 미리 설정된 병합 시퀀스는 다음 중 임의의 하나를 포함한다: 적어도 하나의 데이터 처리 단계의 수행 시퀀스, 적어도 하나의 데이터 처리 단계의 역 수행 시퀀스, 및 적어도 하나의 서브 네트워크 사이의 구조 유사도 레벨들의 시퀀스.
단계 S209 및 단계 S210에서, 이 실시예에서 설명된 예에 따르면, 원본 네트워크 모델은 "단계 a1 → 단계 a2 → 단계 a3 → 단계 a4"의 네 개의 데이터 처리 단계를 수행하고, 등가 서브 네트워크들은 제각기 서브 네트워크 b1, 서브 네트워크 b2, 서브 네트워크 b3, 및 서브 네트워크 b4이다. 서브 네트워크 b2가 시드 네트워크라고 가정하면, (1) 적어도 하나의 데이터 처리 단계의 수행 시퀀스에 따라 단계 a3과 등가인 서브 네트워크 b3이 병합될 대상 네트워크로 선택되어야 하고; (2) 적어도 하나의 데이터 처리 단계의 수행 시퀀스의 역 시퀀스에 따라 선택이 수행되는 경우, 단계 a1과 등가인 서브 네트워크 b1이 병합될 대상 네트워크로서 선택되어야 하고; (3) 적어도 하나의 서브 네트워크 사이의 구조 유사도 레벨들의 시퀀스에 따라 선택이 수행되는 경우, 서브 네트워크 b2와 최고의 구조 유사도를 갖는 서브 네트워크가 병합될 대상 네트워크로서 선택되어야 한다. 서브 네트워크 b2와 서브 네트워크 b4의 네트워크 메인 구조들이 모두 완전 접속 계층 구조라고 가정하면, 서브 네트워크 b4가 병합될 대상 네트워크로서 선택된다.
S211: 시드 네트워크와 병합될 대상 네트워크 간에서 입력 계층과 출력 계층을 분할한다.
도 3a에 도시된 서브 네트워크의 네트워크 구조에 따르면, 서브 네트워크의 입력 계층 및 출력 계층은 단계에서 모두 분할될 필요가 있다. 시드 네트워크가 상위 계층 서브 네트워크로서 사용되고, 병합될 대상 네트워크가 하위 계층 서브 네트워크로서 사용되는 경우, 시드 네트워크의 입력 계층과 병합될 대상 네트워크의 출력 계층은 모두 분할될 필요가 있다. 시드 네트워크가 하위 계층 서브 네트워크로서 사용되고, 병합될 대상 네트워크가 상위 계층 서브 네트워크로서 사용되는 경우, 시드 네트워크의 출력 계층과 병합될 대상 네트워크의 입력 계층은 모두 분할될 필요가 있다.
S212: 완전 접속 방식으로 시드 네트워크와 병합될 대상 네트워크에 대해 병합 접속을 수행하고; 및 병합 접속이 성공하면, 단계 S214로 진행하고; 또는 병합 접속이 실패한 경우, 단계 S213으로 진행한다.
완전 접속 방식은 사전 데이터 A 및 타깃 데이터 B에 대해 B = W Х A로 설정됨을 의미한다. W는 가중치 행렬이고, Х는 행렬 곱셈을 나타낸다. 이 단계에서, 시드 네트워크가 A이고 병합될 대상 네트워크가 B라고 설정된다. 시드 네트워크에서 출력으로서 사용되는 각각의 뉴런은 지정된 가중치 행렬 W의 매핑에 의해 병합될 대상 네트워크에서 입력으로서 사용되는 뉴런에 매핑되는데, 즉 시드 네트워크에서 출력으로서 사용되는 각각의 뉴런과 병합될 대상 네트워크에서 입력으로서 사용되는 각각의 뉴런 사이의 매핑 관계가 확립된다. 예를 들어, 도 3b에서, 서브 네트워크 b1에서의 각각의 뉴런과 서브 네트워크 b2에서의 각각의 뉴런 사이의 매핑 관계는 가중치 행렬을 사용하여 완전 접속 방식으로 확립되어, 서브 네트워크 b1과 서브 네트워크 b2 사이의 접속을 확립하게 된다.
S213: 시드 네트워크와 병합될 대상 네트워크 사이에 숨겨진 중간 계층을 추가하고, 숨겨진 중간 계층을 사용하여 완전 접속 방식으로 시드 네트워크와 병합될 대상 네트워크에 대해 병합 접속을 수행한다.
S214: 시드 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹 및 병합될 대상 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여, 병합 접속에 의해 획득되는 네트워크의 파라미터에 대한 최적화 조정을 수행한다.
이 출원의 실시예에서, 시드 네트워크 및 병합될 대상 네트워크는 모두 서브 NN일 수 있고, 단계에서 결정된 입력/출력 데이터를 사용하여 서브 NN에 대해 최적화 조정이 수행될 수 있다.
병합 접속에 의해 획득되는 네트워크의 입력 계층은 하위 계층 서브 네트워크의 입력 계층이고, 병합 접속을 통해 획득되는 네트워크의 출력 계층은 상위 계층 서브 네트워크의 출력 계층이다. 따라서, 단계에서, 상위 계층 서브 네트워크와 등가인 데이터 처리 단계에 대응하는 출력 데이터 및 하위 계층 서브 네트워크와 등가인 데이터 처리 단계에 대응하는 출력 데이터를 참조하여, 최적화 조정이 병합 접속을 통해 획득되는 네트워크의 파라미터에 대해 수행될 필요가 있다.
S215: 적어도 하나의 서브 네트워크 모두에 대해 병합 접속이 수행될 때까지, 병합 접속에 의해 획득된 네트워크를 시드 네트워크로서 사용하여 단계 S210 내지 단계 S214의 프로세스를 반복하여 타깃 네트워크 모델을 형성하게 된다.
이 출원의 실시예에서, 단계 S210 내지 단계 S214는 반복적으로 수행될 수 있다. 각각의 데이터 처리 서브 절차에서의 데이터 처리 단계들에 대응하는 서브 네트워크들은 미리 설정된 병합 시퀀스에 따라, 예를 들어 각각의 데이터 처리 서브 절차에서의 데이터 처리 단계들의 수행 시퀀스에 따라 순차적으로 병합되어, 병합된 서브 네트워크를 획득하게 된다. 예를 들어, 제1 데이터 처리 서브 절차에서의 데이터 처리 단계들에 상응하는 서브 네트워크들은 병합되어 병합된 제1 서브 NN을 획득하게 된다. 유사하게, 제2 데이터 처리 서브 절차에서의 데이터 처리 단계들에 상응하는 서브 네트워크들은 병합되어 병합된 제2 서브 NN을 획득하게 되고, 제3 데이터 처리 서브 절차에서의 데이터 처리 단계들에 대응하는 서브 네트워크들은 병합되어 병합된 제3 서브 NN을 획득하게 된다. 미리 설정된 병합 시퀀스로 병합된 제1 서브 NN, 병합된 제2 서브 NN, 및 병합된 제3 서브 NN에 대해 노드 00에 대응하는 병합 처리가 수행되어 타깃 네트워크 모델, 예를 들어 NN 모델을 획득하게 된다.
이 실시예에서의 단계 S209 내지 단계 S215는 도 1에 도시된 단계 S104의 특정 상세 단계일 수 있다. 단계 S209 내지 단계 S215에 대해서는, 도 3b 및 도 3c를 참조하라. 도 3b 및 도 3c는 제각기, 서브 네트워크 b1과 서브 네트워크 b2를 병합하는 프로세스의 개략도 및 병합 접속에 의해 획득되는 네트워크에 대해 최적화 훈련을 수행하는 프로세스의 개략도이다.
이 출원의 실시예에서, 숨겨진 중간 계층은 이전 서브 네트워크의 출력을 다음 서브 네트워크의 입력에 적응시키기 위해 사용된다. 예를 들어, 도 3b에서, 서브 네트워크 b1의 출력 포맷이 서브 네트워크 b2의 입력 포맷과 일치하지 않는 경우, 서브 네트워크 b1의 출력은 숨겨진 중간 계층의 처리에 의해 조정될 수 있어서, 조정된 서브 네트워크 b1의 출력 형태는 서브 네트워크 b2의 입력 형태와 일치하도록 된다.
이 출원의 이 실시예에서의 머신 러닝 기반 네트워크 모델 구축 방법에 의해, 원본 네트워크 모델의 데이터 처리 절차가 분석되고, 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 실제 운행 데이터가 참조 데이터 세트로서 사용되며, 적어도 하나의 등가 서브 네트워크가 계층적으로 구축되고, 최적화 훈련이 적어도 하나의 서브 네트워크에 대해 수행되고, 타깃 네트워크 모델이 병합에 의해 최종적으로 형성된다. 타깃 네트워크 모델의 계층들은 원본 네트워크 모델의 실제 운행 데이터를 사용하여 유연하고 신속하게 구축되고 이후 타깃 네트워크 모델을 형성하도록 병합되며, 처음부터 타깃 네트워크 모델의 전체 구조를 설계할 필요가 없다. 따라서, 모델 구축 프로세스가 단순화되고 모델 구축 효율이 효과적으로 향상된다. 타깃 네트워크 모델에 대한 최적화 조정은 분할 방식(divided manner)으로 수행되고, 최적화 조정은 각각의 서브 네트워크에 대해 먼저 수행되고, 이후 적어도 하나의 서브 네트워크가 병합되므로, 타깃 네트워크 모델의 최적화 조정 프로세스는 더 유연해지고 모델 구축 효율이 더욱 향상된다.
이 출원의 실시예는 머신 러닝 기반 네트워크 모델 구축 장치를 추가로 개시한다. 도 4를 참조하면, 장치는 다음과 같은 유닛들을 실행할 수 있다:
원본 네트워크 모델의 데이터 처리 절차 및 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 참조 데이터 세트를 획득하도록 구성된 획득 모듈(101);
데이터 처리 절차 및 참조 데이터 세트에 따라 적어도 하나의 서브 네트워크를 계층적으로 구축하도록 구성된 계층적 구축 모듈(102);
참조 데이터 세트를 사용하여 적어도 하나의 서브 네트워크에 대해 최적화 훈련을 수행하도록 구성된 최적화 훈련 모듈(103); 및
최적화 훈련이 수행된 적어도 하나의 서브 네트워크를 병합하여 타깃 네트워크 모델을 형성하도록 구성된 병합 모듈(104).
특정 구현 동안, 획득 모듈(101)을 실행하는 프로세스에서, 장치는 다음 유닛들을 구체적으로 실행한다:
데이터 처리 절차에서 원본 네트워크 모델에 의해 수행되는 적어도 하나의 데이터 처리 단계를 획득하도록 구성된 단계 획득 유닛(1001);
원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터를 획득하도록 구성된 데이터 획득 유닛(1002); 및
원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터로부터 참조 데이터 세트를 추출하도록 구성된 샘플링 추출 유닛(1003) - 참조 데이터 세트는 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 포함함 -.
특정 구현 동안, 계층적 구축 모듈(102)을 실행하는 프로세스에서, 장치는 다음 유닛들을 구체적으로 실행한다:
각각의 데이터 처리 단계와 등가인 서브 네트워크의 네트워크 메인 구조에 대해 미리 설정된 등가 대응 관계 표를 검색하도록 구성된 검색 유닛(2001);
각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹에 따라, 데이터 처리 단계와 등가인 서브 네트워크의 입력 계층 구조 및 출력 계층 구조를 결정하도록 구성된 결정 유닛(2002); 및
네트워크 메인 구조에 따라, 각각의 데이터 처리 단계와 등가인 서브 네트워크의 입력 계층 구조 및 출력 계층 구조를 구축하도록 구성된 구축 유닛(2003) - 서브 네트워크는 데이터 처리 단계와 등가이고, 하나의 서브 네트워크는 하나의 데이터 처리 단계와 등가임 -.
특정 구현 동안, 최적화 훈련 모듈(103)을 실행하는 프로세스에서, 장치는 다음 유닛들을 구체적으로 실행한다:
참조 데이터 세트로부터 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 순차적으로 판독하도록 구성된 판독 유닛(3001); 및
각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여 그리고 NN 훈련 최적화 알고리즘에 따라 각각의 데이터 처리 단계와 등가인 서브 네트워크의 파라미터에 대한 최적화 조정을 수행하도록 구성된 조정 유닛(3002) - 파라미터는 네트워크 노드, 가중치, 및 훈련율 중 적어도 하나를 포함함 -.
특정 구현 동안, 병합 모듈(104)을 실행하는 프로세스에서, 장치는 다음 유닛들을 구체적으로 실행한다:
적어도 하나의 서브 네트워크로부터의 임의의 서브 네트워크를 시드 네트워크로서 선택하도록 구성된 시드 선택 유닛(4001);
미리 설정된 병합 시퀀스에 따라 병합될 대상 네트워크로서 적어도 하나의 서브 네트워크로부터 시드 네트워크 이외의 서브 네트워크를 선택하도록 구성된 병합될 대상 선택 유닛(4002) - 미리 설정된 병합 시퀀스는 다음 중 임의의 하나를 포함한다: 적어도 하나의 데이터 처리 단계의 수행 시퀀스, 적어도 하나의 데이터 처리 단계의 역 수행 시퀀스, 및 적어도 하나의 서브 네트워크 사이의 구조 유사도 레벨들의 시퀀스 -.
시드 네트워크와 병합될 대상 네트워크 사이에서 입력 계층과 출력 계층을 분할하는 분할 유닛(4003);
완전 접속 방식으로 시드 네트워크 및 병합될 대상 네트워크에 대해 병합 접속을 수행하도록 구성된 병합 접속 유닛(4004); 및
병합 접속이 성공하면, 시드 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹 및 병합될 대상 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여 병합 접속에 의해 획득된 네트워크의 파라미터에 대한 최적화 조정을 수행하도록 구성된 최적화 조정 유닛(4005).
시드 선택 유닛(4001)은, 병합 접속이 적어도 하나의 서브 네트워크 모두에 대해 수행될 때까지 병합 접속에 의해 획득된 네트워크를 시드 네트워크로서 사용하여, 병합될 대상 선택 유닛(4002), 분할 유닛(4003), 병합 접속 유닛(4004), 및 최적화 조정 유닛(4005)에 의해 수행되는 대응 처리를 반복하여, 타깃 네트워크 모델을 형성하도록 추가로 구성된다.
병합 모듈(104)을 실행하는 프로세스에서, 장치는 다음 유닛을 추가로 실행한다:
병합 접속이 실패하면, 시드 네트워크와 병합될 대상 네트워크 사이에 숨겨진 중간 계층을 추가하여, 병합 접속 유닛(4004)이 숨겨진 중간 계층을 이용하여 완전 접속 방식으로 시드 네트워크 및 병합될 대상 네트워크에 대해 병합 접속을 수행하도록 구성된 추가 유닛(4006).
도 4에 도시된 장치는 도 1 내지 도 3의 실시예들에서 설명된 방법의 단계들을 수행하도록 구성될 수 있다. 따라서, 도 4에 도시된 장치의 유닛들의 기능들에 대해서는 도 3에 도시된 단계들의 설명을 참조하고, 상세한 설명은 여기에서 다시 설명되지 않는다.
방법과 유사하게, 이 출원의 이 실시예에서의 머신 러닝 기반 네트워크 모델 구축 장치에 의해, 원본 네트워크 모델의 데이터 처리 절차가 분석되고, 데이터 처리 절차에서 원본 네트워크 모델에 의해 발생되는 실제 운행 데이터가 참조 데이터 세트로서 사용되며, 적어도 하나의 등가 서브 네트워크가 계층적으로 구축되고, 최적화 훈련이 적어도 하나의 서브 네트워크에 대해 수행되고, 타깃 네트워크 모델이 병합에 의해 최종적으로 형성된다. 타깃 네트워크 모델의 계층들은 원본 네트워크 모델의 실제 운행 데이터를 사용하여 유연하고 신속하게 구축되고 이후 타깃 네트워크 모델을 형성하도록 병합되며, 처음부터 타깃 네트워크 모델의 전체 구조를 설계할 필요가 없다. 따라서, 모델 구축 프로세스가 단순화되고 모델 구축 효율이 효과적으로 향상된다. 타깃 네트워크 모델에 대한 최적화 조정은 분할 방식(divided manner)으로 수행되고, 최적화 조정은 각각의 서브 네트워크에 대해 먼저 수행되고, 이후 적어도 하나의 서브 네트워크가 병합되므로, 타깃 네트워크 모델의 최적화 조정 프로세스는 더 유연해지고 모델 구축 효율이 더욱 향상된다.
본 기술 분야의 통상의 기술자는 실시예들에서의 방법들의 모든 절차 또는 일부 절차들이 관련 하드웨어에게 지시하는 컴퓨터 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있다. 프로그램은 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 실행될 때, 프로그램은 전술한 실시예들에서의 방법들의 절차를 포함할 수 있다. 저장 매체는 자기 디스크, 광 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM) 등일 수 있다.
도 5는 본 출원의 실시예에 따른 머신 러닝 기반 네트워크 모델 구축 장치의 개략 구조도이다. 도 5에 도시된 바와 같이, 네트워크 모델 구축 장치(50)는 프로세서(501), 비휘발성 컴퓨터 판독가능 메모리(502), 디스플레이 유닛(503), 및 네트워크 통신 인터페이스(504)를 포함할 수 있다. 이들 컴포넌트는 버스(505)를 통해 통신을 수행한다.
이 실시예에서, 메모리(502)는 애플리케이션 프로그램(506), 네트워크 통신 모듈(507), 및 운영 체제(508)를 포함하는 복수의 프로그램 모듈을 저장한다.
프로세서(501)는 메모리(502)의 애플리케이션 프로그램에 포함된 다양한 모듈(도시되지 않음)을 판독하여 네트워크 모델 구축 장치의 다양한 기능 적용 및 데이터 처리를 수행할 수 있다. 이 실시예에서 하나 이상의 프로세서(501)가 있을 수 있고, 프로세서(501)는 CPU, 처리 유닛/모듈, ASIC, 논리 모듈, 프로그램가능 게이트 어레이 등일 수 있다.
운영 체제(508)는 Windows 운영 체제, Linux 운영 체제, 또는 Android 운영 체제일 수 있다. 운영 체제(508)는 네트워크 모델 구축 모듈(509)을 포함할 수 있다. 네트워크 모델 구축 장치(509)는 도 4에 도시된 장치에서 기능 모듈들에 의해 형성되는 컴퓨터 실행가능 명령어 세트들(509-1) 및 대응하는 메타 데이터 및 휴리스틱 알고리즘들(509-2)을 포함할 수 있다. 이러한 컴퓨터 실행가능 명령어 세트들은 도 1 또는 도 2에 도시된 방법 또는 도 4에 도시된 장치의 기능들을 완료하기 위해 프로세서(501)에 의해 실행될 수 있다.
애플리케이션 프로그램(506)은 단말기 디바이스에 설치되어 실행되는 애플리케이션 프로그램을 포함할 수 있다.
이 실시예에서, 네트워크 통신 인터페이스(504)는 네트워크 모델 구축 장치(50)의 다양한 네트워크 신호들의 수신 및 송신을 완료하기 위해 네트워크 통신 모듈(507)과 협력한다.
디스플레이 유닛(503)은 관련 정보의 입력 및 디스플레이를 완료하도록 구성된 디스플레이 패널을 갖는다.
또한, 이 출원의 실시예들에서의 기능 모듈들은 하나의 처리 유닛에 통합될 수 있거나, 또는 각각의 모듈들이 물리적으로 단독으로 존재할 수 있거나, 또는 2개 이상의 모듈이 하나의 유닛에 통합될 수 있다. 통합 유닛은 하드웨어의 형태로 구현될 수 있거나 소프트웨어 기능 유닛의 형태로 구현될 수 있다. 실시예들에서의 기능 모듈들은 하나의 단말기에 또는 네트워크 노드에 위치될 수 있거나, 복수의 단말기에 또는 복수의 네트워크 노드에 분산될 수 있다.
따라서, 이 출원은 컴퓨터 판독가능 명령어들을 저장하는 저장 매체를 추가로 제공한다. 컴퓨터 판독가능 명령어들은 적어도 하나의 프로세서에 의해 실행되어 전술한 임의의 방법 실시예를 수행한다.
앞에서 개시된 것은 이 출원의 바람직한 실시예일 뿐이고, 이 출원의 보호 범위를 제한하는 것은 아니다. 그러므로, 이 출원의 청구 범위에 따라 이루어진 등가의 변형은 이 출원의 범위 내에 든다.

Claims (13)

  1. 머신 러닝 기반 네트워크 모델 구축 방법으로서,
    원본 네트워크 모델의 데이터 처리 절차 및 상기 데이터 처리 절차에서 상기 원본 네트워크 모델에 의해 발생되는 참조 데이터 세트를 획득하는 단계;
    상기 데이터 처리 절차 및 상기 참조 데이터 세트에 따라 적어도 하나의 서브 네트워크를 계층적으로 구축하는 단계;
    상기 참조 데이터 세트를 이용하여 상기 적어도 하나의 서브 네트워크에 대한 최적화 훈련을 수행하는 단계; 및
    상기 최적화 훈련이 수행된 상기 적어도 하나의 서브 네트워크를 병합하여 타깃 네트워크 모델을 형성하는 단계
    를 포함하는, 머신 러닝 기반 네트워크 모델 구축 방법.
  2. 제1항에 있어서,
    상기 원본 네트워크 모델의 데이터 처리 절차 및 상기 데이터 처리 절차에서 상기 원본 네트워크 모델에 의해 발생되는 참조 데이터 세트를 획득하는 단계는,
    상기 데이터 처리 절차에서 상기 원본 네트워크 모델에 의해 수행되는 적어도 하나의 데이터 처리 단계를 획득하는 단계;
    상기 원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터를 획득하는 단계; 및
    상기 원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 상기 운행 데이터로부터 일부 또는 모든 데이터를 추출하여 상기 참조 데이터 세트를 형성하는 단계 - 상기 참조 데이터 세트는 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 포함함 -
    를 포함하는, 머신 러닝 기반 네트워크 모델 구축 방법.
  3. 제2항에 있어서,
    상기 데이터 처리 절차 및 상기 참조 데이터 세트에 따라 적어도 하나의 서브 네트워크를 계층적으로 구축하는 단계는,
    각각의 데이터 처리 단계와 등가인 서브 네트워크의 네트워크 메인 구조에 대한 미리 설정된 등가 대응 관계 표를 검색하는 단계;
    각각의 데이터 처리 단계에 대응하는 상기 적어도 하나의 입력/출력 데이터 그룹에 따라, 상기 데이터 처리 단계와 등가인 상기 서브 네트워크의 입력 계층 구조 및 출력 계층 구조를 결정하는 단계; 및
    각각의 데이터 처리 단계와 등가인 상기 서브 네트워크의 네트워크 메인 구조, 입력 계층 구조, 및 출력 계층 구조에 따라, 상기 데이터 처리 단계와 등가인 상기 서브 네트워크를 구축하는 단계 - 하나의 서브 네트워크는 하나의 데이터 처리 단계와 등가임 -
    를 포함하는, 머신 러닝 기반 네트워크 모델 구축 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 참조 데이터 세트를 이용하여 상기 적어도 하나의 서브 네트워크에 대한 최적화 훈련을 수행하는 단계는,
    상기 참조 데이터 세트로부터 각각의 데이터 처리 단계에 대응하는 상기 적어도 하나의 입력/출력 데이터 그룹을 순차적으로 판독하는 단계; 및
    각각의 데이터 처리 단계에 대응하는 상기 적어도 하나의 입력/출력 데이터 그룹을 참조하여 그리고 NN 훈련 최적화 알고리즘에 따라 각각의 데이터 처리 단계와 등가인 상기 서브 네트워크의 파라미터에 대한 최적화 조정을 수행하는 단계 - 상기 파라미터는 네트워크 노드, 가중치, 및 훈련율 중 적어도 하나를 포함함 -
    를 포함하는, 머신 러닝 기반 네트워크 모델 구축 방법.
  5. 제4항에 있어서,
    상기 최적화 훈련이 수행된 상기 적어도 하나의 서브 네트워크를 병합하여 타깃 네트워크 모델을 형성하는 단계는,
    상기 적어도 하나의 서브 네트워크로부터의 임의의 서브 네트워크를 시드 네트워크로서 선택하는 단계;
    각각의 데이터 처리 단계에 따라 지정된 병합 시퀀스를 획득하고, 상기 병합 시퀀스에 따라 상기 적어도 하나의 서브 네트워크로부터의 상기 시드 네트워크 이외의 서브 네트워크를 병합될 대상 네트워크로서 선택하는 단계;
    상기 시드 네트워크와 상기 병합될 대상 네트워크 간에서 입력 계층 및 출력 계층을 분할하는 단계;
    완전 접속 방식으로 상기 시드 네트워크 및 상기 병합될 대상 네트워크에 대한 병합 접속을 수행하는 단계;
    상기 병합 접속이 성공하면, 상기 시드 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹 및 상기 병합될 대상 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여, 병합 접속에 의해 획득되는 네트워크의 파라미터에 대한 최적화 조정을 수행하는 단계; 및
    상기 적어도 하나의 서브 네트워크 모두에 대해 병합 접속이 수행될 때까지 병합 접속에 의해 획득되는 상기 네트워크를 시드 네트워크로서 사용하여 상기 프로세스를 반복하여, 상기 타깃 네트워크 모델을 형성하는 단계
    를 포함하는, 머신 러닝 기반 네트워크 모델 구축 방법.
  6. 제5항에 있어서,
    상기 병합 접속이 실패하면, 상기 시드 네트워크와 상기 병합될 대상 네트워크 간에 숨겨진 중간 계층을 추가하고, 상기 숨겨진 중간 계층을 사용하여 완전 접속 방식으로 상기 시드 네트워크와 상기 병합될 대상 네트워크에 대한 병합 접속을 수행하는 단계를 추가로 포함하는, 머신 러닝 기반 네트워크 모델 구축 방법.
  7. 머신 러닝 기반 네트워크 모델 구축 장치로서,
    원본 네트워크 모델의 데이터 처리 절차 및 상기 데이터 처리 절차에서 상기 원본 네트워크 모델에 의해 발생되는 참조 데이터 세트를 획득하도록 구성된 획득 모듈;
    상기 데이터 처리 절차 및 상기 참조 데이터 세트에 따라 적어도 하나의 서브 네트워크를 계층적으로 구축하도록 구성된 계층적 구축 모듈;
    상기 참조 데이터 세트를 사용하여 상기 적어도 하나의 서브 네트워크에 대한 최적화 훈련을 수행하도록 구성된 최적화 훈련 모듈; 및
    상기 최적화 훈련이 수행된 상기 적어도 하나의 서브 네트워크를 병합하여 타깃 네트워크 모델을 형성하도록 구성된 병합 모듈
    을 포함하는, 머신 러닝 기반 네트워크 모델 구축 장치.
  8. 제7항에 있어서,
    상기 획득 모듈은,
    상기 데이터 처리 절차에서 상기 원본 네트워크 모델에 의해 수행되는 적어도 하나의 데이터 처리 단계를 획득하도록 구성된 단계 획득 유닛;
    상기 원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 운행 데이터를 획득하도록 구성된 데이터 획득 유닛; 및
    상기 원본 네트워크 모델이 각각의 데이터 처리 단계를 수행할 때 발생되는 상기 운행 데이터로부터 일부 또는 모든 데이터를 추출하여 상기 참조 데이터 세트를 형성하도록 구성된 샘플링 추출 유닛 - 상기 참조 데이터 세트는 각각의 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 포함함 -
    을 포함하는, 머신 러닝 기반 네트워크 모델 구축 장치.
  9. 제8항에 있어서,
    상기 계층적 구축 모듈은,
    각각의 데이터 처리 단계와 등가인 서브 네트워크의 네트워크 메인 구조에 대한 미리 설정된 등가 대응 관계 표를 검색하도록 구성된 검색 유닛;
    각각의 데이터 처리 단계에 대응하는 상기 적어도 하나의 입력/출력 데이터 그룹에 따라, 상기 데이터 처리 단계와 등가인 상기 서브 네트워크의 입력 계층 구조 및 출력 계층 구조를 결정하도록 구성된 결정 유닛; 및
    각각의 데이터 처리 단계와 등가인 상기 서브 네트워크의 네트워크 메인 구조, 입력 계층 구조, 및 출력 계층 구조에 따라, 상기 데이터 처리 단계와 등가인 상기 서브 네트워크를 구축하도록 구성된 구축 유닛 - 하나의 서브 네트워크는 하나의 데이터 처리 단계와 등가임 -
    을 포함하는, 머신 러닝 기반 네트워크 모델 구축 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 최적화 훈련 모듈은,
    상기 참조 데이터 세트로부터 각각의 데이터 처리 단계에 대응하는 상기 적어도 하나의 입력/출력 데이터 그룹을 순차적으로 판독하도록 구성된 판독 유닛; 및
    각각의 데이터 처리 단계에 대응하는 상기 적어도 하나의 입력/출력 데이터 그룹을 참조하여 그리고 NN 훈련 최적화 알고리즘에 따라 각각의 데이터 처리 단계와 등가인 상기 서브 네트워크의 파라미터에 대한 최적화 조정을 수행하도록 구성된 조정 유닛 - 상기 파라미터는 네트워크 노드, 가중치, 및 훈련율 중 적어도 하나를 포함함 -
    을 포함하는, 머신 러닝 기반 네트워크 모델 구축 장치.
  11. 제10항에 있어서,
    상기 병합 모듈은,
    상기 적어도 하나의 서브 네트워크로부터의 임의의 서브 네트워크를 시드 네트워크로서 선택하도록 구성된 시드 선택 유닛;
    각각의 데이터 처리 단계에 따라 지정된 병합 시퀀스를 획득하고, 상기 병합 시퀀스에 따라 상기 적어도 하나의 서브 네트워크로부터의 상기 시드 네트워크 이외의 서브 네트워크를 병합될 대상 네트워크로서 선택하도록 구성된 병합될 대상 선택 유닛;
    상기 시드 네트워크와 상기 병합될 대상 네트워크 사이에서 입력 계층과 출력 계층을 분할하도록 구성된 분할 유닛(splitting unit);
    완전 접속 방식으로 상기 시드 네트워크 및 상기 병합될 대상 네트워크에 대해 병합 접속을 수행하도록 구성된 병합 접속 유닛; 및
    상기 병합 접속이 성공하면, 상기 시드 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹 및 상기 병합될 대상 네트워크와 등가인 데이터 처리 단계에 대응하는 적어도 하나의 입력/출력 데이터 그룹을 참조하여 병합 접속에 의해 획득되는 네트워크의 파라미터에 대한 최적화 조정을 수행하도록 구성된 최적화 조정 유닛
    을 포함하고,
    상기 시드 선택 유닛은, 상기 병합 접속이 상기 적어도 하나의 서브 네트워크 모두에 대해 수행될 때까지 병합 접속에 의해 획득되는 상기 네트워크를 시드 네트워크로서 사용하여, 상기 병합될 대상 선택 유닛, 상기 분할 유닛, 상기 병합 접속 유닛, 및 상기 최적화 조정 유닛에 의해 수행되는 대응 처리를 반복하여, 상기 타깃 네트워크 모델을 형성하도록 추가로 구성되는, 머신 러닝 기반 네트워크 모델 구축 장치.
  12. 제11항에 있어서,
    상기 병합 모듈은, 상기 병합 접속이 실패하면, 상기 시드 네트워크와 상기 병합될 대상 네트워크 사이에 숨겨진 중간 계층을 추가하여, 상기 병합 접속 유닛이 상기 숨겨진 중간 계층을 사용하여 완전 접속 방식으로 상기 시드 네트워크 및 상기 병합될 대상 네트워크에 대해 병합 접속을 수행하도록 구성된 추가 유닛을 추가로 포함하는, 머신 러닝 기반 네트워크 모델 구축 장치.
  13. 컴퓨터 판독가능 명령어들을 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 판독가능 명령어들은 적어도 하나의 프로세서에 의해 실행되어, 제1항 내지 제6항 중 어느 한 항에 따른 머신 러닝 기반 네트워크 모델 구축 방법을 수행하는 컴퓨터 판독가능 저장 매체.
KR1020187013732A 2016-06-02 2017-06-02 머신 러닝 기반 네트워크 모델 구축 방법 및 장치 KR102173555B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610389530.9A CN106096727B (zh) 2016-06-02 2016-06-02 一种基于机器学习的网络模型构造方法及装置
CN201610389530.9 2016-06-02
PCT/CN2017/086917 WO2017206936A1 (zh) 2016-06-02 2017-06-02 基于机器学习的网络模型构造方法及装置

Publications (2)

Publication Number Publication Date
KR20180069877A true KR20180069877A (ko) 2018-06-25
KR102173555B1 KR102173555B1 (ko) 2020-11-03

Family

ID=57447501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187013732A KR102173555B1 (ko) 2016-06-02 2017-06-02 머신 러닝 기반 네트워크 모델 구축 방법 및 장치

Country Status (6)

Country Link
US (1) US11741361B2 (ko)
EP (1) EP3467723B1 (ko)
JP (1) JP6549332B2 (ko)
KR (1) KR102173555B1 (ko)
CN (1) CN106096727B (ko)
WO (1) WO2017206936A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020222879A1 (en) * 2019-04-29 2020-11-05 Landmark Graphics Corporation Hybrid neural network and autoencoder
KR20200143478A (ko) * 2019-01-15 2020-12-23 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체
WO2022092521A1 (ko) * 2020-10-26 2022-05-05 삼성전자 주식회사 복수의 모델들 중 어느 하나의 모델을 이용하여 기지국의 네트워크의 상태를 조정하기 위한 상태 제어 파라미터를 제어하는 방법 및 이를 수행하는 전자 장치
KR20220121680A (ko) 2021-02-25 2022-09-01 주식회사 인제니오에이아이 딥러닝 네트워크 구성 방법, 딥러닝 자동화 플랫폼 서비스 시스템 및 이를 위한 컴퓨터 프로그램

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096727B (zh) * 2016-06-02 2018-12-07 腾讯科技（深圳）有限公司 一种基于机器学习的网络模型构造方法及装置
CN108629413B (zh) * 2017-03-15 2020-06-16 创新先进技术有限公司 神经网络模型训练、交易行为风险识别方法及装置
EP3596655B1 (en) * 2017-06-05 2023-08-09 Siemens Aktiengesellschaft Method and apparatus for analysing an image
US20190138929A1 (en) 2017-07-07 2019-05-09 Darwinai Corporation System and method for automatic building of learning machines using learning machines
TWI696971B (zh) * 2017-12-12 2020-06-21 浩霆 黃 金融商品的相關性預測系統及其方法
DE102018109835A1 (de) * 2018-04-24 2019-10-24 Albert-Ludwigs-Universität Freiburg Verfahren und Vorrichtung zum Ermitteln einer Netzkonfiguration eines neuronalen Netzes
EP3788558A1 (en) * 2018-05-02 2021-03-10 Telefonaktiebolaget LM Ericsson (publ) Placement-aware acceleration of parameter optimization in a predictive model
CN109034367A (zh) * 2018-08-22 2018-12-18 广州杰赛科技股份有限公司 神经网络更新方法、装置、计算机设备和可读存储介质
CN109167789B (zh) * 2018-09-13 2021-04-13 上海海事大学 一种云环境LDoS攻击数据流检测方法及系统
CN109447273A (zh) * 2018-09-30 2019-03-08 深圳市元征科技股份有限公司 模型训练方法、广告推荐方法、相关装置、设备及介质
JP7115207B2 (ja) * 2018-10-11 2022-08-09 富士通株式会社 学習プログラム、学習方法および学習装置
CN111105020B (zh) * 2018-10-29 2024-03-29 西安宇视信息科技有限公司 特征表示迁移学习方法及相关装置
KR20200052439A (ko) * 2018-10-29 2020-05-15 삼성에스디에스 주식회사 딥러닝 모델의 최적화 시스템 및 방법
CN111224805A (zh) * 2018-11-26 2020-06-02 中兴通讯股份有限公司 一种网络故障根因检测方法、系统及存储介质
CN111291771B (zh) * 2018-12-06 2024-04-02 西安宇视信息科技有限公司 对池化层特征优化的方法及装置
CN109684087B (zh) * 2018-12-17 2020-01-10 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN109685203B (zh) * 2018-12-21 2020-01-17 中科寒武纪科技股份有限公司 数据处理方法、装置、计算机系统及存储介质
CN109726718B (zh) * 2019-01-03 2022-09-16 电子科技大学 一种基于关系正则化的视觉场景图生成系统及方法
CN109684648B (zh) * 2019-01-14 2020-09-01 浙江大学 一种多特征融合的古今汉语自动翻译方法
CN111600734B (zh) * 2019-02-21 2021-11-02 烽火通信科技股份有限公司 一种网络故障处理模型的构建方法、故障处理方法及系统
CN109978024B (zh) * 2019-03-11 2020-10-27 北京工业大学 一种基于互联模块化神经网络的出水bod预测方法
CN110046706B (zh) * 2019-04-18 2022-12-20 腾讯科技（深圳）有限公司 模型生成方法、装置及服务器
CN112994940B (zh) * 2019-05-29 2022-10-18 华为技术有限公司 一种网络异常检测方法和装置
CN110322021B (zh) * 2019-06-14 2021-03-30 清华大学 大规模网络表征学习的超参数优化方法和装置
CN110414570B (zh) * 2019-07-04 2022-01-28 北京迈格威科技有限公司 图像分类模型生成方法、装置、设备和存储介质
CN110570013B (zh) * 2019-08-06 2023-04-07 山东省科学院海洋仪器仪表研究所 一种单站位在线波周期数据的预测诊断方法
US11763157B2 (en) * 2019-11-03 2023-09-19 Microsoft Technology Licensing, Llc Protecting deep learned models
JP7203000B2 (ja) * 2019-11-12 2023-01-12 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
US11847500B2 (en) 2019-12-11 2023-12-19 Cisco Technology, Inc. Systems and methods for providing management of machine learning components
CN113811897B (zh) * 2019-12-30 2022-05-31 深圳元戎启行科技有限公司 神经网络模型的推理方法、装置、计算机设备和存储介质
US11501216B2 (en) 2020-02-21 2022-11-15 King.Com Ltd. Computer system, a computer device and a computer implemented method
CN111584027B (zh) * 2020-04-30 2022-03-11 天津大学 融合复杂网络和图卷积的脑控康复系统运动想象识别系统
CN113780513B (zh) * 2020-06-10 2024-05-03 杭州海康威视数字技术股份有限公司 网络模型量化、推理方法、装置、电子设备及存储介质
CN112150605B (zh) * 2020-08-17 2024-02-02 北京化工大学 用于mri局部sar估计的膝关节模型构建方法
US20220114448A1 (en) * 2020-10-08 2022-04-14 The University Of Hong Kong Method and device for transmitting ofdm signal, and method and device for receiving ofdm signal
CN113378998B (zh) * 2021-07-12 2022-07-22 西南石油大学 一种基于机器学习的地层岩性随钻识别方法
CN113554077A (zh) * 2021-07-13 2021-10-26 南京铉盈网络科技有限公司 基于多模态神经网络模型的工况评估及业务量预测方法
CN113919387A (zh) * 2021-08-18 2022-01-11 东北林业大学 基于gbdt-lr模型的脑电信号情感识别
KR102644593B1 (ko) * 2021-11-23 2024-03-07 한국기술교육대학교 산학협력단 지능형 디바이스 개발을 위한 ai 분화 기반의 하드웨어 정보에 최적의 지능형 소프트웨어 개발도구
CN114492789B (zh) * 2022-01-25 2024-05-14 天津工业大学 一种数据样本的神经网络模型构建方法及装置
CN116451099B (zh) * 2023-06-19 2023-09-01 浪潮通用软件有限公司 一种基于随机遍历的高熵knn聚类方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6119112A (en) * 1997-11-19 2000-09-12 International Business Machines Corporation Optimum cessation of training in neural networks
JP2002063562A (ja) * 2000-08-21 2002-02-28 Nec Soft Ltd ニューラルネットワークの学習方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04190461A (ja) * 1990-11-26 1992-07-08 Fujitsu Ltd ニューラルネットワークの構築表示方法
JPH05128082A (ja) * 1991-07-19 1993-05-25 Fujitsu Ltd 階層ネツトワーク構成データ処理装置とその学習処理方法
JP3035106B2 (ja) * 1993-03-11 2000-04-17 株式会社東芝 大規模情報認識回路
JPH0793160A (ja) * 1993-09-20 1995-04-07 Toshiba Corp 推論装置
WO2007056803A1 (en) 2005-11-15 2007-05-24 Bernadette Garner Method for training neural networks
CN101814160A (zh) * 2010-03-08 2010-08-25 清华大学 一种基于特征聚类的rbf神经网络建模方法
CN103345656B (zh) * 2013-07-17 2016-01-20 中国科学院自动化研究所 一种基于多任务深度神经网络的数据识别方法及装置
CN104751227B (zh) * 2013-12-31 2018-03-06 科大讯飞股份有限公司 用于语音识别的深度神经网络的构建方法及系统
US9870537B2 (en) * 2014-01-06 2018-01-16 Cisco Technology, Inc. Distributed learning in a computer network
CN103729459A (zh) * 2014-01-10 2014-04-16 北京邮电大学 一种构建情感分类模型的方法
CN103838836B (zh) * 2014-02-25 2016-09-28 中国科学院自动化研究所 基于判别式多模态深度置信网多模态数据融合方法和系统
CN106096727B (zh) * 2016-06-02 2018-12-07 腾讯科技（深圳）有限公司 一种基于机器学习的网络模型构造方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6119112A (en) * 1997-11-19 2000-09-12 International Business Machines Corporation Optimum cessation of training in neural networks
JP2002063562A (ja) * 2000-08-21 2002-02-28 Nec Soft Ltd ニューラルネットワークの学習方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
삼성SDS커뮤니케이션팀. [IT에 한걸음 더 다가가기]SMAC의 분석 부문, 지능화를 지향하는 Machine Learning(1편), [웹페이지], [2015.05.19.], 출처: https://www.samsungsds.com/global/ko/news/story/1203250_2919.html* *
삼성SDS커뮤니케이션팀. [IT에 한걸음 더 다가가기]SMAC의 분석 부문, 지능화를 지향하는 Machine Learning(3편), [웹페이지], [2015.08.12.], 출처: https://www.samsungsds.com/global/ko/news/story/1203241_2919.html* *
즐거운 인생을 위하여. 컨볼루션 신경망(Convolutional Neural Network : CNN), [웹페이지], [2016.05.13.], 출처: https://address83.tistory.com/164* *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200143478A (ko) * 2019-01-15 2020-12-23 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체
WO2020222879A1 (en) * 2019-04-29 2020-11-05 Landmark Graphics Corporation Hybrid neural network and autoencoder
GB2596477A (en) * 2019-04-29 2021-12-29 Landmark Graphics Corp Hybrid neural network and autoencoder
US11488025B2 (en) 2019-04-29 2022-11-01 Landmark Graphics Corporation Hybrid neural network and autoencoder
GB2596477B (en) * 2019-04-29 2023-02-22 Landmark Graphics Corp Hybrid neural network and autoencoder
WO2022092521A1 (ko) * 2020-10-26 2022-05-05 삼성전자 주식회사 복수의 모델들 중 어느 하나의 모델을 이용하여 기지국의 네트워크의 상태를 조정하기 위한 상태 제어 파라미터를 제어하는 방법 및 이를 수행하는 전자 장치
KR20220121680A (ko) 2021-02-25 2022-09-01 주식회사 인제니오에이아이 딥러닝 네트워크 구성 방법, 딥러닝 자동화 플랫폼 서비스 시스템 및 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20180268296A1 (en) 2018-09-20
CN106096727A (zh) 2016-11-09
EP3467723A4 (en) 2019-04-10
US11741361B2 (en) 2023-08-29
EP3467723B1 (en) 2021-02-24
KR102173555B1 (ko) 2020-11-03
CN106096727B (zh) 2018-12-07
WO2017206936A1 (zh) 2017-12-07
JP2018533153A (ja) 2018-11-08
EP3467723A1 (en) 2019-04-10
JP6549332B2 (ja) 2019-07-24

Similar Documents

Publication Publication Date Title
KR102173555B1 (ko) 머신 러닝 기반 네트워크 모델 구축 방법 및 장치
US12014257B2 (en) Domain specific language for generation of recurrent neural network architectures
Sun et al. Study on parallel SVM based on MapReduce
Zandkarimi et al. A generic framework for trace clustering in process mining
US20170344822A1 (en) Semantic representation of the content of an image
US20220277031A1 (en) Guided exploration for conversational business intelligence
CN114547749B (zh) 户型预测方法、装置以及存储介质
WO2023160290A1 (zh) 神经网络推理加速方法、目标检测方法、设备及存储介质
WO2017039684A1 (en) Classifier
Yan et al. A clustering algorithm for multi-modal heterogeneous big data with abnormal data
CN114492765A (zh) 一种模型优化方法、装置、设备及存储介质、程序产品
WO2016093839A1 (en) Structuring of semi-structured log messages
CN113821657A (zh) 基于人工智能的图像处理模型训练方法及图像处理方法
CN111612156A (zh) 用于XGBoost模型的解释方法
Abdelrahman et al. [ANT]: A machine learning approach for building performance simulation: Methods and development
CN109614581B (zh) 基于对偶局部学习的非负矩阵分解聚类方法
Sun A parallel clustering method study based on MapReduce
CN117999560A (zh) 机器学习模型的硬件感知渐进训练
Jenitha et al. Comparing the partitional and density based clustering algorithms by using WEKA tool
Klusáček et al. Comparing fitness functions for genetic feature transformation
Zhanquan et al. Large scale classification based on combination of parallel SVM and interpolative MDS
Griffin et al. SCoRE4HPC: Self-Configuring Runtime Environment for HPC Applications
US20220343145A1 (en) Method and system for graph neural network acceleration
CN113836289B (zh) 一种实体演进规律推荐方法及装置
Sidiropoulos Application of deep neural networks for bicycle detection and classification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant