JP6549332B2 - 機械学習に基づくネットワークモデル構築方法及び装置 - Google Patents

機械学習に基づくネットワークモデル構築方法及び装置 Download PDF

Info

Publication number
JP6549332B2
JP6549332B2 JP2018543424A JP2018543424A JP6549332B2 JP 6549332 B2 JP6549332 B2 JP 6549332B2 JP 2018543424 A JP2018543424 A JP 2018543424A JP 2018543424 A JP2018543424 A JP 2018543424A JP 6549332 B2 JP6549332 B2 JP 6549332B2
Authority
JP
Japan
Prior art keywords
network
data processing
merge
subnetwork
processing step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018543424A
Other languages
English (en)
Other versions
JP2018533153A (ja
Inventor
ジェン，ボ
リウ，ジビン
リウ，リジア
チェン，クイアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2018533153A publication Critical patent/JP2018533153A/ja
Application granted granted Critical
Publication of JP6549332B2 publication Critical patent/JP6549332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

関連出願
本出願は、2016年6月2日に申請され“MACHINE LEARNING-BASED NETWORK MODEL BUILDING METHOD AND APPARATUS”と題された中国特許出願第201610389530.9号に対する優先権を主張し、該出願はその全体を参照援用される。
本出願は、インターネット技術の分野に関し、詳細には、機械学習に基づくネットワークモデル構築方法及び装置に関する。
機械学習技術の急速な発展とともに、機械学習法はより多くの分野でネットワークモデルを構築するために使用され始め、構築されたネットワークモデルは分析、制御、及び決定のツールとして使用されている。ネットワークモデルは、非ニューラルネットワーク（ＮＮ）モデルとＮＮモデルとを含む。ＮＮは、互いに接続された多数の処理ユニット（ニューロンとして参照される）により形成された複雑なネットワークシステムであり、高複雑性の非線形の動的学習システムである。ＮＮの基礎はニューロンであり、ＮＮモデルはニューロンのネットワークトポロジー、ノード特徴、及び学習ルールを使用することにより示される。
本出願の実施例は、機械学習に基づくネットワークモデル構築方法及び装置を提供して、ネットワークモデルを構築するプロセスを簡素化し、モデル構築効率を改善する。
本出願の実施例の第１の態様が、機械学習に基づくネットワークモデル構築方法を提供し、
オリジナルネットワークモデルのデータ処理手順と上記データ処理手順において上記オリジナルネットワークモデルにより生成された参照データセットとを取得するステップと、
上記データ処理手順及び上記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するステップと、
上記参照データセットを使用することにより上記少なくとも１つのサブネットワークに対して最適化訓練を実行するステップと、
ターゲットネットワークモデルを形成するために、上記最適化訓練が実行された上記少なくとも１つのサブネットワークをマージするステップと、
を含む。
オリジナルネットワークモデルのデータ処理手順と上記データ処理手順において上記オリジナルネットワークモデルにより生成された参照データセットとを取得するステップは、
上記データ処理手順において上記オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するステップと、
上記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するステップと、
上記参照データセットを形成するために、上記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された上記操作データからいくつか又はすべてのデータを抽出するステップと、
を含み、
上記参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む。
上記データ処理手順及び上記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するステップは、
各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するステップと、
各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループに従い、上記データ処理ステップに相当する上記サブネットワークの入力層構造及び出力層構造を決定するステップと、
各データ処理ステップに相当する上記サブネットワークの上記ネットワークメイン構造、上記入力層構造、及び上記出力層構造に従い、上記データ処理ステップに相当する上記サブネットワークを構築するステップであり、１つのサブネットワークが１つのデータ処理ステップに相当する、ステップと、
を含む。
上記参照データセットを使用することにより上記少なくとも１つのサブネットワークに対して最適化訓練を実行するステップは、
上記参照データセットから各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループを順次読み出すステップと、
各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当する上記サブネットワークのパラメータに対して最適化調整を実行するステップであり、上記パラメータはネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、ステップと、
を含む。
ターゲットネットワークモデルを形成するために、上記最適化訓練が実行された上記少なくとも１つのサブネットワークをマージするステップは、
シードネットワークとして上記少なくとも１つのサブネットワークから任意のサブネットワークを選択するステップと、
各データ処理ステップに従い指定されたマージシーケンスを取得し、上記マージシーケンスに従い被マージ対象ネットワークとして上記少なくとも１つのサブネットワークから上記シードネットワーク以外のサブネットワークを選択するステップと、
全結合方式で上記シードネットワークと上記被マージ対象ネットワークとに対してマージ結合を実行するステップと、
上記マージ結合が成功した場合、上記シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと上記被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するステップと、
上記ターゲットネットワークモデルを形成するために、上記少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得された上記ネットワークを使用することによりプロセスを反復するステップと、
を含む。
方法は、
上記マージ結合が失敗した場合、上記シードネットワークと上記被マージ対象ネットワークとの間に中間隠れ層を追加し、上記中間隠れ層を使用することにより全結合方式で上記シードネットワーク及び上記被マージ対象ネットワークに対してマージ結合を実行するステップ、
をさらに含む。
本出願の実施例の第２の態様が、機械学習に基づくネットワークモデル構築装置を提供し、
オリジナルネットワークモデルのデータ処理手順と上記データ処理手順において上記オリジナルネットワークモデルにより生成された参照データセットとを取得するように構成された取得モジュールと、
上記データ処理手順及び上記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するように構成された階層構築モジュールと、
上記参照データセットを使用することにより上記少なくとも１つのサブネットワークに対して最適化訓練を実行するように構成された最適化訓練モジュールと、
ターゲットネットワークモデルを形成するために、上記最適化訓練が実行された上記少なくとも１つのサブネットワークをマージするように構成されたマージモジュールと、
を含む。
上記取得モジュールは、
上記データ処理手順において上記オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するように構成されたステップ取得ユニットと、
上記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するように構成されたデータ取得ユニットと、
上記参照データセットを形成するために、上記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された上記操作データからいくつか又はすべてのデータを抽出するように構成されたサンプリング抽出ユニットと、
を含み、
上記参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む。
上記階層構築モジュールは、
各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するように構成された検索ユニットと、
各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループに従い、上記データ処理ステップに相当する上記サブネットワークの入力層構造及び出力層構造を決定するように構成された決定ユニットと、
各データ処理ステップに相当する上記サブネットワークの上記ネットワークメイン構造、上記入力層構造、及び上記出力層構造に従い、上記データ処理ステップに相当する上記サブネットワークを構築するように構成された構築ユニットであり、１つのサブネットワークが１つのデータ処理ステップに相当する、構築ユニットと、
を含む。
上記最適化訓練モジュールは、
上記参照データセットから各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループを順次読み出すように構成された読み出しユニットと、
各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当する上記サブネットワークのパラメータに対して最適化調整を実行するように構成された調整ユニットであり、上記パラメータはネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、調整ユニットと、
を含む。
上記マージモジュールは、
シードネットワークとして上記少なくとも１つのサブネットワークから任意のサブネットワークを選択するように構成されたシード選択ユニットと、
各データ処理ステップに従い指定されたマージシーケンスを取得し、上記マージシーケンスに従い被マージ対象ネットワークとして上記少なくとも１つのサブネットワークから上記シードネットワーク以外のサブネットワークを選択するように構成された被マージ対象選択ユニットと、
上記シードネットワークと上記被マージ対象ネットワークとの間の入力層及び出力層を分離するように構成された分離ユニットと、
全結合方式で上記シードネットワーク及び上記被マージ対象ネットワークに対してマージ結合を実行するように構成されたマージ結合ユニットと、
上記マージ結合が成功した場合、上記シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと上記被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するように構成された最適化調整ユニットと、
を含み、
上記シード選択ユニットは、上記ターゲットネットワークモデルを形成するために、上記少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得された上記ネットワークを使用することにより、上記被マージ対象選択ユニットと上記分離ユニットと上記マージ結合ユニットと上記最適化調整ユニットとにより実行される対応する処理を反復するようにさらに構成される。
上記マージモジュールは、
上記マージ結合が失敗した場合、上記シードネットワークと上記被マージ対象ネットワークとの間に中間隠れ層を追加するように構成された追加ユニットであり、それにより、上記マージ結合ユニットは、上記中間隠れ層を使用することにより全結合方式で上記シードネットワーク及び上記被マージ対象ネットワークに対してマージ結合を実行する、追加ユニット、
をさらに含む。
本出願の実施例において、オリジナルネットワークモデルのデータ処理手順が分析され、データ処理手順においてオリジナルネットワークモデルにより生成された操作データが参照データセットとして使用され、少なくとも１つの相当サブネットワークが階層的に構築され、最適化訓練が少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルがマージを用いて最終的に形成される。ターゲットネットワークモデルの層は、オリジナルネットワークモデルの実際の操作データを使用することにより柔軟かつ迅速に構築され、まさに最初からターゲットネットワークモデルの構造全体を設計する必要がない。ゆえに、モデル構築プロセスが簡素化され、モデル構築効率が効果的に改善される。ターゲットネットワークモデルに対する最適化調整が分割方式で実行され、最適化調整が各サブネットワークに対して最初実行され、次いで、少なくとも１つのサブネットワークがマージされ、それにより、ターゲットネットワークモデルの最適化調整プロセスがより柔軟になり、モデル構築効率がさらに改善される。
本出願の実施例又は既存技術における技術的解決策をより明りょうに説明するために、実施例又は既存技術を説明するのに必要な添付図面が下記のとおり簡潔に説明される。明らかなように、下記説明における添付図面は専ら本出願のいくつかの実施例を示し、当業者は創造的取り組みなしにこれら添付図面から他の図面をさらに導き出し得る。
本出願の一実施例による機械学習に基づくネットワークモデル構築方法のフローチャートである。 本出願の一実施例による別の機械学習に基づくネットワークモデル構築方法のフローチャートである。 本出願の一実施例によるオリジナルネットワークモデルの概略図である。 本出願の一実施例によるオリジナルネットワークモデル内のデータ処理ステップａ１に相当するサブネットワークｂ１に対する最適化訓練を構築し、実行するプロセスの概略図である。 本出願の一実施例によるサブネットワークｂ１及びサブネットワークｂ２をマージするプロセスとマージ結合を用いて取得されたネットワークに対して最適化訓練を実行するプロセスとの概略図である。 本出願の一実施例によるサブネットワークｂ１及びサブネットワークｂ２をマージするプロセスとマージ結合を用いて取得されたネットワークに対して最適化訓練を実行するプロセスとの別の概略図である。 本出願の一実施例による機械学習に基づくネットワークモデル構築装置の概略構成図である。 本発明の一実施例による機械学習に基づくネットワークモデル構築装置の概略構成図である。
本出願の実施例における添付図面を参照して本出願の実施例における技術的解決策を下記のとおり明りょうかつ完全に説明する。明らかなように、説明される実施例は、実施例のすべてでなく本出願のいくつかの実施例である。創作的取り組みなく本出願の実施例に基づき当業者により得られるすべての他の実施例が本出願の保護範囲内に入るものとする。
本出願の一実施例では、ネットワークモデルに対して機械学習を実行してＮＮモデルを構築するプロセスにおいて、既存のネットワークモデルのデータが、訓練セットを形成するためにラベル付けされる必要があり、次いで、ＮＮモデルが、まさに最初から構築される。ＮＮを訓練するプロセスにおいて、大量のデータが、訓練セットとして使用されるラベル付けされたデータを生成するために、手動でラベル付けされる必要がある。プロセスは、大量のヒューマン・マシン・インタラクションを必要とし、多数のデバイスリソースを消費する必要がある。さらに、まさに最初からＮＮモデルを構築することは、構築されたネットワークモデル全体に対する複雑なパラメータ調整を必要とし、重い作業負荷及び低いモデル構築効率につながる。
ネットワークモデルは、非ＮＮモデルと、ＮＮモデルとを含む。ＮＮは、互いに接続された多数の処理ユニット（ＮＮにおいてニューロンとして参照される）により形成された複雑なネットワークシステムであり、高複雑性の非線形の動的学習システムである。ニューロンは、ＮＮを形成する基本ユニットである。ＮＮモデルは、ニューロンのネットワークトポロジー、ノード特徴、及び学習ルールを使用することにより示される。非ＮＮモデルと比較して、ＮＮモデルは、より強いディープラーニング能力とより良い環境適合力とを有する。
本出願の実施形態は、学習に基づくネットワークモデル構築方法及び装置を提供し、それにより、オリジナルネットワークモデルのデータ処理手順が分析され、少なくとも１つの相当（equivalent）サブネットワークが、参照データセットとしてデータ処理手順においてオリジナルネットワークモデルにより生成された実際の操作データ（operating data）を使用することにより階層的に構築され、最適化訓練が、少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルが、マージを用いて最終的に形成される。ターゲットネットワークモデルは、機械学習プロセスを使用することにより構築され、それにより、下記の有益な効果が得られる。
（１）性能信頼性が高い。ターゲットネットワークモデルは、オリジナルネットワークモデルのデータ処理手順に相当する少なくとも１つのサブネットワークに対して接合（joint）最適化調整を実行することにより取得される。ゆえに、オリジナルネットワークモデルと比較して、ターゲットネットワークモデルについて、データ処理ステップ間における流し込み及び適合の問題がそれ以上考慮される必要がない。さらに、接合最適化プロセスは、オリジナルネットワークモデルの実際の操作データに基づき、それにより、ターゲットネットワークモデルの処理性能信頼性が確保できる。
（２）調整柔軟性が高い。ターゲットネットワークモデルは、オリジナルネットワークモデルの実際の操作データを訓練することにより変更されるように駆動される。ゆえに、ターゲットネットワークモデルが調整される必要がある場合、ターゲットネットワークモデルの層化された構造間でパラメータ適合の問題を考慮することなく、訓練プロセスに関連したパラメータのみが調整される必要があり、それにより、調整柔軟性が比較的高い。さらに、新しい操作データがオリジナルネットワークモデル内で発生し、あるいは生成された場合、ターゲットネットワークモデルは、過剰な人間の干渉なく新しい操作データを使用することにより直接調整されることができ、それにより、マンパワーコストが削減され、モデル構築の作業負荷が削減される。
（３）構築プロセスが簡素である。ターゲットネットワークモデルは、まさに最初から開始することにより構築される必要がない。ゆえに、複雑なネットワーク構造調整プロセスが回避される。さらに、冗長な人間の体験が参照として必要とされず、それにより、モデル構築時間が大きく削減され、構築効率が改善される。
（４）データが完全に使用される。ターゲットネットワークモデルは、接合最適化を用いて少なくとも１つのサブネットワークにより形成されたディープネットワークであり、それにより、性能信頼性が高い。オリジナルネットワークモデルと比較して、パラメータは、データの値の完全な使用を行うために連続的に反復されて、より良い性能最適化を実現することができる。
（５）ターゲットネットワークモデルが説明力を有する。ターゲットネットワークモデルは、機械学習法を使用してオリジナルネットワークモデルに対して相当の置換を実行することにより形成される。プロセスにおいて、データ処理手順でオリジナルネットワークモデルにより生成された実際の操作データが使用され、人間により理解又は知覚されるラベル付けされたデータは追加されず、それにより、オリジナルネットワークモデルの説明的ファクタがある程度継承され、ターゲットネットワークモデルは、比較的高い説明力要件を有するシナリオに対してより適用可能である。
オリジナルネットワークモデルは、非ＮＮモデル又はＮＮモデルであり得、ターゲットネットワークモデルはＮＮモデルであり得ることに留意すべきである。特に指定されない限り、本出願の後の実施例において、オリジナルネットワークモデルが一例として非ＮＮモデルを使用することにより説明され、ターゲットネットワークモデルが一例としてＮＮモデルを使用することにより説明される。
前述の説明に基づき、本出願の一実施例は、機械学習に基づくネットワークモデル構築方法を開示する。図１を参照し、方法は下記のステップＳ１０１乃至ステップＳ１０４を含み得る。
Ｓ１０１：オリジナルネットワークモデルのデータ処理手順と、データ処理手順においてオリジナルネットワークモデルにより生成された参照データセットとを取得する。
オリジナルネットワークモデルは、分析、制御、及び決定のツールとして使用され、完全なデータ処理手順を形成するために操作プロセスにおいて一連のデータ処理ステップを実行する。データ処理ステップは本明細書において、これらに限られないが下記のうち少なくとも１つを含み得る。
（１）多様化されていない機械学習ステップ。ステップは、分類アルゴリズム、クラスタリングアルゴリズム、成分分析アルゴリズム、次元削減マッピングアルゴリズム、及びエンコーダ方法に基づき実現される。分類アルゴリズムは、これらに限られないが、サポートベクトルマシン（Support Vector Machine）（ＳＶＭ）、決定木、閾値分類器、ロジスティック回帰、浅い（shallow）ＮＮ、勾配ブースティング決定木（gradient boosting decision tree）（ＧＢＤＴ）、弱分類アルゴリズムの精度をブーストする方法、Ｋ近傍法（k-nearest neighbor）（ＫＮＮ）、ベイズ分類器、ランダムフォレスト法、及び他の可能な異なる方法を含んでよい。クラスタリングアルゴリズムは、これらに限られないが、分割に基づくクラスタリング法（ｋ平均）（k-means）、ｋ中心、ＭｅａｎＳｈｉｆｔ、スペクトラルクラスタリング、ノイズ付き適用の密度に基づく空間クラスタリング（Density-Based Spatial Clustering of Applications with Noise）（ＤＢＳＣＡＮ）アルゴリズム、及びアフィニティ伝播（affinity propagation）法を含んでよい。成分分析アルゴリズムは、これらに限られないが、主成分分析（principal component analysis）（ＰＣＡ）、正準対応分析（canonical correspondence analysis）（ＣＣＡ）、ファクタ分析、フーリエ変換、及びウェーブレット分析を含んでよい。次元削減マッピングアルゴリズムは、これらに限られないが、混合判別分析（mixture discriminant analysis）（ＭＤＡ）、フィッシャー（Fisher）投影、及びＩｓｏＭａｐ（大域的最適化アルゴリズム）を含んでよい。エンコーダ方法は、これらに限られないが、線形判別分析（linear discriminant analysis）（ＬＤＡ）、確率的潜在セマンティック分析（probabilistic latent semantic analysis）（ＰＬＳＡ）、潜在セマンティック分析（latent semantic analysis）（ＬＳＡ）、及びスパースコーディング（sparse coding）を含んでよい。
（２）データ統計ステップ。ステップは、データ統計アルゴリズムに基づき実現されてよく、データ統計アルゴリズムは、これらに限られないが、総和、平均算出、分位数評価、極値評価、中心統計モーメント評価、カイ二乗統計評価などを含んでよい。
（３）シーケンス分析ステップ。ステップは、シーケンス分析アルゴリズムに基づき実現されてよく、シーケンス分析アルゴリズムは、これらに限られないが、自己回帰和分移動平均モデル（autoregressive integrated moving average model）（ＡＲＩＭＡ）回帰、カーマン（Karman）フィルタリングなどを含んでよい。
（４）関数処理ステップ。関数は本明細書において、これらに限られないが、線形マッピング関数、情報エントロピー包含変換関数、解析関数、超越関数などを含んでよい。
（５）データ編集処理ステップ。ステップは、これらに限られないが、データマージ、データふるい分け、データ分離、データ変換などを含んでよい。
ステップＳ１０１において、オリジナルネットワークモデルにより操作されたデータ処理手順内の少なくとも１つのデータ処理ステップが、解析され、記録されてよい。さらに、オリジナルネットワークモデルは、各データ処理ステップを実行するときに操作データを生成する。操作データは本明細書において、これらに限られないが、実際の操作プロセスにおいてオリジナルネットワークモデルにより使用される入力データ及び中間データ並びに取得される出力データか、又は、訓練又はテストプロセスにおいてオリジナルネットワークモデルによりラベル付けされ使用される入力データ、中間データ、及び出力データか、又は、オリジナルネットワークモデルに対して手動で注入されるアナログ入力データ及び中間データ並びに取得された出力データかを含んでよい。ステップにおいて、いくつか又はすべての操作データが、参照データセットとして各データ処理ステップの操作データから抽出される。
Ｓ１０２：データ処理手順及び参照データセットに従い少なくとも１つのサブネットワークを階層的に構築する。
データ処理手順は、オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを記録し、参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む。階層構築のアイデアは、オリジナルネットワークモデルの各データ処理ステップが相当の関数を有するサブネットワークにより実行でき、ゆえに、１つのデータ処理ステップが１つのサブネットワークのネットワークメイン構造に対応できるということであり、さらに、サブネットワークの入力／出力層がデータ処理ステップの入力／出力データにより決定できるということである。ゆえに、ステップにおいて、少なくとも１つのサブネットワークは、オリジナルネットワークモデルのデータ処理手順と抽出された参照データセットとに従い階層的に構築できる。例えば、オリジナルネットワークモデルのデータ処理手順が、合計で４つのデータ処理ステップ、すなわち「ステップａ１→ステップａ２→ステップａ３→ステップａ４」により表されると仮定し、ステップａ１は第１の層におけるサブネットワークｂ１に相当し、サブネットワークｂ１のメインネットワーク構造はステップａ１により決定され、サブネットワークｂ１の入力層及び出力層はステップａ１から抽出された入力／出力データにより決定される。同様に、ステップａ２は第２の層におけるサブネットワークｂ２に相当し、サブネットワークｂ２のメインネットワーク構造がステップａ２により決定され、サブネットワークｂ２の入力層及び出力層がステップａ２から抽出された入力／出力データにより決定される。類推により、ステップａ４は第４の層におけるサブネットワークｂ４に相当し、サブネットワークｂ４のメインネットワーク構造がステップａ４により決定され、サブネットワークｂ４の入力層及び出力層がステップａ４から抽出された入力／出力データにより決定される。例に従い、ターゲットネットワークモデルが、層化結合を用いてサブネットワークｂ１とサブネットワークｂ２とサブネットワークｂ３とサブネットワークｂ４とにより形成されることがさらに習得できる。
Ｓ１０３：参照データセットを使用することにより少なくとも１つのサブネットワークに対して最適化訓練を実行する。
最適化訓練の目的は、参照データセット内のデータを参照して少なくとも１つのサブネットワークのパラメータを連続的に調整し、それにより、サブネットワークの性能インジケータがオリジナルネットワークモデル内の対応するデータ処理ステップの性能インジケータの同じかさらにはより高いレベルに到達することである。サブネットワークのパラメータは本明細書において、ネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む。特定の実現の間、各データ処理ステップから抽出された入力／出力データの少なくとも１つのグループが、データ処理ステップに相当するサブネットワークに対して最適化訓練を実行することに使用される。ステップＳ１０２の例に従い、参照データセット内のステップａ１に対応する入力／出力データの少なくとも１つのグループが、サブネットワークｂ１に対して最適化訓練を実行することに使用され、ステップａ２に対応する入力／出力データの少なくとも１つのグループが、サブネットワークｂ２に対して最適化訓練を実行することに使用される。類推により、ステップａ４に対応する入力／出力データの少なくとも１つのグループが、サブネットワークｂ４に対して最適化訓練を実行することに使用される。
Ｓ１０４：ターゲットネットワークモデルを形成するために、最適化訓練が実行された少なくとも１つのサブネットワークをマージする。
ステップにおいて、最適化訓練が実行された少なくとも１つのサブネットワークは、連続的に反復的にマージされる必要がある。マージプロセスにおいて、接合最適化が、連続的マージを用いて形成されるネットワークに対して実行される必要がさらにあり、それにより、完全なターゲットネットワークモデルが最終的に形成される。反復的マージ及び接合最適化プロセスを使用することにより形成されるターゲットネットワークモデルは、ディープネットワークであり、比較的高い性能信頼性を有する。
本出願の本実施例における機械学習に基づくネットワークモデル構築方法を用いて、オリジナルネットワークモデルのデータ処理手順が分析され、データ処理手順においてオリジナルネットワークモデルにより生成された実際の操作データが参照データセットとして使用され、少なくとも１つの相当サブネットワークが階層的に構築され、最適化訓練が少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルがマージを用いて最終的に形成される。ターゲットネットワークモデルの層は、オリジナルネットワークモデルの実際の操作データを使用することにより柔軟かつ迅速に構築され、次いで、ターゲットネットワークモデルを形成するためにマージされ、まさに最初からターゲットネットワークモデルの構造全体を設計する必要がない。ゆえに、モデル構築プロセスは簡素化され、モデル構築効率が効果的に改善される。ターゲットネットワークモデルに対する最適化調整は分割方式で実行され、最適化調整が各サブネットワークに対して最初実行され、次いで、少なくとも１つのサブネットワークがマージされ、それにより、ターゲットネットワークモデルの最適化調整プロセスがより柔軟になり、モデル構築効率がさらに改善される。
本出願の一実施例が、別の機械学習に基づくネットワークモデル構築方法を開示する。図２を参照し、方法は下記のステップＳ２０１乃至ステップＳ２０４を含み得る。
Ｓ２０１：データ処理手順においてオリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得する。
オリジナルネットワークモデルは、分析、制御、及び決定のツールとして使用され、完全なデータ処理手順を形成するために操作プロセスにおいて一連のデータ処理ステップを実行する。ステップにおいて、オリジナルネットワークモデルにより操作されたデータ処理手順内の少なくとも１つのデータ処理ステップが、解析され、記録されてよい。例えば、オリジナルネットワークモデルのデータ処理手順において実行される「ステップａ１→ステップａ２→ステップａ３→ステップａ４」である合計４つのステップが取得されると仮定される。
本出願の一実施例において、被処理データがオリジナルデータとして参照される。オリジナルデータは、出力結果を最終的に取得するために、一連のデータ処理ステップを使用することにより処理され、すなわち、オリジナルネットワークモデル内のデータ処理ステップを使用することにより処理される。各データ処理ステップは、特定の処理関数を完了すること、例えば、統計を通してデータを分類し又はデータを取得することに使用される。データ処理ステップは、データ処理手順を形成する。データ処理手順は、データ処理ステップを含む１つ以上のデータ処理サブ手順を含んでよい。各データ処理サブ手順を使用することにより取得される結果が、出力サブ結果として参照される。出力サブ結果が取得された後、データサブ結果が、出力結果を取得するためにマージされる。オリジナルネットワークモデルにおいて、各データ処理ステップは、ネットワークノードとして参照され、各データ処理サブ手順は、オリジナルネットワークモデル内のサブ経路として参照され、各サブ経路は、データ処理ステップの実行シーケンスに従い連続してネットワークノードを順次結合することにより形成された一方向経路である。オリジナルネットワークモデルは、サブ経路を組み合わせることにより取得されるネットワークモデルである。
例えば、オリジナルネットワークモデルを形成するデータ処理手順が、３つのデータ処理サブ手順を含む。第１のデータ処理サブ手順が、データ分類処理ステップに対応するノード１１と、データ統計処理ステップに対応するノード１２と、データ回帰処理ステップに対応するノード１３とを含む。第２のデータ処理サブ手順が、データクラスタリング処理ステップに対応するノード２１と、データ関数マッピング処理ステップに対応するノード２２とを含む。第３のデータ処理サブ手順が、データ成分分析処理ステップに対応するノード３１と、データ統計処理ステップすなわちノード１２に対応するノード３２と、データ回帰処理ステップすなわちノード１３に対応するノード３３と、データシーケンス分析処理ステップに対応するノード３４とを含む。オリジナルデータは、第１の出力サブ結果を取得するために、第１のデータ処理サブ手順内のデータ処理ステップを使用することにより処理される。オリジナルデータは、第２の出力サブ結果を取得するために、第２のデータ処理サブ手順内のデータ処理ステップを使用することにより処理される。オリジナルデータは、第３の出力サブ結果を取得するために、第３のデータ処理サブ手順内のデータ処理ステップを使用することにより処理される。データマージ（オリジナルネットワークモデルにおけるノード００に対応する）ステップが、取得された第１の出力サブ結果と第２の出力サブ結果と第３の出力サブ結果とに対して実行されて、出力結果を取得する。図２Ａに示されるように、図２Ａは、本出願の本実施例によるオリジナルネットワークモデルの概略図である。
ステップＳ２０１において、オリジナルネットワークモデルを形成するデータ処理手順内の少なくとも１つのデータ処理ステップ、例えば、図２Ａにおけるノード１１に対応するデータ分類処理ステップが、取得されてよい。
Ｓ２０２：オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得する。
オリジナルネットワークモデルは、各データ処理ステップを実行するときに操作データを生成する。操作データは本明細書において、これらに限られないが、実際の操作プロセスにおいてオリジナルネットワークモデルにより使用される入力データ及び中間データ並びに取得される出力データか、又は、訓練又はテストプロセスにおいてオリジナルネットワークモデルによりラベル付けされ使用される入力データ、中間データ、及び出力データか、又は、オリジナルネットワークモデルに対して手動で注入されるアナログ入力データ及び中間データ並びに取得された出力データかを含んでよい。ステップにおいて、オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データが取得される。Ｓ２０１において説明された例に従い、オリジナルネットワークモデルがステップａ１を実行するときに生成された操作データと、オリジナルネットワークモデルがステップａ２を実行するときに生成された操作データと、オリジナルネットワークモデルがステップａ３を実行するときに生成された操作データと、オリジナルネットワークモデルがステップａ４を実行するときに生成された操作データとが、それぞれ取得される必要がある。
例えば、ステップにおいて、各データ処理ステップが実行されるときに生成される操作データが取得されてよく、例えば、ノード１１に対応するデータ分類処理ステップが実行されるときに生成される操作データである。
Ｓ２０３：オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データからサンプルとして参照データセットを抽出する。
特定の実現の間、本実施例において説明される例に従い、入力／出力データの２つのグループが、オリジナルネットワークモデルによりステップａ１を実行するプロセスにおいて生成され、ステップにおいて、入力／出力データの２つのグループのうち１つが、参照データセットに追加されるようにサンプルとして抽出されてよく、あるいは、入力／出力データの２つのグループが双方、参照データセットに追加されるように抽出されてよい。類推により、参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む。
本実施例におけるステップＳ２０１乃至ステップＳ２０３は、図１に示されるステップＳ１０１の特定の詳細化されたステップであり得る。
Ｓ２０４：各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索する。
上記で説明されたように、データ処理ステップは、これらに限られないが下記のうち少なくとも１つを含んでよい。（１）多様化されていない機械学習ステップ、（２）データ統計ステップ、（３）シーケンス分析ステップ、（４）関数処理ステップ、及び（５）データ編集処理ステップ。データ処理ステップの各タイプは、サブネットワークの相当ネットワークメイン構造を有する。相当関係について、下記の表１を参照する。
Figure 0006549332
 表１の右列において、複数のネットワークメイン構造が存在する場合、それは、任意のネットワークメイン構造か又はネットワークメイン構造の任意の組み合わせが左列のデータ処理ステップに対応することを示す。例えば、データ統計ステップに相当するネットワークメイン構造が、プーリング層、畳み込み層、及び全結合層を含む。ゆえに、プーリング層と畳み込み層と全結合層とのうち任意の１つ又は組み合わせが、データ統計ステップに相当する。実際の適用の間、１つのデータ処理ステップがサブネットワークの複数の相当ネットワークメイン構造を有する場合、サブネットワークの最終的なネットワークメイン構造が、実際の訓練効果のフィードバックを使用することにより決定されてよく、例えば、誤り率が最小であるネットワークメイン構造が選択される。表１は網羅的でなく、別のデータ処理ステップ及び相当のネットワークメイン構造が存在する場合に表１に追加されてよいことが理解され得る。
各データ処理ステップに対応する相当ネットワークメイン構造が、表１に予め記憶される。例えば、データ分類処理ステップの相当処理が、全結合層及び／又はＭａｘｏｕｔ層のネットワークメイン構造を使用することにより完了されてよい。本出願の一実施例において、各ネットワークメイン構造は、少なくとも１つのニューロンを含むニューラルサブネットワークであり得る。本出願の一実施例において、ニューロンは、狭い又は一般化されたニューロンであり得る。ステップにおいて、サブネットワークの相当ネットワークメイン構造が、相当対応関係テーブルに従いオリジナルネットワークモデル内の各データ処理ステップについて決定される。
Ｓ２０５：各データ処理ステップに対応する入力／出力データの少なくとも１つのグループに従い、データ処理ステップに相当するサブネットワークの入力層構造及び出力層構造を決定する。
ステップにおいて、サブネットワークの相当入力層の次元が、各データ処理ステップに対応する入力データに従い決定される必要があり、サブネットワークの相当出力層の次元が、各データ処理ステップに対応する出力データに従い決定される必要がある。すなわち、データ処理ステップに相当するサブネットワークの入力層の次元は、データ処理ステップに対応する入力データのものと同じであり、データ処理ステップに相当するサブネットワークの出力層の次元は、データ処理ステップに対応する出力データのものと同じである。次元は本明細書において、データソース、データ量などを含んでよい。
Ｓ２０６：各データ処理ステップに相当するサブネットワークのネットワークメイン構造、入力層構造、及び出力層構造に従い、データ処理ステップに相当するサブネットワークを構築する。１つのサブネットワークは１つのデータ処理ステップに相当する。
本出願の一実施例において、１つのサブネットワークが１つのデータ処理ステップに相当することは、同じ入力で、サブネットワークを使用する処理を用いて取得される処理結果が、データ処理ステップを使用する処理を用いて取得される処理結果と同一か又は類似することを意味する。類似することは、２つの処理結果間の差が予め設定された閾値より小さいことを意味する。
ステップにおいて、入力層構造及び出力層構造は、サブネットワークのネットワークメイン構造に基づき追加されて、サブネットワークのネットワーク構造を形成する。本実施例におけるステップＳ２０４乃至ステップＳ２０６は、図１に示されるステップＳ１０２の特定の詳細化されたステップであり得る。
Ｓ２０７：参照データセットから各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを順次読み出す。
Ｓ２０８：各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当するサブネットワークのパラメータに対して最適化調整を実行する。パラメータは、ネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む。
ＮＮ訓練最適化アルゴリズムは、これらに限られないが下記のうち少なくとも１つを含んでよい：確率的勾配降下アルゴリズム、ＲＭＳＰｒｏｐ（最適化アルゴリズム）、モメンタム法、ＡｄａＧｒａｄ（異なる学習レートをパラメータに割り振るアルゴリズム）、及びＡｄａＤｅｌｔａ（最適化アルゴリズム）。ステップＳ２０７及びＳ２０８において、各データ処理ステップから抽出された入力／出力データの少なくとも１つのグループが、データ処理ステップに相当するサブネットワークに対して最適化訓練を実行することに使用される。本実施例において説明される例に従い、ステップａ１に対応する入力／出力データの少なくとも１つのグループが、ステップａ１に相当するサブネットワークｂ１に対して最適化訓練を実行するために参照データセットから読み出され、ステップａ２に対応する入力／出力データの少なくとも１つのグループが、ステップａ２に相当するサブネットワークｂ２に対して最適化訓練を実行するために参照データセットから読み出される。類推により、ステップａ４に対応する入力／出力データの少なくとも１つのグループが、ステップａ４に相当するサブネットワークｂ４に対して最適化訓練を実行するために参照データセットから読み出される。本実施例におけるステップＳ２０７及びステップＳ２０８は、図１に示されるステップＳ１０３の特定の詳細化されたステップであり得る。
ステップＳ２０４乃至ステップＳ２０８について、図３ａを参照する。図３ａは、オリジナルネットワークモデル内のデータ処理ステップａ１に相当するサブネットワークｂ１に対する最適化訓練を構築し、実行するプロセスの概略図である。
Ｓ２０９：シード（seed）ネットワークとして少なくとも１つのサブネットワークから任意のサブネットワークを選択する。
Ｓ２１０：予め設定されたマージシーケンスに従い被マージ対象（to-be-merged object）ネットワークとして少なくとも１つのサブネットワークからシードネットワーク以外のサブネットワークを選択する。マージシーケンスはデータ処理ステップに従い設定されてよく、予め設定されたマージシーケンスは下記のうちいずれか１つを含む：少なくとも１つのデータ処理ステップの実行シーケンス、少なくとも１つのデータ処理ステップの逆実行シーケンス、及び少なくとも１つのサブネットワーク間の構造類似度のシーケンス。
ステップＳ２０９及びステップＳ２１０において、本実施例で説明される例に従い、オリジナルネットワークモデルは４つのデータ処理ステップ：「ステップａ１→ステップａ２→ステップａ３→ステップａ４」を実行し、相当サブネットワークはそれぞれ、サブネットワークｂ１、サブネットワークｂ２、サブネットワークｂ３、及びサブネットワークｂ４である。サブネットワークｂ２がシードネットワークであると仮定して、（１）少なくとも１つのデータ処理ステップの実行シーケンスに従い、ステップａ３に相当するサブネットワークｂ３が被マージ対象ネットワークとして選択されるべきであり、（２）選択が少なくとも１つのデータ処理ステップの実行シーケンスに対して逆のシーケンスに従い実行される場合、ステップａ１に相当するサブネットワークｂ１が被マージ対象ネットワークとして選択されるべきであり、（３）選択が少なくとも１つのサブネットワーク間の構造類似度のシーケンスに従い実行される場合、サブネットワークｂ２との間で最も高い構造類似性を有するサブネットワークが被マージ対象ネットワークとして選択されるべきである。サブネットワークｂ２及びサブネットワークｂ４のネットワークメイン構造が双方、全結合層構造であると仮定して、サブネットワークｂ４が被マージ対象ネットワークとして選択される。
Ｓ２１１：シードネットワークと被マージ対象ネットワークとの間の入力層及び出力層を分離する（Split）。
図３ａに示されるサブネットワークのネットワーク構造によれば、サブネットワークの入力層と出力層とはステップにおいて双方分離される必要がある。シードネットワークが上位層サブネットワークとして使用され、被マージ対象ネットワークが下位層サブネットワークとして使用される場合、シードネットワークの入力層と被マージ対象ネットワークの出力層とが双方分離される必要がある。シードネットワークが下位層サブネットワークとして使用され、被マージ対象ネットワークが上位層サブネットワークとして使用される場合、シードネットワークの出力層と被マージ対象ネットワークの入力層とが双方分離される必要がある。
Ｓ２１２：全結合方式で（in a fully connected manner）シードネットワーク及び被マージ対象ネットワークに対してマージ結合を実行する。マージ結合が成功した場合、ステップＳ２１４に進み、あるいはマージ結合が失敗した場合、ステップＳ２１３に進む。
全結合方式は、事前データＡ及びターゲットデータＢについて、Ｂ＝Ｗ×Ａが設定されることを意味する。Ｗは重み行列であり、×は行列乗算を示す。ステップにおいて、シードネットワークはＡであり、被マージ対象ネットワークはＢであると設定される。シードネットワークにおいて出力として使用される各ニューロンは、指定された重み行列Ｗのマッピングを用いて被マージ対象ネットワークにおいて入力として使用されるニューロンにマッピングされ、すなわち、シードネットワークにおいて出力として使用される各ニューロンと被マージ対象ネットワークにおいて入力として使用される各ニューロンとの間のマッピング関係が確立される。例えば、図３ｂにおいて、サブネットワークｂ１内の各ニューロンとサブネットワークｂ２の各ニューロンとの間のマッピング関係が、重み行列を使用することにより全結合方式で確立されて、サブネットワークｂ１とサブネットワークｂ２との間の結合を確立する。
Ｓ２１３：シードネットワークと被マージ対象ネットワークとの間に中間隠れ層を追加し、中間隠れ層を使用することにより全結合方式でシードネットワーク及び被マージ対象ネットワークに対してマージ結合を実行する。
Ｓ２１４：シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行する。
本出願の一実施例において、シードネットワークと被マージ対象ネットワークとは双方、サブＮＮであり得、最適化調整が、ステップ内で決定された入力／出力データを使用することによりサブＮＮに対して実行されてよい。
マージ結合を用いて取得されたネットワークの入力層は、下位層サブネットワークの入力層であり、マージ結合を用いて取得されたネットワークの出力層は、上位層サブネットワークの出力層である。ゆえに、ステップにおいて、最適化調整が、上位層サブネットワークに相当するデータ処理ステップに対応する出力データと下位層サブネットワークに相当するデータ処理ステップに対応する入力データとを参照して、マージ結合を用いて取得されたネットワークのパラメータに対して実行される必要がある。
Ｓ２１５：ターゲットネットワークモデルを形成するために、少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得されたネットワークを使用することによりステップＳ２１０乃至ステップＳ２１４のプロセスを反復する。
本出願の一実施例において、ステップＳ２１０乃至ステップＳ２１４は、繰り返し実行されてよい。各データ処理サブ手順内のデータ処理ステップに対応するサブネットワークは、予め設定されたマージシーケンスに従い、例えば、各データ処理サブ手順内のデータ処理ステップの実行シーケンスに従い順次マージされて、マージされたサブネットワークを取得する。例えば、第１のデータ処理サブ手順内のデータ処理ステップに対応するサブネットワークがマージされて、マージされた第１のサブＮＮを取得する。同様に、第２のデータ処理サブ手順内のデータ処理ステップに対応するサブネットワークがマージされて、マージされた第２のサブＮＮを取得し、第３のデータ処理サブ手順内のデータ処理ステップに対応するサブネットワークがマージされて、マージされた第３のサブＮＮを取得する。ノード００に対応するマージ処理が、予め設定されたマージシーケンスでマージされた第１のサブＮＮとマージされた第２のサブＮＮとマージされた第３のサブＮＮとに対して実行されて、ターゲットネットワークモデル、例えば、ＮＮモデルを取得する。
本実施例におけるステップＳ２０９乃至ステップＳ２１５は、図１に示されるステップＳ１０４の特定の詳細化されたステップであり得る。ステップＳ２０９乃至ステップＳ２１５について、図３ｂ及び図３ｃを参照する。図３ｂ及び図３ｃは、それぞれ、サブネットワークｂ１及びサブネットワークｂ２をマージするプロセスの概略図と、マージ結合を用いて取得されたネットワークに対して最適化訓練を実行するプロセスの概略図である。
本出願の一実施例において、中間隠れ層は、前のサブネットワークの出力を次のサブネットワークの入力に適合させることに使用される。例えば、図３ｂにおいて、サブネットワークｂ１の出力のフォーマットがサブネットワークｂ２の入力のフォーマットに合致しない場合、サブネットワークｂ１の出力が中間隠れ層の処理を用いて調整されてよく、それにより、調整されたサブネットワークｂ１の出力の形式はサブネットワークｂ２の入力の形式に合致する。
本出願の本実施例における機械学習に基づくネットワークモデル構築方法を用いて、オリジナルネットワークモデルのデータ処理手順が分析され、データ処理手順においてオリジナルネットワークモデルにより生成された実際の操作データが参照データセットとして使用され、少なくとも１つの相当サブネットワークが階層的に構築され、最適化訓練が少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルがマージを用いて最終的に形成される。ターゲットネットワークモデルの層は、オリジナルネットワークモデルの実際の操作データを使用することにより柔軟かつ迅速に構築され、次いで、マージされてターゲットネットワークモデルを形成し、まさに最初からターゲットネットワークモデルの構造全体を設計する必要がない。ゆえに、モデル構築プロセスは簡素化され、モデル構築効率が効果的に改善される。ターゲットネットワークモデルに対する最適化調整は分割方式で実行され、最適化調整が各サブネットワークに対して最初実行され、次いで、少なくとも１つのサブネットワークがマージされ、それにより、ターゲットネットワークモデルの最適化調整プロセスがより柔軟になり、モデル構築効率がさらに改善される。
本出願の一実施例が、機械学習に基づくネットワークモデル構築装置をさらに開示する。図４を参照し、装置は下記のユニットを実行し得る：
オリジナルネットワークモデルのデータ処理手順と、データ処理手順においてオリジナルネットワークモデルにより生成された参照データセットとを取得するように構成された取得モジュール１０１、
データ処理手順及び参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するように構成された階層構築モジュール１０２、
参照データセットを使用することにより少なくとも１つのサブネットワークに対して最適化訓練を実行するように構成された最適化訓練モジュール１０３、及び、
ターゲットネットワークモデルを形成するために、最適化訓練が実行された少なくとも１つのサブネットワークをマージするように構成されたマージモジュール１０４。
特定の実現の間、取得モジュール１０１を実行するプロセスにおいて、装置は下記のユニットを具体的に実行する：
データ処理手順においてオリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するように構成されたステップ取得ユニット１００１、
オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するように構成されたデータ取得ユニット１００２、及び、
オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データから参照データセットを抽出するように構成されたサンプリング抽出ユニット１００３であり、参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む、サンプリング抽出ユニット１００３。
特定の実現の間、階層構築モジュール１０２を実行するプロセスにおいて、装置は下記のユニットを具体的に実行する：
各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するように構成された検索ユニット２００１、
各データ処理ステップに対応する入力／出力データの少なくとも１つのグループに従い、データ処理ステップに相当するサブネットワークの入力層構造及び出力層構造を決定するように構成された決定ユニット２００２、及び、
各データ処理ステップに相当するサブネットワークのネットワークメイン構造、入力層構造、及び出力層構造に従い、データ処理ステップに相当するサブネットワークを構築するように構成された構築ユニット２００３であり、１つのサブネットワークは１つのデータ処理ステップに相当する、構築ユニット２００３。
特定の実現の間、最適化訓練モジュール１０３を実行するプロセスにおいて、装置は下記のユニットを具体的に実行する：
参照データセットから各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを順次読み出すように構成された読み出しユニット３００１、及び、
各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当するサブネットワークのパラメータに対して最適化調整を実行するように構成された調整ユニット３００２であり、パラメータは、ネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、調整ユニット３００２。
特定の実現の間、マージモジュール１０４を実行するプロセスにおいて、装置は下記のユニットを具体的に実行する：
シードネットワークとして少なくとも１つのサブネットワークから任意のサブネットワークを選択するように構成されたシード選択ユニット４００１、
予め設定されたマージシーケンスに従い被マージ対象ネットワークとして少なくとも１つのサブネットワークからシードネットワーク以外のサブネットワークを選択するように構成された被マージ対象選択ユニット４００２であり、予め設定されたマージシーケンスは、下記：少なくとも１つのデータ処理ステップの実行シーケンス、少なくとも１つのデータ処理ステップの逆実行シーケンス、及び少なくとも１つのサブネットワーク間の構造類似度のシーケンス、のうちいずれか１つを含む、被マージ対象選択ユニット４００２、
シードネットワークと被マージ対象ネットワークとの間の入力層及び出力層を分離するように構成された分離ユニット４００３、
全結合方式でシードネットワーク及び被マージ対象ネットワークに対してマージ結合を実行するように構成されたマージ結合ユニット４００４、及び、
マージ結合が成功した場合にシードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するように構成された最適化調整ユニット４００５。
シード選択ユニット４００１は、ターゲットネットワークモデルを形成するために、少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得されたネットワークを使用することにより、被マージ対象選択ユニット４００２と分離ユニット４００３とマージ結合ユニット４００４と最適化調整ユニット４００５とにより実行される対応処理を反復するようにさらに構成される。
マージモジュール１０４を実行するプロセスにおいて、装置は下記ユニットをさらに実行する：
マージ結合が失敗した場合にシードネットワークと被マージ対象ネットワークとの間に中間隠れ層を追加するように構成された追加ユニット４００６であり、それにより、マージ結合ユニット４００４は中間隠れ層を使用することにより全結合方式でシードネットワーク及び被マージ対象ネットワークに対してマージ結合を実行する、追加ユニット４００６。
図４に示される装置は、図１乃至図３の実施例において説明された方法内のステップを実行するように構成できる。ゆえに、図４に示される装置のユニットの機能については図３に示されるステップの説明を参照し、詳細はここで再度説明されない。
方法と同様に、本出願の本実施例における機械学習に基づくネットワークモデル構築装置を用いて、オリジナルネットワークモデルのデータ処理手順が分析され、データ処理手順においてオリジナルネットワークモデルにより生成された実際の操作データが参照データセットとして使用され、少なくとも１つの相当サブネットワークが階層的に構築され、最適化訓練が少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルがマージを用いて最終的に形成される。ターゲットネットワークモデルの層は、オリジナルネットワークモデルの実際の操作データを使用することにより柔軟かつ迅速に構築され、次いで、ターゲットネットワークモデルを形成するためにマージされ、まさに最初からターゲットネットワークモデルの構造全体を設計する必要がない。ゆえに、モデル構築プロセスは簡素化され、モデル構築効率が効果的に改善される。ターゲットネットワークモデルに対する最適化調整は分割方式で実行され、最適化調整が各サブネットワークに対して最初実行され、次いで、少なくとも１つのサブネットワークがマージされ、それにより、ターゲットネットワークモデルの最適化調整プロセスがより柔軟になり、モデル構築効率がさらに改善される。
当業者は、本実施例における方法の手順のうちすべて又はいくつかが、関連ハードウェアに命令するコンピュータプログラムにより実現されてよいことを理解し得る。プログラムは、コンピュータ読取可能記憶媒体に記憶されてよい。実行されたとき、プログラムは、前述の実施例における方法の手順を含み得る。記憶媒体は、磁気ディスク、光ディスク、読取専用メモリ（read-only memory）（ＲＯＭ）、ランダムアクセスメモリ（random access Memory）（ＲＡＭ）などであり得る。
図５は、本出願の一実施例による機械学習に基づくネットワークモデル構築装置の概略構成図である。図５に示されるように、ネットワークモデル構築装置５０は、プロセッサ５０１、不揮発コンピュータ読取可能メモリ５０２、ディスプレイユニット５０３、及びネットワーク通信インターフェース５０４を含んでよい。これらコンポーネントは、バス５０５を通して通信を実行する。
本実施例において、メモリ５０２は、アプリケーションプログラム５０６とネットワーク通信モジュール５０７とオペレーティングシステム５０８とを含む複数のプログラムモジュールを記憶する。
プロセッサ５０１は、メモリ５０２内のアプリケーションプログラムに含まれる様々なモジュール（図には示されていない）を読み出して、ネットワークモデル構築装置の様々な機能アプリケーション及びデータ処理を実行することができる。本実施例において１つ以上のプロセッサ５０１が存在してよく、プロセッサ５０１は、ＣＰＵ、処理ユニット／モジュール、ＡＳＩＣ、論理モジュール、プログラマブルゲートアレイ等であり得る。
オペレーティングシステム５０８は、Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、又はＡｎｄｒｏｉｄ（登録商標）オペレーティングシステムであり得る。オペレーティングシステム５０８は、ネットワークモデル構築モジュール５０９を含んでよい。ネットワークモデル構築モジュール５０９は、図４に示される装置の機能モジュールにより形成されたコンピュータ実行可能命令セット５０９−１と、対応するメタデータ及びヒューリスティックアルゴリズム５０９−２とを含んでよい。これらコンピュータ実行可能命令セットは、プロセッサ５０１により実行されて図１若しくは図２に示される方法又は図４に示される装置の機能を完了することができる。
アプリケーションプログラム５０６は、端末デバイスにインストールされ実行するアプリケーションプログラムを含んでよい。
本実施例において、ネットワーク通信インターフェース５０４は、ネットワーク通信モジュール５０７と協働してネットワークモデル構築装置５０の様々なネットワーク信号の受信及び送信を完了する。
ディスプレイユニット５０３は、関連情報の入力及び表示を完了するように構成されたディスプレイパネルを有する。
さらに、本出願の実施例における機能モジュールは１つの処理ユニットに統合されてよく、あるいは、モジュールの各々が物理的に単体で存在してもよく、あるいは、２つ以上のモジュールが１つのユニットに統合されてもよい。統合されたユニットは、ハードウェアの形式で実現されてよく、あるいはソフトウェア機能ユニットの形式で実現されてもよい。実施例における機能モジュールは、１つの端末内又はネットワークノードに位置してよく、あるいは複数の端末上に又は複数のネットワークノードに分散されてもよい。
ゆえに、本出願は、コンピュータ読取可能命令を記憶した記憶媒体をさらに提供する。コンピュータ読取可能命令は、少なくとも１つのプロセッサにより実行されて、上記の任意の方法実施例を実行する。
上記で開示されたものは専ら本出願の好適な実施例であり、明らかに、本出願の保護範囲を限定することは意図されない。ゆえに、本出願の特許請求の範囲に従い行われる均等的変更は本出願の範囲内に入るものとする。

Claims (13)

  1. 機械学習に基づくネットワークモデル構築方法であって、
    オリジナルネットワークモデルのデータ処理手順と前記データ処理手順において前記オリジナルネットワークモデルにより生成された参照データセットとを取得するステップと、
    前記データ処理手順及び前記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するステップと、
    前記参照データセットを使用することにより前記少なくとも１つのサブネットワークに対して最適化訓練を実行するステップと、
    ターゲットネットワークモデルを形成するために、前記最適化訓練が実行された前記少なくとも１つのサブネットワークをマージするステップと、
    を含む方法。
  2. オリジナルネットワークモデルのデータ処理手順と前記データ処理手順において前記オリジナルネットワークモデルにより生成された参照データセットとを取得するステップは、
    前記データ処理手順において前記オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するステップと、
    前記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するステップと、
    前記参照データセットを形成するために、前記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された前記操作データからいくつか又はすべてのデータを抽出するステップと、
    を含み、
    前記参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む、
    請求項１に記載の方法。
  3. 前記データ処理手順及び前記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するステップは、
    各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するステップと、
    各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループに従い、前記データ処理ステップに相当する前記サブネットワークの入力層構造及び出力層構造を決定するステップと、
    各データ処理ステップに相当する前記サブネットワークの前記ネットワークメイン構造、前記入力層構造、及び前記出力層構造に従い、前記データ処理ステップに相当する前記サブネットワークを構築するステップであり、１つのサブネットワークが１つのデータ処理ステップに相当する、ステップと、
    を含む、請求項２に記載の方法。
  4. 前記参照データセットを使用することにより前記少なくとも１つのサブネットワークに対して最適化訓練を実行するステップは、
    前記参照データセットから各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループを順次読み出すステップと、
    各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループを参照し、及びニューラルネットワーク（ＮＮ）訓練最適化アルゴリズムに従い、各データ処理ステップに相当する前記サブネットワークのパラメータに対して最適化調整を実行するステップであり、前記パラメータはネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、ステップと、
    を含む、請求項２又は３に記載の方法。
  5. ターゲットネットワークモデルを形成するために、前記最適化訓練が実行された前記少なくとも１つのサブネットワークをマージするステップは、
    シードネットワークとして前記少なくとも１つのサブネットワークから任意のサブネットワークを選択するステップと、
    各データ処理ステップに従い指定されたマージシーケンスを取得し、前記マージシーケンスに従い被マージ対象ネットワークとして前記少なくとも１つのサブネットワークから前記シードネットワーク以外のサブネットワークを選択するステップと、
    前記シードネットワークと前記被マージ対象ネットワークとの間の入力層及び出力層を分離するステップと、
    全結合方式で前記シードネットワークと前記被マージ対象ネットワークとに対してマージ結合を実行するステップと、
    前記マージ結合が成功した場合、前記シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと前記被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するステップと、
    前記ターゲットネットワークモデルを形成するために、前記少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得された前記ネットワークを使用することによりプロセスを反復するステップと、
    を含む、請求項４に記載の方法。
  6. 前記マージ結合が失敗した場合、前記シードネットワークと前記被マージ対象ネットワークとの間に中間隠れ層を追加し、前記中間隠れ層を使用することにより全結合方式で前記シードネットワーク及び前記被マージ対象ネットワークに対してマージ結合を実行するステップ、
    をさらに含む請求項５に記載の方法。
  7. 機械学習に基づくネットワークモデル構築装置であって、
    オリジナルネットワークモデルのデータ処理手順と前記データ処理手順において前記オリジナルネットワークモデルにより生成された参照データセットとを取得するように構成された取得モジュールと、
    前記データ処理手順及び前記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するように構成された階層構築モジュールと、
    前記参照データセットを使用することにより前記少なくとも１つのサブネットワークに対して最適化訓練を実行するように構成された最適化訓練モジュールと、
    ターゲットネットワークモデルを形成するために、前記最適化訓練が実行された前記少なくとも１つのサブネットワークをマージするように構成されたマージモジュールと、
    を含む装置。
  8. 前記取得モジュールは、
    前記データ処理手順において前記オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するように構成されたステップ取得ユニットと、
    前記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するように構成されたデータ取得ユニットと、
    前記参照データセットを形成するために、前記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された前記操作データからいくつか又はすべてのデータを抽出するように構成されたサンプリング抽出ユニットと、
    を含み、
    前記参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む、
    請求項７に記載の装置。
  9. 前記階層構築モジュールは、
    各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するように構成された検索ユニットと、
    各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループに従い、前記データ処理ステップに相当する前記サブネットワークの入力層構造及び出力層構造を決定するように構成された決定ユニットと、
    各データ処理ステップに相当する前記サブネットワークの前記ネットワークメイン構造、前記入力層構造、及び前記出力層構造に従い、前記データ処理ステップに相当する前記サブネットワークを構築するように構成された構築ユニットであり、１つのサブネットワークが１つのデータ処理ステップに相当する、構築ユニットと、
    を含む、請求項８に記載の装置。
  10. 前記最適化訓練モジュールは、
    前記参照データセットから各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループを順次読み出すように構成された読み出しユニットと、
    各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当する前記サブネットワークのパラメータに対して最適化調整を実行するように構成された調整ユニットであり、前記パラメータはネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、調整ユニットと、
    を含む、請求項８又は９に記載の装置。
  11. 前記マージモジュールは、
    シードネットワークとして前記少なくとも１つのサブネットワークから任意のサブネットワークを選択するように構成されたシード選択ユニットと、
    各データ処理ステップに従い指定されたマージシーケンスを取得し、前記マージシーケンスに従い被マージ対象ネットワークとして前記少なくとも１つのサブネットワークから前記シードネットワーク以外のサブネットワークを選択するように構成された被マージ対象選択ユニットと、
    前記シードネットワークと前記被マージ対象ネットワークとの間の入力層及び出力層を分離するように構成された分離ユニットと、
    全結合方式で前記シードネットワーク及び前記被マージ対象ネットワークに対してマージ結合を実行するように構成されたマージ結合ユニットと、
    前記マージ結合が成功した場合、前記シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと前記被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するように構成された最適化調整ユニットと、
    を含み、
    前記シード選択ユニットは、前記ターゲットネットワークモデルを形成するために、前記少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得された前記ネットワークを使用することにより、前記被マージ対象選択ユニットと前記分離ユニットと前記マージ結合ユニットと前記最適化調整ユニットとにより実行される対応する処理を反復するようにさらに構成される、
    請求項１０に記載の装置。
  12. 前記マージモジュールは、
    前記マージ結合が失敗した場合、前記シードネットワークと前記被マージ対象ネットワークとの間に中間隠れ層を追加するように構成された追加ユニットであり、それにより、前記マージ結合ユニットは、前記中間隠れ層を使用することにより全結合方式で前記シードネットワーク及び前記被マージ対象ネットワークに対してマージ結合を実行する、追加ユニット、
    をさらに含む、請求項１１に記載の装置。
  13. コンピュータ読取可能命令を記憶したコンピュータ読取可能記憶媒体であって、前記コンピュータ読取可能命令は少なくとも１つのプロセッサにより実行されて、
    請求項１乃至６のうちいずれか１項に記載の機械学習に基づくネットワークモデル構築方法を実行する、コンピュータ読取可能記憶媒体。
JP2018543424A 2016-06-02 2017-06-02 機械学習に基づくネットワークモデル構築方法及び装置 Active JP6549332B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610389530.9 2016-06-02
CN201610389530.9A CN106096727B (zh) 2016-06-02 2016-06-02 一种基于机器学习的网络模型构造方法及装置
PCT/CN2017/086917 WO2017206936A1 (zh) 2016-06-02 2017-06-02 基于机器学习的网络模型构造方法及装置

Publications (2)

Publication Number Publication Date
JP2018533153A JP2018533153A (ja) 2018-11-08
JP6549332B2 true JP6549332B2 (ja) 2019-07-24

Family

ID=57447501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018543424A Active JP6549332B2 (ja) 2016-06-02 2017-06-02 機械学習に基づくネットワークモデル構築方法及び装置

Country Status (6)

Country Link
US (1) US11741361B2 (ja)
EP (1) EP3467723B1 (ja)
JP (1) JP6549332B2 (ja)
KR (1) KR102173555B1 (ja)
CN (1) CN106096727B (ja)
WO (1) WO2017206936A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096727B (zh) * 2016-06-02 2018-12-07 腾讯科技（深圳）有限公司 一种基于机器学习的网络模型构造方法及装置
CN108629413B (zh) * 2017-03-15 2020-06-16 创新先进技术有限公司 神经网络模型训练、交易行为风险识别方法及装置
US11126894B2 (en) * 2017-06-05 2021-09-21 Siemens Aktiengesellschaft Method and apparatus for analysing an image
US20190138929A1 (en) 2017-07-07 2019-05-09 Darwinai Corporation System and method for automatic building of learning machines using learning machines
TWI696971B (zh) * 2017-12-12 2020-06-21 浩霆 黃 金融商品的相關性預測系統及其方法
DE102018109835A1 (de) * 2018-04-24 2019-10-24 Albert-Ludwigs-Universität Freiburg Verfahren und Vorrichtung zum Ermitteln einer Netzkonfiguration eines neuronalen Netzes
WO2019211651A1 (en) * 2018-05-02 2019-11-07 Telefonaktiebolaget Lm Ericsson (Publ) Placement-aware acceleration of parameter optimization in a predictive model
CN109034367A (zh) * 2018-08-22 2018-12-18 广州杰赛科技股份有限公司 神经网络更新方法、装置、计算机设备和可读存储介质
CN109167789B (zh) * 2018-09-13 2021-04-13 上海海事大学 一种云环境LDoS攻击数据流检测方法及系统
CN109447273A (zh) * 2018-09-30 2019-03-08 深圳市元征科技股份有限公司 模型训练方法、广告推荐方法、相关装置、设备及介质
JP7115207B2 (ja) * 2018-10-11 2022-08-09 富士通株式会社 学習プログラム、学習方法および学習装置
KR20200052439A (ko) * 2018-10-29 2020-05-15 삼성에스디에스 주식회사 딥러닝 모델의 최적화 시스템 및 방법
CN111105020B (zh) * 2018-10-29 2024-03-29 西安宇视信息科技有限公司 特征表示迁移学习方法及相关装置
CN111224805A (zh) * 2018-11-26 2020-06-02 中兴通讯股份有限公司 一种网络故障根因检测方法、系统及存储介质
CN111291771B (zh) * 2018-12-06 2024-04-02 西安宇视信息科技有限公司 对池化层特征优化的方法及装置
CN109684087B (zh) * 2018-12-17 2020-01-10 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN109685203B (zh) * 2018-12-21 2020-01-17 中科寒武纪科技股份有限公司 数据处理方法、装置、计算机系统及存储介质
CN109726718B (zh) * 2019-01-03 2022-09-16 电子科技大学 一种基于关系正则化的视觉场景图生成系统及方法
CN109684648B (zh) * 2019-01-14 2020-09-01 浙江大学 一种多特征融合的古今汉语自动翻译方法
CN111435432B (zh) * 2019-01-15 2023-05-26 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN111600734B (zh) * 2019-02-21 2021-11-02 烽火通信科技股份有限公司 一种网络故障处理模型的构建方法、故障处理方法及系统
CN109978024B (zh) * 2019-03-11 2020-10-27 北京工业大学 一种基于互联模块化神经网络的出水bod预测方法
CN110046706B (zh) * 2019-04-18 2022-12-20 腾讯科技（深圳）有限公司 模型生成方法、装置及服务器
GB2596477B (en) * 2019-04-29 2023-02-22 Landmark Graphics Corp Hybrid neural network and autoencoder
CN112994940B (zh) * 2019-05-29 2022-10-18 华为技术有限公司 一种网络异常检测方法和装置
CN110322021B (zh) * 2019-06-14 2021-03-30 清华大学 大规模网络表征学习的超参数优化方法和装置
CN110414570B (zh) * 2019-07-04 2022-01-28 北京迈格威科技有限公司 图像分类模型生成方法、装置、设备和存储介质
CN110570013B (zh) * 2019-08-06 2023-04-07 山东省科学院海洋仪器仪表研究所 一种单站位在线波周期数据的预测诊断方法
US11763157B2 (en) * 2019-11-03 2023-09-19 Microsoft Technology Licensing, Llc Protecting deep learned models
JP7203000B2 (ja) * 2019-11-12 2023-01-12 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
US11847500B2 (en) 2019-12-11 2023-12-19 Cisco Technology, Inc. Systems and methods for providing management of machine learning components
WO2021134350A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 神经网络模型的推理方法、装置、计算机设备和存储介质
US11501216B2 (en) 2020-02-21 2022-11-15 King.Com Ltd. Computer system, a computer device and a computer implemented method
CN111584027B (zh) * 2020-04-30 2022-03-11 天津大学 融合复杂网络和图卷积的脑控康复系统运动想象识别系统
CN113780513B (zh) * 2020-06-10 2024-05-03 杭州海康威视数字技术股份有限公司 网络模型量化、推理方法、装置、电子设备及存储介质
CN112150605B (zh) * 2020-08-17 2024-02-02 北京化工大学 用于mri局部sar估计的膝关节模型构建方法
US20220114448A1 (en) * 2020-10-08 2022-04-14 The University Of Hong Kong Method and device for transmitting ofdm signal, and method and device for receiving ofdm signal
KR20220055363A (ko) * 2020-10-26 2022-05-03 삼성전자주식회사 복수의 모델들 중 어느 하나의 모델을 이용하여 기지국의 네트워크의 상태를 조정하기 위한 상태 제어 파라미터를 제어하는 방법 및 이를 수행하는 전자 장치
KR102593844B1 (ko) 2021-02-25 2023-10-25 주식회사 인제니오에이아이 딥러닝 네트워크 구성 방법, 딥러닝 자동화 플랫폼 서비스 시스템 및 이를 위한 컴퓨터 프로그램
CN113378998B (zh) * 2021-07-12 2022-07-22 西南石油大学 一种基于机器学习的地层岩性随钻识别方法
CN113554077A (zh) * 2021-07-13 2021-10-26 南京铉盈网络科技有限公司 基于多模态神经网络模型的工况评估及业务量预测方法
CN113919387A (zh) * 2021-08-18 2022-01-11 东北林业大学 基于gbdt-lr模型的脑电信号情感识别
KR102644593B1 (ko) * 2021-11-23 2024-03-07 한국기술교육대학교 산학협력단 지능형 디바이스 개발을 위한 ai 분화 기반의 하드웨어 정보에 최적의 지능형 소프트웨어 개발도구
CN114492789B (zh) * 2022-01-25 2024-05-14 天津工业大学 一种数据样本的神经网络模型构建方法及装置
US20240205093A1 (en) * 2022-12-14 2024-06-20 Advanced Micro Devices, Inc. Network collective offloading cost management
CN116451099B (zh) * 2023-06-19 2023-09-01 浪潮通用软件有限公司 一种基于随机遍历的高熵knn聚类方法、设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04190461A (ja) * 1990-11-26 1992-07-08 Fujitsu Ltd ニューラルネットワークの構築表示方法
JPH05128082A (ja) * 1991-07-19 1993-05-25 Fujitsu Ltd 階層ネツトワーク構成データ処理装置とその学習処理方法
JP3035106B2 (ja) * 1993-03-11 2000-04-17 株式会社東芝 大規模情報認識回路
JPH0793160A (ja) * 1993-09-20 1995-04-07 Toshiba Corp 推論装置
US6119112A (en) * 1997-11-19 2000-09-12 International Business Machines Corporation Optimum cessation of training in neural networks
JP3678636B2 (ja) 2000-08-21 2005-08-03 Ｎｅｃソフト株式会社 ニューラルネットワークの学習方法
WO2007056803A1 (en) 2005-11-15 2007-05-24 Bernadette Garner Method for training neural networks
CN101814160A (zh) * 2010-03-08 2010-08-25 清华大学 一种基于特征聚类的rbf神经网络建模方法
CN103345656B (zh) * 2013-07-17 2016-01-20 中国科学院自动化研究所 一种基于多任务深度神经网络的数据识别方法及装置
CN104751227B (zh) * 2013-12-31 2018-03-06 科大讯飞股份有限公司 用于语音识别的深度神经网络的构建方法及系统
US9870537B2 (en) * 2014-01-06 2018-01-16 Cisco Technology, Inc. Distributed learning in a computer network
CN103729459A (zh) * 2014-01-10 2014-04-16 北京邮电大学 一种构建情感分类模型的方法
CN103838836B (zh) * 2014-02-25 2016-09-28 中国科学院自动化研究所 基于判别式多模态深度置信网多模态数据融合方法和系统
CN106096727B (zh) * 2016-06-02 2018-12-07 腾讯科技（深圳）有限公司 一种基于机器学习的网络模型构造方法及装置

Also Published As

Publication number Publication date
KR102173555B1 (ko) 2020-11-03
KR20180069877A (ko) 2018-06-25
EP3467723B1 (en) 2021-02-24
EP3467723A4 (en) 2019-04-10
EP3467723A1 (en) 2019-04-10
JP2018533153A (ja) 2018-11-08
CN106096727A (zh) 2016-11-09
US11741361B2 (en) 2023-08-29
US20180268296A1 (en) 2018-09-20
CN106096727B (zh) 2018-12-07
WO2017206936A1 (zh) 2017-12-07

Similar Documents

Publication Publication Date Title
JP6549332B2 (ja) 機械学習に基づくネットワークモデル構築方法及び装置
Li et al. Spatio-temporal graph routing for skeleton-based action recognition
JP7122582B2 (ja) 演算処理装置、並びに文章評価装置、及び文章評価方法
WO2018171717A1 (zh) 面向神经网络处理器的自动化设计方法和系统
Meng et al. Semi-supervised heterogeneous fusion for multimedia data co-clustering
CN115456160A (zh) 一种数据处理方法和数据处理设备
Cai et al. New graph structured sparsity model for multi-label image annotations
Zhang et al. Collective classification via discriminative matrix factorization on sparsely labeled networks
US20170344822A1 (en) Semantic representation of the content of an image
CN113886571A (zh) 实体识别方法、装置、电子设备及计算机可读存储介质
CN113590863A (zh) 图像聚类方法、装置及计算机可读存储介质
WO2023093689A1 (zh) 一种计算图优化方法、装置及设备
Liu et al. Research of animals image semantic segmentation based on deep learning
Hamdan et al. VHDL generator for a high performance convolutional neural network FPGA-based accelerator
Magalhães et al. Creating deep neural networks for text classification tasks using grammar genetic programming
CN113128237A (zh) 一种服务资源的语义表征模型构建方法
CN114995729A (zh) 一种语音绘图方法、装置及计算机设备
CN114329204A (zh) 信息推送方法、装置、设备、介质及计算机产品
Babur et al. Towards statistical comparison and analysis of models
US20230259761A1 (en) Transfer learning system and method for deep neural network
Sun et al. Arctext: A unified text approach to describing convolutional neural network architectures
KR20230065017A (ko) 인공지능 분석 기반 프로그램 소스코드의 요약문 생성 장치 및 방법
Aşiroğlu et al. A Deep Learning Based Object Detection System for User Interface Code Generation
CN110348001A (zh) 一种词向量训练方法和服务器
KR102608266B1 (ko) 이미지 생성 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190626

R150 Certificate of patent or registration of utility model

Ref document number: 6549332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250