JP7403909B2 - 系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム - Google Patents

系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム Download PDF

Info

Publication number
JP7403909B2
JP7403909B2 JP2022524007A JP2022524007A JP7403909B2 JP 7403909 B2 JP7403909 B2 JP 7403909B2 JP 2022524007 A JP2022524007 A JP 2022524007A JP 2022524007 A JP2022524007 A JP 2022524007A JP 7403909 B2 JP7403909 B2 JP 7403909B2
Authority
JP
Japan
Prior art keywords
model
sequence
sub
samples
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022524007A
Other languages
English (en)
Other versions
JP2023500222A (ja
Inventor
冶 陶
▲歡▼ 金
洪波 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2023500222A publication Critical patent/JP2023500222A/ja
Application granted granted Critical
Publication of JP7403909B2 publication Critical patent/JP7403909B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03Credit; Loans; Processing thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Finance (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Fuzzy Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本願は、2020年2月18日に提出された、出願番号が第202010099547.7号であり、発明の名称が「系列マイニングモデルの訓練方法、系列データの処理方法及び機器」である、中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。
本願の実施例は、人工知能及び機械学習の技術分野に関し、特に、系列マイニングモデルの訓練方法、系列データの処理方法及び機器に関する。
例えば、クレジットカード詐欺防止、サブ垢不正防止、羊毛党行為防止などのリスクマネジメントサービスシナリオでは、通常、膨大な系列データに直面する。膨大な系列データを処理することにより、「良い」長期的な行動パターンと「悪い」長期的な行動パターンをマイニングして区別することは、リスクマネジメントサービスシナリオにおいて特に重要である。
関連技術では、リスクマネジメントサービスシナリオにおける系列データのマイニングについて、教師あり学習方式が提供されている。まず、動的時間伸縮法(DTW:Dynamic Time Warping)を利用して、全ての系列サンプルを伸縮して整列し、さらに、2つずつの系列サンプル間の類似度を計算し、系列間の類似度に基づいて、k近傍法(KNN:K-Nearest Neighbor)モデルを利用して、全ての系列サンプルを分類する。これにより、「良い」系列サンプルと「悪い」系列サンプルを区別することができる。
しかしながら、異なるリスクマネジメントサービスシナリオにおいて、系列サンプルのいずれにもラベルがあるわけではないため、関連技術で提供される構成は、ラベルがある系列サンプルを提供できるあるリスクマネジメントサービスシナリオのみに適用され、汎用性を有しない。
本願の実施例は、サービスシナリオにおける過去系列データを十分に利用して、リソース利用率を向上させるとともに、系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させることができる系列マイニングモデルの訓練方法、系列データの処理方法及び機器を提供する。その構成は、以下のとおりである。
一態様において、本願の実施例では、コンピュータ機器に適用される、系列マイニングモデルの訓練方法が提供されている。前記方法は、
ターゲットサービスシナリオにおける第1系列サンプルを取得するステップであって、前記第1系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる、ステップと、
前記第1系列サンプルのラベル状態を決定するステップであって、前記第1系列サンプルのラベル状態は、前記第1系列サンプルのラベル情報の具備状況を示すためのものである、ステップと、
前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築するステップであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである、ステップと、
前記第1系列サンプルを用いて、前記系列マイニングモデルを訓練するステップと、を含み、
前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記第1系列サンプルにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
他の態様において、本願の実施例では、コンピュータ機器に適用される、系列データの処理方法が提供されている。前記方法は、
ターゲットサービスシナリオの系列データを取得するステップと、
前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出すステップであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである、ステップと、
前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得するステップと、を含み、
前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記第1系列サンプルにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
別の態様において、本願の実施例では、系列マイニングモデルの訓練装置が提供されている。前記装置は、
ターゲットサービスシナリオにおける第1系列サンプルを取得するサンプル取得モジュールであって、前記第1系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる、サンプル取得モジュールと、
前記第1系列サンプルのラベル状態を決定する状態決定モジュールであって、前記第1系列サンプルのラベル状態は、前記第1系列サンプルのラベル情報の具備状況を示すためのものである、状態決定モジュールと、
前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築するモデル構築モジュールであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである、モデル構築モジュールと、
前記第1系列サンプルを用いて、前記系列マイニングモデルを訓練するモデル訓練モジュールと、を含み、
前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記第1系列サンプルにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
さらに他の態様において、本願の実施例では、系列データの処理装置が提供されている。前記装置は、
ターゲットサービスシナリオの系列データを取得するデータ取得モジュールと、
前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出すモデル呼び出しモジュールであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである、モデル呼び出しモジュールと、
前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得するラベル決定モジュールと、を含み、
前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記第1系列サンプルにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
さらに別の態様において、本願の実施例では、プロセッサとメモリとを備えるコンピュータ機器が提供されている。前記メモリには、少なくとも1つの命令、少なくとも1つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも1つの命令、前記少なくとも1つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行されると、上記の系列マイニングモデルの訓練方法を実現させ、又は、上記の系列データの処理方法を実現させる。
さらに別の態様において、本願の実施例では、少なくとも1つの命令、少なくとも1つのプログラム、コードセット又は命令セットを記憶したコンピュータ可読記憶媒体が提供されている。前記少なくとも1つの命令、前記少なくとも1つのプログラム、前記コードセット又は命令セットは、プロセッサによりロードされて実行されると、上記の系列マイニングモデルの訓練方法を実現させ、又は、上記の系列データの処理方法を実現させる。
さらに別の態様において、本願の実施例では、コンピュータプログラム製品が提供されている。前記コンピュータプログラム製品は、コンピュータ機器で実行されると、コンピュータ機器に、上記の系列マイニングモデルの訓練方法を実現させ、又は、上記の系列データの処理方法を実現させる。
本願の実施例で提供される構成によれば、系列マイニングフレームが提供されている。実際の適用では、ターゲットサービスシナリオにおける系列サンプルを取得し、該系列サンプルのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築し、次に、該系列サンプルを用いて、系列マイニングモデルを訓練することにより、訓練された系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を判断するために用いることができる。そして、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに汎用することができる。該系列マイニングフレームには、少なくとも1つのサブモデルが含まれる。異なるサービスシナリオにおける過去系列データの異なるラベル状態に対しては、系列マイニングフレームから対応するサブモデルを選択して、系列マイニングモデルを構築することができる。また、関連技術では、構造が固定された単一モデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおける一部の過去系列データが使用できないことを引き起こす恐れがある。例えば、関連技術では、教師なしクラスタリングモデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおけるラベル情報が存在する過去系列データが使用できないことを引き起こして、リソース浪費の問題を発生させる恐れがある。これに比べて、本願の実施例で提供される構成では、過去系列データの異なるラベル状態に対して、異なるサブモデルを用いて訓練を行うことができる。これにより、サービスシナリオにおける全ての過去系列データが十分に利用され、リソース利用率が向上する。また、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける全ての過去系列データに基づいて、系列マイニングモデルを十分に訓練することができるため、該系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させる。
本願の実施例の構成をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。
本願の一実施例で提供される実施環境の模式図である。 本願の一実施例で提供される系列マイニングモデルの訓練方法のフローチャートである。 本願の他の実施例で提供される系列マイニングモデルの訓練方法のフローチャートである。 本願の一実施例で提供される第1サブモデルの事前訓練方法のフローチャートである。 本願の一実施例で提供される第1サブモデルのブロック図である。 本願の一実施例で提供される最適化ベクトル表現の計算方法のフローチャートである。 本願の一実施例で提供される共同訓練方法のフローチャートである。 本願の別の実施例で提供される系列マイニングモデルの訓練方法のフローチャートである。 本願のさらに他の実施例で提供される系列マイニングモデルの訓練方法のフローチャートである。 本願の一実施例で提供される系列データの処理方法のフローチャートである。 本願の一実施例で提供される系列マイニングモデルの訓練方法及び系列データの処理方法のフローチャートである。 本願の一実施例で提供される系列マイニングフレームの模式図である。 本願の一実施例で提供される系列マイニングモデルの訓練装置のブロック図である。 本願の他の実施例で提供される系列マイニングモデルの訓練装置のブロック図である。 本願の一実施例で提供される系列データの処理装置のブロック図である。 本願の一実施例で提供されるコンピュータ機器の構成のブロック図である。
本願の目的、構成、及びメリットをより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳しく説明する。
人工知能(AI:Artificial Intelligence)は、デジタルコンピュータ、又はデジタルコンピュータにより制御される機械を用いて、人間の知能のシミュレーション、延長や拡張をし、環境を感知し、知識を取得し、知識を用いて最適な結果を取得する理論、方法、技術、及び応用システムである。言い換えれば、人工知能は、コンピュータ科学の総合的な技術であり、知能の実質を了解することと、人間の知能に類似する方式で反応できる新たな知能機械を生産することとを図る。人工知能は、各種の知能機械の設計原理及び実現方法を研究し、感知、推理、及び意思決定の機能を機械に持たせるものである。
人工知能技術は、総合的な学科であり、関連する分野が幅広く、ハードウェアレベルの技術もソフトウェアレベルの技術もある。人工知能の基礎技術には、一般的に、例えば、センサ、人工知能専用チップ、クラウドコンピューティング、分散記憶、ビッグデータ処理技術、操作/インタラクティブシステム、メカトロニクスなどの技術が含まれる。人工知能のソフトウェア技術は、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術、及び機械学習/深層学習などのいくつかの方面を含む。
機械学習(ML:Machine Learning)は、分野を横断した学際的な学科であり、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの複数の学科に関し、コンピュータがどのように人間の学習行動を模倣又は実現して、新しい知識やスキルを取得し、既存の知識構造を改めて組織して自体の性能を持続的に改善するかを専門に研究する。機械学習は、人工知能のコアであり、コンピュータに知能を付与する根本的な手段であり、人工知能の各分野にわたって適用されている。機械学習及び深層学習は、通常、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納学習、教師あり学習などの技術を含む。
本願の実施例で提供される構成は、人工知能の機械学習/深層学習技術に関する。具体的には、以下の実施例で説明する。
図1を参照する。図1は、本願の一実施例で提供される実施環境の実施例を示す。該実施環境は、第1コンピュータ機器10及び第2コンピュータ機器20を含んでもよい。
コンピュータ機器は、データ分析処理機能及び記憶機能を有する機器を指し、例えば、データ記憶能力及び/又はデータ処理能力を有するパーソナルコンピュータ(PC:Personal Computer)及びサーバなどであり、又は、例えば、携帯電話、タブレットコンピュータ、マルチメディア再生機器、ウェアラブルデバイスなどの端末であり、他のコンピュータ機器であってもよい。本願の実施例は、これを限定しない。任意選択的に、コンピュータ機器がサーバである場合、該コンピュータ機器は、1台のサーバであってもよいし、複数台のサーバで構成されるサーバクラスタであってもよく、又は、クラウドコンピューティングサービスセンタであってもよい。
第1コンピュータ機器10は、具体的なサービスシナリオにおいて、データの記憶及び伝送の機能を有するコンピュータ機器を指す。任意選択的に、1つの具体的なサービスシナリオは、1台の第1コンピュータ機器10に対応してもよいし、複数台の第1コンピュータ機器10に対応してもよい。本願の実施例において、第1コンピュータ機器10は、それが適用される具体的なサービスシナリオにおける系列データを取得するとともに、系列データを記憶するか、又は、系列データを第2コンピュータ機器20に送信し、第2コンピュータ機器20によって系列データの分析処理を行うことができる。
第2コンピュータ機器20は、データ分析処理機能を有し、系列データを処理することができる。任意選択的に、第2コンピュータ機器20は、系列データに基づいて機械学習モデルを訓練し、及び/又は、機械学習モデルを呼び出して系列データのラベル情報を判断してもよい。任意選択的に、第2コンピュータ機器20には、系列マイニングフレームが記憶される。ある具体的なサービスシナリオに対して、第2コンピュータ機器20は、該系列マイニングフレームから一部又は全部のサブモデルを選択して、該具体的なサービスシナリオに対応する系列マイニングモデルを構成し、該具体的なサービスシナリオにおける過去系列データを用いて、該系列マイニングモデルを訓練することができる。これにより、訓練された系列マイニングモデルは、該具体的なサービスシナリオにおける系列データのラベル情報を判断するために用いることができる。
本願の実施例では、第1コンピュータ機器10と第2コンピュータ機器20とは、ネットワークを介して互いに通信することができる。該ネットワークは、有線ネットワークであってもよいし、無線ネットワークであってもよい。例示的には、第2コンピュータ機器20は、第1コンピュータ機器10から、ターゲットサービスシナリオにおける過去系列データを取得し、これらの過去系列データに基づいて系列サンプルを構成し、次に、該系列サンプルのラベル情報に基づいて、系列マイニングフレームから対応するサブモデルを選択して、系列マイニングモデルを構成し、続いて、系列サンプルを用いて、該系列マイニングモデルを訓練することができる。これにより、第2コンピュータ機器20は、該系列マイニングモデルを呼び出して、該ターゲットサービスシナリオにおける系列データを処理することにより、該系列データのラベル情報を取得することができる。
図2を参照する。図2は、本願の一実施例で提供される系列マイニングモデルの訓練方法のフローチャートを示す。該方法は、上記に紹介されたコンピュータ機器に適用することができる。該方法は、以下のいくつかのステップ(210~240)を含んでもよい。
ステップ210では、ターゲットサービスシナリオにおける第1系列サンプルを取得する。
ターゲットサービスシナリオは、そのサービスシナリオにおける系列データのラベル情報を決定する必要があるサービスシナリオを指す。本願の実施例は、ターゲットサービスシナリオのタイプを限定しない。任意選択的に、ターゲットサービスシナリオは、金融取引サービスシナリオ(例えば、証券取引システムや通貨支払いシステム)、モノのインターネットサービスシナリオ(例えば、ウェアラブルデバイスやスマートホームシステム)、環境監視サービスシナリオ(例えば、湿度監視システムや空気粒子状物質監視システム)、医療スマートサービスシナリオ(例えば、身体重要指標追跡システムや健康状況監視システム)、及びイベントアプリケーションプログラム応用シナリオ(例えば、ユーザ情報管理システムや会員管理システム)などを含む。系列データは、時系列データとも呼ばれ、ターゲットサービスシナリオで異なる時間に収集されたデータを指し、ターゲットサービスシナリオで発生した現象が時間とともに変化する状況を記述するためのものである。例えば、ターゲットサービスシナリオが会員管理システムであると仮定すると、ユーザが該会員管理システムに対応するプラットフォームに会員アカウントを登録した後、その該プラットフォームにおける各行動は、いずれも系列データを形成し、該ユーザに対応する全ての系列データは、該ユーザが該プラットフォームに会員を登録した後の行動パターンを反映することができ、例えば、該ユーザが会員資格を用いて割引商品を購入する頻度を反映する。
第1系列サンプルは、系列マイニングモデルを訓練するためのサンプルを指す。本願の実施例において、第1系列サンプルは、ターゲットサービスシナリオにおける過去系列データを含む。任意選択的に、第1系列サンプルは、少なくとも1つの系列サンプルを含み、各系列サンプルそれぞれは、1つの過去系列データで構成されてもよいし、複数の過去系列データで構成されてもよい。本願の実施例は、これを限定しない。実際の適用では、コンピュータ機器の処理オーバーヘッドと、実際のサービスシナリオとを組み合わせて、第1系列サンプルにおける系列サンプルの数、及び系列サンプルの具体的な構成を決定することができる。
ステップ220では、第1系列サンプルのラベル状態を決定する。
第1系列サンプルのラベル状態は、第1系列サンプルのラベル情報の具備状況を示すためのものである。ここで、ラベル情報は、第1系列サンプルの特徴属性を反映するためのものである。本願の実施例において、ラベル情報の具体的な内容は、ターゲットサービスシナリオに基づいて決定される。任意選択的に、系列データのラベル情報の正確さに対する要求が低い場合、モデル訓練時間を短縮して、コンピュータ機器の処理オーバーヘッドを低減するために、ラベル情報は、「良い」及び「悪い」という2種類を含んでもよい。そのうち、「良い」は、ターゲットサービスシナリオの主なサービスと合致することを指し、「悪い」は、ターゲットサービスシナリオの主なサービスと乖離することを指す。例えば、ターゲットサービスシナリオがクレジットカード管理システムであると仮定すると、該ターゲットサービスシナリオにおいて、第1系列サンプルのラベル情報は、「良い」及び「悪い」を含んでもよい。そのうち、「良い」は、クレジットカードを正常に使用することを指し、「悪い」は、クレジットカードを異常に使用することを指す。該ターゲットサービスシナリオにおいて系列データのラベル情報の正確さに対する要求が高い場合、ラベル情報をさらに細分化してもよい。例えば、「悪い」を「資金洗浄」及び「詐欺」などに細分化する。
系列データは、生成されたときに、必ずしもラベル情報を有しないので、異なるサービスシナリオにおいて、系列データのラベル情報の具備状況は異なる可能性があり、そのため、異なるサービスシナリオに対応する第1系列サンプルのラベル状態も異なる可能性がある。本願の実施例は、ターゲットサービスシナリオにおける第1系列サンプルのラベル状態を限定しない。任意選択的に、ターゲットサービスシナリオにおいて、第1系列サンプルのラベル状態は、第1系列サンプルのいずれにもラベル情報が存在しないことであってもよいし、第1系列サンプルの一部にラベル情報が存在し、一部にラベル情報が存在しないことであってもよい。
ステップ230では、ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築する。
系列マイニングフレームは、異なるサービスシナリオに対して系列マイニングモデルを構築するためのものである。本願の実施例で提供される系列マイニングフレームは、複数のサブモデルを含み、コンピュータ機器は、第1系列サンプルのラベル状態、即ちターゲットサービスシナリオにおける過去系列データのラベル情報の具備状況に基づいて、系列マイニングフレームから少なくとも1つのサブモデルを選択して、系列マイニングモデルを構築することができる。本願の実施例は、複数のサブモデルを融合した系列マイニングフレームを提供することにより、異なるサービスシナリオのいずれに対しても、該系列マイニングフレームを用いて、そのサービスシナリオにおける系列データのラベル状態に適する系列マイニングモデルを構築することができる。関連技術では、構造が固定された単一モデルを用いて系列データを処理することしかできないため、リソース浪費の問題を引き起こす恐れがあり、例えば、教師なしクラスタリングモデルを用いて系列データを処理することしかできない場合、サービスシナリオにおけるラベル情報が存在する系列サンプルに対して、該モデルを用いることができない。これに比べて、本願の実施例で提供される構成では、サービスシナリオにおける全ての過去系列データを十分に利用することができ、リソース利用率を向上させる。
任意選択的に、系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含む。そのうち、第1サブモデルは、系列データの潜在ベクトル表現を取得するためのものである。系列データの潜在ベクトル表現は、系列データにおける重要な特徴情報を抽出して構成されるベクトル表現を指す。任意選択的に、第1サブモデルは、ディープオートエンコーダ(AE:Autoencoder)モデルであってもよい。潜在ベクトル表現の具体的な取得過程について、下記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。第2サブモデルは、ラベル状態が第1条件を満たす場合、系列データの潜在ベクトル表現に基づいて、系列データのラベル情報を決定するためのものである。第1条件は、ラベル状態が、第1系列サンプルにラベル情報が存在しないことである、ことを含む。任意選択的に、第2サブモデルは、クラスタリングモデル、例えば、K-meansクラスタリングモデルであってもよい。第3サブモデルは、ラベル状態が第2条件を満たす場合、系列データの潜在ベクトル表現に基づいて、系列データのラベル情報を決定するためのものである。第2条件は、ラベル状態が、第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。任意選択的に、第3サブモデルは、標準分類モデル、正例とラベル無しデータからの学習(PULearning:Learning from Positive and Unlabled Example)モデルなどであってもよい。第1サブモデル、第2サブモデル、及び第3サブモデルの構成及び実現形態について、以下の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。
ステップ240では、第1系列サンプルを用いて、系列マイニングモデルを訓練する。
系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである。コンピュータ機器は、第1系列サンプルのラベル状態、即ち、ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからラベル状態に適するサブモデルを選択して、系列マイニングモデルを構築した後、第1系列サンプルを用いて、系列マイニングモデルを訓練することができる。これにより、訓練された系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を決定するために用いることができる。本願の実施例で提供される構成では、ターゲットサービスシナリオにおける全ての過去系列データを用いて、系列マイニングモデルを訓練することができる。構造が固定された単一モデルを用いる場合に、該単一モデルに適する一部の過去系列データを用いて該単一モデルを訓練することしかできない関連技術に比べて、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける過去系列データに基づいて、系列マイニングモデルを十分に訓練し、該系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させる。
任意選択的に、第2サブモデル及び第3サブモデルの両方を、ある系列マイニングモデルを構築するサブモデルとしてもよい。この場合、それらが系列マイニングモデルにおいて果たす役割は、異なる可能性がある。例えば、ターゲットサービスシナリオでは、第1系列サンプルの一部にラベル情報が存在し、一部にラベル情報が存在しないと仮定する。この場合、ラベル情報が存在する第1系列サンプルを用いて、第3サブモデルを訓練してもよい。第3サブモデルの訓練は、第1サブモデルによって取得される潜在ベクトル表現をより確実にすることを目的とする。ラベル情報が存在しない第1系列サンプルを用いて、第2サブモデルを訓練する。第2サブモデルの訓練は、第1系列サンプルのうち、ラベル情報が存在しない系列サンプルを、ターゲットサービスシナリオにおける可能なラベル情報種類に応じて分類することにより、第2サブモデルが、異なるラベル情報の系列サンプルが表現する行動パターンを学習でき、さらに、ターゲットサービスシナリオにおいて新たな系列データが到着すると、最終的に該第サブモデルによって系列データのラベル情報を決定できることを目的とする。第2サブモデル及び第3サブモデルの両方を、ある系列マイニングモデルを構築するサブモデルとする場合、第2サブモデル及び第3サブモデルの訓練過程の具体的な例は、以下の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。
説明すべきものとして、本願の実施例では、ターゲットサービスシナリオにおける全ての過去系列データで第1系列サンプルを構成する場合のみを例として、有益な効果及び系列マイニングモデルの訓練過程を例示する。当業者であれば、本願の実施例の構成を理解した上で、他の構成を容易に想到することができる。例えば、実際の適用では、コンピュータ機器の処理オーバーヘッド及びサンプルの代表性などの要因を考慮すると、ターゲットサービスシナリオにおける膨大な過去系列データに対して選別などの処理を行うことにより、一部の過去系列データを選択して第1系列サンプルを構成してもよいが、これも本願の実施例の保護範囲に属すべきである。
以上をまとめると、本願の実施例で提供される構成によれば、系列マイニングフレームが提供されている。実際の適用では、ターゲットサービスシナリオにおける系列サンプルを取得し、該系列サンプルのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築し、次に、該系列サンプルを用いて、系列マイニングモデルを訓練することにより、訓練された系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を判断するために用いることができる。そして、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに汎用することができる。該系列マイニングフレームには、少なくとも1つのサブモデルが含まれる。異なるサービスシナリオにおける過去系列データの異なるラベル状態に対しては、系列マイニングフレームから対応するサブモデルを選択して、系列マイニングモデルを構築することができる。また、関連技術では、構造が固定された単一モデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおける一部の過去系列データが使用できないことを引き起こす恐れがある。例えば、関連技術では、教師なしクラスタリングモデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおけるラベル情報が存在する過去系列データが使用できないことを引き起こして、リソース浪費の問題を発生させる恐れがある。これに比べて、本願の実施例で提供される構成では、過去系列データの異なるラベル状態に対して、異なるサブモデルを用いて訓練を行うことができる。これにより、サービスシナリオにおける全ての過去系列データが十分に利用され、リソース利用率が向上する。また、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける全ての過去系列データに基づいて、系列マイニングモデルを十分に訓練することができるため、該系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させる。
1つの可能な実施形態において、上記ラベル状態は、第1系列サンプルにラベル情報が存在しないことであり、上記系列マイニングモデルは、第1サブモデル及び第2サブモデルを含み、図3に示すように、上記ステップ240は、以下のいくつかのサブステップ(242~246)を含む。
ステップ242では、第1系列サンプルを用いて、第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する。
第1サブモデルは、系列データの潜在ベクトル表現を取得するためのサブモデルである。任意選択的に、第1サブモデルは、ディープオートエンコーダモデルであってもよく、第1系列サンプルを学習目標として、第1系列サンプルに対して表現学習(representation learning)を行うことにより、第1系列サンプルの潜在ベクトル表現(Latent Representation)を取得することができる。本願の実施例において、コンピュータ機器は、第1系列サンプルを用いて、第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルによって第1系列サンプルの比較的確実な潜在ベクトル表現を取得することができる。また、第1系列サンプルに比べて、第1系列サンプルの潜在ベクトル表現は、第1系列サンプルにおける重要な特徴情報を保持するとともに、第1系列サンプルの次元及び系列長を低減させるため、第1系列サンプルの潜在ベクトル表現を用いて、他のサブモデルを訓練する場合、コンピュータ機器の処理オーバーヘッドを低減することができる。
一例において、上記第1サブモデルは、潜在ベクトル抽出ユニットと、再構成ユニットとを含み、図4に示すように、上記ステップ242は、以下のいくつかのサブステップ(2422~2428)を含む。
ステップ2422では、前記潜在ベクトル抽出ユニットによって前記第1系列サンプルを処理することにより、前記第1系列サンプルの潜在ベクトル表現を取得する。
図5は、可能な第1サブモデルのブロック図を示す。図5に示すように、該第1サブモデルは、潜在ベクトル抽出ユニット410と、再構成ユニット420とを含む。第1サブモデルがディープオートエンコーダモデルとして実現される場合、潜在ベクトル抽出ユニット410は、ディープオートエンコーダモデルにおけるエンコーダとして実現することができ、再構成ユニット420は、ディープオートエンコーダモデルにおけるデコーダとして実現することができる。ここで、コンピュータ機器は、潜在ベクトル抽出ユニット410によって第1系列サンプルを処理することにより、第1系列サンプルの潜在ベクトル表現を取得することができる。
任意選択的に、図5に示すように、上記潜在ベクトル抽出ユニット410は、マッピングサブユニット412と、次元削減サブユニット414と、再帰サブユニット416とを含み、上記ステップ2422は、以下のいくつかのサブステップを含む。
(1)前記マッピングサブユニットによって前記第1系列サンプルの特徴情報を取得することにより、前記第1系列サンプルの特徴情報表現を取得する。
任意選択的に、本願の実施例において、第1サブモデルに入力された第1系列サンプルの形状は、[batch_size,time_steps,feature_nums]と表すことができる。ここで、「batch_size」は、第1系列サンプルにおける系列サンプルの数を表すためのものであり、「time_steps」は、第1系列サンプルの長さを表すためのものであり、「feature_nums」は、第1系列サンプルの特徴数を表すためのものである。
コンピュータ機器は、マッピングサブユニットによって第1系列サンプルの特徴情報を抽出するとともに、第1系列サンプルの系列構造を保持することができる。第1サブモデルがディープオートエンコーダモデルとして実現される場合、マッピングサブユニットは、1次元畳み込みニューラルネットワーク(1DCNN:One Dimensions Convolutional Neural Network)として実現されてもよい。コンピュータ機器は、1DCNNによって第1系列サンプルに対して上から下への畳み込みカーネルマッピングを行うことにより、第1系列サンプルの特徴情報を取得する。
(2)次元削減サブユニットによって第1系列サンプルの特徴情報表現に対して次元削減処理を行うことにより、第1系列サンプルの次元削減特徴情報を取得する。
第1系列サンプルの特徴情報を取得した後、長い系列データを処理することでコンピュータ機器の処理オーバーヘッドが大きいことを回避するために、第1系列サンプルをさらに圧縮してもよい。第1サブモデルにおける次元削減サブユニットは、第1系列サンプルの特徴情報表現の次元を削減することにより、第1系列サンプルの次元削減特徴情報を取得することができる。第1サブモデルがディープオートエンコーダモデルとして実現される場合、次元削減サブユニットは、最大プーリング(max pooling)操作として実現されてもよい。max pooling操作期間では、活性化関数Leaky rectifiedを使用してもよい。コンピュータ機器は、max pooling操作によって、第1系列サンプルをコンパクトなベクトル表現、即ち第1系列サンプルの次元削減特徴情報に圧縮する。
(3)再帰サブユニットによって第1系列サンプルの次元削減特徴情報の系列間のステップ長跨りの変化法則を学習することにより、第1系列サンプルの潜在ベクトル表現を取得する。
第1系列サンプルをさらに圧縮するために、コンピュータ機器は、再帰サブユニットによって第1系列サンプルの次元削減特徴情報間の系列間のステップ長跨りの変化法則を学習してもよい。これにより、第1系列サンプルの潜在ベクトル表現を取得して、第1系列サンプルに対する符号化ステップを完了する。第1サブモデルがディープオートエンコーダモデルとして実現される場合、再帰サブユニットは、双方向長・短期記憶(LSTM:Long Short-Term Memory)ネットワークとして実現されてもよい。該双方向LSTMネットワークは、2つの方向(順方向と逆方向)に系列間のステップ長跨りの変化法則を学習することができる。これにより、第1系列サンプルをさらに圧縮して、第1系列サンプルの潜在ベクトル表現を取得する。
ステップ2424では、再構成ユニットによって第1系列サンプルの潜在ベクトル表現を処理することにより、再構成された第1系列サンプルを取得する。
本願の実施例において、第1サブモデルによって取得される潜在ベクトル表現を比較的確実にするために、コンピュータ機器は、潜在ベクトル抽出ユニットによって第1系列サンプルの潜在ベクトル表現を取得した後、再構成ユニットによって該第1系列サンプルの潜在ベクトル表現を処理してもよい。これにより、該潜在ベクトル表現を系列データに復元して、再構成された第1系列サンプルを取得する。第1サブモデルがディープオートエンコーダモデルとして実現される場合、再構成ユニットは、アップサンプリング関数(UpSample)及び逆畳み込み(Deconvolution)操作として実現されてもよい。コンピュータ機器は、第1系列サンプルの潜在ベクトル表現をUpSampleに通した後、Deconvolution操作を行うことにより、出力系列を取得することができる。これにより、潜在ベクトル表現の復号過程を完了する。ここで、該出力系列は、即ち、再構成された第1系列サンプルである。
ステップ2426では、第1系列サンプルと、再構成された第1系列サンプルとに基づいて、第1損失関数の値を計算する。
第1損失関数は、第1サブモデルに対応する損失関数を指す。第1系列サンプルと、再構成された第1系列サンプルとに基づいて、コンピュータ機器は、第1損失関数を決定することができるため、第1損失関数の値を計算することができる。任意選択的に、第1損失関数の値は、再構成された第1系列サンプルの平均絶対誤差(MAE:Mean Absolute Error)であってもよい。即ち、第1損失関数の値は、以下の表現式によって算出することができる。
Figure 0007403909000001
ここで、ae_lossは、第1損失関数の値を表し、xは、第1系列サンプルにおけるi番目に入力された系列サンプルを表し、h(x)は、第1サブモデルの潜在ベクトル抽出ユニット及び再構成ユニットを通過した後に、xに対応する再構成された系列サンプルを表し、iは、正の整数である。
ステップ2428では、第1損失関数の値に基づいて、第1サブモデルのパラメータを調整することにより、事前訓練された第1サブモデルを取得する。
モデルの訓練過程では、該モデルの損失関数が収束するように該モデルのパラメータを調整することにより、該モデルに対する訓練を完了することができる。本願の実施例において、コンピュータ機器は、第1損失関数の値に基づいて、第1損失関数が収束するように第1サブモデルのパラメータを調整することにより、事前訓練された第1サブモデルを取得する。
ステップ244では、事前訓練された第1サブモデルによって第1系列サンプルを処理することにより、第1系列サンプルの潜在ベクトル表現を取得する。
事前訓練された第1サブモデルは、損失関数が収束し、再構成された第1系列サンプルと、最初に入力された第1系列サンプルとの間の誤差が許容度の範囲にあるため、事前訓練された第1サブモデルによって取得された第1系列サンプルの潜在ベクトル表現が比較的確実である。コンピュータ機器は、事前訓練された第1サブモデルを取得した後、該事前訓練された第1サブモデルによって第1系列サンプルを再処理することにより、第1系列サンプルの潜在ベクトル表現を取得する。
任意選択的に、本願の実施例において、第1系列サンプルの潜在ベクトル表現の形状は、[batch_size,time_step2,1]と表すことができる。ここで、「time_step2」は、第1系列サンプルの潜在ベクトル表現の系列長を表し、「1」は、第1系列サンプルの潜在ベクトル表現の特徴数が1であることを表す。本願の実施例において、「time_step2」は、「time_step2<time_step」を満たし、「time_step」は、第1系列サンプルの系列長を表す。
一例において、図6に示すように、上記ステップ244の後に、該方法は、以下のいくつかのステップ(2442~2444)を含んでもよい。
ステップ2442では、第1系列サンプルの静的特徴を取得する。
実際の適用では、ターゲットサービスシナリオには、いくつかの静的データがさらに含まれる。該静的データは、系列データの安定的な静的特徴を反映する。例えば、ターゲットサービスシナリオがクレジットカード管理システムであると仮定すると、系列データは、クレジットカードユーザの過去取引金額系列及び過去取引時間間隔系列などを含んでもよく、静的データは、クレジットカードユーザの登録電話番号数、所在国、所属国籍などを含んでもよい。関連技術では、第1系列サンプルの系列データのみが考慮されるが、第1系列サンプルの静的特徴が無視されることで、これらの静的データがモデル訓練過程において役割を果たせず、訓練されたモデルが十分に正確ではない。本願の実施例で提供される構成において、コンピュータ機器は、第1系列サンプルの静的特徴を取得することにより、これらの静的データのモデル訓練過程への応用を可能にすることができ、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させる。
ステップ2444では、第1系列サンプルの静的特徴と、第1系列サンプルの潜在ベクトル表現とに基づいて、第1系列サンプルの最適化ベクトル表現を取得する。
コンピュータ機器は、第1系列サンプルの静的特徴を第1系列サンプルの潜在ベクトル表現に組み合わせることにより、第1系列サンプルの最適化ベクトル表現を取得してもよい。該第1系列サンプルの最適化ベクトル表現は、事前訓練された第1サブモデルと、第2サブモデルとを後続に共同訓練するためのものである。任意選択的に、第1系列サンプルにおけるi番目の系列サンプルは、その潜在ベクトル表現がzizと記され、zの形状は、[time_step2,1]と表すことができる。i番目の系列サンプルがn個(nは正の整数)の静的特徴を有すると仮定すると、i番目の系列サンプルの静的特徴の形状は、[n,1]と表すことができる。コンピュータ機器は、i番目の系列サンプルの潜在ベクトル表現及び静的特徴に基づいて、i番目の系列サンプルの最適化ベクトル表現を取得することができる。任意選択的に、i番目の系列サンプルの最適化ベクトル表現の形状は、[n+time_step2,1]と表すことができる。
任意選択的に、上記ステップ2444は、以下のいくつかのサブステップを含む。
(1)前記第1系列サンプルの静的特徴に対して正則化処理を行うことにより、正則化処理後の静的特徴を取得する。
正則化処理は、データの全ての特徴変数を保持するとともに、特徴変数のオーダーを低減することにより、過剰適合問題、即ち、特徴変数の数が多すぎるため、モデルが複雑すぎるという問題の発生を回避することを指す。本願の実施例では、第1系列サンプルが少なくとも1つの静的特徴を含むため、予め第1系列サンプルの静的特徴に対して正則化処理を行って、第1系列サンプルの静的特徴のオーダーを低減することにより、正則化処理後の静的特徴を取得することができる。
(2)前記第1系列サンプルの潜在ベクトル表現に対して正規化処理を行うことにより、正規化処理後の潜在ベクトル表現を取得する。
本願の実施例において、コンピュータ機器は、第1系列サンプルの潜在ベクトル表現に対して正規化処理を行って、第1系列サンプルの潜在ベクトル表現のオーダーを調整することができる。任意選択的に、コンピュータ機器が正規化処理を行うことは、第1サブモデルの再帰ユニットに正規化器を加えることにより実現してもよい。例えば、第1サブモデルがディープオートエンコーダモデルとして実現される場合、再帰ユニットは、双方向LSTMネットワークであってもよい。この場合、双方向LSTMネットワークにLayer Normalization(層正規化)を入れてもよい。これにより、潜在ベクトル表現のオーダーを調整する。
(3)正則化処理後の静的特徴と、正規化処理後の潜在ベクトル表現とを組み合わせることにより、第1系列サンプルの最適化ベクトル表現を取得する。
第1系列サンプルの静的特徴に対して正則化処理を行うとともに、第1系列サンプルの潜在ベクトル表現に対して正規化処理を行うことにより、正則化処理後の静的特徴の数値の大きさと、正規化処理後の潜在ベクトル表現の数値の大きさとを同じオーダーにすることができる。次に、該正則化処理後の静的特徴と、正規化処理後の潜在ベクトル表現とを組み合わせることにより、第1系列サンプルの最適化ベクトル表現を取得する。オーダー調整を行った該最適化ベクトル表現は、静的特徴と潜在ベクトル表現とを直接に組み合わせた最適化ベクトル表現に比べると、コンピュータ機器による後続の共同訓練過程の処理オーバーヘッドを低減して、計算の精度を向上させることができる。
ステップ246では、第1系列サンプルと、第1系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第1サブモデルと、第2サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。
コンピュータ機器は、第1系列サンプルと、第1系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第1サブモデルと、第2サブモデルとを共同訓練し、即ち、第1系列サンプルを用いて、事前訓練された第1サブモデルを訓練するとともに、第1系列サンプルの潜在ベクトル表現を用いて、第2サブモデルを訓練することにより、系列マイニングモデルを取得することができる。該系列マイニングモデルは、共同訓練された第1サブモデルと、共同訓練された第2サブモデルとを含む。
一例において、図7に示すように、上記ステップ246は、以下のいくつかのサブステップ(2462~246)を含む。
ステップ2462では、第1損失関数の値及び第2損失関数の値を計算する。
ここで、第1損失関数は、第1サブモデルの損失関数を指し、第2損失関数は、第2サブモデルの損失関数を指す。第1損失関数の値の具体的な計算過程について、上記の図5に示す任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。任意選択的に、第2損失関数の値を計算する上記ステップは、以下のいくつかのステップを含む。
(1)第1系列サンプルのk個のクラスを決定する。
ターゲットサービスシナリオについて、系列データが備えるラベル情報は、複数のクラスに分けることができる。ラベル情報のクラスに基づいて、第1系列サンプルのクラスの数kを決定することができ、kは、正の整数である。任意選択的に、第1系列サンプルのクラスの数は、ラベル情報のクラスの数に等しくてもよい。例えば、ターゲットサービスシナリオにおいて、系列データのラベル情報に「良い」及び「悪い」という2つのクラスがある場合、コンピュータ機器は、ラベル情報のクラスに基づいて、第1系列サンプルも2つのクラスに分けてもよいと決定することができる。
(2)k個のクラスに基づいて、第2サブモデルによってk個のクラスター中心を初期化する。
コンピュータ機器は、k個のクラスに基づいて、第2サブモデルによって第1系列サンプルにおいてk個のクラスター中心をランダムに初期化することができ、次に、k-means(k平均値)クラスタリングアルゴリズムによってクラスター中心を更新することができる。本願の実施例において、第2サブモデルのパラメータは、即ち、クラスター中心であり、その形状は、パラメータ行列[k,time_step2,1]と表すことができる。
(3)第1系列サンプルからk個のクラスター中心までの距離を計算することにより、サンプル確率分布を取得する。
サンプル確率分布は、第1系列サンプルがk個のクラスのそれぞれに属する確率を示すためのものである。コンピュータ機器は、k個のクラスター中心を初期化した後、第1系列サンプルにおける各系列サンプルそれぞれがこのk個のクラスター中心のそれぞれに属する確率を計算し、即ち、第1系列サンプルにおける各系列サンプルそれぞれから各クラスター中心それぞれまでの距離を計算することができる。算出された第1系列サンプルからk個のクラスター中心までの距離に基づいて、確率分布を見抜くことができる。本願の実施例では、該確率分布をサンプル確率分布と記す。
(4)サンプル確率分布に基づいて、シミュレーションサンプル確率分布を計算する。
シミュレーションサンプル確率分布は、第1系列サンプルにラベル情報が存在する場合、第1系列サンプルがk個のクラスのそれぞれに属する確率を示すためのものである。第1系列サンプルにラベル情報が存在しないため、コンピュータ機器は、本当のサンプル確率分布を知ることができない。この場合、サンプル確率分布からシミュレーションサンプル確率分布を取得し、該シミュレーションサンプル確率分布を本当のサンプル確率分布に限りなく近づけることができる。任意選択的に、シミュレーションサンプル確率分布の表現式は、以下のようにしてもよい。
Figure 0007403909000002
ここで、pi,jは、第1系列サンプルにおけるi番目の系列サンプルがj番目のクラスター中心に属するシミュレーション確率を表す。全てのpi,jを組み合わせると、シミュレーションサンプル確率分布が形成される。qi,jは、第1系列サンプルにおけるi番目の系列サンプルがj番目のクラスター中心に属する確率を表す。全てのqi,jを組み合わせると、サンプル確率分布が形成される。fは、サンプル確率分布を表す。
(5)サンプル確率分布とシミュレーションサンプル確率分布との相対エントロピーを第2損失関数の値として決定する。
相対エントロピーは、KLダイバージェンス(KLD:Kullback-Leibler divergence)、情報ダイバージェンス、及び情報利得とも呼ばれ、2つの確率分布の差異の非対称のメトリックである。本願の実施例において、サンプル確率分布とシミュレーションサンプル確率分布との相対エントロピーは、シミュレーションサンプル確率分布に基づく符号化を用いて、サンプル確率分布に基づくサンプルを符号化するために必要な追加ビット数の平均をはかるためのものであり、コンピュータ機器は、サンプル確率分布とシミュレーションサンプル確率分布との相対エントロピーを第2損失関数の値とする。任意選択的に、第2損失関数の値の表現式は、以下に示すとおりである。
Figure 0007403909000003
ここで、cluster_lossは、第2損失関数の値を表す。
ステップ2464では、第1損失関数の値と、第2損失関数の値と、重み係数の設定とに基づいて、系列マイニングモデルの損失関数の値を計算する。
重み係数の設定は、第1損失関数の値の重み及び第2損失関数の値の重みに対する設定を指す。任意選択的に、重み係数の設定は、コンピュータ機器により予め設定されてもよく、系列マイニングモデルの損失関数の決定過程において、ターゲット応用シナリオ及び実際のニーズに応じて具体的に決定されてもよい。本願の実施例は、重み係数の設定の決定タイミングを限定しない。コンピュータ機器は、第1損失関数の値と、第2損失関数の値と、重み係数の設定とに基づいて、系列マイニングモデルの損失関数の値を計算することができる。任意選択的に、系列マイニングモデルの損失関数の値は、以下のように表すことができる。
Figure 0007403909000004
ここで、loss共同訓練は、系列マイニングモデルの損失関数の値、即ち、事前訓練された第1サブモデルと、第2サブモデルとを共同訓練する場合の損失関数の値を表し、r及びrは、重み係数の設定を表す。
ステップ2466では、系列マイニングモデルの損失関数の値に基づいて、系列マイニングモデルのパラメータを調整することにより、系列マイニングモデルを取得する。
本願の実施例において、コンピュータ機器は、系列マイニングモデルの損失関数の値に基づいて、系列マイニングモデルの損失関数が収束するように系列マイニングモデルのパラメータを調整することにより、共同訓練済みの系列マイニングモデルを取得する。
以上をまとめると、本願の実施例で提供される構成では、ラベル状態が、系列サンプルにラベル情報が存在しないことである場合、系列マイニングモデルが第1サブモデル及び第2サブモデルを含むと決定する。また、本願の実施例では、系列マイニングモデルを訓練する際に、まず、第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する。事前訓練された第1サブモデルの損失関数が収束するため、事前訓練された第1サブモデルによって取得された系列サンプルの潜在ベクトル表現が比較的確実である。次に、系列サンプル及びその潜在ベクトル表現を用いて、事前訓練された第1サブモデルと、第2サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。これにより、系列サンプルにラベル情報が存在しない場合の系列マイニングモデルの具体的な訓練方法が提供される。
また、本願の実施例で提供される構成では、系列サンプルの静的特徴を取得し、系列サンプルの静的特徴と、系列サンプルの潜在ベクトル表現とを組み合わせることにより、系列サンプルの最適化ベクトル表現を取得し、次に、該系列サンプル及びその最適化ベクトル表現を用いて、事前訓練された第1サブモデルと、第2サブモデルとを共同訓練することにより、系列マイニングモデルを取得することができる。関連技術では、系列サンプルの系列データのみが考慮されるが、系列サンプルの静的特徴が無視されることで、静的データがモデル訓練過程において役割を果たせず、訓練されたモデルが十分に正確ではない。これに比べて、本願の実施例で提供される構成では、系列サンプルの特徴データを十分に考慮することにより、静的データもモデル訓練過程に応用することを可能にし、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させる。
また、本願の実施例で提供される構成では、系列サンプルの静的特徴と潜在ベクトル表現とを組み合わせる際に、静的特徴に対して正則化処理を行い、潜在ベクトル表現に対して正規化処理を行うことにより、静的特徴と潜在ベクトル表現とを同じオーダーにし、コンピュータ機器が最適化されたベクトル表現を用いて系列マイニングモデルを訓練するときの処理オーバーヘッドを低減させるとともに、計算精度を向上させる。
他の可能な実施形態において、上記ラベル状態は、第1系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第2系列サンプルの数が第3系列サンプルの数よりも大きいことである。そのうち、第2系列サンプルは、第1系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、第3系列サンプルは、第1系列サンプルのうち、ラベル情報が存在しない系列サンプルを指す。上記系列マイニングモデルは、第1サブモデル及び第3サブモデルを含み、図8に示すように、上記ステップ240は、以下のいくつかのサブステップ(24A~24E)を含む。
ステップ24Aでは、第1系列サンプルを用いて、第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する。
第1サブモデルを事前訓練する過程の詳細な説明については、上記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。説明すべきものとして、本願の実施例では、第2系列サンプル又は第3系列サンプルを用いて、第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得してもよい。これにより、コンピュータ機器が第1サブモデルを事前訓練する速度を向上させ、コンピュータ機器の処理オーバーヘッドを低減することができる。
ステップ24Cでは、事前訓練された第1サブモデルによって第2系列サンプルを処理することにより、第2系列サンプルの潜在ベクトル表現を取得する。
第1系列サンプルのうち、ラベル情報が存在する第2系列サンプルの数が多いため、系列マイニングモデルの訓練速度及びコンピュータ機器の処理オーバーヘッドを考慮すると、第3サブモデルを訓練することにより、最終的に第3サブモデルによって系列データのラベル情報を決定できることを実現してもよい。本願の実施例において、第3サブモデルは、系列サンプルに少なくとも部分的にラベル情報が存在する場合、系列データの潜在ベクトル表現によって系列データのラベル情報を決定できるモデルであり、第3サブモデルの訓練は、第2系列サンプル、即ち、第1系列サンプルのうち、ラベル情報が存在する系列サンプルを用いて、訓練を行うことである。実際の適用において、第3サブモデルは、教師あり学習モデル、例えば分類モデルとして実現することができる。
第3サブモデルとして実現できる現在既存の分類モデルのうち、2次元の系列データを処理するためのものが多いため、コンピュータ機器は、事前訓練された第1サブモデルを取得した後、該事前訓練された第1サブモデルによって第2系列サンプルを処理することにより、第2系列サンプルの潜在ベクトル表現を取得してもよい。これにより、第3サブモデルの訓練過程において、第2系列サンプルにおける重要な特徴情報を用いて第3サブモデルを訓練し、3次元の第2系列サンプルを用いて第3サブモデルを訓練することを回避し、現在既存の分類器を第3サブモデルとして利用することができるとともに、コンピュータ機器が第3サブモデルを訓練するときの処理オーバーヘッドを低減することができる。
任意選択的に、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させるために、コンピュータ機器が第2系列サンプルの潜在ベクトル表現を取得した後、該方法は、第2系列サンプルの静的特徴を取得するステップと、第2系列サンプルの静的特徴と、第2系列サンプルの潜在ベクトル表現とに基づいて、第2系列サンプルの最適化ベクトル表現を取得するステップであって、第2系列サンプルの最適化ベクトル表現は、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練するためのものである、ステップと、をさらに含む。第2系列サンプルの静的特徴及びその取得過程、第2系列サンプルの最適化ベクトル表現の計算過程の詳細な説明について、上記の任意選択的な実施例における第1系列サンプルの静的特徴及びその取得過程、第1系列サンプルの最適化ベクトル表現の計算過程に対する説明を参照するが、ここでは、これ以上の説明を省略する。
ステップ24Eでは、第2系列サンプルと、第2系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。
コンピュータ機器は、第2系列サンプルと、第2系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練し、即ち、第2系列サンプルを用いて、事前訓練された第1サブモデルを訓練するとともに、第2系列サンプルの潜在ベクトル表現を用いて、第3サブモデルを訓練することにより、系列マイニングモデルを取得することができる。該系列マイニングモデルは、共同訓練された第1サブモデルと、共同訓練された第3サブモデルとを含む。
一実施例において、上記ステップ24Eは、第1損失関数の値と、第3損失関数の値とを計算するサブステップであって、第1損失関数は、第1サブモデルの損失関数を指し、第3損失関数は、第3サブモデルの損失関数を指す、サブステップと、第1損失関数の値と、第3損失関数の値と、重み係数の設定とに基づいて、系列マイニングモデルの損失関数の値を計算するサブステップであって、重み係数の設定は、第1損失関数の重み及び第3損失関数の重みに対する設定を指す、サブステップと、系列マイニングモデルの損失関数の値に基づいて、系列マイニングモデルのパラメータを調整することにより、系列マイニングモデルを取得するサブステップと、を含む。第1損失関数の値の具体的な計算過程について、上記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。
例示的に、第2系列サンプルには、正のラベル情報が存在する系列サンプルが含まれるだけでなく、負のラベル情報が存在する系列サンプルが含まれる場合、第3サブモデルは、標準分類モデルとして実現することができ、さらに、第3損失関数の値は、以下の表現式によって計算することができる。
classifier_loss=-[y*log(p)+(1-y)*log(1-p)]
ここで、classifier_lossは、第3サブモデルの損失関数の値を表し、yは、第2系列サンプルの本当のラベル情報を表し、pは、第2系列サンプルが予測されたラベル情報を具備する確率を表す。
第1損失関数の値及び第3損失関数の値に基づいて、系列マイニングモデルの損失関数の値を以下のように計算することができる。
loss共同訓練=rclassifier*classifier_loss+rae*ae_loss
ここで、loss共同訓練は、系列マイニングモデルの損失関数の値、即ち、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練する場合の損失関数の値を表し、rclassifier及びraeは、重み係数の設定を表す。
例示的に、第2系列サンプルには、正のラベル情報が存在する系列サンプルのみが含まれ、又は、負のラベル情報が存在する系列サンプルのみが含まれる場合、現在既存の標準分類モデルによって、第2系列サンプルの潜在ベクトル表現を処理することができない。この場合、第3サブモデルは、PULearningモデルとして実現することができ、第3損失関数の値は、以下の表現式によって計算することができる。
Figure 0007403909000005
ここで、
Figure 0007403909000006
である。
ここで、
Figure 0007403909000007
は、第3損失関数の値を表し、gは、決定関数であり、xは、正のラベル情報が存在する系列サンプル、又は負のラベル情報が存在する系列サンプル、即ち、第2系列サンプルを表し、xは、ラベル情報が存在しない系列サンプル、即ち、第3系列サンプルを表す。
第1損失関数の値及び第3損失関数の値に基づいて、系列マイニングモデルの損失関数の値を以下のように計算することができる。
Figure 0007403909000008
ここで、loss共同訓練は、系列マイニングモデルの損失関数の値、即ち、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練する場合の損失関数の値を表し、rpu及びraeは、重み係数の設定を表す。
以上をまとめると、本願の実施例で提供される構成では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも大きいことである場合、系列マイニングモデルが第1サブモデル及び第3サブモデルを含むと決定する。また、本願の実施例では、系列マイニングモデルを訓練する際に、まず、第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する。事前訓練された第1サブモデルの損失関数が収束するため、事前訓練された第1サブモデルによって取得された系列サンプルの潜在ベクトル表現が比較的確実である。次に、ラベル情報が存在する系列サンプル及びその潜在ベクトル表現を用いて、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。これにより、系列サンプルに少なくとも部分的にラベル情報が存在する場合の系列マイニングモデルの具体的な訓練方法が提供されている。
また、本願の実施例で提供される構成では、少なくとも部分的にラベル情報が存在する系列サンプルには、正のラベル情報が存在する系列サンプルが含まれるだけでなく、負のラベル情報が存在する系列サンプルが含まれる場合、第3サブモデルを標準分類モデルとして具体的に実現することが提供されており、少なくとも部分的にラベル情報が存在する系列サンプルには、正のラベル情報が存在する系列サンプルのみが含まれ、又は、負のラベル情報が存在する系列サンプルのみが含まれる場合、第3サブモデルをPULearningモデルとして具体的に実現することが提供されている。これにより、異なるサービスシナリオにおける系列データの異なるラベル状態のいずれに対しても、系列マイニングモデルを構築することができ、いくつかの過去系列データが使用できないことを回避し、データリソースの利用率を向上させるとともに、系列マイニングモデルの正確さを向上させる。
別の可能な実施形態において、上記ラベル状態は、第1系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第2系列サンプルの数量が第3系列サンプルの数量よりも小さいことである。そのうち、第2系列サンプルは、第1系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、第3系列サンプルは、第1系列サンプルのうち、ラベル情報が存在しない系列サンプルを指す。上記系列マイニングモデルは、第1サブモデル、第2サブモデル、及び第3サブモデルを含む。図9に示すように、上記ステップ240は、以下のいくつかのサブステップ(24B~24J)を含む。
ステップ24Bでは、第1系列サンプルを用いて、第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する。
第1サブモデルを事前訓練する過程の詳細な説明については、上記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。説明すべきものとして、本願の実施例では、第2系列サンプル又は第3系列サンプルを用いて、第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得してもよい。これにより、コンピュータ機器が第1サブモデルを事前訓練する速度を向上させ、コンピュータ機器の処理オーバーヘッドを低減することができる。
ステップ24Dでは、事前訓練された第1サブモデルによって第2系列サンプルを処理することにより、第2系列サンプルの潜在ベクトル表現を取得する。
第1系列サンプルのうち、ラベル情報が存在しない第3系列サンプルの数が多いため、この場合、ラベル情報が存在する第2系列サンプルを直接に用いて第3サブモデルを訓練し、最終的に第3サブモデルによって系列データのラベル情報を決定すると、決定結果が不正確であるという問題をもたらす恐れがある。その理由として、ラベル情報が存在する系列サンプルの数が少なく、訓練された第3サブモデルが十分に正確ではない。しかし、この場合、ラベル情報が存在しない第3系列サンプルを直接に用いて第2サブモデルを訓練し、最終的に第2サブモデルによって系列データのラベル情報を決定すると、ラベル情報が存在する第2系列サンプルが無視され、データリソースの浪費を引き起こすとともに、第2サブモデルが十分に正確ではなくなる。これに基づき、本願の実施例では、第1サブモデル、第2サブモデル、及び第3サブモデルによって系列マイニングモデルを構築し、次に、異なる系列サンプルによってこれらのサブモデルをそれぞれ訓練することが提供され、データリソースが十分に利用されるだけでなく、訓練された系列マイニングモデルがより正確になる。
第3サブモデルとして実現できる現在既存の分類モデルのうち、2次元の系列データを処理するためのものが多いため、コンピュータ機器は、事前訓練された第1サブモデルを取得した後、該事前訓練された第1サブモデルによって第2系列サンプルを処理することにより、第2系列サンプルの潜在ベクトル表現を取得してもよい。これにより、事前訓練された第1サブモデルと、第3サブモデルとの共同訓練過程において、第2系列サンプルにおける重要な特徴情報を用いて第3サブモデルを訓練し、3次元の第2系列サンプルを用いて第3サブモデルを訓練することを回避し、現在既存の分類器を第3サブモデルとして利用することができるとともに、コンピュータ機器が第3サブモデルを訓練するときの処理オーバーヘッドを低減することができる。
任意選択的に、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させるために、コンピュータ機器が第2系列サンプルの潜在ベクトル表現を取得した後、該方法は、第2系列サンプルの静的特徴を取得するステップと、第2系列サンプルの静的特徴と、第2系列サンプルの潜在ベクトル表現とに基づいて、第2系列サンプルの最適化ベクトル表現を取得するステップであって、第2系列サンプルの最適化ベクトル表現は、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練するためのものである、ステップと、をさらに含む。第2系列サンプルの静的特徴及びその取得過程、第2系列サンプルの最適化ベクトル表現の計算過程の詳細な説明について、上記の任意選択的な実施例における第1系列サンプルの静的特徴及びその取得過程、第1系列サンプルの最適化ベクトル表現の計算過程に対する説明を参照するが、ここでは、これ以上の説明を省略する。
ステップ24Fでは、第2系列サンプルと、第2系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練することにより、共同訓練された第1サブモデルを取得する。
コンピュータ機器は、第2系列サンプルと、第2系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練し、即ち、第2系列サンプルを用いて、事前訓練された第1サブモデルを訓練するとともに、第2系列サンプルの潜在ベクトル表現を用いて、第3サブモデルを訓練することにより、系列マイニングモデルを取得することができる。該系列マイニングモデルは、共同訓練された第1サブモデルと、共同訓練された第3サブモデルとを含む。共同訓練が行われるため、共同訓練された第1サブモデルに系列サンプルのラベル情報が導入され、共同訓練された第1サブモデルによって取得された系列サンプルの潜在ベクトル表現がより確実である。
ステップ24Hでは、共同訓練された第1サブモデルによって第3系列サンプルを処理することにより、第3系列サンプルの潜在ベクトル表現を取得する。
共同訓練された第1サブモデルを取得した後、コンピュータ機器は、該共同訓練された第1サブモデルによって第3系列サンプルを処理することにより、第3系列サンプルの潜在ベクトル表現を取得することができる。任意選択的に、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させるために、コンピュータ機器が第3系列サンプルの潜在ベクトル表現を取得した後、該方法は、第3系列サンプルの静的特徴を取得するステップと、第3系列サンプルの静的特徴と、第3系列サンプルの潜在ベクトル表現とに基づいて、第3系列サンプルの最適化ベクトル表現を取得するステップであって、第3系列サンプルの最適化ベクトル表現は、共同訓練された第1サブモデルと、第2サブモデルとを共同訓練するためのものである、ステップと、をさらに含む。第3系列サンプルの静的特徴及びその取得過程、第3系列サンプルの最適化ベクトル表現の計算過程の詳細な説明について、上記の任意選択的な実施例における第1系列サンプルの静的特徴及びその取得過程、第1系列サンプルの最適化ベクトル表現の計算過程に対する説明を参照するが、ここでは、これ以上の説明を省略する。
ステップ24Jでは、第3系列サンプルと、第3系列サンプルの潜在ベクトル表現とを用いて、共同訓練された第1サブモデルと、第2サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。
コンピュータ機器は、第3系列サンプルと、第3系列サンプルの潜在ベクトル表現とを用いて、共同訓練された第1サブモデルと、第2サブモデルとを共同訓練し、即ち、第3系列サンプルを用いて、共同訓練された第1サブモデルを訓練するとともに、第3系列サンプルの潜在ベクトル表現を用いて、第2サブモデルを訓練することにより、系列マイニングモデルを取得することができる。
以上をまとめると、本願の実施例で提供される構成では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも小さいことである場合、系列マイニングモデルが第1サブモデル、第2サブモデル、及び第3サブモデルを含むと決定する。また、本願の実施例では、系列マイニングモデルを訓練する際に、まず、第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する。事前訓練された第1サブモデルの損失関数が収束するため、事前訓練された第1サブモデルによって取得された系列サンプルの潜在ベクトル表現が比較的確実である。次に、ラベル情報が存在する系列サンプル及びその潜在ベクトル表現を用いて、事前訓練された第1サブモデルと、第3サブモデルとを共同訓練することにより、共同訓練された第1サブモデルを取得する。共同訓練された第1サブモデルに系列サンプルのラベル情報が導入されるため、共同訓練された第1サブモデルによって取得された系列サンプルの潜在ベクトルがより確実である。最後に、ラベル情報が存在しない系列サンプル及びその潜在ベクトル表現を用いて、共同訓練された第1サブモデルと、第2サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。これにより、系列サンプルに少なくとも部分的にラベル情報が存在する場合の系列マイニングモデルの具体的な訓練方法が提供される。また、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける過去系列データが十分に利用される。関連技術では、モデルの訓練に一部の過去系列データしか利用できない。これに比べて、本願の実施例で提供される構成では、データリソースの利用率をさらに向上させるとともに、訓練された系列マイニングモデルがより正確になる。
図10を参照する。図10は、本願の一実施例で提供される系列データの処理方法のフローチャートを示す。該方法は、上記に紹介されたコンピュータ機器に適用することができる。該方法は、以下のいくつかのステップ(1010~1030)を含んでもよい。
ステップ1010では、ターゲットサービスシナリオの系列データを取得する。
ステップ1020では、ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出し、系列マイニングモデルは、ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、過去系列データを用いて訓練されたモデルである。
ステップ1030では、系列マイニングモデルによって系列データを処理することにより、系列データのラベル情報を取得する。
ここで、系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、第1サブモデルは、系列データの潜在ベクトル表現を取得するためのものであり、第2サブモデルは、ラベル状態が第1条件を満たす場合、系列データの潜在ベクトル表現に基づいて、系列データのラベル情報を決定するためのものであり、第1条件は、ラベル状態が、第1系列サンプルにラベル情報が存在しないことである、ことを含み、第3サブモデルは、ラベル状態が第2条件を満たす場合、系列データの潜在ベクトル表現に基づいて、系列データのラベル情報を決定するためのものであり、第2条件は、ラベル状態が、第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
ターゲットサービスシナリオ、系列データ、系列マイニングフレーム、系列マイニングモデル、ラベル情報、系列マイニングモデルの訓練過程などの詳細な説明について、上記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。
以上をまとめると、本願の実施例で提供される構成では、ターゲットサービスシナリオの系列データを取得し、次に、ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出して、系列データを処理することにより、系列データのラベル情報を取得する。これにより、系列データのラベル情報を決定する方式が提供される。また、本願の実施例で提供される構成において、系列マイニングモデルは、ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームから対応するサブモデルを選択して構築されたものである。このため、系列マイニングモデルは、ターゲットサービスシナリオに合致することができ、系列データのラベル情報を決定する正確さを向上させる。また、具体的なサービスシナリオに対して単一の系列マイニングモデルを開発することしかできない従来技術に比べて、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに対して異なる構成の系列マイニングモデルを構築することができ、高い汎用性を有する。
図11を参照する。図11は、本願の一実施例で提供される系列マイニングモデルの訓練方法及び系列データの処理方法のフローチャートを示す。該方法は、上記に紹介されたコンピュータ機器に適用することができる。該方法は、以下のいくつかのステップを含んでもよい。
ステップ1110では、ターゲットサービスシナリオの過去系列データを取得し、該過去系列データを系列サンプルとする。ターゲットサービスシナリオは、そのサービスシナリオにおける系列データのラベル情報を決定する必要があるサービスシナリオを指す。系列データは、時系列データとも呼ばれ、ターゲットサービスシナリオで異なる時間に収集されたデータを指し、ターゲットサービスシナリオで発生した現象が時間とともに変化する状況を記述するためのものである。
ステップ1120では、ターゲットサービスシナリオにおいて「良い」長期的な行動パターンと「悪い」長期的な行動パターンに明らかな違いがある場合、系列サンプルのラベル状態を分析する。系列サンプルのラベル状態は、系列サンプルのラベル情報の具備状況を示すためのものである。ラベル情報は、系列サンプルの特徴属性を反映するためのものである。任意選択的に、ラベル情報は、「良い」及び「悪い」という2種類を含んでもよい。そのうち、「良い」は、ターゲットサービスシナリオの主なサービスと合致することを指し、「悪い」は、ターゲットサービスシナリオの主なサービスと乖離することを指す。
ステップ1131では、ラベル状態が、系列サンプルにラベル情報が存在しないことである場合、系列マイニングフレームからディープオートエンコーダモデル及びクラスタリングモデルを選択して、系列マイニングモデルを構築する。図12に示すように、図12は、本願の実施例で提供される系列マイニングフレームの模式図を示す。該系列マイニングフレームは、ディープオートエンコーダモデル、クラスタリングモデル、標準分類モデル、及びPULearningモデルを含み、コンピュータ機器は、系列マイニングフレームからディープオートエンコーダモデル及びクラスタリングモデルを選択して、系列マイニングモデルを構築する。
ステップ1132では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在することであり、該ラベル情報が、正のラベル情報を含むだけでなく、負のラベル情報を含み、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも大きい場合、系列マイニングフレームからディープオートエンコーダモデル及び標準分類モデルを選択して、系列マイニングモデルを構築する。正のラベル情報は、上述した「良い」に対応し、負のラベル情報は、上述した「悪い」に対応する。ラベル情報が存在する系列サンプルには、正のラベル情報が存在する系列サンプルが含まれるだけでなく、負のラベル情報が存在する系列サンプルが含まれる場合、コンピュータ機器が系列マイニングフレームから選択した分類モデルは、標準分類モデルである。
ステップ1133では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在することであり、該ラベル情報が、正のラベル情報のみを含み、又は、負のラベル情報のみを含み、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも大きい場合、系列マイニングフレームからディープオートエンコーダモデル及びPULearningモデルを選択して、系列マイニングモデルを構築する。ラベル情報が存在する系列サンプルには、正のラベル情報が存在する系列サンプルのみが含まれ、又は負のラベル情報が存在する系列サンプルのみが含まれる場合、コンピュータ機器が系列マイニングフレームから選択した分類モデルは、PULearningモデルである。
ステップ1134では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在することであり、該ラベル情報が、正のラベル情報を含むだけでなく、負のラベル情報を含み、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも小さい場合、系列マイニングフレームからディープオートエンコーダモデル、標準分類モデル、及びクラスタリングモデルを選択して、系列マイニングモデルを構築する。ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも小さく、即ち、系列サンプルには、ラベルがない系列サンプルが大量含まれ、この場合、直接にクラスタリングモデルを使用して、系列サンプルに対して教師なし学習を行うと、ラベル情報が存在する系列サンプルが無視され、リソースの浪費が引き起こされる。したがって、本願の実施例で提供される構成では、系列マイニングモデルに分類モデルを加えることにより、系列サンプルを十分に利用することができ、リソース利用率を向上させ、系列マイニングモデルの正確さを向上させる。
ステップ1135では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在することであり、該ラベル情報が、正のラベル情報のみを含み、又は、負のラベル情報のみを含み、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも小さい場合、系列マイニングフレームからディープオートエンコーダモデル、PULearningモデル、及びクラスタリングモデルを選択して、系列マイニングモデルを構築する。
ステップ1140では、系列サンプルを用いて、系列マイニングモデルを訓練する。系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を決定するために用いることができる。コンピュータ機器は、系列サンプルを用いて、ディープオートエンコーダモデルによって系列サンプルの潜在ベクトル表現を取得し、次に、系列サンプル及びその潜在ベクトル表現を用いて、系列マイニングモデルを訓練してもよい。具体的な訓練過程は、上記の任意選択的な実施例を参照する。
ステップ1150では、ターゲットサービスシナリオの系列データを取得する。ターゲットサービスシナリオにおいて、新たな系列データが絶えず生成され、コンピュータ機器は、該系列データを取得し、次に、系列マイニングモデルによって系列データを処理することができる。
ステップ1160では、系列マイニングモデルによって系列データを処理することにより、系列データの潜在ベクトル表現を取得する。系列マイニングモデルが、ターゲットサービスシナリオの過去系列データに基づいて訓練され、且つ、本願の実施例で提供される系列マイニングモデルの訓練方法では、全ての過去系列データが十分に利用されるため、訓練された系列マイニングモデルがターゲットサービスシナリオと高度に適合し、該系列マイニングモデルによって決定された系列データのラベル情報の正確さも比較的高い。
図13を参照する。図13は、本願の一実施例で提供される系列マイニングモデルの訓練装置のブロック図を示す。該装置は、上記の系列マイニングモデルの訓練方法の例を実現する機能を有する。前記機能は、ハードウェアによって実現されてもよいし、ハードウェアで相応のソフトウェアを実行することによって実現されてもよい。該装置は、コンピュータ機器であってもよいし、コンピュータ機器内に設けられてもよい。該装置1300は、サンプル取得モジュール1310と、状態決定モジュール1320と、モデル構築モジュール1330と、モデル訓練モジュール1340と、を含んでもよい。
サンプル取得モジュール1310は、ターゲットサービスシナリオにおける第1系列サンプルを取得し、前記第1系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる。
状態決定モジュール1320は、前記第1系列サンプルのラベル状態を決定し、前記第1系列サンプルのラベル状態は、前記第1系列サンプルのラベル情報の具備状況を示すためのものである。
モデル構築モジュール1330は、前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築し、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである。
モデル訓練モジュール1340は、前記第1系列サンプルを用いて、前記系列マイニングモデルを訓練する。
ここで、前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記第1系列サンプルにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
任意選択的に、前記ラベル状態は、前記第1系列サンプルにラベル情報が存在しないことであり、前記系列マイニングモデルは、前記第1サブモデルと、前記第2サブモデルとを含み、図14に示すように、前記モデル訓練モジュール1340は、前記第1系列サンプルを用いて、前記第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する事前訓練サブモジュール1342と、前記事前訓練された第1サブモデルによって前記第1系列サンプルを処理することにより、前記第1系列サンプルの潜在ベクトル表現を取得する第1潜在ベクトル抽出サブモジュール1344と、前記第1系列サンプルと、前記第1系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第1サブモデルと、前記第2サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得する第1モデル訓練サブモジュール1346と、を含む。
任意選択的に、前記ラベル状態は、前記第1系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第2系列サンプルの数が第3系列サンプルの数よりも大きいことであり、図14に示すように、前記第2系列サンプルは、前記第1系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、前記第3系列サンプルは、前記第1系列サンプルのうち、ラベル情報が存在しない系列サンプルを指し、前記系列マイニングモデルは、前記第1サブモデルと、前記第3サブモデルとを含み、前記モデル訓練モジュール1340は、前記第1系列サンプルを用いて、前記第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する事前訓練サブモジュール1342と、前記事前訓練された第1サブモデルによって前記第2系列サンプルを処理することにより、前記第2系列サンプルの潜在ベクトル表現を取得する第2潜在ベクトル抽出サブモジュール134Aと、前記第2系列サンプルと、前記第2系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第1サブモデルと、前記第3サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得する第2モデル訓練サブモジュール134Cと、を含む。
任意選択的に、前記ラベル状態は、前記第1系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第2系列サンプルの数が第3系列サンプルの数よりも小さいことであり、前記第2系列サンプルは、前記第1系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、前記第3系列サンプルは、前記第1系列サンプルのうち、ラベル情報が存在しない系列サンプルを指し、前記系列マイニングモデルは、前記第1サブモデルと、前記第2サブモデルと、前記第3サブモデルとを含み、図14に示すように、前記モデル訓練モジュール1340は、前記第1系列サンプルを用いて、前記第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する事前訓練サブモジュール1342と、前記事前訓練された第1サブモデルによって前記第2系列サンプルを処理することにより、前記第2系列サンプルの潜在ベクトル表現を取得する第3潜在ベクトル抽出サブモジュール134Bと、前記第2系列サンプルと、前記第2系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第1サブモデルと、前記第3サブモデルとを共同訓練することにより、共同訓練された第1サブモデルを取得する第3モデル訓練サブモジュール134Dと、前記共同訓練された第1サブモデルによって前記第3系列サンプルを処理することにより、前記第3系列サンプルの潜在ベクトル表現を取得する第4潜在ベクトル抽出サブモジュール134Fと、前記第3系列サンプルと、前記第3系列サンプルの潜在ベクトル表現とを用いて、前記共同訓練された第1サブモデルと、前記第2サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得する第4モデル訓練サブモジュール134Hと、を含む。
任意選択的に、前記第1サブモデルは、潜在ベクトル抽出ユニットと、再構成ユニットとを含み、図14に示すように、前記事前訓練サブモジュール1342は、前記潜在ベクトル抽出ユニットによって前記第1系列サンプルを処理することにより、前記第1系列サンプルの潜在ベクトル表現を取得する潜在ベクトル抽出ユニット13422と、前記再構成ユニットによって前記第1系列サンプルの潜在ベクトル表現を処理することにより、再構成された第1系列サンプルを取得するデータ再構成ユニット13424と、前記第1系列サンプルと前記再構成された第1系列サンプルとに基づいて、第1損失関数の値を計算する第1関数計算ユニットであって、前記第1損失関数は、前記第1サブモデルに対応する損失関数を指す、第1関数計算ユニット13426と、前記第1損失関数の値に基づいて、前記第1サブモデルのパラメータを調整することにより、前記事前訓練された第1サブモデルを取得する第1モデル訓練ユニット13428と、を含む。
任意選択的に、前記潜在ベクトル抽出ユニットは、マッピングサブユニットと、次元削減サブユニットと、再帰サブユニットとを含み、図14に示すように、前記潜在ベクトル抽出ユニット13422は、前記マッピングサブユニットによって前記第1系列サンプルの特徴情報を取得することにより、前記第1系列サンプルの特徴情報表現を取得し、前記次元削減サブユニットによって前記第1系列サンプルの特徴情報表現に対して次元削減処理を行うことにより、前記第1系列サンプルの次元削減特徴情報を取得し、前記再帰サブユニットによって前記第1系列サンプルの次元削減特徴情報の系列間のステップ長跨りの変化法則を学習することにより、前記第1系列サンプルの潜在ベクトル表現を取得する。
任意選択的に、図14に示すように、前記装置1300は、前記第1系列サンプルの静的特徴を取得する特徴取得モジュール1348と、前記第1系列サンプルの静的特徴と、前記第1系列サンプルの潜在ベクトル表現とに基づいて、前記第1系列サンプルの最適化ベクトル表現を取得するベクトル最適化モジュール1349と、をさらに含み、前記第1系列サンプルの最適化ベクトル表現は、前記事前訓練された第1サブモデルと、前記第2サブモデルとを共同訓練するためのものである。
任意選択的に、図14に示すように、前記ベクトル最適化モジュール1349は、前記第1系列サンプルの静的特徴に対して正則化処理を行うことにより、正則化処理後の静的特徴を取得し、前記第1系列サンプルの潜在ベクトル表現に対して正規化処理を行うことにより、正規化処理後の潜在ベクトル表現を取得し、前記正則化処理後の静的特徴と、前記正規化処理後の潜在ベクトル表現とを組み合わせることにより、前記第1系列サンプルの最適化ベクトル表現を取得する。
任意選択的に、図14に示すように、前記第1モデル訓練サブモジュール1346は、第1損失関数の値及び第2損失関数の値を計算する第2関数計算ユニットであって、前記第1損失関数は、前記第1サブモデルの損失関数を指し、前記第2損失関数は、前記第2サブモデルの損失関数を指す、第2関数計算ユニット13462と、前記第1損失関数の値と、前記第2損失関数の値と、重み係数の設定とに基づいて、前記系列マイニングモデルの損失関数の値を計算する第3関数計算ユニットであって、前記重み係数の設定は、前記第1損失関数の重み及び前記第2損失関数の重みに対する設定を指す、第3関数計算ユニット13464と、前記系列マイニングモデルの損失関数の値に基づいて、前記系列マイニングモデルのパラメータを調整することにより、前記系列マイニングモデルを取得する第2モデル訓練ユニット13466と、を含む。
任意選択的に、図14に示すように、前記第2関数計算ユニット13462は、前記第1系列サンプルのk個(前記kは、正の整数)のクラスを決定し、前記k個のクラスに基づいて、前記第2サブモデルによってk個のクラスター中心を初期化し、前記第1系列サンプルから前記k個のクラスター中心までの距離を計算することにより、サンプル確率分布を取得し、前記サンプル確率分布に基づいて、シミュレーションサンプル確率分布を計算し、前記サンプル確率分布と前記シミュレーションサンプル確率分布との相対エントロピーを前記第2損失関数の値として決定し、前記サンプル確率分布は、前記第1系列サンプルが前記k個のクラスのそれぞれに属する確率を示すためのものであり、前記シミュレーションサンプル確率分布は、前記第1系列サンプルにラベル情報が存在する場合、前記第1系列サンプルが前記k個のクラスのそれぞれに属する確率を示すためのものである。
以上をまとめると、本願の実施例で提供される構成によれば、系列マイニングフレームが提供されている。実際の適用では、ターゲットサービスシナリオにおける系列サンプルを取得し、該系列サンプルのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築し、次に、該系列サンプルを用いて、系列マイニングモデルを訓練することにより、訓練された系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を判断するために用いることができる。そして、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに汎用することができる。該系列マイニングフレームには、少なくとも1つのサブモデルが含まれる。異なるサービスシナリオにおける過去系列データの異なるラベル状態に対しては、系列マイニングフレームから対応するサブモデルを選択して、系列マイニングモデルを構築することができる。また、関連技術では、構造が固定された単一モデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおける一部の過去系列データが使用できないことを引き起こす恐れがある。例えば、関連技術では、教師なしクラスタリングモデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおけるラベル情報が存在する過去系列データが使用できないことを引き起こして、リソース浪費の問題を発生させる恐れがある。これに比べて、本願の実施例で提供される構成では、過去系列データの異なるラベル状態に対して、異なるサブモデルを用いて訓練を行うことができる。これにより、サービスシナリオにおける全ての過去系列データが十分に利用され、リソース利用率が向上する。また、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける全ての過去系列データに基づいて、系列マイニングモデルを十分に訓練することができるため、該系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させる。
図15を参照する。図15は、本願の一実施例で提供される系列データの処理装置のブロック図を示す。該装置は、上記の系列データの処理方法の例を実現する機能を有する。前記機能は、ハードウェアによって実現されてもよいし、ハードウェアで相応のソフトウェアを実行することによって実現されてもよい。該装置は、コンピュータ機器であってもよいし、コンピュータ機器内に設けられてもよい。該装置1500は、データ取得モジュール1510と、モデル呼び出しモジュール1520と、ラベル決定モジュール1530と、を含んでもよい。
データ取得モジュール1510は、ターゲットサービスシナリオの系列データを取得する。
モデル呼び出しモジュール1520は、前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出し、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである。
ラベル決定モジュール1530は、前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得する。
ここで、前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記第1系列サンプルにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
以上をまとめると、本願の実施例で提供される構成では、ターゲットサービスシナリオの系列データを取得し、次に、ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出して、系列データを処理することにより、系列データのラベル情報を取得する。これにより、系列データのラベル情報を決定する方式が提供される。また、本願の実施例で提供される構成において、系列マイニングモデルは、ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームから対応するサブモデルを選択して構築されたものである。このため、系列マイニングモデルは、ターゲットサービスシナリオに合致することができ、系列データのラベル情報を決定する正確さを向上させる。また、具体的なサービスシナリオに対して単一の系列マイニングモデルを開発することしかできない従来技術に比べて、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに対して異なる構成の系列マイニングモデルを構築することができ、高い汎用性を有する。
説明すべきものとして、上記実施例で提供される装置は、その機能を実現する際に、上記の各機能モジュールの分割のみを例として説明されているが、実際の適用では、必要に応じて、上記の機能を異なる機能モジュールに割り当てて完了し、即ち、機器の内部構成を異なる機能モジュールに分割して、以上に説明した全部又は一部の機能を完了してもよい。また、上記実施例で提供される装置は、方法の実施例と同一の構想に属し、その具体的な実現過程の詳細は、方法の実施例を参照するが、ここでは、これ以上の説明を省略する。
図16を参照する。図16は、本願の実施例で提供されるコンピュータ機器の構成のブロック図である。該コンピュータ機器は、上記の系列マイニングモデルの訓練方法の例、又は上記の系列データの処理方法の例の機能を実現するために用いることができる。具体的には、
該コンピュータ機器1600は、処理ユニット(例えば、中央処理装置(CPU:Central Processing Unit)、グラフィックス処理ユニット(GPU:Graphics Processing Unit)、及びフィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)など)1601と、ランダムアクセスメモリ(RAM:Random-Access Memory)1602及び読み出し専用メモリ(ROM:Read-Only Memory)1603を含むシステムメモリ1604と、システムメモリ1604及び中央処理装置1601を接続するシステムバス1605と、を備える。該コンピュータ機器1600は、コンピュータ機器内の各デバイス間の情報伝送を助ける基本入出力システム(I/Oシステム:Input Output System)1606と、オペレーティングシステム1613、アプリケーションプログラム1614、及び他のプログラムモジュール1615を記憶するための大容量記憶装置1607と、をさらに備える。
該基本入出力システム1606は、情報を表示するためのディスプレイ1608と、ユーザが情報を入力するためのマウスやキーボードのような入力デバイス1609とを含む。ここで、該ディスプレイ1608及び入力デバイス1609は、いずれも、システムバス1605に接続された入出力コントローラ1610を介して、中央処理装置1601に接続される。該基本入出力システム1606は、入出力コントローラ1610をさらに含んでもよい。これにより、キーボード、マウス、又は電子スタイラスなどの複数の他のデバイスからの入力を受け付けて処理する。同様に、入出力コントローラ1610は、ディスプレイ、プリンタ、又は他のタイプの出力デバイスに出力を提供する。
該大容量記憶装置1607は、システムバス1605に接続された大容量記憶コントローラ(図示されない)を介して、中央処理装置1601に接続される。該大容量記憶装置1607及びそれに関連するコンピュータ可読媒体は、コンピュータ機器1600に不揮発性記憶を提供する。つまり、該大容量記憶装置1607は、ハードディスクやコンパクトディスク読み出し専用メモリ(CD-ROM:Compact Disc Read-Only Memory)ドライバーのようなコンピュータ可読媒体(図示されない)を含んでもよい。
一般性を失うことなく、該コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含んでもよい。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどのような情報を記憶するための任意の方法又は技術で実現される揮発性及び不揮発性、移動可能及び移動不可な媒体を含む。コンピュータ記憶媒体は、RAM、ROM、消去可能なプログラマブル読み出し専用メモリ(EPROM:Erasable Programmable Read-Only Memory)、電気的に消去可能なプログラマブル読み出し専用メモリ(EEPROM:Electrically Erasable Programmable Read-Only Memory)、フラッシュメモリ、又は他のソリッドステート記憶技術、CD-ROM、デジタルビデオディスク(DVD:Digital Video Disc)、又は他の光学ストレージ、テープカセット、テープ、磁気ディスクストレージ、又は他の磁気記憶装置を含む。もちろん、当業者は、該コンピュータ記憶媒体が上記のものに限定されないことを知っている。上記のシステムメモリ1604及び大容量記憶装置1607は、メモリと総称することができる。
本願の実施例によれば、該コンピュータ機器1600は、インターネットなどのようなネットワークを介してネットワーク上のリモートコンピュータに接続されて動作してもよい。つまり、コンピュータ機器1600は、該システムバス1605に接続されたネットワークインタフェースユニット1611を介して、ネットワーク1612に接続してもよく、又は、ネットワークインタフェースユニット1611を用いて、他のタイプのネットワーク又はリモートコンピュータシステム(図示されない)に接続してもよい。
該メモリには、少なくとも1つの命令、少なくとも1つのプログラム、コードセット又は命令セットがさらに含まれる。該少なくとも1つの命令、少なくとも1つのプログラム、コードセット又は命令セットは、メモリに記憶され、1つ又は複数のプロセッサによって実行されると、上記の系列マイニングモデルの訓練方法、又は上記の系列データの処理方法を実現させるように構成される。
例示的な実施例では、少なくとも1つの命令、少なくとも1つのプログラム、コードセット又は命令セットを記憶したコンピュータ可読記憶媒体がさらに提供されている。前記少なくとも1つの命令、前記少なくとも1つのプログラム、前記コードセット又は命令セットは、プロセッサによりロードされて実行されると、上記の系列マイニングモデルの訓練方法、又は上記の系列データの処理方法を実現させる。
任意選択的に、該コンピュータ可読記憶媒体は、読み出し専用メモリ(ROM:Read Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、ソリッドステートドライブ(SSD:Solid State Drives)、又は光ディスクなどを含んでもよい。ここで、ランダムアクセスメモリは、抵抗変化型ランダムアクセスメモリ(ReRAM:Resistance Random Access Memory)やダイナミックランダムアクセスメモリ(DRAM:Dynamic Random Access Memory)を含んでもよい。
例示的な実施例では、コンピュータプログラム製品がさらに提供されている。前記コンピュータプログラム製品は、コンピュータ機器上で実行されると、上記の系列マイニングモデルの訓練方法、又は上記の系列データの処理方法をコンピュータ機器に実現させる。
理解すべきものとして、本明細書で言及される「複数」は、2つ以上を意味する。「及び/又は」は、関連対象の関連関係を記述するものであり、3種類の関係が存在し得ることを表す。例えば、A及び/又はBは、Aが単独で存在すること、A及びBが同時に存在すること、Bが単独で存在することの3種類の場合を表すことができる。符号「/」は、一般的に、前後の関連対象に「又は」という関係があることを表す。また、本明細書に記載のステップの番号は、ステップ間の可能な実行順序の一例を例示的に示すものに過ぎない。他のいくつかの実施例では、上記ステップがこの番号の順序で実行されなくてもよく、例えば、番号の異なる2つのステップが同時に実行されたり、番号の異なる2つのステップが図示と逆の順序で実行されたりしてもよい。本願の実施例はこれを限定しない。
上記は、本願の例示的な実施例に過ぎず、本願を制限するものではない。本願の精神および原則内で行われる種々の修正、均等置換え、改善などは全て本願の保護範囲内に含まれるべきである。
10 第1コンピュータ機器
20 第2コンピュータ機器
410 潜在ベクトル抽出ユニット
412 マッピングサブユニット
414 次元削減サブユニット
416 再帰サブユニット
420 再構成ユニット
1300 装置
1310 サンプル取得モジュール
1320 状態決定モジュール
1330 モデル構築モジュール
1340 モデル訓練モジュール
1342 事前訓練サブモジュール
13422 潜在ベクトル抽出ユニット
13424 データ再構成ユニット
13426 第1関数計算ユニット
13428 第1モデル訓練ユニット
1344 第1潜在ベクトル抽出サブモジュール
1346 第1モデル訓練サブモジュール
13462 第2関数計算ユニット
13464 第3関数計算ユニット
13466 第2モデル訓練ユニット
1348 特徴取得モジュール
1349 ベクトル最適化モジュール
1349 ベクトル最適化モジュール
1500 装置
1510 データ取得モジュール
1520 モデル呼び出しモジュール
1530 ラベル決定モジュール
1600 コンピュータ機器
1601 中央処理装置
1602 ランダムアクセスメモリ(RAM:Random-Access Memory)
1603 読み出し専用メモリ(ROM:Read-Only Memory)
1604 システムメモリ
1605 システムバス
1606 基本入出力システム
1607 大容量記憶装置
1608 ディスプレイ
1609 入力デバイス
1610 入出力コントローラ
1611 ネットワークインタフェースユニット
1612 ネットワーク
1613 オペレーティングシステム
1614 アプリケーションプログラム
1615 プログラムモジュール

Claims (17)

  1. 列マイニングモデルの訓練装置の動作方法であって、
    前記訓練装置は、
    サンプル取得モジュールと、
    状態決定モジュールと、
    モデル構築モジュールと、
    モデル訓練モジュールと、
    を具備し、前記方法は、
    前記サンプル取得モジュールが、ターゲットサービスシナリオにおける第1系列サンプルを取得するステップであって、前記第1系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる、ステップと、
    前記状態決定モジュールが、前記第1系列サンプルのラベル状態を決定するステップであって、前記第1系列サンプルのラベル状態は、前記第1系列サンプルのラベル情報の具備状況を示すためのものである、ステップと、
    前記モデル構築モジュールが、前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築するステップであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである、ステップと、
    前記モデル訓練モジュールが、前記第1系列サンプルを用いて、前記系列マイニングモデルを訓練するステップと、
    を含み、
    前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記第1系列サンプルにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む、方法。
  2. 前記ラベル状態は、前記第1系列サンプルにラベル情報が存在しないことであり、前記系列マイニングモデルは、前記第1サブモデルと、前記第2サブモデルとを含み、
    前記第1系列サンプルを用いて、前記系列マイニングモデルを訓練する前記ステップは、
    前記第1系列サンプルを用いて、前記第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得するステップと、
    前記事前訓練された第1サブモデルによって前記第1系列サンプルを処理することにより、前記第1系列サンプルの潜在ベクトル表現を取得するステップと、
    前記第1系列サンプルと、前記第1系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第1サブモデルと、前記第2サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得するステップと、
    を含む、
    請求項1に記載の方法。
  3. 前記ラベル状態は、前記第1系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第2系列サンプルの数が第3系列サンプルの数よりも大きいことであり、前記第2系列サンプルは、前記第1系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、前記第3系列サンプルは、前記第1系列サンプルのうち、ラベル情報が存在しない系列サンプルを指し、前記系列マイニングモデルは、前記第1サブモデルと、前記第3サブモデルとを含み、
    前記第1系列サンプルを用いて、前記系列マイニングモデルを訓練する前記ステップは、
    前記第1系列サンプルを用いて、前記第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得するステップと、
    前記事前訓練された第1サブモデルによって前記第2系列サンプルを処理することにより、前記第2系列サンプルの潜在ベクトル表現を取得するステップと、
    前記第2系列サンプルと、前記第2系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第1サブモデルと、前記第3サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得するステップと、
    を含む、
    請求項1に記載の方法。
  4. 前記ラベル状態は、前記第1系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第2系列サンプルの数が第3系列サンプルの数よりも小さいことであり、前記第2系列サンプルは、前記第1系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、前記第3系列サンプルは、前記第1系列サンプルのうち、ラベル情報が存在しない系列サンプルを指し、前記系列マイニングモデルは、前記第1サブモデルと、前記第2サブモデルと、前記第3サブモデルとを含み、
    前記第1系列サンプルを用いて、前記系列マイニングモデルを訓練する前記ステップは、
    前記第1系列サンプルを用いて、前記第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得するステップと、
    前記事前訓練された第1サブモデルによって前記第2系列サンプルを処理することにより、前記第2系列サンプルの潜在ベクトル表現を取得するステップと、
    前記第2系列サンプルと、前記第2系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第1サブモデルと、前記第3サブモデルとを共同訓練することにより、共同訓練された第1サブモデルを取得するステップと、
    前記共同訓練された第1サブモデルによって前記第3系列サンプルを処理することにより、前記第3系列サンプルの潜在ベクトル表現を取得するステップと、
    前記第3系列サンプルと、前記第3系列サンプルの潜在ベクトル表現とを用いて、前記共同訓練された第1サブモデルと、前記第2サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得するステップと、
    を含む、
    請求項1に記載の方法。
  5. 前記第1サブモデルは、潜在ベクトル抽出ユニットと、再構成ユニットとを含み、
    前記第1系列サンプルを用いて、前記第1サブモデルを事前訓練することにより、事前訓練された第1サブモデルを取得する前記ステップは、
    前記潜在ベクトル抽出ユニットによって前記第1系列サンプルを処理することにより、前記第1系列サンプルの潜在ベクトル表現を取得するステップと、
    前記再構成ユニットによって前記第1系列サンプルの潜在ベクトル表現を処理することにより、再構成された第1系列サンプルを取得するステップと、
    前記第1系列サンプルと、前記再構成された第1系列サンプルとに基づいて、第1損失関数の値を計算するステップであって、前記第1損失関数は、前記第1サブモデルに対応する損失関数を指す、ステップと、
    前記第1損失関数の値に基づいて、前記第1サブモデルのパラメータを調整することにより、前記事前訓練された第1サブモデルを取得するステップと、
    を含む、
    請求項2乃至4のいずれか1項に記載の方法。
  6. 前記潜在ベクトル抽出ユニットは、マッピングサブユニットと、次元削減サブユニットと、再帰サブユニットとを含み、
    前記潜在ベクトル抽出ユニットによって前記第1系列サンプルを処理することにより、前記第1系列サンプルの潜在ベクトル表現を取得する前記ステップは、
    前記マッピングサブユニットによって前記第1系列サンプルの特徴情報を取得することにより、前記第1系列サンプルの特徴情報表現を取得するステップと、
    前記次元削減サブユニットによって前記第1系列サンプルの特徴情報表現に対して次元削減処理を行うことにより、前記第1系列サンプルの次元削減特徴情報を取得するステップと、
    前記再帰サブユニットによって前記第1系列サンプルの次元削減特徴情報の系列間のステップ長跨りの変化法則を学習することにより、前記第1系列サンプルの潜在ベクトル表現を取得するステップと、
    を含む、
    請求項5に記載の方法。
  7. 前記事前訓練された第1サブモデルによって前記第1系列サンプルを処理することにより、前記第1系列サンプルの潜在ベクトル表現を取得する前記ステップの後、
    前記第1系列サンプルの静的特徴を取得するステップと、
    前記第1系列サンプルの静的特徴と、前記第1系列サンプルの潜在ベクトル表現とに基づいて、前記第1系列サンプルの最適化ベクトル表現を取得するステップと、
    をさらに含み、
    前記第1系列サンプルの最適化ベクトル表現は、前記事前訓練された第1サブモデルと、前記第2サブモデルとを共同訓練するためのものである、
    請求項2に記載の方法。
  8. 前記第1系列サンプルの静的特徴と、前記第1系列サンプルの潜在ベクトル表現とに基づいて、前記第1系列サンプルの最適化ベクトル表現を取得する前記ステップは、
    前記第1系列サンプルの静的特徴に対して正則化処理を行うことにより、正則化処理後の静的特徴を取得するステップと、
    前記第1系列サンプルの潜在ベクトル表現に対して正規化処理を行うことにより、正規化処理後の潜在ベクトル表現を取得するステップと、
    前記正則化処理後の静的特徴と、前記正規化処理後の潜在ベクトル表現とを組み合わせることにより、前記第1系列サンプルの最適化ベクトル表現を取得するステップと、
    を含む、
    請求項7に記載の方法。
  9. 前記第1系列サンプルと、前記第1系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第1サブモデルと、前記第2サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得する前記ステップは、
    第1損失関数の値及び第2損失関数の値を計算するステップであって、前記第1損失関数は、前記第1サブモデルの損失関数を指し、前記第2損失関数は、前記第2サブモデルの損失関数を指す、ステップと、
    前記第1損失関数の値と、前記第2損失関数の値と、重み係数の設定とに基づいて、前記系列マイニングモデルの損失関数の値を計算するステップであって、前記重み係数の設定は、前記第1損失関数の重み及び前記第2損失関数の重みに対する設定を指す、ステップと、
    前記系列マイニングモデルの損失関数の値に基づいて、前記系列マイニングモデルのパラメータを調整することにより、前記系列マイニングモデルを取得するステップと、
    を含む、
    請求項2に記載の方法。
  10. 第2損失関数の値を計算する前記ステップは、
    前記第1系列サンプルのk個(前記kは、正の整数)のクラスを決定するステップと、
    前記k個のクラスに基づいて、前記第2サブモデルによってk個のクラスター中心を初期化するステップと、
    前記第1系列サンプルから前記k個のクラスター中心までの距離を計算することにより、サンプル確率分布を取得するステップであって、前記サンプル確率分布は、前記第1系列サンプルが前記k個のクラスのそれぞれに属する確率を示すためのものである、ステップと、
    前記サンプル確率分布に基づいて、シミュレーションサンプル確率分布を計算するステップであって、前記シミュレーションサンプル確率分布は、前記第1系列サンプルにラベル情報が存在する場合、前記第1系列サンプルが前記k個のクラスのそれぞれに属する確率を示すためのものである、ステップと、
    前記サンプル確率分布と前記シミュレーションサンプル確率分布との相対エントロピーを前記第2損失関数の値として決定するステップと、
    を含む、
    請求項9に記載の方法。
  11. 列データの処理装置の動作方法であって、
    前記処理装置は、
    データ取得モジュールと、
    モデル呼び出しモジュールと、
    ラベル決定モジュールと、
    を具備し、前記方法は、
    前記データ取得モジュールが、ターゲットサービスシナリオの系列データを取得するステップと、
    前記モデル呼び出しモジュールが、前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出すステップであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである、ステップと、
    前記ラベル決定モジュールが、前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得するステップと、
    を含み、
    前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記系列データにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記系列データに少なくとも部分的にラベル情報が存在することである、ことを含む、方法。
  12. 系列マイニングモデルの訓練装置であって、
    ターゲットサービスシナリオにおける第1系列サンプルを取得するサンプル取得モジュールであって、前記第1系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる、サンプル取得モジュールと、
    前記第1系列サンプルのラベル状態を決定する状態決定モジュールであって、前記第1系列サンプルのラベル状態は、前記第1系列サンプルのラベル情報の具備状況を示すためのものである、状態決定モジュールと、
    前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築するモデル構築モジュールであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである、モデル構築モジュールと、
    前記第1系列サンプルを用いて、前記系列マイニングモデルを訓練するモデル訓練モジュールと、
    を含み、
    前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記第1系列サンプルにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記第1系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む、装置。
  13. 系列データの処理装置であって、
    ターゲットサービスシナリオの系列データを取得するデータ取得モジュールと、
    前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出すモデル呼び出しモジュールであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである、モデル呼び出しモジュールと、
    前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得するラベル決定モジュールと、
    を含み、
    前記系列マイニングフレームは、第1サブモデルと、第2サブモデルと、第3サブモデルとを含み、前記第1サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第2サブモデルは、前記ラベル状態が第1条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第1条件は、前記ラベル状態が、前記系列データにラベル情報が存在しないことである、ことを含み、前記第3サブモデルは、前記ラベル状態が第2条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第2条件は、前記ラベル状態が、前記系列データに少なくとも部分的にラベル情報が存在することである、ことを含む、装置。
  14. プロセッサとメモリとを備えるコンピュータ機器であって、前記メモリには、少なくとも1つの命令、少なくとも1つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも1つの命令、前記少なくとも1つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行されると、請求項1乃至10のいずれか1項に記載の系列マイニングモデルの訓練装置の動作方法を実現させる、コンピュータ機器。
  15. プロセッサとメモリとを備えるコンピュータ機器であって、前記メモリには、少なくとも1つの命令、少なくとも1つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも1つの命令、前記少なくとも1つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行されると、請求項11に記載の系列データの処理装置の動作方法を実現させる、コンピュータ機器。
  16. 請求項1乃至10のいずれか1項に記載の系列マイニングモデルの訓練装置の動作法をコンピュータに実現させるコンピュータプログラム。
  17. 請求項11に記載の系列データの処理装置の動作方法をコンピュータに実現させるコンピュータプログラム。
JP2022524007A 2020-02-18 2020-11-02 系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム Active JP7403909B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010099547.7 2020-02-18
CN202010099547.7A CN111352965B (zh) 2020-02-18 2020-02-18 序列挖掘模型的训练方法、序列数据的处理方法及设备
PCT/CN2020/125898 WO2021164317A1 (zh) 2020-02-18 2020-11-02 序列挖掘模型的训练方法、序列数据的处理方法及设备

Publications (2)

Publication Number Publication Date
JP2023500222A JP2023500222A (ja) 2023-01-05
JP7403909B2 true JP7403909B2 (ja) 2023-12-25

Family

ID=71194077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022524007A Active JP7403909B2 (ja) 2020-02-18 2020-11-02 系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム

Country Status (4)

Country Link
US (1) US20220215298A1 (ja)
JP (1) JP7403909B2 (ja)
CN (1) CN111352965B (ja)
WO (1) WO2021164317A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352965B (zh) * 2020-02-18 2023-09-08 腾讯科技(深圳)有限公司 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN112836101A (zh) * 2021-03-30 2021-05-25 中国工商银行股份有限公司 处理数据的方法、装置、设备、介质和产品
CN113360656A (zh) * 2021-06-29 2021-09-07 未鲲(上海)科技服务有限公司 异常数据检测方法、装置、设备及存储介质
CN113987910A (zh) * 2021-09-18 2022-01-28 国网江苏省电力有限公司信息通信分公司 一种耦合神经网络与动态时间规划的居民负荷辨识方法及装置
CN115879524A (zh) * 2021-09-27 2023-03-31 华为技术有限公司 一种模型训练方法及其相关设备
US11599972B1 (en) * 2021-12-22 2023-03-07 Deep Render Ltd. Method and system for lossy image or video encoding, transmission and decoding
CN114462502B (zh) * 2022-01-06 2024-07-12 支付宝(杭州)信息技术有限公司 一种核身推荐模型训练方法及装置
CN114140127B (zh) * 2022-01-27 2022-05-13 广州卓远虚拟现实科技有限公司 一种基于区块链的支付处理方法及系统
CN115327934B (zh) * 2022-07-22 2024-09-24 青岛海尔科技有限公司 智能家居场景推荐方法、系统、存储介质及电子装置
CN116192538B (zh) * 2023-04-28 2023-07-11 北京源堡科技有限公司 基于机器学习的网络安全评估方法、装置、设备及介质
CN117312388B (zh) * 2023-10-08 2024-03-19 江苏泰赋星信息技术有限公司 一种人工智能模型控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016525239A (ja) 2013-06-24 2016-08-22 サイランス・インコーポレイテッドCylance Inc. 機械学習を使用した生成的マルチモデルマルチクラス分類および類似度分析のための自動システム
WO2018134964A1 (ja) 2017-01-20 2018-07-26 楽天株式会社 画像検索システム、画像検索方法およびプログラム
WO2019097784A1 (ja) 2017-11-16 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689419B2 (en) * 2005-09-22 2010-03-30 Microsoft Corporation Updating hidden conditional random field model parameters after processing individual training samples
US9792560B2 (en) * 2015-02-17 2017-10-17 Microsoft Technology Licensing, Llc Training systems and methods for sequence taggers
US9875736B2 (en) * 2015-02-19 2018-01-23 Microsoft Technology Licensing, Llc Pre-training and/or transfer learning for sequence taggers
US10628506B2 (en) * 2017-02-17 2020-04-21 Microsoft Technology Licensing, Llc Using log data to train for automated sourcing
US10719780B2 (en) * 2017-03-31 2020-07-21 Drvision Technologies Llc Efficient machine learning method
CN109034201B (zh) * 2018-06-26 2022-02-01 创新先进技术有限公司 模型训练及规则挖掘方法和系统
CN108960316B (zh) * 2018-06-27 2020-10-30 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110209807A (zh) * 2018-07-03 2019-09-06 腾讯科技(深圳)有限公司 一种事件识别的方法、模型训练的方法、设备及存储介质
CN109359793B (zh) * 2018-08-03 2020-11-17 创新先进技术有限公司 一种针对新场景的预测模型训练方法及装置
CN109255477B (zh) * 2018-08-24 2022-07-01 国电联合动力技术有限公司 一种基于深度极限学习机的风速预测方法及其系统和机组
CN109583904B (zh) * 2018-11-30 2023-04-07 深圳市腾讯计算机系统有限公司 异常操作检测模型的训练方法、异常操作检测方法及装置
CN109933662B (zh) * 2019-02-15 2021-03-12 北京奇艺世纪科技有限公司 模型训练方法、信息生成方法、装置、电子设备和计算机可读介质
CN110084374A (zh) * 2019-04-24 2019-08-02 第四范式(北京)技术有限公司 构建基于pu学习的模型的方法、装置及预测方法、装置
CN110674854B (zh) * 2019-09-09 2022-05-17 东软集团股份有限公司 一种图像分类模型训练方法、图像分类方法、装置及设备
CN111352965B (zh) * 2020-02-18 2023-09-08 腾讯科技(深圳)有限公司 序列挖掘模型的训练方法、序列数据的处理方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016525239A (ja) 2013-06-24 2016-08-22 サイランス・インコーポレイテッドCylance Inc. 機械学習を使用した生成的マルチモデルマルチクラス分類および類似度分析のための自動システム
WO2018134964A1 (ja) 2017-01-20 2018-07-26 楽天株式会社 画像検索システム、画像検索方法およびプログラム
WO2019097784A1 (ja) 2017-11-16 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2023500222A (ja) 2023-01-05
CN111352965B (zh) 2023-09-08
WO2021164317A1 (zh) 2021-08-26
US20220215298A1 (en) 2022-07-07
CN111352965A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
JP7403909B2 (ja) 系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム
WO2022042002A1 (zh) 一种半监督学习模型的训练方法、图像处理方法及设备
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
WO2021063171A1 (zh) 决策树模型的训练方法、系统、存储介质及预测方法
KR102071582B1 (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
WO2019011093A1 (zh) 机器学习模型训练方法和装置、表情图像分类方法和装置
CN111667022A (zh) 用户数据处理方法、装置、计算机设备和存储介质
KR102548732B1 (ko) 신경망 학습 방법 및 이를 적용한 장치
CN116415654A (zh) 一种数据处理方法及相关设备
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
US11373117B1 (en) Artificial intelligence service for scalable classification using features of unlabeled data and class descriptors
Rivas Deep Learning for Beginners: A beginner's guide to getting up and running with deep learning from scratch using Python
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
US20230021551A1 (en) Using training images and scaled training images to train an image segmentation model
KR20210136706A (ko) 전자 장치 및 이의 제어 방법
CN114266897A (zh) 痘痘类别的预测方法、装置、电子设备及存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
WO2024175079A1 (zh) 一种模型的量化方法以及相关设备
CN117708698A (zh) 一种类别确定方法、装置、设备及存储介质
CN114565964B (zh) 情绪识别模型的生成方法、识别方法、装置、介质和设备
KR102609946B1 (ko) 프로그램 코드 처리 장치 및 방법
CN110414515A (zh) 基于信息融合处理的汉字图像识别方法、装置及存储介质
US20240062064A1 (en) Artificial Intelligence Computing Systems for Efficiently Learning Underlying Features of Data
CN117037230A (zh) 人脸识别方法、相关设备、存储介质及计算机程序产品
CN117172297A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7403909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150