JP7403909B2 - 系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム - Google Patents

系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム Download PDF

Info

Publication number
JP7403909B2
JP7403909B2 JP2022524007A JP2022524007A JP7403909B2 JP 7403909 B2 JP7403909 B2 JP 7403909B2 JP 2022524007 A JP2022524007 A JP 2022524007A JP 2022524007 A JP2022524007 A JP 2022524007A JP 7403909 B2 JP7403909 B2 JP 7403909B2
Authority
JP
Japan
Prior art keywords
model
sequence
sub
samples
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022524007A
Other languages
English (en)
Other versions
JP2023500222A (ja
Inventor
冶 陶
▲歡▼ 金
洪波 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2023500222A publication Critical patent/JP2023500222A/ja
Application granted granted Critical
Publication of JP7403909B2 publication Critical patent/JP7403909B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Finance (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Fuzzy Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本願は、２０２０年２月１８日に提出された、出願番号が第２０２０１００９９５４７．７号であり、発明の名称が「系列マイニングモデルの訓練方法、系列データの処理方法及び機器」である、中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。
本願の実施例は、人工知能及び機械学習の技術分野に関し、特に、系列マイニングモデルの訓練方法、系列データの処理方法及び機器に関する。
例えば、クレジットカード詐欺防止、サブ垢不正防止、羊毛党行為防止などのリスクマネジメントサービスシナリオでは、通常、膨大な系列データに直面する。膨大な系列データを処理することにより、「良い」長期的な行動パターンと「悪い」長期的な行動パターンをマイニングして区別することは、リスクマネジメントサービスシナリオにおいて特に重要である。
関連技術では、リスクマネジメントサービスシナリオにおける系列データのマイニングについて、教師あり学習方式が提供されている。まず、動的時間伸縮法（ＤＴＷ：Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）を利用して、全ての系列サンプルを伸縮して整列し、さらに、２つずつの系列サンプル間の類似度を計算し、系列間の類似度に基づいて、ｋ近傍法（ＫＮＮ：Ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）モデルを利用して、全ての系列サンプルを分類する。これにより、「良い」系列サンプルと「悪い」系列サンプルを区別することができる。
しかしながら、異なるリスクマネジメントサービスシナリオにおいて、系列サンプルのいずれにもラベルがあるわけではないため、関連技術で提供される構成は、ラベルがある系列サンプルを提供できるあるリスクマネジメントサービスシナリオのみに適用され、汎用性を有しない。
本願の実施例は、サービスシナリオにおける過去系列データを十分に利用して、リソース利用率を向上させるとともに、系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させることができる系列マイニングモデルの訓練方法、系列データの処理方法及び機器を提供する。その構成は、以下のとおりである。
一態様において、本願の実施例では、コンピュータ機器に適用される、系列マイニングモデルの訓練方法が提供されている。前記方法は、
ターゲットサービスシナリオにおける第１系列サンプルを取得するステップであって、前記第１系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる、ステップと、
前記第１系列サンプルのラベル状態を決定するステップであって、前記第１系列サンプルのラベル状態は、前記第１系列サンプルのラベル情報の具備状況を示すためのものである、ステップと、
前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築するステップであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである、ステップと、
前記第１系列サンプルを用いて、前記系列マイニングモデルを訓練するステップと、を含み、
前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記第１系列サンプルにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
他の態様において、本願の実施例では、コンピュータ機器に適用される、系列データの処理方法が提供されている。前記方法は、
ターゲットサービスシナリオの系列データを取得するステップと、
前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出すステップであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである、ステップと、
前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得するステップと、を含み、
前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記第１系列サンプルにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
別の態様において、本願の実施例では、系列マイニングモデルの訓練装置が提供されている。前記装置は、
ターゲットサービスシナリオにおける第１系列サンプルを取得するサンプル取得モジュールであって、前記第１系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる、サンプル取得モジュールと、
前記第１系列サンプルのラベル状態を決定する状態決定モジュールであって、前記第１系列サンプルのラベル状態は、前記第１系列サンプルのラベル情報の具備状況を示すためのものである、状態決定モジュールと、
前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築するモデル構築モジュールであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである、モデル構築モジュールと、
前記第１系列サンプルを用いて、前記系列マイニングモデルを訓練するモデル訓練モジュールと、を含み、
前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記第１系列サンプルにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
さらに他の態様において、本願の実施例では、系列データの処理装置が提供されている。前記装置は、
ターゲットサービスシナリオの系列データを取得するデータ取得モジュールと、
前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出すモデル呼び出しモジュールであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである、モデル呼び出しモジュールと、
前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得するラベル決定モジュールと、を含み、
前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記第１系列サンプルにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
さらに別の態様において、本願の実施例では、プロセッサとメモリとを備えるコンピュータ機器が提供されている。前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行されると、上記の系列マイニングモデルの訓練方法を実現させ、又は、上記の系列データの処理方法を実現させる。
さらに別の態様において、本願の実施例では、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットを記憶したコンピュータ可読記憶媒体が提供されている。前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、プロセッサによりロードされて実行されると、上記の系列マイニングモデルの訓練方法を実現させ、又は、上記の系列データの処理方法を実現させる。
さらに別の態様において、本願の実施例では、コンピュータプログラム製品が提供されている。前記コンピュータプログラム製品は、コンピュータ機器で実行されると、コンピュータ機器に、上記の系列マイニングモデルの訓練方法を実現させ、又は、上記の系列データの処理方法を実現させる。
本願の実施例で提供される構成によれば、系列マイニングフレームが提供されている。実際の適用では、ターゲットサービスシナリオにおける系列サンプルを取得し、該系列サンプルのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築し、次に、該系列サンプルを用いて、系列マイニングモデルを訓練することにより、訓練された系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を判断するために用いることができる。そして、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに汎用することができる。該系列マイニングフレームには、少なくとも１つのサブモデルが含まれる。異なるサービスシナリオにおける過去系列データの異なるラベル状態に対しては、系列マイニングフレームから対応するサブモデルを選択して、系列マイニングモデルを構築することができる。また、関連技術では、構造が固定された単一モデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおける一部の過去系列データが使用できないことを引き起こす恐れがある。例えば、関連技術では、教師なしクラスタリングモデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおけるラベル情報が存在する過去系列データが使用できないことを引き起こして、リソース浪費の問題を発生させる恐れがある。これに比べて、本願の実施例で提供される構成では、過去系列データの異なるラベル状態に対して、異なるサブモデルを用いて訓練を行うことができる。これにより、サービスシナリオにおける全ての過去系列データが十分に利用され、リソース利用率が向上する。また、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける全ての過去系列データに基づいて、系列マイニングモデルを十分に訓練することができるため、該系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させる。
本願の実施例の構成をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。
本願の一実施例で提供される実施環境の模式図である。 本願の一実施例で提供される系列マイニングモデルの訓練方法のフローチャートである。 本願の他の実施例で提供される系列マイニングモデルの訓練方法のフローチャートである。 本願の一実施例で提供される第１サブモデルの事前訓練方法のフローチャートである。 本願の一実施例で提供される第１サブモデルのブロック図である。 本願の一実施例で提供される最適化ベクトル表現の計算方法のフローチャートである。 本願の一実施例で提供される共同訓練方法のフローチャートである。 本願の別の実施例で提供される系列マイニングモデルの訓練方法のフローチャートである。 本願のさらに他の実施例で提供される系列マイニングモデルの訓練方法のフローチャートである。 本願の一実施例で提供される系列データの処理方法のフローチャートである。 本願の一実施例で提供される系列マイニングモデルの訓練方法及び系列データの処理方法のフローチャートである。 本願の一実施例で提供される系列マイニングフレームの模式図である。 本願の一実施例で提供される系列マイニングモデルの訓練装置のブロック図である。 本願の他の実施例で提供される系列マイニングモデルの訓練装置のブロック図である。 本願の一実施例で提供される系列データの処理装置のブロック図である。 本願の一実施例で提供されるコンピュータ機器の構成のブロック図である。
本願の目的、構成、及びメリットをより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳しく説明する。
人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、デジタルコンピュータ、又はデジタルコンピュータにより制御される機械を用いて、人間の知能のシミュレーション、延長や拡張をし、環境を感知し、知識を取得し、知識を用いて最適な結果を取得する理論、方法、技術、及び応用システムである。言い換えれば、人工知能は、コンピュータ科学の総合的な技術であり、知能の実質を了解することと、人間の知能に類似する方式で反応できる新たな知能機械を生産することとを図る。人工知能は、各種の知能機械の設計原理及び実現方法を研究し、感知、推理、及び意思決定の機能を機械に持たせるものである。
人工知能技術は、総合的な学科であり、関連する分野が幅広く、ハードウェアレベルの技術もソフトウェアレベルの技術もある。人工知能の基礎技術には、一般的に、例えば、センサ、人工知能専用チップ、クラウドコンピューティング、分散記憶、ビッグデータ処理技術、操作／インタラクティブシステム、メカトロニクスなどの技術が含まれる。人工知能のソフトウェア技術は、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術、及び機械学習／深層学習などのいくつかの方面を含む。
機械学習（ＭＬ：Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）は、分野を横断した学際的な学科であり、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの複数の学科に関し、コンピュータがどのように人間の学習行動を模倣又は実現して、新しい知識やスキルを取得し、既存の知識構造を改めて組織して自体の性能を持続的に改善するかを専門に研究する。機械学習は、人工知能のコアであり、コンピュータに知能を付与する根本的な手段であり、人工知能の各分野にわたって適用されている。機械学習及び深層学習は、通常、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納学習、教師あり学習などの技術を含む。
本願の実施例で提供される構成は、人工知能の機械学習／深層学習技術に関する。具体的には、以下の実施例で説明する。
図１を参照する。図１は、本願の一実施例で提供される実施環境の実施例を示す。該実施環境は、第１コンピュータ機器１０及び第２コンピュータ機器２０を含んでもよい。
コンピュータ機器は、データ分析処理機能及び記憶機能を有する機器を指し、例えば、データ記憶能力及び／又はデータ処理能力を有するパーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）及びサーバなどであり、又は、例えば、携帯電話、タブレットコンピュータ、マルチメディア再生機器、ウェアラブルデバイスなどの端末であり、他のコンピュータ機器であってもよい。本願の実施例は、これを限定しない。任意選択的に、コンピュータ機器がサーバである場合、該コンピュータ機器は、１台のサーバであってもよいし、複数台のサーバで構成されるサーバクラスタであってもよく、又は、クラウドコンピューティングサービスセンタであってもよい。
第１コンピュータ機器１０は、具体的なサービスシナリオにおいて、データの記憶及び伝送の機能を有するコンピュータ機器を指す。任意選択的に、１つの具体的なサービスシナリオは、１台の第１コンピュータ機器１０に対応してもよいし、複数台の第１コンピュータ機器１０に対応してもよい。本願の実施例において、第１コンピュータ機器１０は、それが適用される具体的なサービスシナリオにおける系列データを取得するとともに、系列データを記憶するか、又は、系列データを第２コンピュータ機器２０に送信し、第２コンピュータ機器２０によって系列データの分析処理を行うことができる。
第２コンピュータ機器２０は、データ分析処理機能を有し、系列データを処理することができる。任意選択的に、第２コンピュータ機器２０は、系列データに基づいて機械学習モデルを訓練し、及び／又は、機械学習モデルを呼び出して系列データのラベル情報を判断してもよい。任意選択的に、第２コンピュータ機器２０には、系列マイニングフレームが記憶される。ある具体的なサービスシナリオに対して、第２コンピュータ機器２０は、該系列マイニングフレームから一部又は全部のサブモデルを選択して、該具体的なサービスシナリオに対応する系列マイニングモデルを構成し、該具体的なサービスシナリオにおける過去系列データを用いて、該系列マイニングモデルを訓練することができる。これにより、訓練された系列マイニングモデルは、該具体的なサービスシナリオにおける系列データのラベル情報を判断するために用いることができる。
本願の実施例では、第１コンピュータ機器１０と第２コンピュータ機器２０とは、ネットワークを介して互いに通信することができる。該ネットワークは、有線ネットワークであってもよいし、無線ネットワークであってもよい。例示的には、第２コンピュータ機器２０は、第１コンピュータ機器１０から、ターゲットサービスシナリオにおける過去系列データを取得し、これらの過去系列データに基づいて系列サンプルを構成し、次に、該系列サンプルのラベル情報に基づいて、系列マイニングフレームから対応するサブモデルを選択して、系列マイニングモデルを構成し、続いて、系列サンプルを用いて、該系列マイニングモデルを訓練することができる。これにより、第２コンピュータ機器２０は、該系列マイニングモデルを呼び出して、該ターゲットサービスシナリオにおける系列データを処理することにより、該系列データのラベル情報を取得することができる。
図２を参照する。図２は、本願の一実施例で提供される系列マイニングモデルの訓練方法のフローチャートを示す。該方法は、上記に紹介されたコンピュータ機器に適用することができる。該方法は、以下のいくつかのステップ（２１０～２４０）を含んでもよい。
ステップ２１０では、ターゲットサービスシナリオにおける第１系列サンプルを取得する。
ターゲットサービスシナリオは、そのサービスシナリオにおける系列データのラベル情報を決定する必要があるサービスシナリオを指す。本願の実施例は、ターゲットサービスシナリオのタイプを限定しない。任意選択的に、ターゲットサービスシナリオは、金融取引サービスシナリオ（例えば、証券取引システムや通貨支払いシステム）、モノのインターネットサービスシナリオ（例えば、ウェアラブルデバイスやスマートホームシステム）、環境監視サービスシナリオ（例えば、湿度監視システムや空気粒子状物質監視システム）、医療スマートサービスシナリオ（例えば、身体重要指標追跡システムや健康状況監視システム）、及びイベントアプリケーションプログラム応用シナリオ（例えば、ユーザ情報管理システムや会員管理システム）などを含む。系列データは、時系列データとも呼ばれ、ターゲットサービスシナリオで異なる時間に収集されたデータを指し、ターゲットサービスシナリオで発生した現象が時間とともに変化する状況を記述するためのものである。例えば、ターゲットサービスシナリオが会員管理システムであると仮定すると、ユーザが該会員管理システムに対応するプラットフォームに会員アカウントを登録した後、その該プラットフォームにおける各行動は、いずれも系列データを形成し、該ユーザに対応する全ての系列データは、該ユーザが該プラットフォームに会員を登録した後の行動パターンを反映することができ、例えば、該ユーザが会員資格を用いて割引商品を購入する頻度を反映する。
第１系列サンプルは、系列マイニングモデルを訓練するためのサンプルを指す。本願の実施例において、第１系列サンプルは、ターゲットサービスシナリオにおける過去系列データを含む。任意選択的に、第１系列サンプルは、少なくとも１つの系列サンプルを含み、各系列サンプルそれぞれは、１つの過去系列データで構成されてもよいし、複数の過去系列データで構成されてもよい。本願の実施例は、これを限定しない。実際の適用では、コンピュータ機器の処理オーバーヘッドと、実際のサービスシナリオとを組み合わせて、第１系列サンプルにおける系列サンプルの数、及び系列サンプルの具体的な構成を決定することができる。
ステップ２２０では、第１系列サンプルのラベル状態を決定する。
第１系列サンプルのラベル状態は、第１系列サンプルのラベル情報の具備状況を示すためのものである。ここで、ラベル情報は、第１系列サンプルの特徴属性を反映するためのものである。本願の実施例において、ラベル情報の具体的な内容は、ターゲットサービスシナリオに基づいて決定される。任意選択的に、系列データのラベル情報の正確さに対する要求が低い場合、モデル訓練時間を短縮して、コンピュータ機器の処理オーバーヘッドを低減するために、ラベル情報は、「良い」及び「悪い」という２種類を含んでもよい。そのうち、「良い」は、ターゲットサービスシナリオの主なサービスと合致することを指し、「悪い」は、ターゲットサービスシナリオの主なサービスと乖離することを指す。例えば、ターゲットサービスシナリオがクレジットカード管理システムであると仮定すると、該ターゲットサービスシナリオにおいて、第１系列サンプルのラベル情報は、「良い」及び「悪い」を含んでもよい。そのうち、「良い」は、クレジットカードを正常に使用することを指し、「悪い」は、クレジットカードを異常に使用することを指す。該ターゲットサービスシナリオにおいて系列データのラベル情報の正確さに対する要求が高い場合、ラベル情報をさらに細分化してもよい。例えば、「悪い」を「資金洗浄」及び「詐欺」などに細分化する。
系列データは、生成されたときに、必ずしもラベル情報を有しないので、異なるサービスシナリオにおいて、系列データのラベル情報の具備状況は異なる可能性があり、そのため、異なるサービスシナリオに対応する第１系列サンプルのラベル状態も異なる可能性がある。本願の実施例は、ターゲットサービスシナリオにおける第１系列サンプルのラベル状態を限定しない。任意選択的に、ターゲットサービスシナリオにおいて、第１系列サンプルのラベル状態は、第１系列サンプルのいずれにもラベル情報が存在しないことであってもよいし、第１系列サンプルの一部にラベル情報が存在し、一部にラベル情報が存在しないことであってもよい。
ステップ２３０では、ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築する。
系列マイニングフレームは、異なるサービスシナリオに対して系列マイニングモデルを構築するためのものである。本願の実施例で提供される系列マイニングフレームは、複数のサブモデルを含み、コンピュータ機器は、第１系列サンプルのラベル状態、即ちターゲットサービスシナリオにおける過去系列データのラベル情報の具備状況に基づいて、系列マイニングフレームから少なくとも１つのサブモデルを選択して、系列マイニングモデルを構築することができる。本願の実施例は、複数のサブモデルを融合した系列マイニングフレームを提供することにより、異なるサービスシナリオのいずれに対しても、該系列マイニングフレームを用いて、そのサービスシナリオにおける系列データのラベル状態に適する系列マイニングモデルを構築することができる。関連技術では、構造が固定された単一モデルを用いて系列データを処理することしかできないため、リソース浪費の問題を引き起こす恐れがあり、例えば、教師なしクラスタリングモデルを用いて系列データを処理することしかできない場合、サービスシナリオにおけるラベル情報が存在する系列サンプルに対して、該モデルを用いることができない。これに比べて、本願の実施例で提供される構成では、サービスシナリオにおける全ての過去系列データを十分に利用することができ、リソース利用率を向上させる。
任意選択的に、系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含む。そのうち、第１サブモデルは、系列データの潜在ベクトル表現を取得するためのものである。系列データの潜在ベクトル表現は、系列データにおける重要な特徴情報を抽出して構成されるベクトル表現を指す。任意選択的に、第１サブモデルは、ディープオートエンコーダ（ＡＥ：Ａｕｔｏｅｎｃｏｄｅｒ）モデルであってもよい。潜在ベクトル表現の具体的な取得過程について、下記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。第２サブモデルは、ラベル状態が第１条件を満たす場合、系列データの潜在ベクトル表現に基づいて、系列データのラベル情報を決定するためのものである。第１条件は、ラベル状態が、第１系列サンプルにラベル情報が存在しないことである、ことを含む。任意選択的に、第２サブモデルは、クラスタリングモデル、例えば、Ｋ－ｍｅａｎｓクラスタリングモデルであってもよい。第３サブモデルは、ラベル状態が第２条件を満たす場合、系列データの潜在ベクトル表現に基づいて、系列データのラベル情報を決定するためのものである。第２条件は、ラベル状態が、第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。任意選択的に、第３サブモデルは、標準分類モデル、正例とラベル無しデータからの学習（ＰＵＬｅａｒｎｉｎｇ：Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｐｏｓｉｔｉｖｅ ａｎｄ Ｕｎｌａｂｌｅｄ Ｅｘａｍｐｌｅ）モデルなどであってもよい。第１サブモデル、第２サブモデル、及び第３サブモデルの構成及び実現形態について、以下の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。
ステップ２４０では、第１系列サンプルを用いて、系列マイニングモデルを訓練する。
系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである。コンピュータ機器は、第１系列サンプルのラベル状態、即ち、ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからラベル状態に適するサブモデルを選択して、系列マイニングモデルを構築した後、第１系列サンプルを用いて、系列マイニングモデルを訓練することができる。これにより、訓練された系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を決定するために用いることができる。本願の実施例で提供される構成では、ターゲットサービスシナリオにおける全ての過去系列データを用いて、系列マイニングモデルを訓練することができる。構造が固定された単一モデルを用いる場合に、該単一モデルに適する一部の過去系列データを用いて該単一モデルを訓練することしかできない関連技術に比べて、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける過去系列データに基づいて、系列マイニングモデルを十分に訓練し、該系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させる。
任意選択的に、第２サブモデル及び第３サブモデルの両方を、ある系列マイニングモデルを構築するサブモデルとしてもよい。この場合、それらが系列マイニングモデルにおいて果たす役割は、異なる可能性がある。例えば、ターゲットサービスシナリオでは、第１系列サンプルの一部にラベル情報が存在し、一部にラベル情報が存在しないと仮定する。この場合、ラベル情報が存在する第１系列サンプルを用いて、第３サブモデルを訓練してもよい。第３サブモデルの訓練は、第１サブモデルによって取得される潜在ベクトル表現をより確実にすることを目的とする。ラベル情報が存在しない第１系列サンプルを用いて、第２サブモデルを訓練する。第２サブモデルの訓練は、第１系列サンプルのうち、ラベル情報が存在しない系列サンプルを、ターゲットサービスシナリオにおける可能なラベル情報種類に応じて分類することにより、第２サブモデルが、異なるラベル情報の系列サンプルが表現する行動パターンを学習でき、さらに、ターゲットサービスシナリオにおいて新たな系列データが到着すると、最終的に該第２サブモデルによって系列データのラベル情報を決定できることを目的とする。第２サブモデル及び第３サブモデルの両方を、ある系列マイニングモデルを構築するサブモデルとする場合、第２サブモデル及び第３サブモデルの訓練過程の具体的な例は、以下の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。
説明すべきものとして、本願の実施例では、ターゲットサービスシナリオにおける全ての過去系列データで第１系列サンプルを構成する場合のみを例として、有益な効果及び系列マイニングモデルの訓練過程を例示する。当業者であれば、本願の実施例の構成を理解した上で、他の構成を容易に想到することができる。例えば、実際の適用では、コンピュータ機器の処理オーバーヘッド及びサンプルの代表性などの要因を考慮すると、ターゲットサービスシナリオにおける膨大な過去系列データに対して選別などの処理を行うことにより、一部の過去系列データを選択して第１系列サンプルを構成してもよいが、これも本願の実施例の保護範囲に属すべきである。
以上をまとめると、本願の実施例で提供される構成によれば、系列マイニングフレームが提供されている。実際の適用では、ターゲットサービスシナリオにおける系列サンプルを取得し、該系列サンプルのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築し、次に、該系列サンプルを用いて、系列マイニングモデルを訓練することにより、訓練された系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を判断するために用いることができる。そして、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに汎用することができる。該系列マイニングフレームには、少なくとも１つのサブモデルが含まれる。異なるサービスシナリオにおける過去系列データの異なるラベル状態に対しては、系列マイニングフレームから対応するサブモデルを選択して、系列マイニングモデルを構築することができる。また、関連技術では、構造が固定された単一モデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおける一部の過去系列データが使用できないことを引き起こす恐れがある。例えば、関連技術では、教師なしクラスタリングモデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおけるラベル情報が存在する過去系列データが使用できないことを引き起こして、リソース浪費の問題を発生させる恐れがある。これに比べて、本願の実施例で提供される構成では、過去系列データの異なるラベル状態に対して、異なるサブモデルを用いて訓練を行うことができる。これにより、サービスシナリオにおける全ての過去系列データが十分に利用され、リソース利用率が向上する。また、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける全ての過去系列データに基づいて、系列マイニングモデルを十分に訓練することができるため、該系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させる。
１つの可能な実施形態において、上記ラベル状態は、第１系列サンプルにラベル情報が存在しないことであり、上記系列マイニングモデルは、第１サブモデル及び第２サブモデルを含み、図３に示すように、上記ステップ２４０は、以下のいくつかのサブステップ（２４２～２４６）を含む。
ステップ２４２では、第１系列サンプルを用いて、第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する。
第１サブモデルは、系列データの潜在ベクトル表現を取得するためのサブモデルである。任意選択的に、第１サブモデルは、ディープオートエンコーダモデルであってもよく、第１系列サンプルを学習目標として、第１系列サンプルに対して表現学習（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ）を行うことにより、第１系列サンプルの潜在ベクトル表現（Ｌａｔｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を取得することができる。本願の実施例において、コンピュータ機器は、第１系列サンプルを用いて、第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルによって第１系列サンプルの比較的確実な潜在ベクトル表現を取得することができる。また、第１系列サンプルに比べて、第１系列サンプルの潜在ベクトル表現は、第１系列サンプルにおける重要な特徴情報を保持するとともに、第１系列サンプルの次元及び系列長を低減させるため、第１系列サンプルの潜在ベクトル表現を用いて、他のサブモデルを訓練する場合、コンピュータ機器の処理オーバーヘッドを低減することができる。
一例において、上記第１サブモデルは、潜在ベクトル抽出ユニットと、再構成ユニットとを含み、図４に示すように、上記ステップ２４２は、以下のいくつかのサブステップ（２４２２～２４２８）を含む。
ステップ２４２２では、前記潜在ベクトル抽出ユニットによって前記第１系列サンプルを処理することにより、前記第１系列サンプルの潜在ベクトル表現を取得する。
図５は、可能な第１サブモデルのブロック図を示す。図５に示すように、該第１サブモデルは、潜在ベクトル抽出ユニット４１０と、再構成ユニット４２０とを含む。第１サブモデルがディープオートエンコーダモデルとして実現される場合、潜在ベクトル抽出ユニット４１０は、ディープオートエンコーダモデルにおけるエンコーダとして実現することができ、再構成ユニット４２０は、ディープオートエンコーダモデルにおけるデコーダとして実現することができる。ここで、コンピュータ機器は、潜在ベクトル抽出ユニット４１０によって第１系列サンプルを処理することにより、第１系列サンプルの潜在ベクトル表現を取得することができる。
任意選択的に、図５に示すように、上記潜在ベクトル抽出ユニット４１０は、マッピングサブユニット４１２と、次元削減サブユニット４１４と、再帰サブユニット４１６とを含み、上記ステップ２４２２は、以下のいくつかのサブステップを含む。
（１）前記マッピングサブユニットによって前記第１系列サンプルの特徴情報を取得することにより、前記第１系列サンプルの特徴情報表現を取得する。
任意選択的に、本願の実施例において、第１サブモデルに入力された第１系列サンプルの形状は、［ｂａｔｃｈ＿ｓｉｚｅ，ｔｉｍｅ＿ｓｔｅｐｓ，ｆｅａｔｕｒｅ＿ｎｕｍｓ］と表すことができる。ここで、「ｂａｔｃｈ＿ｓｉｚｅ」は、第１系列サンプルにおける系列サンプルの数を表すためのものであり、「ｔｉｍｅ＿ｓｔｅｐｓ」は、第１系列サンプルの長さを表すためのものであり、「ｆｅａｔｕｒｅ＿ｎｕｍｓ」は、第１系列サンプルの特徴数を表すためのものである。
コンピュータ機器は、マッピングサブユニットによって第１系列サンプルの特徴情報を抽出するとともに、第１系列サンプルの系列構造を保持することができる。第１サブモデルがディープオートエンコーダモデルとして実現される場合、マッピングサブユニットは、１次元畳み込みニューラルネットワーク（１ＤＣＮＮ：Ｏｎｅ Ｄｉｍｅｎｓｉｏｎｓ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）として実現されてもよい。コンピュータ機器は、１ＤＣＮＮによって第１系列サンプルに対して上から下への畳み込みカーネルマッピングを行うことにより、第１系列サンプルの特徴情報を取得する。
（２）次元削減サブユニットによって第１系列サンプルの特徴情報表現に対して次元削減処理を行うことにより、第１系列サンプルの次元削減特徴情報を取得する。
第１系列サンプルの特徴情報を取得した後、長い系列データを処理することでコンピュータ機器の処理オーバーヘッドが大きいことを回避するために、第１系列サンプルをさらに圧縮してもよい。第１サブモデルにおける次元削減サブユニットは、第１系列サンプルの特徴情報表現の次元を削減することにより、第１系列サンプルの次元削減特徴情報を取得することができる。第１サブモデルがディープオートエンコーダモデルとして実現される場合、次元削減サブユニットは、最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）操作として実現されてもよい。ｍａｘ ｐｏｏｌｉｎｇ操作期間では、活性化関数Ｌｅａｋｙ ｒｅｃｔｉｆｉｅｄを使用してもよい。コンピュータ機器は、ｍａｘ ｐｏｏｌｉｎｇ操作によって、第１系列サンプルをコンパクトなベクトル表現、即ち第１系列サンプルの次元削減特徴情報に圧縮する。
（３）再帰サブユニットによって第１系列サンプルの次元削減特徴情報の系列間のステップ長跨りの変化法則を学習することにより、第１系列サンプルの潜在ベクトル表現を取得する。
第１系列サンプルをさらに圧縮するために、コンピュータ機器は、再帰サブユニットによって第１系列サンプルの次元削減特徴情報間の系列間のステップ長跨りの変化法則を学習してもよい。これにより、第１系列サンプルの潜在ベクトル表現を取得して、第１系列サンプルに対する符号化ステップを完了する。第１サブモデルがディープオートエンコーダモデルとして実現される場合、再帰サブユニットは、双方向長・短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）ネットワークとして実現されてもよい。該双方向ＬＳＴＭネットワークは、２つの方向（順方向と逆方向）に系列間のステップ長跨りの変化法則を学習することができる。これにより、第１系列サンプルをさらに圧縮して、第１系列サンプルの潜在ベクトル表現を取得する。
ステップ２４２４では、再構成ユニットによって第１系列サンプルの潜在ベクトル表現を処理することにより、再構成された第１系列サンプルを取得する。
本願の実施例において、第１サブモデルによって取得される潜在ベクトル表現を比較的確実にするために、コンピュータ機器は、潜在ベクトル抽出ユニットによって第１系列サンプルの潜在ベクトル表現を取得した後、再構成ユニットによって該第１系列サンプルの潜在ベクトル表現を処理してもよい。これにより、該潜在ベクトル表現を系列データに復元して、再構成された第１系列サンプルを取得する。第１サブモデルがディープオートエンコーダモデルとして実現される場合、再構成ユニットは、アップサンプリング関数（ＵｐＳａｍｐｌｅ）及び逆畳み込み（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）操作として実現されてもよい。コンピュータ機器は、第１系列サンプルの潜在ベクトル表現をＵｐＳａｍｐｌｅに通した後、Ｄｅｃｏｎｖｏｌｕｔｉｏｎ操作を行うことにより、出力系列を取得することができる。これにより、潜在ベクトル表現の復号過程を完了する。ここで、該出力系列は、即ち、再構成された第１系列サンプルである。
ステップ２４２６では、第１系列サンプルと、再構成された第１系列サンプルとに基づいて、第１損失関数の値を計算する。
第１損失関数は、第１サブモデルに対応する損失関数を指す。第１系列サンプルと、再構成された第１系列サンプルとに基づいて、コンピュータ機器は、第１損失関数を決定することができるため、第１損失関数の値を計算することができる。任意選択的に、第１損失関数の値は、再構成された第１系列サンプルの平均絶対誤差（ＭＡＥ：Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）であってもよい。即ち、第１損失関数の値は、以下の表現式によって算出することができる。
Figure 0007403909000001
ここで、ａｅ＿ｌｏｓｓは、第１損失関数の値を表し、ｘｉは、第１系列サンプルにおけるｉ番目に入力された系列サンプルを表し、ｈ(ｘｉ)は、第１サブモデルの潜在ベクトル抽出ユニット及び再構成ユニットを通過した後に、ｘｉに対応する再構成された系列サンプルを表し、ｉは、正の整数である。
ステップ２４２８では、第１損失関数の値に基づいて、第１サブモデルのパラメータを調整することにより、事前訓練された第１サブモデルを取得する。
モデルの訓練過程では、該モデルの損失関数が収束するように該モデルのパラメータを調整することにより、該モデルに対する訓練を完了することができる。本願の実施例において、コンピュータ機器は、第１損失関数の値に基づいて、第１損失関数が収束するように第１サブモデルのパラメータを調整することにより、事前訓練された第１サブモデルを取得する。
ステップ２４４では、事前訓練された第１サブモデルによって第１系列サンプルを処理することにより、第１系列サンプルの潜在ベクトル表現を取得する。
事前訓練された第１サブモデルは、損失関数が収束し、再構成された第１系列サンプルと、最初に入力された第１系列サンプルとの間の誤差が許容度の範囲にあるため、事前訓練された第１サブモデルによって取得された第１系列サンプルの潜在ベクトル表現が比較的確実である。コンピュータ機器は、事前訓練された第１サブモデルを取得した後、該事前訓練された第１サブモデルによって第１系列サンプルを再処理することにより、第１系列サンプルの潜在ベクトル表現を取得する。
任意選択的に、本願の実施例において、第１系列サンプルの潜在ベクトル表現の形状は、［ｂａｔｃｈ＿ｓｉｚｅ，ｔｉｍｅ＿ｓｔｅｐ２，１］と表すことができる。ここで、「ｔｉｍｅ＿ｓｔｅｐ２」は、第１系列サンプルの潜在ベクトル表現の系列長を表し、「１」は、第１系列サンプルの潜在ベクトル表現の特徴数が１であることを表す。本願の実施例において、「ｔｉｍｅ＿ｓｔｅｐ２」は、「ｔｉｍｅ＿ｓｔｅｐ２＜ｔｉｍｅ＿ｓｔｅｐ」を満たし、「ｔｉｍｅ＿ｓｔｅｐ」は、第１系列サンプルの系列長を表す。
一例において、図６に示すように、上記ステップ２４４の後に、該方法は、以下のいくつかのステップ（２４４２～２４４４）を含んでもよい。
ステップ２４４２では、第１系列サンプルの静的特徴を取得する。
実際の適用では、ターゲットサービスシナリオには、いくつかの静的データがさらに含まれる。該静的データは、系列データの安定的な静的特徴を反映する。例えば、ターゲットサービスシナリオがクレジットカード管理システムであると仮定すると、系列データは、クレジットカードユーザの過去取引金額系列及び過去取引時間間隔系列などを含んでもよく、静的データは、クレジットカードユーザの登録電話番号数、所在国、所属国籍などを含んでもよい。関連技術では、第１系列サンプルの系列データのみが考慮されるが、第１系列サンプルの静的特徴が無視されることで、これらの静的データがモデル訓練過程において役割を果たせず、訓練されたモデルが十分に正確ではない。本願の実施例で提供される構成において、コンピュータ機器は、第１系列サンプルの静的特徴を取得することにより、これらの静的データのモデル訓練過程への応用を可能にすることができ、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させる。
ステップ２４４４では、第１系列サンプルの静的特徴と、第１系列サンプルの潜在ベクトル表現とに基づいて、第１系列サンプルの最適化ベクトル表現を取得する。
コンピュータ機器は、第１系列サンプルの静的特徴を第１系列サンプルの潜在ベクトル表現に組み合わせることにより、第１系列サンプルの最適化ベクトル表現を取得してもよい。該第１系列サンプルの最適化ベクトル表現は、事前訓練された第１サブモデルと、第２サブモデルとを後続に共同訓練するためのものである。任意選択的に、第１系列サンプルにおけるｉ番目の系列サンプルは、その潜在ベクトル表現がziｚｉと記され、ｚｉの形状は、［ｔｉｍｅ＿ｓｔｅｐ２，１］と表すことができる。ｉ番目の系列サンプルがｎ個（ｎは正の整数）の静的特徴を有すると仮定すると、ｉ番目の系列サンプルの静的特徴の形状は、［ｎ，１］と表すことができる。コンピュータ機器は、ｉ番目の系列サンプルの潜在ベクトル表現及び静的特徴に基づいて、ｉ番目の系列サンプルの最適化ベクトル表現を取得することができる。任意選択的に、ｉ番目の系列サンプルの最適化ベクトル表現の形状は、［ｎ＋ｔｉｍｅ＿ｓｔｅｐ２，１］と表すことができる。
任意選択的に、上記ステップ２４４４は、以下のいくつかのサブステップを含む。
（１）前記第１系列サンプルの静的特徴に対して正則化処理を行うことにより、正則化処理後の静的特徴を取得する。
正則化処理は、データの全ての特徴変数を保持するとともに、特徴変数のオーダーを低減することにより、過剰適合問題、即ち、特徴変数の数が多すぎるため、モデルが複雑すぎるという問題の発生を回避することを指す。本願の実施例では、第１系列サンプルが少なくとも１つの静的特徴を含むため、予め第１系列サンプルの静的特徴に対して正則化処理を行って、第１系列サンプルの静的特徴のオーダーを低減することにより、正則化処理後の静的特徴を取得することができる。
（２）前記第１系列サンプルの潜在ベクトル表現に対して正規化処理を行うことにより、正規化処理後の潜在ベクトル表現を取得する。
本願の実施例において、コンピュータ機器は、第１系列サンプルの潜在ベクトル表現に対して正規化処理を行って、第１系列サンプルの潜在ベクトル表現のオーダーを調整することができる。任意選択的に、コンピュータ機器が正規化処理を行うことは、第１サブモデルの再帰ユニットに正規化器を加えることにより実現してもよい。例えば、第１サブモデルがディープオートエンコーダモデルとして実現される場合、再帰ユニットは、双方向ＬＳＴＭネットワークであってもよい。この場合、双方向ＬＳＴＭネットワークにＬａｙｅｒ Ｎｏｒｍａｌｉｚａｔｉｏｎ（層正規化）を入れてもよい。これにより、潜在ベクトル表現のオーダーを調整する。
（３）正則化処理後の静的特徴と、正規化処理後の潜在ベクトル表現とを組み合わせることにより、第１系列サンプルの最適化ベクトル表現を取得する。
第１系列サンプルの静的特徴に対して正則化処理を行うとともに、第１系列サンプルの潜在ベクトル表現に対して正規化処理を行うことにより、正則化処理後の静的特徴の数値の大きさと、正規化処理後の潜在ベクトル表現の数値の大きさとを同じオーダーにすることができる。次に、該正則化処理後の静的特徴と、正規化処理後の潜在ベクトル表現とを組み合わせることにより、第１系列サンプルの最適化ベクトル表現を取得する。オーダー調整を行った該最適化ベクトル表現は、静的特徴と潜在ベクトル表現とを直接に組み合わせた最適化ベクトル表現に比べると、コンピュータ機器による後続の共同訓練過程の処理オーバーヘッドを低減して、計算の精度を向上させることができる。
ステップ２４６では、第１系列サンプルと、第１系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第１サブモデルと、第２サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。
コンピュータ機器は、第１系列サンプルと、第１系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第１サブモデルと、第２サブモデルとを共同訓練し、即ち、第１系列サンプルを用いて、事前訓練された第１サブモデルを訓練するとともに、第１系列サンプルの潜在ベクトル表現を用いて、第２サブモデルを訓練することにより、系列マイニングモデルを取得することができる。該系列マイニングモデルは、共同訓練された第１サブモデルと、共同訓練された第２サブモデルとを含む。
一例において、図７に示すように、上記ステップ２４６は、以下のいくつかのサブステップ（２４６２～２４６６）を含む。
ステップ２４６２では、第１損失関数の値及び第２損失関数の値を計算する。
ここで、第１損失関数は、第１サブモデルの損失関数を指し、第２損失関数は、第２サブモデルの損失関数を指す。第１損失関数の値の具体的な計算過程について、上記の図５に示す任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。任意選択的に、第２損失関数の値を計算する上記ステップは、以下のいくつかのステップを含む。
（１）第１系列サンプルのｋ個のクラスを決定する。
ターゲットサービスシナリオについて、系列データが備えるラベル情報は、複数のクラスに分けることができる。ラベル情報のクラスに基づいて、第１系列サンプルのクラスの数ｋを決定することができ、ｋは、正の整数である。任意選択的に、第１系列サンプルのクラスの数は、ラベル情報のクラスの数に等しくてもよい。例えば、ターゲットサービスシナリオにおいて、系列データのラベル情報に「良い」及び「悪い」という２つのクラスがある場合、コンピュータ機器は、ラベル情報のクラスに基づいて、第１系列サンプルも２つのクラスに分けてもよいと決定することができる。
（２）ｋ個のクラスに基づいて、第２サブモデルによってｋ個のクラスター中心を初期化する。
コンピュータ機器は、ｋ個のクラスに基づいて、第２サブモデルによって第１系列サンプルにおいてｋ個のクラスター中心をランダムに初期化することができ、次に、ｋ－ｍｅａｎｓ（ｋ平均値）クラスタリングアルゴリズムによってクラスター中心を更新することができる。本願の実施例において、第２サブモデルのパラメータは、即ち、クラスター中心であり、その形状は、パラメータ行列［ｋ，ｔｉｍｅ＿ｓｔｅｐ２，１］と表すことができる。
（３）第１系列サンプルからｋ個のクラスター中心までの距離を計算することにより、サンプル確率分布を取得する。
サンプル確率分布は、第１系列サンプルがｋ個のクラスのそれぞれに属する確率を示すためのものである。コンピュータ機器は、ｋ個のクラスター中心を初期化した後、第１系列サンプルにおける各系列サンプルそれぞれがこのｋ個のクラスター中心のそれぞれに属する確率を計算し、即ち、第１系列サンプルにおける各系列サンプルそれぞれから各クラスター中心それぞれまでの距離を計算することができる。算出された第１系列サンプルからｋ個のクラスター中心までの距離に基づいて、確率分布を見抜くことができる。本願の実施例では、該確率分布をサンプル確率分布と記す。
（４）サンプル確率分布に基づいて、シミュレーションサンプル確率分布を計算する。
シミュレーションサンプル確率分布は、第１系列サンプルにラベル情報が存在する場合、第１系列サンプルがｋ個のクラスのそれぞれに属する確率を示すためのものである。第１系列サンプルにラベル情報が存在しないため、コンピュータ機器は、本当のサンプル確率分布を知ることができない。この場合、サンプル確率分布からシミュレーションサンプル確率分布を取得し、該シミュレーションサンプル確率分布を本当のサンプル確率分布に限りなく近づけることができる。任意選択的に、シミュレーションサンプル確率分布の表現式は、以下のようにしてもよい。
Figure 0007403909000002
ここで、ｐｉ，ｊは、第１系列サンプルにおけるｉ番目の系列サンプルがｊ番目のクラスター中心に属するシミュレーション確率を表す。全てのｐｉ，ｊを組み合わせると、シミュレーションサンプル確率分布が形成される。ｑｉ，ｊは、第１系列サンプルにおけるｉ番目の系列サンプルがｊ番目のクラスター中心に属する確率を表す。全てのｑｉ，ｊを組み合わせると、サンプル確率分布が形成される。ｆｉは、サンプル確率分布を表す。
（５）サンプル確率分布とシミュレーションサンプル確率分布との相対エントロピーを第２損失関数の値として決定する。
相対エントロピーは、ＫＬダイバージェンス（ＫＬＤ：Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）、情報ダイバージェンス、及び情報利得とも呼ばれ、２つの確率分布の差異の非対称のメトリックである。本願の実施例において、サンプル確率分布とシミュレーションサンプル確率分布との相対エントロピーは、シミュレーションサンプル確率分布に基づく符号化を用いて、サンプル確率分布に基づくサンプルを符号化するために必要な追加ビット数の平均をはかるためのものであり、コンピュータ機器は、サンプル確率分布とシミュレーションサンプル確率分布との相対エントロピーを第２損失関数の値とする。任意選択的に、第２損失関数の値の表現式は、以下に示すとおりである。
Figure 0007403909000003
ここで、ｃｌｕｓｔｅｒ＿ｌｏｓｓは、第２損失関数の値を表す。
ステップ２４６４では、第１損失関数の値と、第２損失関数の値と、重み係数の設定とに基づいて、系列マイニングモデルの損失関数の値を計算する。
重み係数の設定は、第１損失関数の値の重み及び第２損失関数の値の重みに対する設定を指す。任意選択的に、重み係数の設定は、コンピュータ機器により予め設定されてもよく、系列マイニングモデルの損失関数の決定過程において、ターゲット応用シナリオ及び実際のニーズに応じて具体的に決定されてもよい。本願の実施例は、重み係数の設定の決定タイミングを限定しない。コンピュータ機器は、第１損失関数の値と、第２損失関数の値と、重み係数の設定とに基づいて、系列マイニングモデルの損失関数の値を計算することができる。任意選択的に、系列マイニングモデルの損失関数の値は、以下のように表すことができる。
Figure 0007403909000004
ここで、ｌｏｓｓ共同訓練は、系列マイニングモデルの損失関数の値、即ち、事前訓練された第１サブモデルと、第２サブモデルとを共同訓練する場合の損失関数の値を表し、ｒ１及びｒ２は、重み係数の設定を表す。
ステップ２４６６では、系列マイニングモデルの損失関数の値に基づいて、系列マイニングモデルのパラメータを調整することにより、系列マイニングモデルを取得する。
本願の実施例において、コンピュータ機器は、系列マイニングモデルの損失関数の値に基づいて、系列マイニングモデルの損失関数が収束するように系列マイニングモデルのパラメータを調整することにより、共同訓練済みの系列マイニングモデルを取得する。
以上をまとめると、本願の実施例で提供される構成では、ラベル状態が、系列サンプルにラベル情報が存在しないことである場合、系列マイニングモデルが第１サブモデル及び第２サブモデルを含むと決定する。また、本願の実施例では、系列マイニングモデルを訓練する際に、まず、第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する。事前訓練された第１サブモデルの損失関数が収束するため、事前訓練された第１サブモデルによって取得された系列サンプルの潜在ベクトル表現が比較的確実である。次に、系列サンプル及びその潜在ベクトル表現を用いて、事前訓練された第１サブモデルと、第２サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。これにより、系列サンプルにラベル情報が存在しない場合の系列マイニングモデルの具体的な訓練方法が提供される。
また、本願の実施例で提供される構成では、系列サンプルの静的特徴を取得し、系列サンプルの静的特徴と、系列サンプルの潜在ベクトル表現とを組み合わせることにより、系列サンプルの最適化ベクトル表現を取得し、次に、該系列サンプル及びその最適化ベクトル表現を用いて、事前訓練された第１サブモデルと、第２サブモデルとを共同訓練することにより、系列マイニングモデルを取得することができる。関連技術では、系列サンプルの系列データのみが考慮されるが、系列サンプルの静的特徴が無視されることで、静的データがモデル訓練過程において役割を果たせず、訓練されたモデルが十分に正確ではない。これに比べて、本願の実施例で提供される構成では、系列サンプルの特徴データを十分に考慮することにより、静的データもモデル訓練過程に応用することを可能にし、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させる。
また、本願の実施例で提供される構成では、系列サンプルの静的特徴と潜在ベクトル表現とを組み合わせる際に、静的特徴に対して正則化処理を行い、潜在ベクトル表現に対して正規化処理を行うことにより、静的特徴と潜在ベクトル表現とを同じオーダーにし、コンピュータ機器が最適化されたベクトル表現を用いて系列マイニングモデルを訓練するときの処理オーバーヘッドを低減させるとともに、計算精度を向上させる。
他の可能な実施形態において、上記ラベル状態は、第１系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第２系列サンプルの数が第３系列サンプルの数よりも大きいことである。そのうち、第２系列サンプルは、第１系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、第３系列サンプルは、第１系列サンプルのうち、ラベル情報が存在しない系列サンプルを指す。上記系列マイニングモデルは、第１サブモデル及び第３サブモデルを含み、図８に示すように、上記ステップ２４０は、以下のいくつかのサブステップ（２４Ａ～２４Ｅ）を含む。
ステップ２４Ａでは、第１系列サンプルを用いて、第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する。
第１サブモデルを事前訓練する過程の詳細な説明については、上記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。説明すべきものとして、本願の実施例では、第２系列サンプル又は第３系列サンプルを用いて、第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得してもよい。これにより、コンピュータ機器が第１サブモデルを事前訓練する速度を向上させ、コンピュータ機器の処理オーバーヘッドを低減することができる。
ステップ２４Ｃでは、事前訓練された第１サブモデルによって第２系列サンプルを処理することにより、第２系列サンプルの潜在ベクトル表現を取得する。
第１系列サンプルのうち、ラベル情報が存在する第２系列サンプルの数が多いため、系列マイニングモデルの訓練速度及びコンピュータ機器の処理オーバーヘッドを考慮すると、第３サブモデルを訓練することにより、最終的に第３サブモデルによって系列データのラベル情報を決定できることを実現してもよい。本願の実施例において、第３サブモデルは、系列サンプルに少なくとも部分的にラベル情報が存在する場合、系列データの潜在ベクトル表現によって系列データのラベル情報を決定できるモデルであり、第３サブモデルの訓練は、第２系列サンプル、即ち、第１系列サンプルのうち、ラベル情報が存在する系列サンプルを用いて、訓練を行うことである。実際の適用において、第３サブモデルは、教師あり学習モデル、例えば分類モデルとして実現することができる。
第３サブモデルとして実現できる現在既存の分類モデルのうち、２次元の系列データを処理するためのものが多いため、コンピュータ機器は、事前訓練された第１サブモデルを取得した後、該事前訓練された第１サブモデルによって第２系列サンプルを処理することにより、第２系列サンプルの潜在ベクトル表現を取得してもよい。これにより、第３サブモデルの訓練過程において、第２系列サンプルにおける重要な特徴情報を用いて第３サブモデルを訓練し、３次元の第２系列サンプルを用いて第３サブモデルを訓練することを回避し、現在既存の分類器を第３サブモデルとして利用することができるとともに、コンピュータ機器が第３サブモデルを訓練するときの処理オーバーヘッドを低減することができる。
任意選択的に、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させるために、コンピュータ機器が第２系列サンプルの潜在ベクトル表現を取得した後、該方法は、第２系列サンプルの静的特徴を取得するステップと、第２系列サンプルの静的特徴と、第２系列サンプルの潜在ベクトル表現とに基づいて、第２系列サンプルの最適化ベクトル表現を取得するステップであって、第２系列サンプルの最適化ベクトル表現は、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練するためのものである、ステップと、をさらに含む。第２系列サンプルの静的特徴及びその取得過程、第２系列サンプルの最適化ベクトル表現の計算過程の詳細な説明について、上記の任意選択的な実施例における第１系列サンプルの静的特徴及びその取得過程、第１系列サンプルの最適化ベクトル表現の計算過程に対する説明を参照するが、ここでは、これ以上の説明を省略する。
ステップ２４Ｅでは、第２系列サンプルと、第２系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。
コンピュータ機器は、第２系列サンプルと、第２系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練し、即ち、第２系列サンプルを用いて、事前訓練された第１サブモデルを訓練するとともに、第２系列サンプルの潜在ベクトル表現を用いて、第３サブモデルを訓練することにより、系列マイニングモデルを取得することができる。該系列マイニングモデルは、共同訓練された第１サブモデルと、共同訓練された第３サブモデルとを含む。
一実施例において、上記ステップ２４Ｅは、第１損失関数の値と、第３損失関数の値とを計算するサブステップであって、第１損失関数は、第１サブモデルの損失関数を指し、第３損失関数は、第３サブモデルの損失関数を指す、サブステップと、第１損失関数の値と、第３損失関数の値と、重み係数の設定とに基づいて、系列マイニングモデルの損失関数の値を計算するサブステップであって、重み係数の設定は、第１損失関数の重み及び第３損失関数の重みに対する設定を指す、サブステップと、系列マイニングモデルの損失関数の値に基づいて、系列マイニングモデルのパラメータを調整することにより、系列マイニングモデルを取得するサブステップと、を含む。第１損失関数の値の具体的な計算過程について、上記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。
例示的に、第２系列サンプルには、正のラベル情報が存在する系列サンプルが含まれるだけでなく、負のラベル情報が存在する系列サンプルが含まれる場合、第３サブモデルは、標準分類モデルとして実現することができ、さらに、第３損失関数の値は、以下の表現式によって計算することができる。
ｃｌａｓｓｉｆｉｅｒ＿ｌｏｓｓ＝－［ｙ＊ｌｏｇ(ｐ)＋（１－ｙ）＊ｌｏｇ(１－ｐ)］
ここで、ｃｌａｓｓｉｆｉｅｒ＿ｌｏｓｓは、第３サブモデルの損失関数の値を表し、ｙは、第２系列サンプルの本当のラベル情報を表し、ｐは、第２系列サンプルが予測されたラベル情報を具備する確率を表す。
第１損失関数の値及び第３損失関数の値に基づいて、系列マイニングモデルの損失関数の値を以下のように計算することができる。
loss共同訓練＝ｒclassifier＊classifier_loss＋ｒae＊ae_loss
ここで、loss共同訓練は、系列マイニングモデルの損失関数の値、即ち、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練する場合の損失関数の値を表し、ｒclassifier及びｒaeは、重み係数の設定を表す。
例示的に、第２系列サンプルには、正のラベル情報が存在する系列サンプルのみが含まれ、又は、負のラベル情報が存在する系列サンプルのみが含まれる場合、現在既存の標準分類モデルによって、第２系列サンプルの潜在ベクトル表現を処理することができない。この場合、第３サブモデルは、ＰＵＬｅａｒｎｉｎｇモデルとして実現することができ、第３損失関数の値は、以下の表現式によって計算することができる。
Figure 0007403909000005
ここで、
Figure 0007403909000006
 である。
ここで、
Figure 0007403909000007
 は、第３損失関数の値を表し、ｇは、決定関数であり、ｘｐは、正のラベル情報が存在する系列サンプル、又は負のラベル情報が存在する系列サンプル、即ち、第２系列サンプルを表し、ｘｕは、ラベル情報が存在しない系列サンプル、即ち、第３系列サンプルを表す。
第１損失関数の値及び第３損失関数の値に基づいて、系列マイニングモデルの損失関数の値を以下のように計算することができる。
Figure 0007403909000008
ここで、loss共同訓練は、系列マイニングモデルの損失関数の値、即ち、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練する場合の損失関数の値を表し、ｒｐｕ及びｒａｅは、重み係数の設定を表す。
以上をまとめると、本願の実施例で提供される構成では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも大きいことである場合、系列マイニングモデルが第１サブモデル及び第３サブモデルを含むと決定する。また、本願の実施例では、系列マイニングモデルを訓練する際に、まず、第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する。事前訓練された第１サブモデルの損失関数が収束するため、事前訓練された第１サブモデルによって取得された系列サンプルの潜在ベクトル表現が比較的確実である。次に、ラベル情報が存在する系列サンプル及びその潜在ベクトル表現を用いて、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。これにより、系列サンプルに少なくとも部分的にラベル情報が存在する場合の系列マイニングモデルの具体的な訓練方法が提供されている。
また、本願の実施例で提供される構成では、少なくとも部分的にラベル情報が存在する系列サンプルには、正のラベル情報が存在する系列サンプルが含まれるだけでなく、負のラベル情報が存在する系列サンプルが含まれる場合、第３サブモデルを標準分類モデルとして具体的に実現することが提供されており、少なくとも部分的にラベル情報が存在する系列サンプルには、正のラベル情報が存在する系列サンプルのみが含まれ、又は、負のラベル情報が存在する系列サンプルのみが含まれる場合、第３サブモデルをＰＵＬｅａｒｎｉｎｇモデルとして具体的に実現することが提供されている。これにより、異なるサービスシナリオにおける系列データの異なるラベル状態のいずれに対しても、系列マイニングモデルを構築することができ、いくつかの過去系列データが使用できないことを回避し、データリソースの利用率を向上させるとともに、系列マイニングモデルの正確さを向上させる。
別の可能な実施形態において、上記ラベル状態は、第１系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第２系列サンプルの数量が第３系列サンプルの数量よりも小さいことである。そのうち、第２系列サンプルは、第１系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、第３系列サンプルは、第１系列サンプルのうち、ラベル情報が存在しない系列サンプルを指す。上記系列マイニングモデルは、第１サブモデル、第２サブモデル、及び第３サブモデルを含む。図９に示すように、上記ステップ２４０は、以下のいくつかのサブステップ（２４Ｂ～２４Ｊ）を含む。
ステップ２４Ｂでは、第１系列サンプルを用いて、第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する。
第１サブモデルを事前訓練する過程の詳細な説明については、上記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。説明すべきものとして、本願の実施例では、第２系列サンプル又は第３系列サンプルを用いて、第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得してもよい。これにより、コンピュータ機器が第１サブモデルを事前訓練する速度を向上させ、コンピュータ機器の処理オーバーヘッドを低減することができる。
ステップ２４Ｄでは、事前訓練された第１サブモデルによって第２系列サンプルを処理することにより、第２系列サンプルの潜在ベクトル表現を取得する。
第１系列サンプルのうち、ラベル情報が存在しない第３系列サンプルの数が多いため、この場合、ラベル情報が存在する第２系列サンプルを直接に用いて第３サブモデルを訓練し、最終的に第３サブモデルによって系列データのラベル情報を決定すると、決定結果が不正確であるという問題をもたらす恐れがある。その理由として、ラベル情報が存在する系列サンプルの数が少なく、訓練された第３サブモデルが十分に正確ではない。しかし、この場合、ラベル情報が存在しない第３系列サンプルを直接に用いて第２サブモデルを訓練し、最終的に第２サブモデルによって系列データのラベル情報を決定すると、ラベル情報が存在する第２系列サンプルが無視され、データリソースの浪費を引き起こすとともに、第２サブモデルが十分に正確ではなくなる。これに基づき、本願の実施例では、第１サブモデル、第２サブモデル、及び第３サブモデルによって系列マイニングモデルを構築し、次に、異なる系列サンプルによってこれらのサブモデルをそれぞれ訓練することが提供され、データリソースが十分に利用されるだけでなく、訓練された系列マイニングモデルがより正確になる。
第３サブモデルとして実現できる現在既存の分類モデルのうち、２次元の系列データを処理するためのものが多いため、コンピュータ機器は、事前訓練された第１サブモデルを取得した後、該事前訓練された第１サブモデルによって第２系列サンプルを処理することにより、第２系列サンプルの潜在ベクトル表現を取得してもよい。これにより、事前訓練された第１サブモデルと、第３サブモデルとの共同訓練過程において、第２系列サンプルにおける重要な特徴情報を用いて第３サブモデルを訓練し、３次元の第２系列サンプルを用いて第３サブモデルを訓練することを回避し、現在既存の分類器を第３サブモデルとして利用することができるとともに、コンピュータ機器が第３サブモデルを訓練するときの処理オーバーヘッドを低減することができる。
任意選択的に、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させるために、コンピュータ機器が第２系列サンプルの潜在ベクトル表現を取得した後、該方法は、第２系列サンプルの静的特徴を取得するステップと、第２系列サンプルの静的特徴と、第２系列サンプルの潜在ベクトル表現とに基づいて、第２系列サンプルの最適化ベクトル表現を取得するステップであって、第２系列サンプルの最適化ベクトル表現は、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練するためのものである、ステップと、をさらに含む。第２系列サンプルの静的特徴及びその取得過程、第２系列サンプルの最適化ベクトル表現の計算過程の詳細な説明について、上記の任意選択的な実施例における第１系列サンプルの静的特徴及びその取得過程、第１系列サンプルの最適化ベクトル表現の計算過程に対する説明を参照するが、ここでは、これ以上の説明を省略する。
ステップ２４Ｆでは、第２系列サンプルと、第２系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練することにより、共同訓練された第１サブモデルを取得する。
コンピュータ機器は、第２系列サンプルと、第２系列サンプルの潜在ベクトル表現とを用いて、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練し、即ち、第２系列サンプルを用いて、事前訓練された第１サブモデルを訓練するとともに、第２系列サンプルの潜在ベクトル表現を用いて、第３サブモデルを訓練することにより、系列マイニングモデルを取得することができる。該系列マイニングモデルは、共同訓練された第１サブモデルと、共同訓練された第３サブモデルとを含む。共同訓練が行われるため、共同訓練された第１サブモデルに系列サンプルのラベル情報が導入され、共同訓練された第１サブモデルによって取得された系列サンプルの潜在ベクトル表現がより確実である。
ステップ２４Ｈでは、共同訓練された第１サブモデルによって第３系列サンプルを処理することにより、第３系列サンプルの潜在ベクトル表現を取得する。
共同訓練された第１サブモデルを取得した後、コンピュータ機器は、該共同訓練された第１サブモデルによって第３系列サンプルを処理することにより、第３系列サンプルの潜在ベクトル表現を取得することができる。任意選択的に、系列マイニングモデルの正確さ及びデータリソースの利用率を向上させるために、コンピュータ機器が第３系列サンプルの潜在ベクトル表現を取得した後、該方法は、第３系列サンプルの静的特徴を取得するステップと、第３系列サンプルの静的特徴と、第３系列サンプルの潜在ベクトル表現とに基づいて、第３系列サンプルの最適化ベクトル表現を取得するステップであって、第３系列サンプルの最適化ベクトル表現は、共同訓練された第１サブモデルと、第２サブモデルとを共同訓練するためのものである、ステップと、をさらに含む。第３系列サンプルの静的特徴及びその取得過程、第３系列サンプルの最適化ベクトル表現の計算過程の詳細な説明について、上記の任意選択的な実施例における第１系列サンプルの静的特徴及びその取得過程、第１系列サンプルの最適化ベクトル表現の計算過程に対する説明を参照するが、ここでは、これ以上の説明を省略する。
ステップ２４Ｊでは、第３系列サンプルと、第３系列サンプルの潜在ベクトル表現とを用いて、共同訓練された第１サブモデルと、第２サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。
コンピュータ機器は、第３系列サンプルと、第３系列サンプルの潜在ベクトル表現とを用いて、共同訓練された第１サブモデルと、第２サブモデルとを共同訓練し、即ち、第３系列サンプルを用いて、共同訓練された第１サブモデルを訓練するとともに、第３系列サンプルの潜在ベクトル表現を用いて、第２サブモデルを訓練することにより、系列マイニングモデルを取得することができる。
以上をまとめると、本願の実施例で提供される構成では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも小さいことである場合、系列マイニングモデルが第１サブモデル、第２サブモデル、及び第３サブモデルを含むと決定する。また、本願の実施例では、系列マイニングモデルを訓練する際に、まず、第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する。事前訓練された第１サブモデルの損失関数が収束するため、事前訓練された第１サブモデルによって取得された系列サンプルの潜在ベクトル表現が比較的確実である。次に、ラベル情報が存在する系列サンプル及びその潜在ベクトル表現を用いて、事前訓練された第１サブモデルと、第３サブモデルとを共同訓練することにより、共同訓練された第１サブモデルを取得する。共同訓練された第１サブモデルに系列サンプルのラベル情報が導入されるため、共同訓練された第１サブモデルによって取得された系列サンプルの潜在ベクトルがより確実である。最後に、ラベル情報が存在しない系列サンプル及びその潜在ベクトル表現を用いて、共同訓練された第１サブモデルと、第２サブモデルとを共同訓練することにより、系列マイニングモデルを取得する。これにより、系列サンプルに少なくとも部分的にラベル情報が存在する場合の系列マイニングモデルの具体的な訓練方法が提供される。また、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける過去系列データが十分に利用される。関連技術では、モデルの訓練に一部の過去系列データしか利用できない。これに比べて、本願の実施例で提供される構成では、データリソースの利用率をさらに向上させるとともに、訓練された系列マイニングモデルがより正確になる。
図１０を参照する。図１０は、本願の一実施例で提供される系列データの処理方法のフローチャートを示す。該方法は、上記に紹介されたコンピュータ機器に適用することができる。該方法は、以下のいくつかのステップ（１０１０～１０３０）を含んでもよい。
ステップ１０１０では、ターゲットサービスシナリオの系列データを取得する。
ステップ１０２０では、ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出し、系列マイニングモデルは、ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、過去系列データを用いて訓練されたモデルである。
ステップ１０３０では、系列マイニングモデルによって系列データを処理することにより、系列データのラベル情報を取得する。
ここで、系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、第１サブモデルは、系列データの潜在ベクトル表現を取得するためのものであり、第２サブモデルは、ラベル状態が第１条件を満たす場合、系列データの潜在ベクトル表現に基づいて、系列データのラベル情報を決定するためのものであり、第１条件は、ラベル状態が、第１系列サンプルにラベル情報が存在しないことである、ことを含み、第３サブモデルは、ラベル状態が第２条件を満たす場合、系列データの潜在ベクトル表現に基づいて、系列データのラベル情報を決定するためのものであり、第２条件は、ラベル状態が、第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
ターゲットサービスシナリオ、系列データ、系列マイニングフレーム、系列マイニングモデル、ラベル情報、系列マイニングモデルの訓練過程などの詳細な説明について、上記の任意選択的な実施例を参照するが、ここでは、これ以上の説明を省略する。
以上をまとめると、本願の実施例で提供される構成では、ターゲットサービスシナリオの系列データを取得し、次に、ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出して、系列データを処理することにより、系列データのラベル情報を取得する。これにより、系列データのラベル情報を決定する方式が提供される。また、本願の実施例で提供される構成において、系列マイニングモデルは、ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームから対応するサブモデルを選択して構築されたものである。このため、系列マイニングモデルは、ターゲットサービスシナリオに合致することができ、系列データのラベル情報を決定する正確さを向上させる。また、具体的なサービスシナリオに対して単一の系列マイニングモデルを開発することしかできない従来技術に比べて、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに対して異なる構成の系列マイニングモデルを構築することができ、高い汎用性を有する。
図１１を参照する。図１１は、本願の一実施例で提供される系列マイニングモデルの訓練方法及び系列データの処理方法のフローチャートを示す。該方法は、上記に紹介されたコンピュータ機器に適用することができる。該方法は、以下のいくつかのステップを含んでもよい。
ステップ１１１０では、ターゲットサービスシナリオの過去系列データを取得し、該過去系列データを系列サンプルとする。ターゲットサービスシナリオは、そのサービスシナリオにおける系列データのラベル情報を決定する必要があるサービスシナリオを指す。系列データは、時系列データとも呼ばれ、ターゲットサービスシナリオで異なる時間に収集されたデータを指し、ターゲットサービスシナリオで発生した現象が時間とともに変化する状況を記述するためのものである。
ステップ１１２０では、ターゲットサービスシナリオにおいて「良い」長期的な行動パターンと「悪い」長期的な行動パターンに明らかな違いがある場合、系列サンプルのラベル状態を分析する。系列サンプルのラベル状態は、系列サンプルのラベル情報の具備状況を示すためのものである。ラベル情報は、系列サンプルの特徴属性を反映するためのものである。任意選択的に、ラベル情報は、「良い」及び「悪い」という２種類を含んでもよい。そのうち、「良い」は、ターゲットサービスシナリオの主なサービスと合致することを指し、「悪い」は、ターゲットサービスシナリオの主なサービスと乖離することを指す。
ステップ１１３１では、ラベル状態が、系列サンプルにラベル情報が存在しないことである場合、系列マイニングフレームからディープオートエンコーダモデル及びクラスタリングモデルを選択して、系列マイニングモデルを構築する。図１２に示すように、図１２は、本願の実施例で提供される系列マイニングフレームの模式図を示す。該系列マイニングフレームは、ディープオートエンコーダモデル、クラスタリングモデル、標準分類モデル、及びＰＵＬｅａｒｎｉｎｇモデルを含み、コンピュータ機器は、系列マイニングフレームからディープオートエンコーダモデル及びクラスタリングモデルを選択して、系列マイニングモデルを構築する。
ステップ１１３２では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在することであり、該ラベル情報が、正のラベル情報を含むだけでなく、負のラベル情報を含み、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも大きい場合、系列マイニングフレームからディープオートエンコーダモデル及び標準分類モデルを選択して、系列マイニングモデルを構築する。正のラベル情報は、上述した「良い」に対応し、負のラベル情報は、上述した「悪い」に対応する。ラベル情報が存在する系列サンプルには、正のラベル情報が存在する系列サンプルが含まれるだけでなく、負のラベル情報が存在する系列サンプルが含まれる場合、コンピュータ機器が系列マイニングフレームから選択した分類モデルは、標準分類モデルである。
ステップ１１３３では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在することであり、該ラベル情報が、正のラベル情報のみを含み、又は、負のラベル情報のみを含み、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも大きい場合、系列マイニングフレームからディープオートエンコーダモデル及びＰＵＬｅａｒｎｉｎｇモデルを選択して、系列マイニングモデルを構築する。ラベル情報が存在する系列サンプルには、正のラベル情報が存在する系列サンプルのみが含まれ、又は負のラベル情報が存在する系列サンプルのみが含まれる場合、コンピュータ機器が系列マイニングフレームから選択した分類モデルは、ＰＵＬｅａｒｎｉｎｇモデルである。
ステップ１１３４では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在することであり、該ラベル情報が、正のラベル情報を含むだけでなく、負のラベル情報を含み、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも小さい場合、系列マイニングフレームからディープオートエンコーダモデル、標準分類モデル、及びクラスタリングモデルを選択して、系列マイニングモデルを構築する。ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも小さく、即ち、系列サンプルには、ラベルがない系列サンプルが大量含まれ、この場合、直接にクラスタリングモデルを使用して、系列サンプルに対して教師なし学習を行うと、ラベル情報が存在する系列サンプルが無視され、リソースの浪費が引き起こされる。したがって、本願の実施例で提供される構成では、系列マイニングモデルに分類モデルを加えることにより、系列サンプルを十分に利用することができ、リソース利用率を向上させ、系列マイニングモデルの正確さを向上させる。
ステップ１１３５では、ラベル状態が、系列サンプルに少なくとも部分的にラベル情報が存在することであり、該ラベル情報が、正のラベル情報のみを含み、又は、負のラベル情報のみを含み、且つ、ラベル情報が存在する系列サンプルの数が、ラベル情報が存在しない系列サンプルの数よりも小さい場合、系列マイニングフレームからディープオートエンコーダモデル、ＰＵＬｅａｒｎｉｎｇモデル、及びクラスタリングモデルを選択して、系列マイニングモデルを構築する。
ステップ１１４０では、系列サンプルを用いて、系列マイニングモデルを訓練する。系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を決定するために用いることができる。コンピュータ機器は、系列サンプルを用いて、ディープオートエンコーダモデルによって系列サンプルの潜在ベクトル表現を取得し、次に、系列サンプル及びその潜在ベクトル表現を用いて、系列マイニングモデルを訓練してもよい。具体的な訓練過程は、上記の任意選択的な実施例を参照する。
ステップ１１５０では、ターゲットサービスシナリオの系列データを取得する。ターゲットサービスシナリオにおいて、新たな系列データが絶えず生成され、コンピュータ機器は、該系列データを取得し、次に、系列マイニングモデルによって系列データを処理することができる。
ステップ１１６０では、系列マイニングモデルによって系列データを処理することにより、系列データの潜在ベクトル表現を取得する。系列マイニングモデルが、ターゲットサービスシナリオの過去系列データに基づいて訓練され、且つ、本願の実施例で提供される系列マイニングモデルの訓練方法では、全ての過去系列データが十分に利用されるため、訓練された系列マイニングモデルがターゲットサービスシナリオと高度に適合し、該系列マイニングモデルによって決定された系列データのラベル情報の正確さも比較的高い。
図１３を参照する。図１３は、本願の一実施例で提供される系列マイニングモデルの訓練装置のブロック図を示す。該装置は、上記の系列マイニングモデルの訓練方法の例を実現する機能を有する。前記機能は、ハードウェアによって実現されてもよいし、ハードウェアで相応のソフトウェアを実行することによって実現されてもよい。該装置は、コンピュータ機器であってもよいし、コンピュータ機器内に設けられてもよい。該装置１３００は、サンプル取得モジュール１３１０と、状態決定モジュール１３２０と、モデル構築モジュール１３３０と、モデル訓練モジュール１３４０と、を含んでもよい。
サンプル取得モジュール１３１０は、ターゲットサービスシナリオにおける第１系列サンプルを取得し、前記第１系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる。
状態決定モジュール１３２０は、前記第１系列サンプルのラベル状態を決定し、前記第１系列サンプルのラベル状態は、前記第１系列サンプルのラベル情報の具備状況を示すためのものである。
モデル構築モジュール１３３０は、前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築し、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである。
モデル訓練モジュール１３４０は、前記第１系列サンプルを用いて、前記系列マイニングモデルを訓練する。
ここで、前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記第１系列サンプルにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
任意選択的に、前記ラベル状態は、前記第１系列サンプルにラベル情報が存在しないことであり、前記系列マイニングモデルは、前記第１サブモデルと、前記第２サブモデルとを含み、図１４に示すように、前記モデル訓練モジュール１３４０は、前記第１系列サンプルを用いて、前記第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する事前訓練サブモジュール１３４２と、前記事前訓練された第１サブモデルによって前記第１系列サンプルを処理することにより、前記第１系列サンプルの潜在ベクトル表現を取得する第１潜在ベクトル抽出サブモジュール１３４４と、前記第１系列サンプルと、前記第１系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第１サブモデルと、前記第２サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得する第１モデル訓練サブモジュール１３４６と、を含む。
任意選択的に、前記ラベル状態は、前記第１系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第２系列サンプルの数が第３系列サンプルの数よりも大きいことであり、図１４に示すように、前記第２系列サンプルは、前記第１系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、前記第３系列サンプルは、前記第１系列サンプルのうち、ラベル情報が存在しない系列サンプルを指し、前記系列マイニングモデルは、前記第１サブモデルと、前記第３サブモデルとを含み、前記モデル訓練モジュール１３４０は、前記第１系列サンプルを用いて、前記第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する事前訓練サブモジュール１３４２と、前記事前訓練された第１サブモデルによって前記第２系列サンプルを処理することにより、前記第２系列サンプルの潜在ベクトル表現を取得する第２潜在ベクトル抽出サブモジュール１３４Ａと、前記第２系列サンプルと、前記第２系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第１サブモデルと、前記第３サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得する第２モデル訓練サブモジュール１３４Ｃと、を含む。
任意選択的に、前記ラベル状態は、前記第１系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第２系列サンプルの数が第３系列サンプルの数よりも小さいことであり、前記第２系列サンプルは、前記第１系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、前記第３系列サンプルは、前記第１系列サンプルのうち、ラベル情報が存在しない系列サンプルを指し、前記系列マイニングモデルは、前記第１サブモデルと、前記第２サブモデルと、前記第３サブモデルとを含み、図１４に示すように、前記モデル訓練モジュール１３４０は、前記第１系列サンプルを用いて、前記第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する事前訓練サブモジュール１３４２と、前記事前訓練された第１サブモデルによって前記第２系列サンプルを処理することにより、前記第２系列サンプルの潜在ベクトル表現を取得する第３潜在ベクトル抽出サブモジュール１３４Ｂと、前記第２系列サンプルと、前記第２系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第１サブモデルと、前記第３サブモデルとを共同訓練することにより、共同訓練された第１サブモデルを取得する第３モデル訓練サブモジュール１３４Ｄと、前記共同訓練された第１サブモデルによって前記第３系列サンプルを処理することにより、前記第３系列サンプルの潜在ベクトル表現を取得する第４潜在ベクトル抽出サブモジュール１３４Ｆと、前記第３系列サンプルと、前記第３系列サンプルの潜在ベクトル表現とを用いて、前記共同訓練された第１サブモデルと、前記第２サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得する第４モデル訓練サブモジュール１３４Ｈと、を含む。
任意選択的に、前記第１サブモデルは、潜在ベクトル抽出ユニットと、再構成ユニットとを含み、図１４に示すように、前記事前訓練サブモジュール１３４２は、前記潜在ベクトル抽出ユニットによって前記第１系列サンプルを処理することにより、前記第１系列サンプルの潜在ベクトル表現を取得する潜在ベクトル抽出ユニット１３４２２と、前記再構成ユニットによって前記第１系列サンプルの潜在ベクトル表現を処理することにより、再構成された第１系列サンプルを取得するデータ再構成ユニット１３４２４と、前記第１系列サンプルと前記再構成された第１系列サンプルとに基づいて、第１損失関数の値を計算する第１関数計算ユニットであって、前記第１損失関数は、前記第１サブモデルに対応する損失関数を指す、第１関数計算ユニット１３４２６と、前記第１損失関数の値に基づいて、前記第１サブモデルのパラメータを調整することにより、前記事前訓練された第１サブモデルを取得する第１モデル訓練ユニット１３４２８と、を含む。
任意選択的に、前記潜在ベクトル抽出ユニットは、マッピングサブユニットと、次元削減サブユニットと、再帰サブユニットとを含み、図１４に示すように、前記潜在ベクトル抽出ユニット１３４２２は、前記マッピングサブユニットによって前記第１系列サンプルの特徴情報を取得することにより、前記第１系列サンプルの特徴情報表現を取得し、前記次元削減サブユニットによって前記第１系列サンプルの特徴情報表現に対して次元削減処理を行うことにより、前記第１系列サンプルの次元削減特徴情報を取得し、前記再帰サブユニットによって前記第１系列サンプルの次元削減特徴情報の系列間のステップ長跨りの変化法則を学習することにより、前記第１系列サンプルの潜在ベクトル表現を取得する。
任意選択的に、図１４に示すように、前記装置１３００は、前記第１系列サンプルの静的特徴を取得する特徴取得モジュール１３４８と、前記第１系列サンプルの静的特徴と、前記第１系列サンプルの潜在ベクトル表現とに基づいて、前記第１系列サンプルの最適化ベクトル表現を取得するベクトル最適化モジュール１３４９と、をさらに含み、前記第１系列サンプルの最適化ベクトル表現は、前記事前訓練された第１サブモデルと、前記第２サブモデルとを共同訓練するためのものである。
任意選択的に、図１４に示すように、前記ベクトル最適化モジュール１３４９は、前記第１系列サンプルの静的特徴に対して正則化処理を行うことにより、正則化処理後の静的特徴を取得し、前記第１系列サンプルの潜在ベクトル表現に対して正規化処理を行うことにより、正規化処理後の潜在ベクトル表現を取得し、前記正則化処理後の静的特徴と、前記正規化処理後の潜在ベクトル表現とを組み合わせることにより、前記第１系列サンプルの最適化ベクトル表現を取得する。
任意選択的に、図１４に示すように、前記第１モデル訓練サブモジュール１３４６は、第１損失関数の値及び第２損失関数の値を計算する第２関数計算ユニットであって、前記第１損失関数は、前記第１サブモデルの損失関数を指し、前記第２損失関数は、前記第２サブモデルの損失関数を指す、第２関数計算ユニット１３４６２と、前記第１損失関数の値と、前記第２損失関数の値と、重み係数の設定とに基づいて、前記系列マイニングモデルの損失関数の値を計算する第３関数計算ユニットであって、前記重み係数の設定は、前記第１損失関数の重み及び前記第２損失関数の重みに対する設定を指す、第３関数計算ユニット１３４６４と、前記系列マイニングモデルの損失関数の値に基づいて、前記系列マイニングモデルのパラメータを調整することにより、前記系列マイニングモデルを取得する第２モデル訓練ユニット１３４６６と、を含む。
任意選択的に、図１４に示すように、前記第２関数計算ユニット１３４６２は、前記第１系列サンプルのｋ個（前記ｋは、正の整数）のクラスを決定し、前記ｋ個のクラスに基づいて、前記第２サブモデルによってｋ個のクラスター中心を初期化し、前記第１系列サンプルから前記ｋ個のクラスター中心までの距離を計算することにより、サンプル確率分布を取得し、前記サンプル確率分布に基づいて、シミュレーションサンプル確率分布を計算し、前記サンプル確率分布と前記シミュレーションサンプル確率分布との相対エントロピーを前記第２損失関数の値として決定し、前記サンプル確率分布は、前記第１系列サンプルが前記ｋ個のクラスのそれぞれに属する確率を示すためのものであり、前記シミュレーションサンプル確率分布は、前記第１系列サンプルにラベル情報が存在する場合、前記第１系列サンプルが前記ｋ個のクラスのそれぞれに属する確率を示すためのものである。
以上をまとめると、本願の実施例で提供される構成によれば、系列マイニングフレームが提供されている。実際の適用では、ターゲットサービスシナリオにおける系列サンプルを取得し、該系列サンプルのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築し、次に、該系列サンプルを用いて、系列マイニングモデルを訓練することにより、訓練された系列マイニングモデルは、ターゲットサービスシナリオにおける系列データのラベル情報を判断するために用いることができる。そして、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに汎用することができる。該系列マイニングフレームには、少なくとも１つのサブモデルが含まれる。異なるサービスシナリオにおける過去系列データの異なるラベル状態に対しては、系列マイニングフレームから対応するサブモデルを選択して、系列マイニングモデルを構築することができる。また、関連技術では、構造が固定された単一モデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおける一部の過去系列データが使用できないことを引き起こす恐れがある。例えば、関連技術では、教師なしクラスタリングモデルを用いて訓練を行うことしかできないため、あるサービスシナリオにおけるラベル情報が存在する過去系列データが使用できないことを引き起こして、リソース浪費の問題を発生させる恐れがある。これに比べて、本願の実施例で提供される構成では、過去系列データの異なるラベル状態に対して、異なるサブモデルを用いて訓練を行うことができる。これにより、サービスシナリオにおける全ての過去系列データが十分に利用され、リソース利用率が向上する。また、本願の実施例で提供される構成では、ターゲットサービスシナリオにおける全ての過去系列データに基づいて、系列マイニングモデルを十分に訓練することができるため、該系列マイニングモデルによって系列データのラベル情報を決定する正確さを向上させる。
図１５を参照する。図１５は、本願の一実施例で提供される系列データの処理装置のブロック図を示す。該装置は、上記の系列データの処理方法の例を実現する機能を有する。前記機能は、ハードウェアによって実現されてもよいし、ハードウェアで相応のソフトウェアを実行することによって実現されてもよい。該装置は、コンピュータ機器であってもよいし、コンピュータ機器内に設けられてもよい。該装置１５００は、データ取得モジュール１５１０と、モデル呼び出しモジュール１５２０と、ラベル決定モジュール１５３０と、を含んでもよい。
データ取得モジュール１５１０は、ターゲットサービスシナリオの系列データを取得する。
モデル呼び出しモジュール１５２０は、前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出し、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである。
ラベル決定モジュール１５３０は、前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得する。
ここで、前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記第１系列サンプルにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む。
以上をまとめると、本願の実施例で提供される構成では、ターゲットサービスシナリオの系列データを取得し、次に、ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出して、系列データを処理することにより、系列データのラベル情報を取得する。これにより、系列データのラベル情報を決定する方式が提供される。また、本願の実施例で提供される構成において、系列マイニングモデルは、ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームから対応するサブモデルを選択して構築されたものである。このため、系列マイニングモデルは、ターゲットサービスシナリオに合致することができ、系列データのラベル情報を決定する正確さを向上させる。また、具体的なサービスシナリオに対して単一の系列マイニングモデルを開発することしかできない従来技術に比べて、本願の実施例で提供される系列マイニングフレームは、異なるサービスシナリオに対して異なる構成の系列マイニングモデルを構築することができ、高い汎用性を有する。
説明すべきものとして、上記実施例で提供される装置は、その機能を実現する際に、上記の各機能モジュールの分割のみを例として説明されているが、実際の適用では、必要に応じて、上記の機能を異なる機能モジュールに割り当てて完了し、即ち、機器の内部構成を異なる機能モジュールに分割して、以上に説明した全部又は一部の機能を完了してもよい。また、上記実施例で提供される装置は、方法の実施例と同一の構想に属し、その具体的な実現過程の詳細は、方法の実施例を参照するが、ここでは、これ以上の説明を省略する。
図１６を参照する。図１６は、本願の実施例で提供されるコンピュータ機器の構成のブロック図である。該コンピュータ機器は、上記の系列マイニングモデルの訓練方法の例、又は上記の系列データの処理方法の例の機能を実現するために用いることができる。具体的には、
該コンピュータ機器１６００は、処理ユニット（例えば、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）など）１６０１と、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６０２及び読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１６０３を含むシステムメモリ１６０４と、システムメモリ１６０４及び中央処理装置１６０１を接続するシステムバス１６０５と、を備える。該コンピュータ機器１６００は、コンピュータ機器内の各デバイス間の情報伝送を助ける基本入出力システム（Ｉ／Ｏシステム：Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１６０６と、オペレーティングシステム１６１３、アプリケーションプログラム１６１４、及び他のプログラムモジュール１６１５を記憶するための大容量記憶装置１６０７と、をさらに備える。
該基本入出力システム１６０６は、情報を表示するためのディスプレイ１６０８と、ユーザが情報を入力するためのマウスやキーボードのような入力デバイス１６０９とを含む。ここで、該ディスプレイ１６０８及び入力デバイス１６０９は、いずれも、システムバス１６０５に接続された入出力コントローラ１６１０を介して、中央処理装置１６０１に接続される。該基本入出力システム１６０６は、入出力コントローラ１６１０をさらに含んでもよい。これにより、キーボード、マウス、又は電子スタイラスなどの複数の他のデバイスからの入力を受け付けて処理する。同様に、入出力コントローラ１６１０は、ディスプレイ、プリンタ、又は他のタイプの出力デバイスに出力を提供する。
該大容量記憶装置１６０７は、システムバス１６０５に接続された大容量記憶コントローラ（図示されない）を介して、中央処理装置１６０１に接続される。該大容量記憶装置１６０７及びそれに関連するコンピュータ可読媒体は、コンピュータ機器１６００に不揮発性記憶を提供する。つまり、該大容量記憶装置１６０７は、ハードディスクやコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライバーのようなコンピュータ可読媒体（図示されない）を含んでもよい。
一般性を失うことなく、該コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含んでもよい。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどのような情報を記憶するための任意の方法又は技術で実現される揮発性及び不揮発性、移動可能及び移動不可な媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、又は他のソリッドステート記憶技術、ＣＤ－ＲＯＭ、デジタルビデオディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、又は他の光学ストレージ、テープカセット、テープ、磁気ディスクストレージ、又は他の磁気記憶装置を含む。もちろん、当業者は、該コンピュータ記憶媒体が上記のものに限定されないことを知っている。上記のシステムメモリ１６０４及び大容量記憶装置１６０７は、メモリと総称することができる。
本願の実施例によれば、該コンピュータ機器１６００は、インターネットなどのようなネットワークを介してネットワーク上のリモートコンピュータに接続されて動作してもよい。つまり、コンピュータ機器１６００は、該システムバス１６０５に接続されたネットワークインタフェースユニット１６１１を介して、ネットワーク１６１２に接続してもよく、又は、ネットワークインタフェースユニット１６１１を用いて、他のタイプのネットワーク又はリモートコンピュータシステム（図示されない）に接続してもよい。
該メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットがさらに含まれる。該少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットは、メモリに記憶され、１つ又は複数のプロセッサによって実行されると、上記の系列マイニングモデルの訓練方法、又は上記の系列データの処理方法を実現させるように構成される。
例示的な実施例では、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットを記憶したコンピュータ可読記憶媒体がさらに提供されている。前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、プロセッサによりロードされて実行されると、上記の系列マイニングモデルの訓練方法、又は上記の系列データの処理方法を実現させる。
任意選択的に、該コンピュータ可読記憶媒体は、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅｓ）、又は光ディスクなどを含んでもよい。ここで、ランダムアクセスメモリは、抵抗変化型ランダムアクセスメモリ（ＲｅＲＡＭ：Ｒｅｓｉｓｔａｎｃｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでもよい。
例示的な実施例では、コンピュータプログラム製品がさらに提供されている。前記コンピュータプログラム製品は、コンピュータ機器上で実行されると、上記の系列マイニングモデルの訓練方法、又は上記の系列データの処理方法をコンピュータ機器に実現させる。
理解すべきものとして、本明細書で言及される「複数」は、２つ以上を意味する。「及び／又は」は、関連対象の関連関係を記述するものであり、３種類の関係が存在し得ることを表す。例えば、Ａ及び／又はＢは、Ａが単独で存在すること、Ａ及びＢが同時に存在すること、Ｂが単独で存在することの３種類の場合を表すことができる。符号「／」は、一般的に、前後の関連対象に「又は」という関係があることを表す。また、本明細書に記載のステップの番号は、ステップ間の可能な実行順序の一例を例示的に示すものに過ぎない。他のいくつかの実施例では、上記ステップがこの番号の順序で実行されなくてもよく、例えば、番号の異なる２つのステップが同時に実行されたり、番号の異なる２つのステップが図示と逆の順序で実行されたりしてもよい。本願の実施例はこれを限定しない。
上記は、本願の例示的な実施例に過ぎず、本願を制限するものではない。本願の精神および原則内で行われる種々の修正、均等置換え、改善などは全て本願の保護範囲内に含まれるべきである。
１０ 第１コンピュータ機器
２０ 第２コンピュータ機器
４１０ 潜在ベクトル抽出ユニット
４１２ マッピングサブユニット
４１４ 次元削減サブユニット
４１６ 再帰サブユニット
４２０ 再構成ユニット
１３００ 装置
１３１０ サンプル取得モジュール
１３２０ 状態決定モジュール
１３３０ モデル構築モジュール
１３４０ モデル訓練モジュール
１３４２ 事前訓練サブモジュール
１３４２２ 潜在ベクトル抽出ユニット
１３４２４ データ再構成ユニット
１３４２６ 第１関数計算ユニット
１３４２８ 第１モデル訓練ユニット
１３４４ 第１潜在ベクトル抽出サブモジュール
１３４６ 第１モデル訓練サブモジュール
１３４６２ 第２関数計算ユニット
１３４６４ 第３関数計算ユニット
１３４６６ 第２モデル訓練ユニット
１３４８ 特徴取得モジュール
１３４９ ベクトル最適化モジュール
１３４９ ベクトル最適化モジュール
１５００ 装置
１５１０ データ取得モジュール
１５２０ モデル呼び出しモジュール
１５３０ ラベル決定モジュール
１６００ コンピュータ機器
１６０１ 中央処理装置
１６０２ ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
１６０３ 読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）
１６０４ システムメモリ
１６０５ システムバス
１６０６ 基本入出力システム
１６０７ 大容量記憶装置
１６０８ ディスプレイ
１６０９ 入力デバイス
１６１０ 入出力コントローラ
１６１１ ネットワークインタフェースユニット
１６１２ ネットワーク
１６１３ オペレーティングシステム
１６１４ アプリケーションプログラム
１６１５ プログラムモジュール

Claims (17)

  1. 系列マイニングモデルの訓練装置の動作方法であって、
    前記訓練装置は、
    サンプル取得モジュールと、
    状態決定モジュールと、
    モデル構築モジュールと、
    モデル訓練モジュールと、
    を具備し、前記方法は、
    前記サンプル取得モジュールが、ターゲットサービスシナリオにおける第１系列サンプルを取得するステップであって、前記第１系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる、ステップと、
    前記状態決定モジュールが、前記第１系列サンプルのラベル状態を決定するステップであって、前記第１系列サンプルのラベル状態は、前記第１系列サンプルのラベル情報の具備状況を示すためのものである、ステップと、
    前記モデル構築モジュールが、前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築するステップであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである、ステップと、
    前記モデル訓練モジュールが、前記第１系列サンプルを用いて、前記系列マイニングモデルを訓練するステップと、
    を含み、
    前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記第１系列サンプルにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む、方法。
  2. 前記ラベル状態は、前記第１系列サンプルにラベル情報が存在しないことであり、前記系列マイニングモデルは、前記第１サブモデルと、前記第２サブモデルとを含み、
    前記第１系列サンプルを用いて、前記系列マイニングモデルを訓練する前記ステップは、
    前記第１系列サンプルを用いて、前記第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得するステップと、
    前記事前訓練された第１サブモデルによって前記第１系列サンプルを処理することにより、前記第１系列サンプルの潜在ベクトル表現を取得するステップと、
    前記第１系列サンプルと、前記第１系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第１サブモデルと、前記第２サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得するステップと、
    を含む、
    請求項１に記載の方法。
  3. 前記ラベル状態は、前記第１系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第２系列サンプルの数が第３系列サンプルの数よりも大きいことであり、前記第２系列サンプルは、前記第１系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、前記第３系列サンプルは、前記第１系列サンプルのうち、ラベル情報が存在しない系列サンプルを指し、前記系列マイニングモデルは、前記第１サブモデルと、前記第３サブモデルとを含み、
    前記第１系列サンプルを用いて、前記系列マイニングモデルを訓練する前記ステップは、
    前記第１系列サンプルを用いて、前記第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得するステップと、
    前記事前訓練された第１サブモデルによって前記第２系列サンプルを処理することにより、前記第２系列サンプルの潜在ベクトル表現を取得するステップと、
    前記第２系列サンプルと、前記第２系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第１サブモデルと、前記第３サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得するステップと、
    を含む、
    請求項１に記載の方法。
  4. 前記ラベル状態は、前記第１系列サンプルに少なくとも部分的にラベル情報が存在し、且つ、第２系列サンプルの数が第３系列サンプルの数よりも小さいことであり、前記第２系列サンプルは、前記第１系列サンプルのうち、ラベル情報が存在する系列サンプルを指し、前記第３系列サンプルは、前記第１系列サンプルのうち、ラベル情報が存在しない系列サンプルを指し、前記系列マイニングモデルは、前記第１サブモデルと、前記第２サブモデルと、前記第３サブモデルとを含み、
    前記第１系列サンプルを用いて、前記系列マイニングモデルを訓練する前記ステップは、
    前記第１系列サンプルを用いて、前記第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得するステップと、
    前記事前訓練された第１サブモデルによって前記第２系列サンプルを処理することにより、前記第２系列サンプルの潜在ベクトル表現を取得するステップと、
    前記第２系列サンプルと、前記第２系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第１サブモデルと、前記第３サブモデルとを共同訓練することにより、共同訓練された第１サブモデルを取得するステップと、
    前記共同訓練された第１サブモデルによって前記第３系列サンプルを処理することにより、前記第３系列サンプルの潜在ベクトル表現を取得するステップと、
    前記第３系列サンプルと、前記第３系列サンプルの潜在ベクトル表現とを用いて、前記共同訓練された第１サブモデルと、前記第２サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得するステップと、
    を含む、
    請求項１に記載の方法。
  5. 前記第１サブモデルは、潜在ベクトル抽出ユニットと、再構成ユニットとを含み、
    前記第１系列サンプルを用いて、前記第１サブモデルを事前訓練することにより、事前訓練された第１サブモデルを取得する前記ステップは、
    前記潜在ベクトル抽出ユニットによって前記第１系列サンプルを処理することにより、前記第１系列サンプルの潜在ベクトル表現を取得するステップと、
    前記再構成ユニットによって前記第１系列サンプルの潜在ベクトル表現を処理することにより、再構成された第１系列サンプルを取得するステップと、
    前記第１系列サンプルと、前記再構成された第１系列サンプルとに基づいて、第１損失関数の値を計算するステップであって、前記第１損失関数は、前記第１サブモデルに対応する損失関数を指す、ステップと、
    前記第１損失関数の値に基づいて、前記第１サブモデルのパラメータを調整することにより、前記事前訓練された第１サブモデルを取得するステップと、
    を含む、
    請求項２乃至４のいずれか１項に記載の方法。
  6. 前記潜在ベクトル抽出ユニットは、マッピングサブユニットと、次元削減サブユニットと、再帰サブユニットとを含み、
    前記潜在ベクトル抽出ユニットによって前記第１系列サンプルを処理することにより、前記第１系列サンプルの潜在ベクトル表現を取得する前記ステップは、
    前記マッピングサブユニットによって前記第１系列サンプルの特徴情報を取得することにより、前記第１系列サンプルの特徴情報表現を取得するステップと、
    前記次元削減サブユニットによって前記第１系列サンプルの特徴情報表現に対して次元削減処理を行うことにより、前記第１系列サンプルの次元削減特徴情報を取得するステップと、
    前記再帰サブユニットによって前記第１系列サンプルの次元削減特徴情報の系列間のステップ長跨りの変化法則を学習することにより、前記第１系列サンプルの潜在ベクトル表現を取得するステップと、
    を含む、
    請求項５に記載の方法。
  7. 前記事前訓練された第１サブモデルによって前記第１系列サンプルを処理することにより、前記第１系列サンプルの潜在ベクトル表現を取得する前記ステップの後、
    前記第１系列サンプルの静的特徴を取得するステップと、
    前記第１系列サンプルの静的特徴と、前記第１系列サンプルの潜在ベクトル表現とに基づいて、前記第１系列サンプルの最適化ベクトル表現を取得するステップと、
    をさらに含み、
    前記第１系列サンプルの最適化ベクトル表現は、前記事前訓練された第１サブモデルと、前記第２サブモデルとを共同訓練するためのものである、
    請求項２に記載の方法。
  8. 前記第１系列サンプルの静的特徴と、前記第１系列サンプルの潜在ベクトル表現とに基づいて、前記第１系列サンプルの最適化ベクトル表現を取得する前記ステップは、
    前記第１系列サンプルの静的特徴に対して正則化処理を行うことにより、正則化処理後の静的特徴を取得するステップと、
    前記第１系列サンプルの潜在ベクトル表現に対して正規化処理を行うことにより、正規化処理後の潜在ベクトル表現を取得するステップと、
    前記正則化処理後の静的特徴と、前記正規化処理後の潜在ベクトル表現とを組み合わせることにより、前記第１系列サンプルの最適化ベクトル表現を取得するステップと、
    を含む、
    請求項７に記載の方法。
  9. 前記第１系列サンプルと、前記第１系列サンプルの潜在ベクトル表現とを用いて、前記事前訓練された第１サブモデルと、前記第２サブモデルとを共同訓練することにより、前記系列マイニングモデルを取得する前記ステップは、
    第１損失関数の値及び第２損失関数の値を計算するステップであって、前記第１損失関数は、前記第１サブモデルの損失関数を指し、前記第２損失関数は、前記第２サブモデルの損失関数を指す、ステップと、
    前記第１損失関数の値と、前記第２損失関数の値と、重み係数の設定とに基づいて、前記系列マイニングモデルの損失関数の値を計算するステップであって、前記重み係数の設定は、前記第１損失関数の重み及び前記第２損失関数の重みに対する設定を指す、ステップと、
    前記系列マイニングモデルの損失関数の値に基づいて、前記系列マイニングモデルのパラメータを調整することにより、前記系列マイニングモデルを取得するステップと、
    を含む、
    請求項２に記載の方法。
  10. 第２損失関数の値を計算する前記ステップは、
    前記第１系列サンプルのｋ個（前記ｋは、正の整数）のクラスを決定するステップと、
    前記ｋ個のクラスに基づいて、前記第２サブモデルによってｋ個のクラスター中心を初期化するステップと、
    前記第１系列サンプルから前記ｋ個のクラスター中心までの距離を計算することにより、サンプル確率分布を取得するステップであって、前記サンプル確率分布は、前記第１系列サンプルが前記ｋ個のクラスのそれぞれに属する確率を示すためのものである、ステップと、
    前記サンプル確率分布に基づいて、シミュレーションサンプル確率分布を計算するステップであって、前記シミュレーションサンプル確率分布は、前記第１系列サンプルにラベル情報が存在する場合、前記第１系列サンプルが前記ｋ個のクラスのそれぞれに属する確率を示すためのものである、ステップと、
    前記サンプル確率分布と前記シミュレーションサンプル確率分布との相対エントロピーを前記第２損失関数の値として決定するステップと、
    を含む、
    請求項９に記載の方法。
  11. 系列データの処理装置の動作方法であって、
    前記処理装置は、
    データ取得モジュールと、
    モデル呼び出しモジュールと、
    ラベル決定モジュールと、
    を具備し、前記方法は、
    前記データ取得モジュールが、ターゲットサービスシナリオの系列データを取得するステップと、
    前記モデル呼び出しモジュールが、前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出すステップであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである、ステップと、
    前記ラベル決定モジュールが、前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得するステップと、
    を含み、
    前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記系列データにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記系列データに少なくとも部分的にラベル情報が存在することである、ことを含む、方法。
  12. 系列マイニングモデルの訓練装置であって、
    ターゲットサービスシナリオにおける第１系列サンプルを取得するサンプル取得モジュールであって、前記第１系列サンプルには、前記ターゲットサービスシナリオにおける過去系列データが含まれる、サンプル取得モジュールと、
    前記第１系列サンプルのラベル状態を決定する状態決定モジュールであって、前記第１系列サンプルのラベル状態は、前記第１系列サンプルのラベル情報の具備状況を示すためのものである、状態決定モジュールと、
    前記ラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して、系列マイニングモデルを構築するモデル構築モジュールであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける系列データのラベル情報を決定するためのものである、モデル構築モジュールと、
    前記第１系列サンプルを用いて、前記系列マイニングモデルを訓練するモデル訓練モジュールと、
    を含み、
    前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記第１系列サンプルにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記第１系列サンプルに少なくとも部分的にラベル情報が存在することである、ことを含む、装置。
  13. 系列データの処理装置であって、
    ターゲットサービスシナリオの系列データを取得するデータ取得モジュールと、
    前記ターゲットサービスシナリオに対応する系列マイニングモデルを呼び出すモデル呼び出しモジュールであって、前記系列マイニングモデルは、前記ターゲットサービスシナリオにおける過去系列データのラベル状態に基づいて、系列マイニングフレームからサブモデルを選択して構築され、前記過去系列データを用いて訓練されたモデルである、モデル呼び出しモジュールと、
    前記系列マイニングモデルによって前記系列データを処理することにより、前記系列データのラベル情報を取得するラベル決定モジュールと、
    を含み、
    前記系列マイニングフレームは、第１サブモデルと、第２サブモデルと、第３サブモデルとを含み、前記第１サブモデルは、前記系列データの潜在ベクトル表現を取得するためのものであり、前記第２サブモデルは、前記ラベル状態が第１条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第１条件は、前記ラベル状態が、前記系列データにラベル情報が存在しないことである、ことを含み、前記第３サブモデルは、前記ラベル状態が第２条件を満たす場合、前記系列データの潜在ベクトル表現に基づいて、前記系列データのラベル情報を決定するためのものであり、前記第２条件は、前記ラベル状態が、前記系列データに少なくとも部分的にラベル情報が存在することである、ことを含む、装置。
  14. プロセッサとメモリとを備えるコンピュータ機器であって、前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行されると、請求項１乃至１０のいずれか１項に記載の系列マイニングモデルの訓練装置の動作方法を実現させる、コンピュータ機器。
  15. プロセッサとメモリとを備えるコンピュータ機器であって、前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行されると、請求項１１に記載の系列データの処理装置の動作方法を実現させる、コンピュータ機器。
  16. 請求項１乃至１０のいずれか１項に記載の系列マイニングモデルの訓練装置の動作方法をコンピュータに実現させるコンピュータプログラム。
  17. 請求項１１に記載の系列データの処理装置の動作方法をコンピュータに実現させるコンピュータプログラム。
JP2022524007A 2020-02-18 2020-11-02 系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム Active JP7403909B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010099547.7 2020-02-18
CN202010099547.7A CN111352965B (zh) 2020-02-18 2020-02-18 序列挖掘模型的训练方法、序列数据的处理方法及设备
PCT/CN2020/125898 WO2021164317A1 (zh) 2020-02-18 2020-11-02 序列挖掘模型的训练方法、序列数据的处理方法及设备

Publications (2)

Publication Number Publication Date
JP2023500222A JP2023500222A (ja) 2023-01-05
JP7403909B2 true JP7403909B2 (ja) 2023-12-25

Family

ID=71194077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022524007A Active JP7403909B2 (ja) 2020-02-18 2020-11-02 系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム

Country Status (4)

Country Link
US (1) US20220215298A1 (ja)
JP (1) JP7403909B2 (ja)
CN (1) CN111352965B (ja)
WO (1) WO2021164317A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352965B (zh) * 2020-02-18 2023-09-08 腾讯科技（深圳）有限公司 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN112836101A (zh) * 2021-03-30 2021-05-25 中国工商银行股份有限公司 处理数据的方法、装置、设备、介质和产品
CN113360656A (zh) * 2021-06-29 2021-09-07 未鲲(上海)科技服务有限公司 异常数据检测方法、装置、设备及存储介质
CN113987910A (zh) * 2021-09-18 2022-01-28 国网江苏省电力有限公司信息通信分公司 一种耦合神经网络与动态时间规划的居民负荷辨识方法及装置
CN115879524A (zh) * 2021-09-27 2023-03-31 华为技术有限公司 一种模型训练方法及其相关设备
US11599972B1 (en) * 2021-12-22 2023-03-07 Deep Render Ltd. Method and system for lossy image or video encoding, transmission and decoding
CN114462502B (zh) * 2022-01-06 2024-07-12 支付宝(杭州)信息技术有限公司 一种核身推荐模型训练方法及装置
CN114140127B (zh) * 2022-01-27 2022-05-13 广州卓远虚拟现实科技有限公司 一种基于区块链的支付处理方法及系统
CN115327934B (zh) * 2022-07-22 2024-09-24 青岛海尔科技有限公司 智能家居场景推荐方法、系统、存储介质及电子装置
CN116192538B (zh) * 2023-04-28 2023-07-11 北京源堡科技有限公司 基于机器学习的网络安全评估方法、装置、设备及介质
CN117312388B (zh) * 2023-10-08 2024-03-19 江苏泰赋星信息技术有限公司 一种人工智能模型控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016525239A (ja) 2013-06-24 2016-08-22 サイランス・インコーポレイテッドＣｙｌａｎｃｅ Ｉｎｃ． 機械学習を使用した生成的マルチモデルマルチクラス分類および類似度分析のための自動システム
WO2018134964A1 (ja) 2017-01-20 2018-07-26 楽天株式会社 画像検索システム、画像検索方法およびプログラム
WO2019097784A1 (ja) 2017-11-16 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689419B2 (en) * 2005-09-22 2010-03-30 Microsoft Corporation Updating hidden conditional random field model parameters after processing individual training samples
US9792560B2 (en) * 2015-02-17 2017-10-17 Microsoft Technology Licensing, Llc Training systems and methods for sequence taggers
US9875736B2 (en) * 2015-02-19 2018-01-23 Microsoft Technology Licensing, Llc Pre-training and/or transfer learning for sequence taggers
US10628506B2 (en) * 2017-02-17 2020-04-21 Microsoft Technology Licensing, Llc Using log data to train for automated sourcing
US10719780B2 (en) * 2017-03-31 2020-07-21 Drvision Technologies Llc Efficient machine learning method
CN109034201B (zh) * 2018-06-26 2022-02-01 创新先进技术有限公司 模型训练及规则挖掘方法和系统
CN108960316B (zh) * 2018-06-27 2020-10-30 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110209807A (zh) * 2018-07-03 2019-09-06 腾讯科技（深圳）有限公司 一种事件识别的方法、模型训练的方法、设备及存储介质
CN109359793B (zh) * 2018-08-03 2020-11-17 创新先进技术有限公司 一种针对新场景的预测模型训练方法及装置
CN109255477B (zh) * 2018-08-24 2022-07-01 国电联合动力技术有限公司 一种基于深度极限学习机的风速预测方法及其系统和机组
CN109583904B (zh) * 2018-11-30 2023-04-07 深圳市腾讯计算机系统有限公司 异常操作检测模型的训练方法、异常操作检测方法及装置
CN109933662B (zh) * 2019-02-15 2021-03-12 北京奇艺世纪科技有限公司 模型训练方法、信息生成方法、装置、电子设备和计算机可读介质
CN110084374A (zh) * 2019-04-24 2019-08-02 第四范式（北京）技术有限公司 构建基于pu学习的模型的方法、装置及预测方法、装置
CN110674854B (zh) * 2019-09-09 2022-05-17 东软集团股份有限公司 一种图像分类模型训练方法、图像分类方法、装置及设备
CN111352965B (zh) * 2020-02-18 2023-09-08 腾讯科技（深圳）有限公司 序列挖掘模型的训练方法、序列数据的处理方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016525239A (ja) 2013-06-24 2016-08-22 サイランス・インコーポレイテッドＣｙｌａｎｃｅ Ｉｎｃ． 機械学習を使用した生成的マルチモデルマルチクラス分類および類似度分析のための自動システム
WO2018134964A1 (ja) 2017-01-20 2018-07-26 楽天株式会社 画像検索システム、画像検索方法およびプログラム
WO2019097784A1 (ja) 2017-11-16 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2023500222A (ja) 2023-01-05
CN111352965B (zh) 2023-09-08
WO2021164317A1 (zh) 2021-08-26
US20220215298A1 (en) 2022-07-07
CN111352965A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
JP7403909B2 (ja) 系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム
WO2022042002A1 (zh) 一种半监督学习模型的训练方法、图像处理方法及设备
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
WO2021063171A1 (zh) 决策树模型的训练方法、系统、存储介质及预测方法
KR102071582B1 (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
WO2019011093A1 (zh) 机器学习模型训练方法和装置、表情图像分类方法和装置
CN111667022A (zh) 用户数据处理方法、装置、计算机设备和存储介质
KR102548732B1 (ko) 신경망 학습 방법 및 이를 적용한 장치
CN116415654A (zh) 一种数据处理方法及相关设备
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
US11373117B1 (en) Artificial intelligence service for scalable classification using features of unlabeled data and class descriptors
Rivas Deep Learning for Beginners: A beginner's guide to getting up and running with deep learning from scratch using Python
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
US20230021551A1 (en) Using training images and scaled training images to train an image segmentation model
KR20210136706A (ko) 전자 장치 및 이의 제어 방법
CN114266897A (zh) 痘痘类别的预测方法、装置、电子设备及存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
WO2024175079A1 (zh) 一种模型的量化方法以及相关设备
CN117708698A (zh) 一种类别确定方法、装置、设备及存储介质
CN114565964B (zh) 情绪识别模型的生成方法、识别方法、装置、介质和设备
KR102609946B1 (ko) 프로그램 코드 처리 장치 및 방법
CN110414515A (zh) 基于信息融合处理的汉字图像识别方法、装置及存储介质
US20240062064A1 (en) Artificial Intelligence Computing Systems for Efficiently Learning Underlying Features of Data
CN117037230A (zh) 人脸识别方法、相关设备、存储介质及计算机程序产品
CN117172297A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7403909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150