JP2023539532A - テキスト分類モデルのトレーニング方法、テキスト分類方法、装置、機器、記憶媒体及びコンピュータプログラム - Google Patents

テキスト分類モデルのトレーニング方法、テキスト分類方法、装置、機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2023539532A
JP2023539532A JP2023514478A JP2023514478A JP2023539532A JP 2023539532 A JP2023539532 A JP 2023539532A JP 2023514478 A JP2023514478 A JP 2023514478A JP 2023514478 A JP2023514478 A JP 2023514478A JP 2023539532 A JP2023539532 A JP 2023539532A
Authority
JP
Japan
Prior art keywords
text
classification model
training
text classification
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023514478A
Other languages
English (en)
Inventor
▲暢▼宇 ▲繆▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2023539532A publication Critical patent/JP2023539532A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

人工知能技術に関するテキスト分類モデルのトレーニング方法、テキスト分類方法、装置、電子機器及びコンピュータ可読記憶媒体であって、前記テキスト分類モデルのトレーニング方法は、機械翻訳モデルを介して、第１言語の複数の第１テキストサンプルに対して機械翻訳処理を行い、複数の第１テキストサンプルに１対１に対応する複数の第２テキストサンプルを取得するステップ（１０１）であって、複数の第２テキストサンプルは、第１言語とは異なる第２言語を採用する、ステップと、第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、第２言語向けの第１テキスト分類モデルをトレーニングするステップ（１０２）と、トレーニングされた第１テキスト分類モデルを介して、複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行うステップ（１０３）と、選別処理によって得られた第２テキストサンプルに基づいて、第２言語向けの第２テキスト分類モデルをトレーニングするステップ（１０４）と、を含む。

Description

（関連出願への相互参照）
本願は、２０２０年１１月０４日に中国特許局に提出された、出願番号が２０２０１１２１７０５７．９である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。
本願は、人工知能技術に関し、特に、テキスト分類モデルのトレーニング方法、テキスト分類方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品に関するものである。
人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、コンピュータ科学の総合的な技術であり、様々な知能機械の設計原理及び実現方法を研究することにより、機械に知覚、推論、意思決定の機能を持たせることができる。人工知能技術は、自然言語処理技術及び機械学習／深層学習など、幅広い分野に関わる総合的な学科であり、技術の発展に伴い、人工知能技術は、より多くの分野で応用され、ますます重要な価値を発揮すると考えられる。
テキスト分類モデルは、人工知能の分野における重要な応用の一つであり、テキスト分類モデルは、テキストが属するカテゴリを識別することができる。テキスト分類モデルは、ニュース推薦システムや意図認識システムなどで広く使用されており、即ち、テキスト分類モデルは、これらの複雑なシステムの基本的な構成要素である。
しかしながら、関連技術におけるテキスト分類モデルは、特定の言語を対象としており、テキスト分類モデルを他の言語のテキスト分類に拡張すると、当該テキスト分類モデルは、他の言語のラベリングサンプルが不足しているという問題に直面し、他の言語のテキスト分類タスクを円滑に実行できなくなる。
本願実施例は、クロスリンガルのテキストサンプルを自動的に取得し、テキスト分類の精度を向上させることができる、テキスト分類モデルのトレーニング方法、テキスト分類方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品を提供する。
本願実施例による技術的解決策は、次のように実現できる。
本願実施例は、テキスト分類モデルのトレーニング方法を提供し、前記方法は、
第１言語の複数の第１テキストサンプルに対して機械翻訳処理を行い、前記複数の第１テキストサンプルに１対１に対応する複数の第２テキストサンプルを取得するステップであって、前記複数の第２テキストサンプルは、前記第１言語とは異なる第２言語を採用する、ステップと、
前記第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第２言語向けの第１テキスト分類モデルをトレーニングするステップと、
トレーニングされた前記第１テキスト分類モデルを介して、前記複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行うステップと、
前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップと、を含み、
前記第２テキスト分類モデルのネットワーク深さは、前記第１テキスト分類モデルのネットワーク深さより大きい。
本願実施例は、テキスト分類方法を提供し、前記方法は、
分類対象テキストを取得するステップであって、前記分類対象テキストは、第１言語とは異なる第２言語を採用する、ステップと、
ネットワーク深さが第１テキスト分類モデルより大きい第２テキスト分類モデルを介して、前記分類対象テキストに対して符号化処理を行い、前記分類対象テキストの符号化ベクトルを取得するステップと、
前記分類対象テキストの符号化ベクトルに対して非線形マッピングを行い、前記分類対象テキストに対応するカテゴリを取得するステップと、を含み、
前記第２テキスト分類モデルは、前記第１テキスト分類モデルによる選別によって得られた第２言語のテキストサンプルをトレーニングすることによって取得されるものであり、前記第２言語のテキストサンプルは、前記第１言語のテキストサンプルを機械翻訳することによって取得されるものである。
本願実施例は、テキスト分類モデルのトレーニング装置を提供し、前記装置は、
第１言語の複数の第１テキストサンプルに対して機械翻訳処理を行い、前記複数の第１テキストサンプルに１対１に対応する複数の第２テキストサンプルを取得するように構成される翻訳モジュールと、
前記第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第２言語向けの第１テキスト分類モデルをトレーニングするように構成される第１トレーニングモジュールと、
トレーニングされた前記第１テキスト分類モデルを介して、前記複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行うように構成される選別モジュールと、
前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするように構成される第２トレーニングモジュールと、を備え、前記第２テキスト分類モデルのネットワーク深さは、前記第１テキスト分類モデルのネットワーク深さより大きい。
本願実施例は、テキスト分類装置を提供し、前記装置は、
分類対象テキストを取得するように構成される取得モジュールであって、前記分類対象テキストは、第１言語とは異なる第２言語を採用する、取得モジュールと、
ネットワーク深さが第１テキスト分類モデルより大きい第２テキスト分類モデルを介して、前記分類対象テキストに対して符号化処理を行い、前記分類対象テキストの符号化ベクトルを取得し、前記分類対象テキストの符号化ベクトルに対して非線形マッピングを行い、前記分類対象テキストに対応するカテゴリを取得するように構成される処理モジュールと、を備え、前記第２テキスト分類モデルは、前記第１テキスト分類モデルによる選別によって得られた第２言語のテキストサンプルをトレーニングすることによって取得されるものであり、前記第２言語のテキストサンプルは、前記第１言語のテキストサンプルを機械翻訳することによって取得されるものである。
本願実施例は、テキスト分類モデルのトレーニングのための電子機器を提供し、前記電子機器は、
実行可能命令を記憶するメモリと、
前記メモリに記憶された実行可能命令を実行するときに、本願実施例によって提供されるテキスト分類モデルのトレーニング方法、又はテキスト分類方法を実行する、プロセッサと、を備える。
本願実施例は、実行可能命令が記憶されたコンピュータ可読記憶媒体を提供し、前記実行可能命令は、プロセッサに、本願実施例によって提供されるテキスト分類モデルのトレーニング方法、又はテキスト分類方法を実行させる。
本願実施例は、コンピュータプログラム又は命令を含む、コンピュータプログラム製品を提供し、前記コンピュータプログラム又は命令は、プロセッサによって実行されるときに、本願実施例によって提供されるテキスト分類モデルのトレーニング方法、又はテキスト分類方法を実現する。
本願実施例は、次の有益な効果を有する。
機械翻訳により、第１言語とは異なる第２言語を採用する第２テキストサンプルを取得し、第１テキスト分類モデルを介して、第２テキストサンプルを選別することにより、クロスリンガルのテキストサンプルの自動取得を実現し、テキストサンプル不足の問題を軽減し、また、選別によって得られた高品質のテキストサンプルを使用して第２テキスト分類モデルをトレーニングすることにより、第２テキスト分類モデルが正確なテキスト分類を実行できるようにし、テキスト分類精度を向上させることができる。
本願実施例によるテキスト分類システムの適用シーンの概略図である。 本願実施例によるテキスト分類モデルのトレーニングのための電子機器の概略構造図である。 本願実施例によるテキスト分類モデルに基づくトレーニング方法のフローチャートである。 本願実施例によるテキスト分類モデルに基づくトレーニング方法のフローチャートである。 本願実施例によるテキスト分類モデルに基づくトレーニング方法のフローチャートである。 本願実施例による反復トレーニングのフローチャートである。 本願実施例による階層ｓｏｆｔｍａｘの概略図である。 本願実施例によるカスケードされたエンコーダの概略図である。 本願実施例によるテキストセットＡ及びテキストセットＢの概略図である。 本願実施例によるテキストセットＢ１の概略図である。 本願実施例による能動学習のフローチャートである。 本願実施例による強化学習のフローチャートである。
本願の目的、技術的解決策及び利点をより明確にするために、下記において、図面を参照しながら本願をさらに詳しく説明する。下記で説明される実施例は、本願を限定するものではなく、当業者が創造的な労力を払わずに得られる他のすべての実施例は、本願の保護範囲に含まれる。
本願実施例における「第１／第２」などの用語は、特定の順番を限定するものではなく、類似する対象を区別するものであり、「第１／第２」は、適切な場合において特定の順番又は前後順番を変換できるので、本明細書に記載の本願実施例は、本明細書に図示又は記載されたもの以外の順番で実行できることが理解できる。
特に明記されていない限り、本願で使用されるすべての技術用語及び科学用語は、本願の当業者によって通常理解されるものと同じ意味を有する。本願で使用される用語は、本願実施例を説明するためにのみ採用され、本願を限定することを意図するものではない。
本願実施例をさらに詳細に説明する前に、本願実施例に係る名詞及び用語を説明する。本願実施例に係る名詞及び用語の説明は、次の通りである。
１）畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）：畳み込み計算を含み、深層構造を有するフィードフォワードニューラルネットワーク（ＦＮＮ：Ｆｅｅｄｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）の一種であり、深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）の代表的なアルゴリズムの１つである。畳み込みニューラルネットワークは、表現学習（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ）機能を有し、その階層構造に従って入力画像に対してシフト不変分類（ｓｈｉｆｔ－ｉｎｖａｒｉａｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を実行することができる。
２）クロスリンガルｆｅｗ ｓｈｏｔテキスト分類：言語Ａのシーンから言語Ｂのシーンに移行し、言語Ｂのサンプルをラベリングする予算が少ない場合、少量の言語Ｂのラベリングテキストと、大量の言語Ａのラベリングテキストだけで、言語Ｂのテキストの大規模ラベリングを実現し、言語Ｂのテキストの大規模ラベリングによってテキスト分類モデルをトレーニングして、言語Ｂのテキスト分類を実現することができる。
３）クロスリンガルｚｅｒｏ ｓｈｏｔテキスト分類：言語Ａのシーンから言語Ｂのシーンに移行し、且つ予算が不足している（人手や製品プロモーション時間がない）場合、言語Ｂのサンプルに対してラベリングを行うことができず、即ち、大量の言語Ａのラベリングテキストのみで、言語Ｂの大規模ラベリングを実現し、言語Ｂのテキストの大規模ラベリングによってテキスト分類モデルをトレーニングして、言語Ｂのテキスト分類を実現することができる。
テキスト分類は、ニュース分類、文章分類、意図分類、インフォマーシャル製品、フォーラム、コミュニティ、ｅコマースなど、コンテンツ関連製品に広く利用されている。一般に、テキスト分類は、中国語や英語などの特定の言語を対象としているが、製品の他の言語サービスを拡張する必要がある場合、製品の初期段階では、ラベリングテキスト不足の問題が発生し、例えば、ニュース閲読製品を中国語市場から英語市場に売り込む場合、英語分野のニュースに対して対応するラベルを迅速に付ける必要があり、中国語ユーザのコメントの肯定的感情と否定的感情を分析する場合、ユーザ数が増加するにつれて、又は製品を海外市場に売り込む場合、中国語以外のコメントが多くなるため、これらのコメントに対しても、対応する感情極性をラベリングする必要である。
このような他の言語テキストは、長い目で見れば、手作業などの方式で一定量のラベリングデータをゆっくりと蓄積してから、モデルのトレーニングと予測を行うことができる。しかしながら、初期段階では、手動でのみテキストをラベリングするのは非常に時間と労力がかかり、製品の迅速な反復には役立たない。そのため、初期段階では、アルゴリズムと既存言語のラベリングテキストの蓄積により、大量のテキストの自動ラベリングを実現できることが期待されている。
関連技術はすべて、同一言語のｆｅｗ ｓｈｏｔテキスト分類又はｚｅｒｏ ｓｈｏｔテキスト分類に集中しており、つまり、同一言語のラベリングサンプルが不十分であるという問題のみを解決し、クロスリンガルのテキスト分類が欠如している。
上記の課題を解決するために、本願実施例は、クロスリンガルのテキストサンプルを自動的に取得し、テキスト分類の精度を向上させることができる、テキスト分類モデルのトレーニング方法、テキスト分類方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品を提供する。
本願実施例によって提供されるテキスト分類モデルのトレーニング方法及びテキスト分類方法は、端末／サーバが独自に実装してもよいし、端末とサーバが協力して実装してもよく、例えば、端末が後述するテキスト分類モデルのトレーニング方法を独自に実行してもよく、又は、端末が特定言語に対するテキスト分類要求をサーバに送信し、サーバが、受信した当該言語のテキスト分類に基づいて、テキスト分類モデルのトレーニング方法を実行し、トレーニングされたテキスト分類モデルに基づいて、当該言語のテキスト分類タスクを行ってもよい。
本願実施例によって提供されるテキスト分類モデルのトレーニングのための電子機器は、様々なタイプの端末機器又はサーバであり得、ここで、サーバは、独立した物理サーバであってもよいし、複数の物理サーバで構成されたサーバクラスタ又は分散システムであってもよいし、クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。端末は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、スマートスピーカ、スマートウォッチなどであり得るが、これらに限定されない。端末及びサーバは、有線又は無線通信を介して直接又は間接的に接続することができ、本願はこれらに限定されない。
サーバを例にとると、例えば、クラウドに展開されたサーバクラスタであり得、人工知能クラウドサービス（ＡｉａａＳ：ＡＩ ａｓ ａ Ｓｅｒｖｉｃｅ）をユーザに開放することができ、ＡＩａａＳプラットフォームは、いくつかの一般的なＡＩサービスを分割して、クラウド上でそれらをスタンドアロン又はパッケージ化されたサービスとして提供し、このサービスモデルは、ＡＩテーマモールに類似しており、すべてのユーザは、アプリケーション・プログラミング・インターフェースを介して、ＡＩａａＳプラットフォームによって提供される１つ又は複数のＡＩサービスにアクセスすることができる。
例えば、人工知能クラウドサービスの１つは、テキスト分類モデルトレーニングサービスであり得、即ち、クラウドのサーバには、本願実施例によって提供されるテキスト分類モデルをトレーニングするためのプログラムがカプセル化されている。ユーザは、端末（ニュースクライアント、閲読クライアントなどのクライアントが実行されている）を介してクラウドサービス内のテキスト分類モデルトレーニングサービスを呼び出すことにより、クラウドに展開されたサーバは、カプセル化されたテキスト分類モデルトレーニングのプログラムを呼び出して、第１言語の第１テキストサンプルに基づいて、機械翻訳モデルを介して、第１言語とは異なる第２言語を採用する第２テキストサンプルを取得し、第１テキスト分類モデルを介して、第２テキストサンプルを選別し、選別によって得られた第２テキストサンプルを使用して第２テキスト分類モデルをトレーニングし、トレーニングされた第２テキストサンプルでテキスト分類を行うことにより、その後のニュースアプリや閲読アプリなどを実行する。例えば、ニュースアプリの場合、テキストが英語ニュースであり、トレーニングされた第２テキスト分類モデル（英語ニュース分類用）を介して、娯楽ニュースやスポーツニュースなど、推薦される各ニュースのカテゴリを決定し、それにより、ニュースのカテゴリに基づいて各推薦対象のニュースを選別して、推薦するニュースを取得し、推薦するニュースをユーザに展示することにより、適合したニュース推薦を実現し、閲読アプリの場合、テキストが中国語の文章であり、トレーニングされた第２テキスト分類モデル（中国語の文章分類用）を介して、各推薦される文章のカテゴリ（例えば、激励文章、法律文章、教育文章など）を決定し、それにより、文章のカテゴリに基づいて各推薦される文章を選別して、推薦する文章を取得し、推薦する文章をユーザに展示することにより、適合した文章推薦を実現する。
図１を参照すると、図１は、本願実施例によって提供されるテキスト分類システム１０の適用シーンの概略図であり、端末２００は、ネットワーク３００を介してサーバ１００に接続され、ネットワーク３００は、広域ネットワークであってもよいし、ＬＡＮであってもよいし、両者の組み合わせであってもよい。
端末２００（ニュースクライアントなどのクライアントが実行されている）は、特定言語の分類対象テキストを取得するために使用され得、例えば、開発者が端末を介して特定言語の分類対象テキストを入力すると、端末は、特定言語のテキスト分類要求を自動的に取得する。
いくつかの実施例では、端末で実行されるクライアントには、テキスト分類モデルのトレーニング方法をクライアントローカルで実装するために、テキスト分類モデルトレーニングプラグインを組み込むことができる。例えば、端末２００は、第１言語とは異なる第２言語の分類対象テキストを取得した後、テキスト分類モデルトレーニングプラグインを呼び出して、テキスト分類モデルのトレーニング方法を実現し、機械翻訳モデルを介して、第１テキストサンプル（第１言語を採用）に対応する第２テキストサンプル（第２言語を採用）を取得し、第１テキスト分類モデルを介して、第２テキストサンプルを選別し、選別によって得られたテキストサンプルを使用して第２テキスト分類モデルをトレーニングし、トレーニングされた第２テキストサンプルに基づいてテキスト分類を行い、その後のニュースアプリや閲読アプリなどを実行する。
いくつかの実施例では、端末２００は、特定言語のテキスト分類が要求された後、サーバ１００のテキスト分類モデルトレーニングインターフェース（クラウドサービスとして提供できる形式、即ち、テキスト分類モデルトレーニングサービス）を呼び出し、サーバ１００は、機械翻訳モデルを介して、第１テキストサンプル（第１言語を採用）に対応する第２テキストサンプル（第２言語を採用）を取得し、第１テキスト分類モデルを介して、第２テキストサンプルを選別し、選別によって得られたテキストサンプルを使用して第２テキスト分類モデルをトレーニングし、トレーニングされた第２テキストサンプルに基づいてテキスト分類を行い、その後のニュースアプリや閲読アプリなどを実行する。
下記において、本願実施例によって提供されるテキスト分類モデルのトレーニングのための電子機器の構造について説明する。図２を参照すると、図２は、本願実施例によって提供されるテキスト分類モデルのトレーニングのための電子機器５００の概略構造図であり、電子機器５００がサーバである場合を例にとると、図２に示すテキスト分類モデルのトレーニングのための電子機器５００は、少なくとも１つのプロセッサ５１０、メモリ５５０、少なくとも１つのネットワークインターフェース５２０、及びユーザインターフェース５３０を備える。電子機器５００における各構成要素は、バスシステム５４０を介して結合される。バスシステム５４０は、これらの構成要素間の接続通信を実現するために使用されることが理解できる。バスシステム５４０は、データバスに加えて、電力バス、制御バス及びステータス信号バスを含む。しかしながら、説明を明確にするために、図２では様々なバスをバスシステム５４０として表記されている。
プロセッサ５１０は、例えば、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、プログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなど、信号処理機能を備えた集積回路チップであってもよいし、ここで、汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサ等であってもよい。
メモリ５５０は、揮発性メモリ又は不揮発性メモリを含んでもよいし、又は揮発性メモリ及び不揮発性メモリの両方を含んでもよい。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であり得、揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり得る。本願実施例で説明されるメモリ５５０は、任意の適切なタイプのメモリを含む。メモリ５５０は、プロセッサ５１０から物理的に離れた位置にある１つ又は複数の記憶装置を含む。
いくつかの実施例では、メモリ５５０は、様々な動作をサポートするためのデータを記憶することができ、これらのデータの例は、プログラム、モジュール及びデータ構造、又はそのサブセット又はスーパーセットを含み、以下に例示的に説明する。
オペレーティングシステム５５１は、例えば、フレームワークレイヤ、コアライブラリレイヤ、ドライブレイヤなど、様々な基本的なシステムサービスを処理し、ハードウェア関連のタスクを実行するためのシステムプログラムを含み、様々な基本業務を実現し、ハードウェアベースのタスクを処理するように構成される。
ネットワーク通信モジュール５５３は、１つ又は複数の（有線又は無線）ネットワークインターフェース５２０を介して他のコンピューティングデバイスに達するように構成され、例示的なネットワークインターフェース５２０は、Ｂｌｕｅｔｏｏｔｈ、無線互換性認証（ＷｉＦｉ）、及びユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などを含む。
いくつかの実施例では、本願実施例によって提供されるテキスト分類モデルのトレーニング装置は、ソフトウェアで実装されてもよいし、例えば、上記の端末におけるテキスト分類モデルトレーニングプラグインであり得、又は、上記のサーバにおけるテキスト分類モデルトレーニングサービスであり得るが、もちろん、これらに限定されず、本願実施例によって提供されるテキスト分類モデルのトレーニング装置は、アプリ、ソフトウェア、ソフトウェアモジュール、スクリプト又はコードを含む様々な形態のソフトウェア実施形態として提供することができる。
図２は、メモリ５５０に記憶されたテキスト分類モデルのトレーニング装置５５５を示しており、テキスト分類モデルトレーニングプラグインなどのプログラムやプラグインの形のソフトウェアであり得、翻訳モジュール５５５１、第１トレーニングモジュール５５５２、選別モジュール５５５３、及び第２トレーニングモジュール５５５４を含む一連のモジュールを含み、ここで、翻訳モジュール５５５１、第１トレーニングモジュール５５５２、選別モジュール５５５３、第２トレーニングモジュール５５５４は、本願実施例によって提供されるテキスト分類モデルのトレーニング機能を実現するように構成される。
前述のように、本願実施例によって提供されるテキスト分類モデルのトレーニング方法は、様々なタイプの電子機器によって実施することができる。図３を参照すると、図３は、本願実施例によって提供される基于テキスト分類モデルのトレーニング方法のフローチャートであり、図３に示すステップを参照して説明する。
下記のステップでは、第２テキスト分類モデルのネットワーク深さは、第１テキスト分類モデルのネットワーク深さより大きく、即ち、第２テキスト分類モデルのテキスト分類能力は、第１テキスト分類モデルの分類能力より強いため、第２テキスト分類モデルのトレーニングに必要なテキストサンプルの数は、第１テキスト分類モデルのトレーニングに必要なテキストサンプルの数より多い。
下記のステップでは、第１テキストサンプルは、第１言語を採用し、第２テキストサンプル及び第３テキストサンプルは、第１言語とは異なる第２言語を採用し、例えば、第１テキストサンプルは、中国語サンプルであり、第２テキストサンプル及び第３テキストサンプルは、英語サンプルである。
ステップ１０１において、第１言語の複数の第１テキストサンプルに対して機械翻訳処理を行い、複数の第１テキストサンプルに１対１に対応する複数の第２テキストサンプルを取得する。
例えば、開発者が端末を介して第２言語のテキスト分類命令を入力すると、端末は、第２言語に対するテキスト分類要求を自動的に取得し、第２言語のテキスト分類要求をサーバに送信し、サーバは、第２言語のテキスト分類要求を受信した後、サンプルライブラリから、大量のラベル付きの第１テキストサンプルを取得するが、第１テキストサンプルが採用したのは第２言語とは異なる第１言語であり、機械翻訳モデルを呼び出して複数の第１テキストサンプルに対して機械翻訳を行うことにより、複数の第１テキストサンプルに１対１に対応する複数の第２テキストサンプルを取得し、ここで、第２テキストサンプルのカテゴリラベリングは、第１テキストサンプルに対応するカテゴリラベリングを継承し、即ち、手動でラベリングする必要がなく、手動ラベリングが多いことによるラベリング負荷を大幅に軽減することができる。
ステップ１０２において、第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、第２言語向けの第１テキスト分類モデルをトレーニングする。
ここで、ステップ１０１とステップ１０２には明確な優先順位がない。サーバは、第２言語のテキスト分類要求を受信した後、サンプルライブラリから少量のラベル付きの第３テキストサンプルを取得し、複数の第３テキストサンプル及び対応するカテゴリラベルを使用して、第１テキスト分類モデルをトレーニングすることにより、トレーニングされた第１テキスト分類モデルが、第２言語に基づいてテキスト分類を実行できるようにする。
いくつかの実施例では、第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、第２言語向けの第１テキスト分類モデルをトレーニングするステップは、第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、第１テキスト分類モデルに対してｔ回目のトレーニングを行うステップと、ｔ回目のトレーニング後の前記第１テキスト分類モデルを介して、複数の第２テキストサンプルに対して、信頼度に基づくｔ回目の選別処理を行うステップと、直前ｔ回の選別結果、複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、第１テキスト分類モデルに対してｔ＋１回目のトレーニングを行うステップと、Ｔ回目のトレーニング後の前記第１テキスト分類モデルを、トレーニングされた前記第１テキスト分類モデルとするステップと、を含み、ここで、ｔは、順次増加する正の整数であり、且つ値の範囲は、１≦ｔ≦Ｔ－１を満たし、Ｔは、２より大きい整数であり、且つ反復トレーニングの総回数を表すために使用される。
例えば、第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、第１テキスト分類モデルに対して反復トレーニングを行うことにより、漸次最適化された第１テキスト分類モデルによって、より多くの良質な第３テキストサンプルを選別して、後続の強化トレーニングを行い、第２テキスト分類モデルをトレーニングする。
図６に示すように、第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、第１テキスト分類モデルに対して最初のトレーニングを行い、最初のトレーニング後の第１テキスト分類モデルの複数の第２テキストサンプルに対して、信頼度に基づく最初の選別処理を行い、最初の選別結果、複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、第１テキスト分類モデルに対して２回目のトレーニングを行い、２回目のトレーニング後の第１テキスト分類モデルにより、複数の第２テキストサンプルのうち最初の選別結果を除いた第２テキストサンプルに対して、信頼度に基づく２回目の選別処理を行い、直前２回の選別結果、複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、第１テキスト分類モデルに対して３回目のトレーニングを行い、第１テキスト分類モデルに対してＴ回目のトレーニングを行うまで、上記のトレーニング過程を反復し、Ｔ回目のトレーニング後の第１テキスト分類モデルを、トレーニングされた第１テキスト分類モデルとする。
図４を参照すると、図４は、本願実施例によって提供されるテキスト分類モデルのトレーニング方法の１つの例示的なフローチャートであり、図４には、図３におけるステップ１０２が、図４に示すステップ１０２１～ステップ１０２３によって実現できることを示しており、ステップ１０２１では、第１テキスト分類モデルを介して、第２言語の複数の第３テキストサンプルに対して予測処理を行い、複数の第３テキストサンプルのそれぞれに対応する予測カテゴリの信頼度を取得し、ステップ１０２２では、予測カテゴリの信頼度及び第３テキストサンプルのカテゴリラベルに基づいて、第１テキスト分類モデルの損失関数を構築し、ステップ１０２３では、損失関数が収束するまで第１テキスト分類モデルのパラメータを更新し、損失関数が収束したときの第１テキスト分類モデルの更新されたパラメータを、トレーニングされた第１テキスト分類モデルのパラメータとする。
例えば、予測カテゴリの信頼度及び第３テキストサンプルのカテゴリラベルに基づいて、第１テキスト分類モデルの損失関数の値を決定した後、第１テキスト分類モデルの損失関数の値が所定閾値を越えるか否かを判断することができ、第１テキスト分類モデルの損失関数の値が所定閾値を超える場合、第１テキスト分類モデルの損失関数に基づいて、第１テキスト分類モデルの誤差信号を決定し、第１テキスト分類モデル内で誤差情報を逆伝播し、伝播プロセス中に各層のモデルパラメータを更新する。
ここで、逆伝播について説明すると、トレーニングサンプルデータをニューラルネットワークモデルの入力層に入力し、隠れ層を経由して、最後に、出力層に到達して結果を出力し、これは、ニューラルネットワークモデルの順伝播過程であり、ニューラルネットワークモデルの出力結果と実際の結果との間には誤差があるため、出力結果と実際の値との誤差を計算し、当該誤差を、出力層から隠れ層へ、入力層に伝播するまで逆伝播し、逆伝播プロセスでは、誤差に基づいて、モデルパラメータの値を調整し、収束するまで上記の過程を継続的に反復する。ここで、第１テキスト分類モデルは、ニューラルネットワークモデルに属する。
いくつかの実施例では、第１テキスト分類モデルを介して、第２言語の複数の第３テキストサンプルに対して予測処理を行い、複数の第３テキストサンプルのそれぞれに対応する予測カテゴリの信頼度を取得するステップは、複数の第３テキストサンプルの任意の第３テキストサンプルに対して、第１テキスト分類モデルを介して、第３テキストサンプルに対して符号化処理を行い、第３テキストサンプルの符号化ベクトルを取得し、第３テキストサンプルの符号化ベクトルに対して融合処理を行い、融合ベクトルを取得し、融合ベクトルに対して非線形マッピング処理を行い、第３テキストサンプルに対応する予測カテゴリの信頼度を取得する処理を実行することを含む。
例えば、第１テキスト分類モデルは、高速テキスト分類モデル（ｆａｓｔｔｅｘｔ）であり、本願実施例における第１テキスト分類モデルは、ｆａｓｔｔｅｘｔに限定されず、ｆａｓｔｔｅｘｔは、入力層、隠れ層、及び出力層を含み、少量の第３テキストサンプルでｆａｓｔｔｅｘｔを迅速にトレーニングできるため、ｆａｓｔｔｅｘｔは、第２言語のテキスト分類タスクを迅速に実行できる。例えば、入力層を介して第３テキストサンプルを符号化して、第３テキストサンプルの符号化ベクトルを取得し、次に、隠れ層を介して第３テキストサンプルの符号化ベクトルを融合して、融合ベクトルを取得し、最後に、出力層を介して融合ベクトルに対して非線形マッピングを行い（即ち、活性化関数（ｓｏｆｔｍａｘなど）によってマッピング処理を行う）、第３テキストサンプルに対応する予測カテゴリの信頼度を取得する。
いくつかの実施例では、第１テキスト分類モデルは、複数のカスケードされた活性化層を含み、融合ベクトルに対して非線形マッピング処理を行い、第３テキストサンプルに対応する予測カテゴリの信頼度を取得するステップは、複数のカスケードされた活性化層のうちの最初の活性化層を介して、融合ベクトルに対して最初の活性化層のマッピング処理を行うステップと、最初の活性化層のマッピング結果を後続のカスケードされた活性化層に出力し、後続のカスケードされた前記活性化層を介して、マッピング処理とマッピング結果の出力を継続し、マッピング結果が最後の活性化層に出力されるまで続行するステップと、最後の活性化層によって出力された活性化結果を、第３テキストサンプルに対応するカテゴリの信頼度とするステップと、を含む。
図７に示すように、階層ｓｏｆｔｍａｘによって活性化演算を行うことにより、１回限りの活性化演算で予測カテゴリの信頼度を取得することを回避でき、多層の活性化演算によって、計算複雑度を低減することができる。例えば、階層ｓｏｆｔｍａｘは、Ｔ層の活性層を含み、各層の活性化層毎に１回の階層ｓｏｆｔｍａｘ演算を行い、最初の活性化層を介して融合ベクトルに対して最初の活性化層のマッピングを行い、最初のマッピング結果を取得し、最初のマッピング結果を２番目の活性化層に出力し、２番目の活性化層を介して最初のマッピング結果に対して２番目の活性化層のマッピングを行い、２番目のマッピング結果を取得し、Ｔ番目の活性化層に出力するまで続行し、Ｔ番目の活性化層によって出力された活性化結果を、第３テキストサンプルに対応するカテゴリの信頼度とする。ここで、Ｔは、活性化層の総数である。
いくつかの実施例では、第３テキストサンプルに対して符号化処理を行い、第３テキストサンプルの符号化ベクトルを取得するステップは、第３テキストサンプルに対してウィンドウスライディング処理を行い、複数のセグメントシーケンスを取得するステップであって、ここで、ウィンドウのサイズは、Ｎであり、Ｎは、自然数である、ステップと、シソーラスに基づいて複数のセグメントシーケンスに対してマッピング処理を行い、複数のセグメントシーケンスのそれぞれに対応するシーケンスベクトルを取得するステップと、複数のセグメントシーケンスのそれぞれに対応するシーケンスベクトルに対して結合処理を行い、第３テキストサンプルの符号化ベクトルを取得するステップと、を含む。
上記の例に引き続いて、セグメントシーケンスがＮ個の文字を含む場合、第３テキストサンプルに対してウィンドウスライディング処理を行い、複数のセグメントシーケンスを取得するステップは、第３テキストサンプル内のｉ番目の文字に対して、次の処理を実行することを含む：第３テキストサンプル内のｉ番目の文字からｉ＋Ｎ－１番目の文字までを取得し、ｉ番目の文字からｉ＋Ｎ－１番目の文字までを結合して、結合結果をセグメントシーケンスとし、ここで、０＜ｉ≦Ｍ－Ｎ＋１であり、Ｍは、第３テキストサンプルの文字の数であり、Ｍは自然数である。それにより、まれな文字のためにより良い符号化ベクトルを生成し、シソーラスにおいて、文字がトレーニングコーパスに出現しなくても、文字の粒度のウィンドウから、文字の粒度に対応する符号化ベクトルを構築することができ、また、第１テキスト分類モデルに局所文字順の部分情報を学習させることもでき、これにより、第１テキスト分類モデルは、トレーニング中に文字順情報を維持することができる。
上記の例に引き続いて、セグメントシーケンスがＮ個の単語を含む場合、第３テキストサンプルに対してウィンドウスライディング処理を行い、複数のセグメントシーケンスを取得するステップは、第３テキストサンプル内のｊ番目の単語に対して、次の処理を実行することを含む：第３テキストサンプル内のｊ番目の単語からｊ＋Ｎ－１番目の単語を取得し、ｊ番目の単語からｊ＋Ｎ－１番目の単語を結合して、結合結果をセグメントシーケンスとし、ここで、０＜ｊ≦Ｋ－Ｎ＋１であり、Ｋは、第３テキストサンプル内の単語の数であり、Ｋは、自然数である。それにより、まれな単語（語句）のためにより良い符号化ベクトルを生成し、シソーラスにおいて、語句がトレーニングコーパスに出現しなくても、単語の粒度のウィンドウから、単語の粒度に対応する符号化ベクトルを構築することができ、また、第１テキスト分類モデルに局所語順の部分情報を学習させることもでき、これにより、第１テキスト分類モデルは、トレーニング中に語順情報を維持することができる。
ステップ１０３において、トレーニングされた第１テキスト分類モデルを介して、複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行う。
例えば、サーバが第３テキストサンプルで、トレーニングされた第１テキスト分類モデルを取得した後、トレーニングされた第１テキスト分類モデルを介して、複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行うことにより、高品質の第２テキストサンプルを選別して、高品質の第２テキストサンプルで、第２テキスト分類モデルをトレーニングすることができる。
いくつかの実施例では、トレーニングされた第１テキスト分類モデルを介して、複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行うステップは、複数の第２テキストサンプルの任意の第２テキストサンプルに対して、次の処理を実行することを含む：トレーニングされた第１テキスト分類モデルを介して、第２テキストサンプルに対して予測処理を行い、第２テキストサンプルに対応する複数の予測カテゴリの信頼度を取得し、第２テキストサンプルに対応する第１テキストサンプルのカテゴリラベルを、第２テキストサンプルのカテゴリラベルとして決定し、第２テキストサンプルに対応する複数の予測カテゴリの信頼度及び第２テキストサンプルのカテゴリラベルに基づいて、信頼度閾値を超える第２テキストサンプルを、選別処理によって得られた第２テキストサンプルとする。
例えば、トレーニングされた第１テキスト分類モデルを介して、第２テキストサンプルに対して符号化処理を行い、第２テキストサンプルの符号化ベクトルを取得し、第２テキストサンプルの符号化ベクトルに対して融合処理を行い、融合ベクトルを取得し、融合ベクトルに対して非線形マッピング処理を行い、第２テキストサンプルに対応する複数の予測カテゴリの信頼度を取得し、第２テキストサンプルに対応する複数の予測カテゴリから、第２テキストサンプルのカテゴリラベルとマッチングする予測カテゴリを決定し、マッチングした予測カテゴリの信頼度が信頼度閾値を超える場合、第２テキストサンプルを、選別処理によって得られた第２テキストサンプルとする。
ステップ１０４において、選別処理によって得られた第２テキストサンプルに基づいて、第２言語向けの第２テキスト分類モデルをトレーニングする。
例えば、サーバが、トレーニングされた第１テキスト分類モデルを介して、大量の高品質の第２テキストサンプルを選別した後、クロスリンガルのテキストサンプルの自動構築を実現し（即ち、第２言語の第２テキストサンプルであって、対応する第１テキストサンプルのカテゴリラベルを有し、即ち、手動ラベリングは必要ない）、大量の高品質の第２テキストサンプルで第２テキスト分類モデルをトレーニングすることにより、トレーニングされた第２テキスト分類モデルは、第２言語に基づくテキスト分類を正確に行うことができ、第２言語のテキスト分類の精度を向上させることができる。
本願実施例のトレーニング方法により、第２テキスト分類モデルをトレーニングするための十分な第２テキストサンプルを取得することができ、そのため、本願実施例は、選別処理によって得られた第２テキストサンプルのみで、第２テキスト分類モデルをトレーニングすればよい。
ここで、サーバがトレーニングされた第２テキスト分類モデルを取得した後、第２言語に対するテキスト分類要求に応答して、分類対象テキストに対してテキスト分類を行い、即ち、トレーニングされた第２テキスト分類モデルを介して当該分類対象テキストに対して符号化処理を行い、分類対象テキストの符号化ベクトルを取得し、分類対象テキストの符号化ベクトルに対して非線形マッピングを行い、分類対象テキストに対応するカテゴリを取得し、また、分類対象テキストに対応するカテゴリを用いて後続のニュースアプリ、閲読アプリなどを行うことができる。
図５を参照すると、図５は、本願実施例によって提供されるテキスト分類モデルのトレーニング方法の１つの例示的なフローチャートであり、図５には、図３におけるステップ１０４が、図５に示すステップ１０４１～ステップ１０４３によって実現できることを示しており、ステップ１０４１において、選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布を決定し、ステップ１０４２において、選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布が分布均衡条件を満たし、且つ各カテゴリの数が対応するカテゴリ数閾値を超える場合、選別処理によって得られた第２テキストサンプル内の各カテゴリのテキストサンプルから、カテゴリ数閾値に対応するテキストサンプルをランダムに抽出してトレーニングセットを構築し、ステップ１０４３において、トレーニングセットに基づいて、第２言語向けの第２テキスト分類モデルをトレーニングする。
例えば、サーバが第２テキスト分類モデルをトレーニングするための大量の第２テキストサンプルを取得した後、選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布を分析して、分布均衡条件、即ち、異なるカテゴリの数のジッタを満たすか否かを確認し、例えば、標準偏差を使用して、異なるカテゴリの数のジッタを測定する場合、ジッタが大きいほど、テキストサンプルの複数のカテゴリにおける分布が不均一になることを説明する。選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布が分布均衡条件を満たし、且つ各カテゴリの数がカテゴリ数閾値を超える場合、選別処理によって得られた第２テキストサンプル内の各カテゴリのテキストサンプルから、カテゴリ数閾値に対応するテキストサンプルを抽出して、トレーニングセットを構築し、それにより、テキスト分類の精度を向上させる。
いくつかの実施例では、選別処理によって得られた第２テキストサンプルに基づいて、第２言語向けの第２テキスト分類モデルをトレーニングするステップは、選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布が分布均衡条件を満たさない場合、分布の少ないカテゴリの第２テキストサンプルに対して、類義語に基づく拡張処理を行い、拡張処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布が分布均衡条件を満たすようにするステップと、拡張処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築するステップと、トレーニングセットに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップと、を含む。
各カテゴリにおける、選別処理によって得られた第２テキストサンプルの数が対応するカテゴリ数閾値より小さい場合、対応するカテゴリの第２テキストサンプルに対して、類義語に基づく拡張処理を行い、各カテゴリにおける、拡張処理によって得られた第２テキストサンプルの数が、対応するカテゴリ数閾値を超えるようにし、拡張処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築する。
ここで、具体的な拡張過程は、以下に示す通りである。複数の第３テキストサンプル及び選別処理によって得られた第２テキストサンプルのうちのいずれかのテキストサンプルに対して、次の処理を実行する：類義語辞書（様々な類義語間の対応関係を含む）とテキストサンプル内の単語とに対してマッチング処理を行い、テキストサンプル内の単語に対応するマッチング単語を取得し、マッチング単語に基づいて、テキストサンプル内の単語に対して置換処理を行い、新しいテキストサンプルを取得し、テキストサンプル対応するカテゴリラベルを新しいテキストサンプルのカテゴリラベルとする。類義語置換の方式により、第２言語のテキストサンプルを大幅に拡張して、第２テキスト分類モデルのトレーニングを実現することができる。
いくつかの実施例では、選別処理によって得られた第２テキストサンプルに基づいて、第２言語向けの第２テキスト分類モデルをトレーニングするステップは、複数の第３テキストサンプル及び選別処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築し、トレーニングセットに基づいて、第２言語向けの第２テキスト分類モデルをトレーニングするステップを含む。
例えば、複数の第３テキストサンプル及び選別処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築するステップは、選別処理によって得られた第２テキストサンプルの各カテゴリをトラバースし、次の処理を実行することを含む：カテゴリ内の第２テキストサンプルの数が、カテゴリのカテゴリ数閾値より低い場合、複数の第３テキストサンプルからランダムに抽出したカテゴリの第３テキストサンプルをカテゴリの第２テキストサンプルに補充することにより、選別処理によって得られた第２テキストサンプルを更新し、更新された、選別処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築する処理を実行する。
上記の例に引き続いて、特定のカテゴリのテキストサンプルが比較的少ない場合、又は特定のカテゴリの分布が不均衡な場合、第３テキストサンプルで補充することができる。例えば、カテゴリ内の第２テキストサンプルの数が、カテゴリのカテゴリ数閾値より小さい場合、当該カテゴリのテキストサンプルが比較的少ないことを示し、複数の第３テキストサンプルから、当該カテゴリの第３テキストサンプルをランダムに抽出して当該カテゴリの第２テキストサンプルに補充することにより、選別処理によって得られた第２テキストサンプルを更新することで、第２テキストサンプル内の当該カテゴリのテキストサンプルがより十分になるようにすることができる。
いくつかの実施例では、大量のサンプルで第２分類モデルをトレーニングすることによる過剰適合の問題を回避するために、第２テキスト分類モデルの演算能力に基づいて、演算能力とマッチングする対応するテキストサンプルの数によって適切なトレーニングを行うことができる。選別処理によって得られた第２テキストサンプルに基づいて、第２言語向けの第２テキスト分類モデルをトレーニングする前に、テキスト分類モデルの演算能力（コンピューティング機能）と単位時間あたりに演算可能なテキストサンプルの数との対応関係に基づいて、第２テキスト分類モデルのトレーニングに使用できる演算能力とマッチングする目標サンプルの数を決定し、選別処理によって得られた第２テキストサンプルに基づいて構築されたトレーニングセットから、目標サンプルの数に対応するテキストサンプルを選別して、第２言語向けの第２テキスト分類モデルをトレーニングするためのサンプルとして使用する。
いくつかの実施例では、選別処理によって得られた第２テキストサンプルに基づいて、第２言語向けの第２テキスト分類モデルをトレーニングするステップは、第２テキスト分類モデルを介して、選別処理によって得られた第２テキストサンプルに対して予測処理を行い、選別処理によって得られた第２テキストサンプルに対応する予測カテゴリを取得するステップと、選別処理によって得られた第２テキストサンプルに対応する予測カテゴリ及び対応するカテゴリラベルに基づいて、第２テキスト分類モデルの損失関数を構築するステップと、損失関数が収束するまで第２テキスト分類モデルのパラメータを更新し、損失関数が収束したときの第２テキスト分類モデルの更新されたパラメータを、トレーニングされた第２テキスト分類モデルのパラメータとするステップと、を含む。
例えば、選別処理によって得られた第２テキストサンプルに対応する予測カテゴリ及び対応するカテゴリラベルに基づいて、第２テキスト分類モデルの損失関数の値を決定した後、第２テキスト分類モデルの損失関数の値が所定閾値を超えるか否かを判断し、第２テキスト分類モデルの損失関数の値が所定閾値を超える場合、第２テキスト分類モデルの損失関数に基づいて、第２テキスト分類モデルの誤差信号を決定し、第２テキスト分類モデル内で誤差情報を逆伝播し、伝播プロセス中に各層のモデルパラメータを更新することができる。
いくつかの実施例では、第２テキスト分類モデルは、カスケードされた複数のエンコーダを含み、第２テキスト分類モデルを介して、選別処理によって得られた第２テキストサンプルに対して予測処理を行い、選別処理によって得られた第２テキストサンプルに対応する予測カテゴリを取得するステップは、選別処理によって得られた第２テキストサンプルの任意のテキストサンプルに対して、次の処理を実行することを含む：カスケードされた複数のエンコーダの最初のエンコーダを介して、テキストサンプルに対して最初のエンコーダの符号化処理を行い、最初のエンコーダの符号化結果を後続のカスケードされたエンコーダに出力し、後続のカスケードされたエンコーダを介して、符号化処理と符号化結果の出力を継続し、符号化結果が最後のエンコーダに出力されるまで続行し、最後のエンコーダによって出力された符号化結果を、テキストサンプルに対応する符号化ベクトルとし、テキストサンプルの符号化ベクトルに対して非線形マッピングを行い、テキストサンプルに対応する予測カテゴリを取得する。
図８に示すように、カスケードされたエンコーダによって符号化演算を行うことにより、テキストサンプルの豊富な特徴情報を抽出することができる。例えば、最初のエンコーダによって、テキストサンプルに対して最初のエンコーダの符号化処理を行い、最初の符号化結果を取得し、最初の符号化結果を２番目のエンコーダに出力し、２番目のエンコーダによって、最初の符号化結果に対して２番目のエンコーダの符号化を行い、２番目の符号化結果を取得し、符号化結果がＳ番目のエンコーダに出力されるまで続行し、最後に、テキストサンプルの符号化ベクトルに対して非線形マッピングを行い、テキストサンプルに対応する予測カテゴリを取得することができる。ここで、Ｓは、エンコーダの総数である。
上記の例に引き続いて、後続のカスケードされたエンコーダで符号化処理と符号化結果の出力を継続するステップは、カスケードされた複数のエンコーダのうちのｙ番目のエンコーダを介して次の処理を実行することを含む：ｙ－１番目のエンコーダの符号化結果に対して自己注意力処理を行い、ｙ番目の自己注意力ベクトルを取得し、ｙ番目の自己注意力ベクトル及びｙ－１番目のエンコーダの符号化結果に対して残差接続処理を行い、ｙ番目の残差ベクトルを取得し、ｙ番目の残差ベクトルに対して非線形マッピング処理を行い、ｙ番目のマッピングベクトルを取得し、ｙ番目のマッピングベクトル及びｙ番目の残差ベクトルに対して残差接続処理を行い、残差接続の結果をｙ番目のエンコーダの符号化結果とし、ｙ番目のエンコーダの符号化結果をｙ＋１番目のエンコーダに出力し、ここで、ｙは、順次増加する正の整数であり、且つ値の範囲は、２≦ｙ≦Ｈ－１を満たし、Ｈは、２より大きい整数であり、且つ前記カスケードされた複数のエンコーダの数を表すために使用される。
なお、トレーニングされた第２テキスト分類モデルを取得した後、トレーニングされた第２テキスト分類モデルを介して、第２言語のテキスト分類を行う方法は、分類対象テキストを取得するステップであって、分類対象テキストは、第１言語とは異なる第２言語を採用する、ステップと、ネットワーク深さが第１テキスト分類モデルより大きい第２テキスト分類モデルを介して、分類対象テキストに対して符号化処理を行い、分類対象テキストの符号化ベクトルを取得するステップと、分類対象テキストの符号化ベクトルに対して非線形マッピングを行い、分類対象テキストに対応するカテゴリを取得するステップと、を含み、第２テキスト分類モデルは、第１テキスト分類モデルによる選別によって得られた第２言語のテキストサンプルをトレーニングすることによって取得されるものであり、第２言語のテキストサンプルは、第１言語のテキストサンプルを機械翻訳することによって取得されるものである。
上記の例に引き続いて、第２テキスト分類モデルは、カスケードされた複数のエンコーダを含む。分類対象テキストに対して、次の処理を実行する：カスケードされた複数のエンコーダの最初のエンコーダを介して、分類対象テキストに対して最初のエンコーダの符号化処理を行い、最初のエンコーダの符号化結果を後続のカスケードされたエンコーダに出力し、後続のカスケードされたエンコーダを介して、符号化処理と符号化結果の出力を継続し、符号化結果が最後のエンコーダに出力されるまで続行し、最後のエンコーダが出力した符号化結果を、対応する分類対象テキストの符号化ベクトルとし、分類対象テキストの符号化ベクトルに対して非線形マッピングを行い、分類対象テキストに対応するカテゴリを取得する。
例えば、カスケードされたエンコーダによって符号化演算を行うことにより、分類対象テキストの豊富な特徴情報を抽出することができる。例えば、最初のエンコーダによって、分類対象テキストに対して最初のエンコーダの符号化処理を行い、最初の符号化結果を取得し、最初の符号化結果を２番目のエンコーダに出力し、２番目のエンコーダによって、最初の符号化結果に対して２番目のエンコーダの符号化処理を行い、２番目の符号化結果を取得し、符号化結果がＳ番目のエンコーダに出力されるまで続行し、最後に、分類対象テキストの符号化ベクトルに対して非線形マッピングを行い、分類対象テキストに対応するカテゴリを取得することができる。ここで、Ｓは、エンコーダの総数である。
上記の例に引き続いて、後続のカスケードされたエンコーダを介して、符号化処理と符号化結果の出力を継続するステップは、カスケードされた複数のエンコーダのうちのｙ番目のエンコーダを介して、次の処理を実行することを含む：ｙ－１番目のエンコーダの符号化結果に対して自己注意力処理を行い、ｙ番目の自己注意力ベクトルを取得し、ｙ番目の自己注意力ベクトル及びｙ－１番目のエンコーダの符号化結果に対して残差接続処理を行い、ｙ番目の残差ベクトルを取得し、ｙ番目の残差ベクトルに対して非線形マッピング処理を行い、ｙ番目のマッピングベクトルを取得し、ｙ番目のマッピングベクトル及びｙ番目の残差ベクトルに対して残差接続処理を行い、残差接続の結果をｙ番目のエンコーダの符号化結果とし、ｙ番目のエンコーダの符号化結果をｙ＋１番目のエンコーダに出力し、ここで、ｙは、順次増加する正の整数であり、且つ値の範囲は、２≦ｙ≦Ｈ－１を満たし、Ｈは、２より大きい整数であり、且つ前記カスケードされた複数のエンコーダの数を表すために使用される。
次に、１つの実際の適用シーンにおける本願実施例の応用例について説明する。
テキスト分類は、ニュース分類、文章分類、意図分類、インフォマーシャル製品、フォーラム、コミュニティ、ｅコマースなど、コンテンツ関連製品に広く利用されており、それにより、テキスト分類のカテゴリに基づいて、テキストの推薦、感情誘導などが行う。一般に、テキスト分類は、中国語や英語などの特定の言語を対象としており、製品の他の言語サービスを拡張する必要があり（例えば、ニュース閲読製品を中国語市場から英語市場に売り込むなど）、ユーザがニュースを読む場合、英語ニュースのラベルに基づいて推薦を行い、それにより、ユーザの興味に合った英語ニュースを推薦することができ、中国語ユーザのコメントを肯定的感情と否定的感情を分析する場合、製品を海外市場に売り込むとき、ユーザがコメントするときに、英語コメントのラベルに基づいて、ユーザの感情を適切に誘導することができ、ユーザが継続的に否定的な感情を生成することを回避することができる。
下記において、上記の適用シーンを参照して、既存の機械翻訳モデルによるＡ言語のサンプルでＢ言語のサンプル量を増加させるための、本願実施例によっ提案されるテキスト分類モデルのトレーニング方法、テキスト分類方法について具体的に説明する。しかしながら、アルゴリズムによって翻訳されたテキストには多少の偏差やエラーがあるため、能動学習方法を採用して、翻訳されたテキストから高品質のサンプルを選び出し、後続のトレーニングを行う。
以下では、本願実施例によっ提案されるテキスト分類モデルのトレーニング方法、テキスト分類方法について具体的に説明する。当該方法は、Ａ）データ準備、Ｂ）アルゴリズムフレームワーク、及びＣ）予測の２つの部分を含む。
Ａ）データの準備
本願実施例は、大量のサンプルがない（ラベルがない）状況を対象としているため、大規模な事前トレーニングモデルをトレーニングして、テキストコンテンツを抽出することができない。図９に示すように、本願実施例では、部分テキストセットＡ（Ｔｅｘｔ Ａ：言語Ａのテキストセット）（第１テキストサンプルを含む）と、少量のテキストセットＢ（Ｔｅｘｔ Ｂ：言語Ｂのテキストセット）（第３テキストサンプルを含む）とが存在し、ここで、Ｔｅｘｔ ＡとＴｅｘｔ Ｂは、カテゴリラベル付きのサンプルであり、Ｔｅｘｔ Ｂは、Ｔｅｘｔ Ａに比べてラベルの数が少ないため、その割合が非常に小さい。
ここで、Ｔｅｘｔ Ａのラベリングサンプルを＜Ｘ＿Ａ，Ｙ＞、Ｔｅｘｔ Ｂを＜Ｘ＿Ｂ，Ｙ＞と表記し、ここで、Ｘ＿Ａは、Ｔｅｘｔ Ａ内のテキストを表し、Ｘ＿Ｂは、Ｔｅｘｔ Ｂ内のテキストを表し、Ｔｅｘｔ ＡとＴｅｘｔ Ｂのラベルは共通であり、いずれもＹで表し、例えば、カテゴリ０（Ｙ＝０）は、娯楽タイプのニュースを表し、カテゴリ１（Ｙ＝１）は、スポーツタイプのニュースを表し、ここで、０と１は共通で、言語とは関係ない。
Ｂ）アルゴリズムフレームワーク
ここで、本願実施例におけるアルゴリズムフレームワークは、１）サンプル強化、２）能動学習、及び３）強化トレーニングを含む。以下では、サンプル強化、能動学習、及び強化トレーニングについて具体的に説明する。
１）サンプル強化
まず、図１０に示すように、機械翻訳モデル（言語Ａを言語Ｂに翻訳するために使用）によって、Ｔｅｘｔ Ａ内の言語Ａの各テキストＸ＿Ａを、言語Ｂのテキストに変換して、対応するテキストセットＢ１（Ｔｅｘｔ Ｂ１：翻訳によって形成された言語Ｂのテキストセット）を形成する。
このようなサンプル強化の方法により、２種類のラベリングテキストを取得し、その１つは、少量の手動ラベリングされた、オリジナルのサンプルセットであり、その手動ラベリングは非常に正確であり、もう１つは、機械翻訳モデルによって変換された後に得られた、大量のラベリング（そのラベリングはＴｅｘｔ Ａ内のラベリングに対応する）サンプルＴｅｘｔ Ｂ１（第２テキストサンプルを含む）であり、Ｔｅｘｔ Ｂ１には、ノイズ、エラーなどが含まれている可能性があり、Ｔｅｘｔ Ｂの内容ほど正確ではない。
２）能動学習
Ｔｅｘｔ Ｂ１内の高品質のサンプルを選別するために、能動学習の方法を採用し、そのプロセス全体を図１１に示す。
ステップ１において、まず、手動でラベリングしたＴｅｘｔ Ｂを使用して、弱分類器（第１テキスト分類モデル）（例えば、ｆａｓｔｔｅｘｔのような浅層分類器）をトレーニングし、次に、弱分類器をＴｅｘｔ Ｂ１に適用して予測を行い、Ｔｅｘｔ Ｂ１から信頼度の高いサンプルを選別し、例えば、信頼度閾値が０．８であると仮定すると、Ｔｅｘｔ Ｂ１内のあるサンプルＸ＿Ｂ１の予測されたラベルＹ＝２の信頼度が０．８７（０．８より大きい）である場合、サンプルＸ＿Ｂ１のカテゴリは２であると見なされ、それにより、ラベル付きのトレーニングサンプル＜Ｘ＿Ｂ１，Ｙ＝２＞を取得する。
ステップ２において、これらの信頼度の高い、ラベル付きのサンプルで、新しいトレーニングサンプルセット（テキストセットＢ１'，Ｔｅｘｔ Ｂ１'）を構成し、Ｔｅｘｔ Ｂ１'とＴｅｘｔ Ｂに基づいて、弱分類器のトレーニングを続行し、トレーニングが完了したら、ステップ１を繰り返し、弱分類器を、Ｔｅｘｔ Ｂ１の選別後の残りのサンプル（残りサンプルは、Ｔｅｘｔ Ｂ１から信頼度の高いサンプルを選び出した後の残りのテキストを指す）に適用する。
ステップ３において、Ｔｅｘｔ Ｂ１内のサンプルを予測することによって得られた信頼度が、指定された信頼度閾値を超えなくなると、選別後に残ったＴｅｘｔ Ｂ１のサンプルは、品質の低いサンプルであると見なされ、このとき反復トレーニングを停止する。
３）強化トレーニング
図１２に示すように、上記のステップで取得したＴｅｘｔ Ｂ'とＴｅｘｔ Ｂを混合し、次に、強分類器（第２テキスト分類モデル）（深層ニューラルネットワーク（ＢＥＲＴ：Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）など）をトレーニングする。
Ｃ）予測
トレーニングによって得られた強分類器を、最終的なテキスト分類モデルとして、言語Ｂのテキスト分類に使用する。例えば、ニュース閲読製品を中国語市場から英語（Ｂ言語）市場に売り込む場合、トレーニングによって得られた強分類器によって、英語ニュースに対して対応するラベルを迅速に付けることができ、ユーザがニュースを読むとき、英語ニュースのラベルに基づいてニュース推薦を行い、それにより、ユーザの興味に合った英語ニュースを推薦することができ、中国語ユーザのコメントの肯定的感情と否定的感情を分析する場合、製品を海外市場（言語Ｂ）に売り込むとき、中国語ではないコメント、即ち、英語コメントが多くなるため、トレーニングによって得られた強分類器によって、英語ニュースに対して対応する感情ラベルを迅速に付けることができ、ユーザがコメントをするとき、英語コメントのラベルに基づいて、ユーザの感情を適切に誘導することができ、ユーザが継続的に否定的な感情を生成することを回避することができる。
まとめると、本願実施例のテキスト分類モデルのトレーニング方法、テキスト分類方法は、機械翻訳モデルを介して、言語Ａとは異なる言語Ｂを採用して第２テキストサンプルを取得し、弱分類器を介して第２テキストサンプルを選別し、それにより、クロスリンガルのテキストサンプルの自動取得を実現し、テキストサンプル不足の問題を軽減し、また、選別によって得られた高品質のテキストサンプルを使用して強分類器をトレーニングすることにより、強分類器が正確なテキスト分類を実行できるようにし、テキスト分類精度を向上させることができる。
以上、本願実施例によって提供されるサーバの例示的な適用及び実施に関連して、本願実施例によって提供されるテキスト分類モデルのトレーニング方法を説明してきた。本願実施例は、テキスト分類モデルのトレーニング装置をさらに提供し、実際の適用では、テキスト分類モデルのトレーニング装置における各機能モジュールは、プロセッサなどの計算リソース、通信リソース（例えば、光ケーブル、セルラーなどの様々なタイプの通信の実現をサポートするために使用される）、メモリなど、電子機器（端末機器、サーバ又はサーバクラスタなど）のハードウェアリソースによって協調して実装され得る。図２は、メモリ５５０に記憶されたテキスト分類モデルのトレーニング装置５５５を示しており、テキスト分類モデルのトレーニング装置５５５は、プログラムやプラグインなどの形態のソフトウェア、例えば、ソフトウェアＣ／Ｃ＋＋、Ｊａｖａなどのプログラミング言語で設計されたアプリケーション、又は大規模ソフトウェアシステムにおける専用ソフトウェアモジュール、アプリケーションインターフェース、プラグイン、クラウドサービスなどの実現方式であり得、以下では、異なる実現方式の例を説明する。
例１：テキスト分類モデルのトレーニング装置は、モバイル側アプリ及びモジュールである場合
本願実施例におけるテキスト分類モデルのトレーニング装置５５５は、ソフトウェアＣ／Ｃ＋＋、Ｊａｖａなどのプログラミング言語で設計され、Ａｎｄｒｏｉｄ又はｉＯＳなどのシステムに基づく様々なモバイルアプリに組み込まれたソフトウェアモジュールとして提供することができ（実行可能命令の形式でモバイル側の記憶媒体に記憶され、モバイル側のプロセッサによって実行される）、モバイル側自体の計算リソースを直接使用して、関連する情報推薦タスクを完了し、各種ネットワーク通信方式により処理結果を定期的又は不定期的にリモートサーバに送信したり、モバイル側のローカルに保存したりすることができる。
例２：テキスト分類モデルのトレーニング装置がサーバアプリ及びプラットフォームである場合
本願実施例におけるテキスト分類モデルのトレーニング装置５５５は、ソフトウェアＣ／Ｃ＋＋、Ｊａｖａなどのプログラミング言語で設計され、サーバ側で実行されるソフトウェアモジュールとして提供することができ（実行可能命令の形式でサーバ側の記憶媒体に記憶され、サーバ側のプロセッサによって実行される）、サーバは、それ自体の計算リソースを使用して、関連する情報推薦タスクを完了することができる。
本願実施例はまた、複数台のサーバからなる分散並列コンピューティングプラットフォームに搭載された、カスタマイズされた、インタラクションしやすいネットワーク（Ｗｅｂ）インターフェース又は他の各ユーザインターフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として提供することができ、個人、グループ、又は組織向けの情報推薦プラットフォーム（推薦リスト用）などを形成する。
例３：テキスト分類モデルのトレーニング装置が、サーバ側アプリケーションインターフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）及びプラグインである場合
本願実施例におけるテキスト分類モデルのトレーニング装置５５５は、サーバ側のＡＰＩ又はプラグインとして提供することができ、様々なアプリケーションに組み込まれることができ、ユーザは、当該サーバ側のＡＰＩ又はプラグインを呼び出して、本願実施例によるテキスト分類モデルのトレーニング方法を実行することができる。
例４：テキスト分類モデルのトレーニング装置が、モバイル機器のクライアントＡＰＩ及びプラグインである場合
本願実施例におけるテキスト分類モデルのトレーニング装置５５５は、モバイル機器側のＡＰＩ及びプラグインとして提供することができ、ユーザは、当該モバイル機器側のＡＰＩ及びプラグインを呼び出して、本願実施例によるテキスト分類モデルのトレーニング方法を実行することができる。
例５、テキスト分類モデルのトレーニング装置が、クラウド・オープン・サービスである場合
本願実施例におけるテキスト分類モデルのトレーニング装置５５５は、ユーザのために開発された情報推薦クラウドサービスとして提供することができ、個人、グループ、又は組織が推薦リストを取得するために使用される。
ここで、テキスト分類モデルのトレーニング装置５５５は、翻訳モジュール５５５１、第１トレーニングモジュール５５５２、選別モジュール５５５３、第２トレーニングモジュール５５５４を含む一連のモジュールを備える。続いて、本願実施例によって提供されるテキスト分類モデルのトレーニング装置５５５における各モジュールの協働によりテキスト分類モデルのトレーニングを実現するための方案について説明する。
翻訳モジュール５５５１は、機械翻訳モデルを介して、第１言語の複数の第１テキストサンプルに対して機械翻訳処理を行い、前記複数の第１テキストサンプルに１対１に対応する複数の第２テキストサンプルを取得するように構成され、前記複数の第２テキストサンプルは、前記第１言語とは異なる第２言語を採用し、第１トレーニングモジュール５５５２は、前記第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第２言語向けの第１テキスト分類モデルをトレーニングするように構成され、選別モジュール５５５３は、トレーニングされた前記第１テキスト分類モデルを介して、前記複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行うように構成され、第２トレーニングモジュール５５５４は、前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするように構成され、前記第２テキスト分類モデルのネットワーク深さは、前記第１テキスト分類モデルのネットワーク深さより大きい。
いくつかの実施例では、前記第１トレーニングモジュール５５５２はさらに、前記第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第１テキスト分類モデルに対してｔ回目のトレーニングを行い、ｔ回目のトレーニング後の前記第１テキスト分類モデルを介して、前記複数の第２テキストサンプルに対して、信頼度に基づくｔ回目の選別処理行い、直前ｔ回の選別結果と、前記複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第１テキスト分類モデルに対してｔ＋１回目のトレーニングを行い、Ｔ回目のトレーニング後の前記第１テキスト分類モデルを、前記トレーニング後の前記第１テキスト分類モデルとするように構成され、ここで、ｔは、順次増加する正の整数であり、且つ値の範囲は、１≦ｔ≦Ｔ－１を満たし、Ｔは、２より大きい整数であり、且つ反復トレーニングの総回数を表すために使用される。
いくつかの実施例では、前記第２トレーニングモジュール５５５４はさらに、前記選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布を決定し、前記選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布が分布均衡条件を満たし、且つ各カテゴリの数が対応するカテゴリ数閾値を超える場合、前記選別処理によって得られた第２テキストサンプル内の各カテゴリのテキストサンプルからランダムに抽出した、前記カテゴリ数閾値に対応するテキストサンプルに基づいてトレーニングセットを構築し、前記トレーニングセットに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするように構成される。
いくつかの実施例では、前記第２トレーニングモジュール５５５４はさらに、前記選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布が分布均衡条件を満たさない場合、分布の少ないカテゴリの第２テキストサンプルに対して、類義語に基づく拡張処理を行い、前記拡張処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布は、前記分布均衡条件を満たし、前記拡張処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築し、前記トレーニングセットに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするように構成される。
いくつかの実施例では、前記第２トレーニングモジュール５５５４はさらに、前記複数の第３テキストサンプル及び前記選別処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築し、前記トレーニングセットに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするように構成される。
いくつかの実施例では、前記第２トレーニングモジュール５５５４はさらに、前記選別処理によって得られた第２テキストサンプルの各カテゴリをトラバースし、以下の処理を実行するように構成される：前記カテゴリ内の第２テキストサンプルの数が、前記カテゴリのカテゴリ数閾値より低い場合、前記複数の第３テキストサンプルからランダムに抽出した前記カテゴリの第３テキストサンプルを前記カテゴリの第２テキストサンプルに補充することにより、前記選別処理によって得られた第２テキストサンプルを更新し、更新された、前記選別処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築する。
いくつかの実施例では、前記第２トレーニングモジュール５５５４はさらに、テキスト分類モデルの演算能力と単位時間あたりに演算可能なテキストサンプルの数との対応関係に基づいて、前記第２テキスト分類モデルのトレーニングに使用できる演算能力とマッチングする目標サンプルの数を決定し、前記選別処理によって得られた第２テキストサンプルに基づいて構築されたトレーニングセットから、前記目標サンプルの数に対応するテキストサンプルを選別して、前記第２言語向けの第２テキスト分類モデルをトレーニングするためのサンプルとして使用するように構成される。
いくつかの実施例では、前記第１トレーニングモジュール５５５２はさらに、前記第１テキスト分類モデルを介して、前記第２言語の複数の第３テキストサンプルに対して予測処理を行い、前記複数の第３テキストサンプルのそれぞれに対応する予測カテゴリの信頼度を取得し、前記予測カテゴリの信頼度及び前記第３テキストサンプルのカテゴリラベルに基づいて、前記第１テキスト分類モデルの損失関数を構築し、前記損失関数が収束するまで前記第１テキスト分類モデルのパラメータを更新し、前記損失関数が収束したときの前記第１テキスト分類モデルの更新されたパラメータを、前記トレーニングされた前記第１テキスト分類モデルのパラメータとするように構成される。
いくつかの実施例では、前記第１トレーニングモジュール５５５２はさらに、前記複数の第３テキストサンプルの任意の第３テキストサンプルに対して、次の処理を実行するように構成される：前記第１テキスト分類モデルを介して、前記第３テキストサンプルに対して符号化処理を行い、前記第３テキストサンプルの符号化ベクトルを取得し、前記第３テキストサンプルの符号化ベクトルに対して融合処理を行い、融合ベクトルを取得し、前記融合ベクトルに対して非線形マッピング処理を行い、前記第３テキストサンプルに対応する予測カテゴリの信頼度を取得する。
いくつかの実施例では、前記第１テキスト分類モデルは、複数のカスケードされた活性化層を含み、第１トレーニングモジュール５５５２はさらに、前記複数のカスケードされた活性化層のうちの最初の活性化層を介して、前記融合ベクトルに対して前記最初の活性化層のマッピング処理を行い、前記最初の活性化層のマッピング結果を後続のカスケードされた活性化層に出力し、前記後続のカスケードされた前記活性化層を介して、マッピング処理とマッピング結果の出力を継続し、マッピング結果が最後の活性化層に出力されるまで続行し、前記最後の活性化層によって出力された活性化結果を、前記第３テキストサンプルに対応するカテゴリの信頼度とするように構成される。
いくつかの実施例では、前記選別モジュール５５５３はさらに、前記複数の第２テキストサンプルの任意の第２テキストサンプルに対して、次の処理を実行するように構成される：前記トレーニングされた前記第１テキスト分類モデルを介して、前記第２テキストサンプルに対して予測処理を行い、前記第２テキストサンプルに対応する複数の予測カテゴリの信頼度を取得し、前記第２テキストサンプルに対応する第１テキストサンプルのカテゴリラベルを、前記第２テキストサンプルのカテゴリラベルとして決定し、前記第２テキストサンプルに対応する複数の予測カテゴリの信頼度及び前記第２テキストサンプルのカテゴリラベルに基づいて、信頼度閾値を超える第２テキストサンプルを、前記選別処理によって得られた第２テキストサンプルとする。
いくつかの実施例では、前記第２トレーニングモジュール５５５４はさらに、前記第２テキスト分類モデルを介して、前記選別処理によって得られた第２テキストサンプルに対して予測処理を行い、前記選別処理によって得られた第２テキストサンプルに対応する予測カテゴリを取得し、前記選別処理によって得られた第２テキストサンプルに対応する予測カテゴリ及び対応するカテゴリラベルに基づいて、前記第２テキスト分類モデルの損失関数を構築し、前記損失関数が収束するまで前記第２テキスト分類モデルのパラメータを更新し、前記損失関数が収束したときの前記第２テキスト分類モデルの更新されたパラメータを、トレーニングされた前記第２テキスト分類モデルのパラメータとするように構成される。
いくつかの実施例では、前記第２テキスト分類モデルは、カスケードされた複数のエンコーダを含み、第２トレーニングモジュール５５５４はさらに、前記選別処理によって得られた第２テキストサンプルの任意のテキストサンプルに対して、次の処理を実行するように構成される：前記カスケードされた複数のエンコーダのうちの最初のエンコーダを介して、前記テキストサンプルに対して前記最初のエンコーダの符号化処理を行い、前記最初のエンコーダの符号化結果を後続のカスケードされたエンコーダに出力し、前記後続のカスケードされたエンコーダを介して、符号化処理と符号化結果の出力を継続し、符号化結果が最後のエンコーダに出力されるまで続行し、前記最後のエンコーダが出力した符号化結果を、前記テキストサンプルに対応する符号化ベクトルとし、前記テキストサンプルの符号化ベクトルに対して非線形マッピングを行い、前記テキストサンプルに対応する予測カテゴリを取得する。
いくつかの実施例では、前記第２トレーニングモジュール５５５４はさらに、前記カスケードされた複数のエンコーダのうちのｙ番目のエンコーダを介して次の処理を実行するように構成される：ｙ－１番目のエンコーダの符号化結果に対して自己注意力処理を行い、ｙ番目の自己注意力ベクトルを取得し、前記ｙ番目の自己注意力ベクトル及び前記ｙ－１番目のエンコーダの符号化結果に対して残差接続処理を行い、ｙ番目の残差ベクトルを取得し、前記ｙ番目の残差ベクトルに対して非線形マッピング処理を行い、ｙ番目のマッピングベクトルを取得し、前記ｙ番目のマッピングベクトル及び前記ｙ番目の残差ベクトルに対して残差接続処理を行い、残差接続の結果を前記ｙ番目のエンコーダの符号化結果とし、前記ｙ番目のエンコーダの符号化結果をｙ＋１番目のエンコーダに出力し、ここで、ｙは、順次増加する正の整数であり、且つ値の範囲は、２≦ｙ≦Ｈ－１を満たし、Ｈは、２より大きい整数であり、且つ前記カスケードされた複数のエンコーダの数を表すために使用される。
ここで、本願実施例は、テキスト分類装置をさらに提供し、テキスト分類装置は、取得モジュール及び処理モジュールを含む一連のモジュールを備える。ここで、取得モジュールは、分類対象テキストを取得するように構成され、前記分類対象テキストは、第１言語とは異なる第２言語を採用し、処理モジュールは、ネットワーク深さが第１テキスト分類モデルより大きい第２テキスト分類モデルを介して、前記分類対象テキストに対して符号化処理を行い、前記分類対象テキストの符号化ベクトルを取得し、前記分類対象テキストの符号化ベクトルに対して非線形マッピングを行い、前記分類対象テキストに対応するカテゴリを取得するように構成され、前記第２テキスト分類モデルは、前記第１テキスト分類モデルによる選別によって得られた第２言語のテキストサンプルをトレーニングすることによって取得されるものであり、前記第２言語のテキストサンプルは、前記第１言語のテキストサンプルを機械翻訳することによって取得されるものである。
本願実施例は、コンピュータプログラム製品又はコンピュータプログラムを提供し、当該コンピュータプログラム製品又はコンピュータプログラムにはコンピュータ命令が含まれ、当該コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。電子機器のプロセッサは、コンピュータ可読記憶媒体からコンピュータ命令を読み取り、プロセッサは、当該コンピュータ命令を実行することによって、当該電子機器に本願実施例における上記のテキスト分類モデルのトレーニング方法、又はテキスト分類方法を実行させる。
本願実施例は、実行可能命令が記憶されたコンピュータ可読記憶媒体をさらに提供し、実行可能命令がプロセッサによって実行されるときに、プロセッサに、本願実施例によって提供される人工知能ベースの情報推薦方法、又はテキスト分類方法、例えば、図３～５に示すテキスト分類モデルのトレーニング方法を実行させる。
いくつかの実施例では、コンピュータ可読記憶媒体は、ＦＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気メモリ、光ディスク、又はＣＤ－ＲＯＭなどのメモリであってもよいし、上記のメモリの１つ又は任意の組み合わせを含む様々な機器であってもよい。
いくつかの実施例では、実行可能命令は、プログラム、ソフトウェア、ソフトウェアモジュール、スクリプト、又はコードの形式を採用してもよく、任意の形式のプログラミング言語（コンパイル言語又はインタプリタ型言語、宣言型言語又はプロシージャ言語を含む）で記述することができ、独立したプログラムとして、又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境での使用に適した他のユニットとしてなど、任意の形式で配置することができる。
一例として、実行可能命令は、必ずしもファイルシステム内のファイルに対応するわけではなく、他のプログラム又はデータを保存するファイルの一部として記憶されることができ、例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ：Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ドキュメント内の１つ又は複数のスクリプト、議論されるプログラム専用の単一ファイル、又は複数の共同ファイル（１つ又は複数のモジュール、サブルーチン、又はコードを格納するファイルなど）内に記憶されてもよい。
一例として、実行可能命令は、１つのコンピューティング装置上で実行されるように配置されてもよいし、１つの場所に位置する複数のコンピューティング装置上で実行されるように配置されてもよいし、又は、複数の地点に分散して通信ネットワークを介して相互接続されている複数のコンピューティング装置上で実行されるように配置されてもよい。
上記したのは、本願の実施例に過ぎず、本願の保護範囲を限定するものではない。本願の精神的及び範囲内で行われるあらゆる修正、同等の置換及び改善などは、本願の保護範囲内に含まれるものとする。

Claims (20)

  1. テキスト分類モデルのトレーニング方法であって、
    第１言語の複数の第１テキストサンプルに対して機械翻訳処理を行い、前記複数の第１テキストサンプルに１対１に対応する複数の第２テキストサンプルを取得するステップであって、前記複数の第２テキストサンプルは、前記第１言語とは異なる第２言語を採用する、ステップと、
    前記第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第２言語向けの第１テキスト分類モデルをトレーニングするステップと、
    トレーニングされた前記第１テキスト分類モデルを介して、前記複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行うステップと、
    前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップと、を含み、
    前記第２テキスト分類モデルのネットワーク深さは、前記第１テキスト分類モデルのネットワーク深さより大きい、テキスト分類モデルのトレーニング方法。
  2. 前記第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第２言語向けの第１テキスト分類モデルをトレーニングするステップは、
    前記第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第１テキスト分類モデルに対してｔ回目のトレーニングを行うステップと、
    ｔ回目のトレーニング後の前記第１テキスト分類モデルを介して、前記複数の第２テキストサンプルに対して、信頼度に基づくｔ回目の選別処理を行うステップと、
    直前ｔ回の選別結果と、前記複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第１テキスト分類モデルに対してｔ＋１回目のトレーニングを行うステップと、
    Ｔ回目のトレーニング後の前記第１テキスト分類モデルを、前記トレーニング後の前記第１テキスト分類モデルとするステップと、を含み、
    ｔは、順次増加する正の整数であり、且つ値の範囲は、１≦ｔ≦Ｔ－１を満たし、Ｔは、２より大きい整数であり、且つ反復トレーニングの総回数を表すために使用される、
    請求項１に記載のテキスト分類モデルのトレーニング方法。
  3. 前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップは、
    前記選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布を決定するステップと、
    前記選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布が分布均衡条件を満たし、且つ各カテゴリの数が対応するカテゴリ数閾値を超える場合、前記選別処理によって得られた第２テキストサンプル内の各カテゴリのテキストサンプルからランダムに抽出した、前記カテゴリ数閾値に対応するテキストサンプルに基づいてトレーニングセットを構築するステップと、
    前記トレーニングセットに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップと、を含む、
    請求項１に記載のテキスト分類モデルのトレーニング方法。
  4. 前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップは、
    前記選別処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布が分布均衡条件を満たさない場合、分布の少ないカテゴリの第２テキストサンプルに対して、類義語に基づく拡張処理を行うステップであって、前記拡張処理によって得られた第２テキストサンプルの複数のカテゴリにおける分布は、前記分布均衡条件を満たす、ステップと、
    前記拡張処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築するステップと、
    前記トレーニングセットに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップと、を含む、
    請求項１に記載のテキスト分類モデルのトレーニング方法。
  5. 前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップは、
    前記複数の第３テキストサンプル及び前記選別処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築し、前記トレーニングセットに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップを含む、
    請求項１に記載のテキスト分類モデルのトレーニング方法。
  6. 前記複数の第３テキストサンプル及び前記選別処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築するステップは、
    前記選別処理によって得られた第２テキストサンプルの各カテゴリをトラバースし、
    前記カテゴリ内の第２テキストサンプルの数が、前記カテゴリのカテゴリ数閾値より小さい場合、前記複数の第３テキストサンプルからランダムに抽出した前記カテゴリの第３テキストサンプルを前記カテゴリの第２テキストサンプルに補充することにより、前記選別処理によって得られた第２テキストサンプルを更新し、
    更新された、前記選別処理によって得られた第２テキストサンプルに基づいて、トレーニングセットを構築する処理を実行することを含む、
    請求項５に記載のテキスト分類モデルのトレーニング方法。
  7. 前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングする前に、前記テキスト分類モデルのトレーニング方法は、
    テキスト分類モデルの演算能力と単位時間あたりに演算可能なテキストサンプルの数との対応関係に基づいて、前記第２テキスト分類モデルのトレーニングに使用できる演算能力とマッチングする目標サンプルの数を決定するステップと、
    前記選別処理によって得られた第２テキストサンプルに基づいて構築されたトレーニングセットから、前記目標サンプルの数に対応するテキストサンプルを選別して、前記第２言語向けの第２テキスト分類モデルをトレーニングするためのサンプルとして使用するステップと、をさらに含む、
    請求項１に記載のテキスト分類モデルのトレーニング方法。
  8. 前記第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第２言語向けの第１テキスト分類モデルをトレーニングするステップは、
    前記第１テキスト分類モデルを介して、前記第２言語の複数の第３テキストサンプルに対して予測処理を行い、前記複数の第３テキストサンプルのそれぞれに対応する予測カテゴリの信頼度を取得するステップと、
    前記予測カテゴリの信頼度及び前記第３テキストサンプルのカテゴリラベルに基づいて、前記第１テキスト分類モデルの損失関数を構築するステップと、
    前記損失関数が収束するまで前記第１テキスト分類モデルのパラメータを更新し、前記損失関数が収束したときの前記第１テキスト分類モデルの更新されたパラメータを、前記トレーニングされた前記第１テキスト分類モデルのパラメータとするステップと、を含む、
    請求項１に記載のテキスト分類モデルのトレーニング方法。
  9. 前記第１テキスト分類モデルを介して、前記第２言語の複数の第３テキストサンプルに対して予測処理を行い、前記複数の第３テキストサンプルのそれぞれに対応する予測カテゴリの信頼度を取得するステップは、
    前記複数の第３テキストサンプルの任意の第３テキストサンプルに対して、
    前記第１テキスト分類モデルを介して、
    前記第３テキストサンプルに対して符号化処理を行い、前記第３テキストサンプルの符号化ベクトルを取得し、
    前記第３テキストサンプルの符号化ベクトルに対して融合処理を行い、融合ベクトルを取得し、
    前記融合ベクトルに対して非線形マッピング処理を行い、前記第３テキストサンプルに対応する予測カテゴリの信頼度を取得する処理を実行することを含む、
    請求項８に記載のテキスト分類モデルのトレーニング方法。
  10. 前記第１テキスト分類モデルは、複数のカスケードされた活性化層を含み、
    前記融合ベクトルに対して非線形マッピング処理を行い、前記第３テキストサンプルに対応する予測カテゴリの信頼度を取得するステップは、
    前記複数のカスケードされた活性化層のうちの最初の活性化層を介して、前記融合ベクトルに対して前記最初の活性化層のマッピング処理を行うステップと、
    前記最初の活性化層のマッピング結果を後続のカスケードされた活性化層に出力し、前記後続のカスケードされた前記活性化層を介して、マッピング処理とマッピング結果の出力を継続し、マッピング結果が最後の活性化層に出力されるまで続行するステップと、
    前記最後の活性化層によって出力された活性化結果を、前記第３テキストサンプルに対応するカテゴリの信頼度とするステップと、を含む、
    請求項９に記載のテキスト分類モデルのトレーニング方法。
  11. 前記トレーニングされた前記第１テキスト分類モデルを介して、前記複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行うステップは、
    前記複数の第２テキストサンプルの任意の第２テキストサンプルに対して、
    前記トレーニングされた前記第１テキスト分類モデルを介して、前記第２テキストサンプルに対して予測処理を行い、前記第２テキストサンプルに対応する複数の予測カテゴリの信頼度を取得し、
    前記第２テキストサンプルに対応する第１テキストサンプルのカテゴリラベルを、前記第２テキストサンプルのカテゴリラベルとして決定し、
    前記第２テキストサンプルに対応する複数の予測カテゴリの信頼度及び前記第２テキストサンプルのカテゴリラベルに基づいて、信頼度閾値を超える第２テキストサンプルを、前記選別処理によって得られた第２テキストサンプルとする処理を実行することを含む、
    請求項１に記載のテキスト分類モデルのトレーニング方法。
  12. 前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするステップは、
    前記第２テキスト分類モデルを介して、前記選別処理によって得られた第２テキストサンプルに対して予測処理を行い、前記選別処理によって得られた第２テキストサンプルに対応する予測カテゴリを取得するステップと、
    前記選別処理によって得られた第２テキストサンプルに対応する予測カテゴリ及び対応するカテゴリラベルに基づいて、前記第２テキスト分類モデルの損失関数を構築するステップと、
    前記損失関数が収束するまで前記第２テキスト分類モデルのパラメータを更新し、前記損失関数が収束したときの前記第２テキスト分類モデルの更新されたパラメータを、トレーニングされた前記第２テキスト分類モデルのパラメータとするステップと、を含む、
    請求項１に記載のテキスト分類モデルのトレーニング方法。
  13. 前記第２テキスト分類モデルは、カスケードされた複数のエンコーダを含み、
    前記第２テキスト分類モデルを介して、前記選別処理によって得られた第２テキストサンプルに対して予測処理を行い、前記選別処理によって得られた第２テキストサンプルに対応する予測カテゴリを取得するステップは、
    前記選別処理によって得られた第２テキストサンプルのうちのいずれかのテキストサンプルに対して、
    前記カスケードされた複数のエンコーダのうちの最初のエンコーダを介して、前記テキストサンプルに対して前記最初のエンコーダの符号化処理を行い、
    前記最初のエンコーダの符号化結果を後続のカスケードのエンコーダに出力し、前記後続のカスケードされたエンコーダを介して、符号化処理と符号化結果の出力を継続し、符号化結果が最後のエンコーダに出力されるまで続行し、
    前記最後のエンコーダによって出力された符号化結果を、前記テキストサンプルに対応する符号化ベクトルとし、
    前記テキストサンプルの符号化ベクトルに対して非線形マッピングを行い、前記テキストサンプルに対応する予測カテゴリを取得する処理を実行することを含む、
    請求項１２に記載のテキスト分類モデルのトレーニング方法。
  14. 前記後続のカスケードされたエンコーダによって、符号化処理と符号化結果の出力を継続するステップは、
    前記カスケードされた複数のエンコーダのうちのｙ番目のエンコーダを介して、
    ｙ－１番目のエンコーダの符号化結果に対して自己注意力処理を行い、ｙ番目の自己注意力ベクトルを取得し、
    前記ｙ番目の自己注意力ベクトル及び前記ｙ－１番目のエンコーダの符号化結果に対して残差接続処理を行い、ｙ番目の残差ベクトルを取得し、
    前記ｙ番目の残差ベクトルに対して非線形マッピング処理を行い、ｙ番目のマッピングベクトルを取得し、
    前記ｙ番目のマッピングベクトル及び前記ｙ番目の残差ベクトルに対して残差接続処理を行い、残差接続の結果を前記ｙ番目のエンコーダの符号化結果とし、前記ｙ番目のエンコーダの符号化結果をｙ＋１番目のエンコーダに出力する処理を実行することを含み、
    ｙは、順次増加する正の整数であり、且つ値の範囲は、２≦ｙ≦Ｈ－１を満たし、Ｈは、２より大きい整数であり、且つ前記カスケードされた複数のエンコーダの数を表すために使用される、
    請求項１３に記載のテキスト分類モデルのトレーニング方法。
  15. テキスト分類方法であって、
    分類対象テキストを取得するステップであって、前記分類対象テキストは、第１言語とは異なる第２言語を採用する、ステップと、
    ネットワーク深さが第１テキスト分類モデルより大きい第２テキスト分類モデルを介して、前記分類対象テキストに対して符号化処理を行い、前記分類対象テキストの符号化ベクトルを取得するステップと、
    前記分類対象テキストの符号化ベクトルに対して非線形マッピングを行い、前記分類対象テキストに対応するカテゴリを取得するステップと、を含み、
    前記第２テキスト分類モデルは、前記第１テキスト分類モデルによる選別によって得られた第２言語のテキストサンプルをトレーニングすることによって取得されるものであり、前記第２言語のテキストサンプルは、前記第１言語のテキストサンプルを機械翻訳することによって取得されるものである、テキスト分類方法。
  16. テキスト分類モデルのトレーニング装置であって、
    第１言語の複数の第１テキストサンプルに対して機械翻訳処理を行い、前記複数の第１テキストサンプルに１対１に対応する複数の第２テキストサンプルを取得するように構成される翻訳モジュールであって、前記複数の第２テキストサンプルは、前記第１言語とは異なる第２言語を採用する、翻訳モジュールと、
    前記第２言語の複数の第３テキストサンプル及びそれぞれに対応するカテゴリラベルに基づいて、前記第２言語向けの第１テキスト分類モデルをトレーニングするように構成される第１トレーニングモジュールと、
    トレーニングされた前記第１テキスト分類モデルを介して、前記複数の第２テキストサンプルに対して、信頼度に基づく選別処理を行うように構成される選別モジュールと、
    前記選別処理によって得られた第２テキストサンプルに基づいて、前記第２言語向けの第２テキスト分類モデルをトレーニングするように構成される第２トレーニングモジュールと、を備え、前記第２テキスト分類モデルのネットワーク深さは、前記第１テキスト分類モデルのネットワーク深さより大きい、テキスト分類モデルのトレーニング装置。
  17. テキスト分類装置であって、
    分類対象テキストを取得するように構成される取得モジュールであって、前記分類対象テキストは、第１言語とは異なる第２言語を採用する、取得モジュールと、
    ネットワーク深さが第１テキスト分類モデルより大きい第２テキスト分類モデルを介して、前記分類対象テキストに対して符号化処理を行い、前記分類対象テキストの符号化ベクトルを取得し、前記分類対象テキストの符号化ベクトルに対して非線形マッピングを行い、前記分類対象テキストに対応するカテゴリを取得するように構成される処理モジュールと、を備え、前記第２テキスト分類モデルは、前記第１テキスト分類モデルによる選別によって得られた第２言語のテキストサンプルをトレーニングすることによって取得されるものであり、前記第２言語のテキストサンプルは、前記第１言語のテキストサンプルを機械翻訳することによって取得されるものである、テキスト分類装置。
  18. 実行可能命令を記憶するメモリと、
    前記メモリに記憶された実行可能命令を実行するときに、請求項１～１４のいずれか一項に記載のテキスト分類モデルのトレーニング方法、又は請求項１５に記載のテキスト分類方法を実行する、プロセッサと、を備える、電子機器。
  19. プロセッサに、請求項１～１４のいずれか一項に記載のテキスト分類モデルのトレーニング方法、又は請求項１５に記載のテキスト分類方法を実行させるための実行可能命令が記憶された、コンピュータ可読記憶媒体。
  20. プロセッサに、請求項１～１４のいずれか一項に記載のテキスト分類モデルのトレーニング方法、又は請求項１５に記載のテキスト分類方法を実行させるためのコンピュータプログラム又は命令を含む、コンピュータプログラム製品。
JP2023514478A 2020-11-04 2021-10-18 テキスト分類モデルのトレーニング方法、テキスト分類方法、装置、機器、記憶媒体及びコンピュータプログラム Pending JP2023539532A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011217057.9A CN112214604A (zh) 2020-11-04 2020-11-04 文本分类模型的训练方法、文本分类方法、装置及设备
CN202011217057.9 2020-11-04
PCT/CN2021/124335 WO2022095682A1 (zh) 2020-11-04 2021-10-18 文本分类模型的训练方法、文本分类方法、装置、设备、存储介质及计算机程序产品

Publications (1)

Publication Number Publication Date
JP2023539532A true JP2023539532A (ja) 2023-09-14

Family

ID=74058181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023514478A Pending JP2023539532A (ja) 2020-11-04 2021-10-18 テキスト分類モデルのトレーニング方法、テキスト分類方法、装置、機器、記憶媒体及びコンピュータプログラム

Country Status (4)

Country Link
US (1) US20230025317A1 (ja)
JP (1) JP2023539532A (ja)
CN (1) CN112214604A (ja)
WO (1) WO2022095682A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214604A (zh) * 2020-11-04 2021-01-12 腾讯科技（深圳）有限公司 文本分类模型的训练方法、文本分类方法、装置及设备
US11934795B2 (en) * 2021-01-29 2024-03-19 Oracle International Corporation Augmented training set or test set for improved classification model robustness
CN113010674B (zh) * 2021-03-11 2023-12-22 平安创科科技(北京)有限公司 文本分类模型封装方法、文本分类方法及相关设备
CN112765359B (zh) * 2021-04-07 2021-06-18 成都数联铭品科技有限公司 一种基于少样本的文本分类方法
CN114266239A (zh) * 2021-12-31 2022-04-01 胜斗士(上海)科技技术发展有限公司 数据集的生成方法及装置
CN114462387B (zh) * 2022-02-10 2022-09-02 北京易聊科技有限公司 无标注语料下的句型自动判别方法
CN114328936B (zh) * 2022-03-01 2022-08-30 支付宝(杭州)信息技术有限公司 建立分类模型的方法和装置
CN114911821B (zh) * 2022-04-20 2024-05-24 平安国际智慧城市科技股份有限公司 一种结构化查询语句的生成方法、装置、设备及存储介质
CN115033701B (zh) * 2022-08-12 2022-10-28 北京百度网讯科技有限公司 文本向量生成模型训练方法、文本分类方法及相关装置
CN115346084B (zh) * 2022-08-15 2024-07-12 腾讯科技（深圳）有限公司 样本处理方法、装置、电子设备、存储介质及程序产品
CN115186670B (zh) * 2022-09-08 2023-01-03 北京航空航天大学 一种基于主动学习的领域命名实体识别方法及系统
CN115329723A (zh) * 2022-10-17 2022-11-11 广州数说故事信息科技有限公司 基于小样本学习的用户圈层挖掘方法、装置、介质及设备
CN116737935B (zh) * 2023-06-20 2024-05-03 青海师范大学 基于提示学习的藏文文本分类方法、装置及存储介质
CN116720005B (zh) * 2023-08-10 2023-10-20 四川大学 一种基于自适应噪声的数据协同对比推荐模型的系统
CN117455421B (zh) * 2023-12-25 2024-04-16 杭州青塔科技有限公司 科研项目的学科分类方法、装置、计算机设备及存储介质
CN117851601B (zh) * 2024-02-26 2024-07-16 海纳云物联科技有限公司 事件分类模型的训练方法、使用方法、装置及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488623A (zh) * 2013-09-04 2014-01-01 中国科学院计算技术研究所 多种语言文本数据分类处理方法
US10095770B2 (en) * 2015-09-22 2018-10-09 Ebay Inc. Miscategorized outlier detection using unsupervised SLM-GBM approach and structured data
CN111831821B (zh) * 2020-06-03 2024-01-09 北京百度网讯科技有限公司 文本分类模型的训练样本生成方法、装置和电子设备
CN111813942B (zh) * 2020-07-23 2022-07-12 思必驰科技股份有限公司 实体分类方法和装置
CN112214604A (zh) * 2020-11-04 2021-01-12 腾讯科技（深圳）有限公司 文本分类模型的训练方法、文本分类方法、装置及设备

Also Published As

Publication number Publication date
US20230025317A1 (en) 2023-01-26
CN112214604A (zh) 2021-01-12
WO2022095682A1 (zh) 2022-05-12

Similar Documents

Publication Publication Date Title
JP2023539532A (ja) テキスト分類モデルのトレーニング方法、テキスト分類方法、装置、機器、記憶媒体及びコンピュータプログラム
US11816439B2 (en) Multi-turn dialogue response generation with template generation
US11775761B2 (en) Method and apparatus for mining entity focus in text
US11886480B2 (en) Detecting affective characteristics of text with gated convolutional encoder-decoder framework
CN111897934B (zh) 问答对生成方法及装置
CN116820429B (zh) 代码处理模型的训练方法、装置、电子设备及存储介质
CN113011186B (zh) 命名实体识别方法、装置、设备及计算机可读存储介质
US20230281400A1 (en) Systems and Methods for Pretraining Image Processing Models
CN114186978A (zh) 简历与岗位匹配度预测方法及相关设备
CN113420212A (zh) 基于深度特征学习的推荐方法、装置、设备及存储介质
CN108475346A (zh) 神经随机访问机器
CN112232052A (zh) 文本拼接方法、装置、计算机设备及存储介质
CN117743551A (zh) 问答信息的处理方法、装置、计算机可读介质及电子设备
CN111723186A (zh) 用于对话系统的基于人工智能的知识图谱生成方法、电子设备
CN115438164A (zh) 问答方法、系统、设备及存储介质
CN116956102A (zh) 分类模型的训练方法、装置、设备、存储介质及程序产品
CN117235271A (zh) 信息抽取方法、装置、计算机存储介质及电子设备
CN113420869A (zh) 基于全方向注意力的翻译方法及其相关设备
CN117521674B (zh) 对抗信息的生成方法、装置、计算机设备和存储介质
CN115935195B (zh) 文本匹配方法及装置、计算机可读存储介质、终端
US20240256964A1 (en) Pretraining Already-Pretrained Models for Diverse Downstream Tasks
US20240005082A1 (en) Embedding Texts into High Dimensional Vectors in Natural Language Processing
US20240143941A1 (en) Generating subject lines from keywords utilizing a machine-learning model
CN114298004A (zh) 复述文本生成方法、装置、设备、介质和程序产品
CN117034875A (zh) 一种文本数据生成方法、装置、设备及其存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240905