JP2023541742A - ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム - Google Patents
ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム Download PDFInfo
- Publication number
- JP2023541742A JP2023541742A JP2022559445A JP2022559445A JP2023541742A JP 2023541742 A JP2023541742 A JP 2023541742A JP 2022559445 A JP2022559445 A JP 2022559445A JP 2022559445 A JP2022559445 A JP 2022559445A JP 2023541742 A JP2023541742 A JP 2023541742A
- Authority
- JP
- Japan
- Prior art keywords
- text
- candidate
- target
- score
- sample pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012549 training Methods 0.000 title claims abstract description 52
- 238000004590 computer program Methods 0.000 title claims description 30
- 238000012545 processing Methods 0.000 claims description 78
- 230000006870 function Effects 0.000 claims description 67
- 239000013598 vector Substances 0.000 claims description 47
- 230000011218 segmentation Effects 0.000 claims description 38
- 238000005457 optimization Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 abstract description 10
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
関連技術において、一般的には事前トレーニング言語モデル(pertrained language model、PLM)のソートモデルに基づいて、検索内容に基づいてリコールされた候補テキストに対するソートを実現する。しかしながら、PLMに基づくソートモデルのソート性能の向上により、効率を犠牲にし、特に候補テキストの内容が長い場合、従来のソートモデルの性能に厳重な影響を与え、候補テキストのソート効率が低いことをもたらす。
それぞれ第1の検索テキスト及び前記第1の検索テキストに対応する第1の候補テキストが含まれる複数の第1のサンプルペア、及び各前記第1のサンプルペアの前記第1の検索テキストと前記第1の候補テキストとの間の第1の関連性スコアを説明するためのタグ情報を取得することと、
前記各第1のサンプルペアについて、前記第1のサンプルペアにおける第1の候補テキストに対応する第1の目標要約を決定し、前記第1の検索テキスト、前記第1の候補テキストの第1のタイトルテキスト、及び前記第1の目標要約を初期言語モデルに入力し、前記第1のサンプルペアに対応する第2の関連性スコアを取得することと、
前記各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新することと、を含むことができるソートモデルのトレーニング方法を提供している。
それぞれ第1の検索テキスト及び前記第1の検索テキストに対応する第1の候補テキストが含まれる複数の第1のサンプルペア、及び各前記第1のサンプルペアの前記第1の検索テキストと前記第1の候補テキストとの間の第1の関連性スコアを説明するためのタグ情報を取得する第1の取得手段と、
前記各第1のサンプルペアに対して、前記第1のサンプルペアにおける第1の候補テキストに対応する第1の目標要約を決定し、前記第1の検索テキスト、前記第1の候補テキストの第1のタイトルテキスト、及び前記第1の目標要約を初期言語モデルに入力し、前記第1のサンプルペアに対応する第2の関連性スコアを取得するために用いられる第1の処理手段と、
前記各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新するために用いられる更新手段と、を含むことができるソートモデルのトレーニング装置を提供している。
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサにより実行されることにより、前記少なくとも一つのプロセッサが上記第1の態様に記載のソートモデルのトレーニング方法を実行可能な電子機器を提供している。
理解すべきこととして、本部分に記載された内容は本開示の実施例のキー又は重要な特徴を識別することを意図するものではなく、本開示の範囲を限定するものではない。本開示の他の特徴は、以下の説明により容易に理解されるであろう。
本開示の実施例において、「少なくとも一つ」とは、一つ又は複数を意味しており、「複数」とは、二つ又は二つ以上を意味している。「及び/又は」は、関連対象の関連関係を説明し、三種類の関係が存在してもよく、例えば、A及び/又はBは、単独でAが存在し、同時にAとBが存在し、単独でBが存在するという三種類の状況があることを示すことができ、ここで、A、Bは単数であってもよく、複数であってもよい。本開示の文字記述において、「/」は一般的に前後の関連対象が「又は」の関係を有することを示す。また、本開示の実施例において、「第1の」、「第2の」、「第3の」、「第4の」、「第5の」及び「第6の」は異なる対象の内容を区別するためだけであり、他の特別な意味がない。
したがって、如何にして検索内容に基づいてリコールされた候補テキストを正確にソートし、検索内容との関連性が高い候補テキストを優先的に表示ページに表示するかのことは非常に重要である。関連技術において、一般的にPLMに基づくソートモデルであり、検索内容に基づいてリコールされた候補テキストを正確にソートする。しかし、PLMに基づくソートモデルは、リコールされた候補テキストをソートする際に、その計算リソースの消費は、検索内容と候補テキストの全長の二乗に比例し、特に候補テキスト内容が長い場合、大きな計算リソースを占用し、従来のソートモデルの性能に厳重な影響を与え、それにより候補テキストのソート効率が低くする。
図1は、本開示の第1の実施例に係るソートモデルのトレーニング方法のフローチャートであり、該ソートモデルのトレーニング方法は、ソフトウェア及び/又はハードウェア装置により実行することができ、例えば、該ハードウェア装置は、端末又はサーバであってもよい。例示的には、図1に示すように、該ソートモデルのトレーニング方法は、以下のステップを含むことができる。
一般的には、関連性スコアが高いほど、検索テキストと候補テキストとの間の関連性が強くなり、逆に、関連性スコアが低いほど、検索テキストと候補テキストとの間の関連性が弱くなる。
例示的には、第1の検索テキストは、「ソートモデルの発展史」であってもよく、「事前トレーニング言語モデルのネットワークアーキテクチャ及び概要」などであってもよく、具体的には実際の需要に応じて設定することができ、ここで、第1の検索テキストの内容にについて、本開示の実施例はさらに制限しない。
S102において、各第1のサンプルペアに対して、第1のサンプルペアにおける第1の候補テキストに対応する第1の目標要約を決定し、第1の検索テキスト、第1の候補テキストの第1のタイトルテキスト、及び第1の目標要約を初期言語モデルに入力し、第1のサンプルペアに対応する第2の関連性スコアを取得する。
S103において、各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新する。
図3は、本開示の第2の実施例に係る第1の候補テキストに対応する第1の目標要約を決定する方法のフローチャートであり、該決定方法は同様にソフトウェア及び/又はハードウェア装置により実行されてもよく、例えば、該ハードウェア装置は端末又はサーバであってもよい。例示的には、図3に示すように、該第1の候補テキストに対応する第1の目標要約を決定する方法は以下のステップを含むことができる。
例示的には、第1の候補テキストに分割処理を行う際に、予め設定された記号に基づいて、第1の候補テキストに分割処理を行うことにより、該第1の候補テキストに対応する複数の候補センテンスを取得することができる;例えば、予め設定された記号は句点、セミコロン又は他の句読点などであってもよく、テキストに対する分割処理を正確に実現することができればよい。従来のテキスト分割モデルを採用して、第1の候補テキストに分割処理を行うことにより、該第1の候補テキストに対応する複数の候補センテンスを取得することもできる。具体的に実際の必要に応じて設定し、ここで、如何にして第1の候補テキストに分割処理を行うかについて、本開示の実施例は具体的に制限しない。
複数の候補センテンスにおける各候補センテンスに対応する初期スコアを取得する際に、各候補センテンスに対応する初期スコアの取得方式が類似するため、重複な説明を避けるために、複数の候補センテンスのうちのいずれかの候補センテンスを例にして、如何にして各候補センテンスに対応する初期スコアを取得するかについて説明する。
例示的には、各候補センテンスに対応する初期スコアに基づいて、第1の候補テキストに対応する第1の目標要約を決定する際に、二つの可能な実現方式を含むことができる。
図4は、本開示の第3の実施例に係る第1のサンプルペアに対応する第2の関連性スコアを決定する方法のフローチャートであり、該決定方法は同様にソフトウェア及び/又はハードウェア装置により実行されてもよく、例えば、該ハードウェア装置は端末又はサーバであってもよい。例示的には、図4に示すように、該第1のサンプルペアに対応する第2の関連性スコアを決定する方法は以下のステップを含むことができる。
S402において、第1のタイトルテキスト及び第1の検索テキストに対応するベクトル表示、及び第1の目標要約に対応するベクトル表示に基づいて、第1のサンプルペアに対応する第2の関連性スコアを決定する。
例示的には、初期言語モデルは総括符号化モデルをさらに含み、図5に示すように、第1のタイトルテキストと第1の検索テキストに対応するベクトル表示、及び第1の目標要約に対応するベクトル表示を、総括符号化モデルに入力し、該総括符号化モデルの出力は第1のサンプルペアに含まれた第1の検索テキストと第1の候補テキストとの間の関連性、すなわち、該第1のサンプルペアに対応する第2の関連性スコアであり、該第1のサンプルペアに対応する第2の関連性スコアは、初期言語モデルで予測された第1のサンプルペアに対応する関連性スコアである。
例示的には、まず各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、各第1のサンプルペアに対応する第1の損失関数を構築することができる;該複数の第1のサンプルペアがソートモデルをトレーニングするための同一ロットのサンプルペアであるため、各第1のサンプルペアに対応する第1の損失関数に基づいて、該複数の第1のサンプルペアに対応する平均損失関数を決定することができ、第1の平均損失関数と表記することができ、さらに第1の平均損失関数が収束するまで、第1の平均損失関数に基づいて初期言語モデルのネットワークパラメータを更新し、収束する時の言語モデルをソートモデルとして決定し、それにより言語モデルに基づくソートモデルを取得することができる。
図6は、本開示の第4の実施例に係るソートモデルのネットワークパラメータを最適化する方法のフローチャートであり、該決定方法は同様にソフトウェア及び/又はハードウェア装置により実行されてもよく、例えば、該ハードウェア装置は端末又はサーバであってもよい。例示的には、図6に示すように、該ソートモデルのネットワークパラメータを最適化する方法は以下のステップを含むことができる。
例示的には、各第2のサンプルペアについて、第2のサンプルペアに対応する第3の関連性スコア及び第5の相関性スコアに基づいて、点に基づく第2の損失関数を決定し、及び第2のサンプルペアに対応する第4の相関性スコア及び第6の相関性スコアに基づいて、点に基づく第3の損失関数を決定することができる;第2のサンプルペアに対応する第5の相関性スコア及び第6の相関性スコアに基づいて、ペアに基づく第4の損失関数を決定する;さらに第2のサンプルペアに対応する第2の損失関数、第3の損失関数及び第4の損失関数に基づいて、第2のサンプルペアに対応する損失関数を決定し、具体的には下記式を参照することができる。
図7は、本開示の実施例が提供するソートモデルのトレーニング装置70の構造概略図であり、例示的に、図7に示すように、該ソートモデルのトレーニング装置70は、以下を含むことができる:
第1の取得手段701であって、複数の第1のサンプルペア、及び各第1のサンプルペアのタグ情報を取得するために用いられ、ここで、各第1のサンプルペアは、第1の検索テキスト及び第1の検索テキストに対応する第1の候補テキストを含み、タグ情報は、第1の検索テキストと第1の候補テキストとの間の第1の関連性スコアを説明するために用いられる。
第1の処理手段702であって、各第1のサンプルペアに対して、第1のサンプルペアにおける第1の候補テキストに対応する第1の目標要約を決定する;かつ第1の検索テキスト、第1の候補テキストの第1のタイトルテキスト、及び第1の目標要約を初期言語モデルに入力し、第1のサンプルペアに対応する第2の関連性スコアを得るために用いられる。
更新手段703であって、各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、初期言語モデルのネットワークパラメータを更新するために用いられる。
第1の処理モジュールは、第1の検索テキスト、第1のタイトルテキスト、及び第1の目標要約を初期言語モデルに入力し、第1のタイトルテキスト及び第1の検索テキストに対応するベクトル表示、及び第1の目標要約に対応するベクトル表示をそれぞれ取得するために用いられる。
第2の処理モジュールは、第1のタイトルテキストおよび第1の検索テキストに対応するベクトル表示、および第1の目標要約に対応するベクトル表示に基づいて、第1のサンプルペアに対応する第2の関連性スコアを決定するために用いられる。
選択的には、初期言語モデルは、要約符号化モデル、及びタイトル及び検索テキストの符号化モデルを含み、第1の処理モジュールは、第1の処理サブモジュール及び第2の処理サブモジュールを含む。
第2の処理サブモジュールは、第1の目標要約を要約符号化モデルに入力し、第1の目標要約に対応するベクトル表示を取得するために用いられる。
選択的には、初期言語モデルは、総括符号化モデルをさらに含み、第2の処理モジュールは、第3の処理サブモジュールを含む。
選択的には、第1の処理モジュールは、第3の処理モジュール、第4の処理モジュール及び第5の処理モジュールをさらに含む。
第3の処理モジュールは、第1の候補テキストに分割処理を行い、第1の候補テキストに対応する複数の候補センテンスを取得するために用いられる。
第4の処理モジュールは、各候補センテンスに対して、候補センテンスに単語分割処理を行い、候補センテンスに対応する複数の分割単語を取得し、複数の分割単語から、第1の検索テキストに含まれる分割単語と同じである複数の目標分割単語を決定し、各目標分割単語に対応する重要度値、及び各目標分割単語のセンテンスに占める重みに基づいて、候補センテンスに対応する初期スコアを決定するために用いられる。
第5の処理モジュールは、各候補センテンスに対応する初期スコアに基づいて、第1の候補テキストに対応する第1の目標要約を決定するために用いられる。
第4の処理サブモジュールは、各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを、第1の候補テキストに対応する第1の目標要約として決定するために用いられる。
あるいは、第5の処理サブモジュールは、各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを第1の候補センテンスとして決定し、各目標分割単語のセンテンスに占める重みを減少させ、各目標分割単語に対応する重要度値と、各目標単語分割が減少した後の重みとに基づいて、候補センテンスに対応する目標スコアを決定し、目標スコアが最も高い候補センテンスを第2の候補センテンスとして決定し、第1の候補センテンスと第2の候補センテンスを第1の候補テキストに対応する第1の目標要約として決定するために用いられる。
第1の更新モジュールは、各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、各第1のサンプルペアに対応する第1の損失関数を構築するために用いられる。
第2の更新モジュールは、第1の平均損失関数が収束するまで、各第1のサンプルペアに対応する第1の損失関数の第1の平均損失関数に基づいて、初期言語モデルのネットワークパラメータを更新し、収束する際の言語モデルをソートモデルとして決定するために用いられる。
第2の取得手段は、複数の第2のサンプルペア、及び各第2のサンプルペアの第1のタグ情報及び第2のタグ情報を取得するために用いられ、ここで、各第2のサンプルペアは、第2の検索テキスト及び第2の検索テキストに対応する第2の候補テキスト及び第3の候補テキストを含み、第1のタグ情報は。第2の検索テキストと第2の候補テキストとの間の第3の関連性スコアを説明するために用いられ、第2のタグ情報は、第2の検索テキストと第3の候補テキストとの間の第4の関連性スコアを説明するために用いられる。
最適化手段は、各第2のサンプルペアに対応する第3の関連性スコア、第4の関連性スコア、第5の関連性スコア及び第6の関連性スコアに基づいて、ソートモデルのネットワークパラメータを最適化することに用いられる。
第1の最適化モジュールは、各第2のサンプルペアに対して、第2のサンプルペアに対応する第3の関連性スコア及び第5の相関性スコアに基づいて、点に基づく第2の損失関数を決定し、第2のサンプルペアに対応する第4の相関性スコア及び第6の相関性スコアに基づいて、点に基づく第3の損失関数を決定し、第2のサンプルペアに対応する第5の相関性スコア及び第6の相関性スコアに基づいて、対に基づく第4の損失関数を決定するために用いられる。
第2の最適化モジュールは、各第2のサンプルペアに対応する第2の損失関数、第3の損失関数及び第4の損失関数に基づいて、各第2のサンプルペアに対応する損失関数を決定するために用いられる。
第3の最適化モジュールは、第2の平均損失関数が収束するまで、各第2のサンプルペアに対応する損失関数の第2の平均損失関数に基づいて、ソートされたネットワークパラメータを更新し、収束する際のソートモデルを目標ソートモデルとして決定するために用いられる。
本開示の実施例によれば、本開示は、コンピュータプログラム製品をさらに提供し、コンピュータプログラム製品は、可読記憶媒体に記憶されるコンピュータプログラムを含み、電子機器の少なくとも一つのプロセッサは、可読記憶媒体からコンピュータプログラムを読み取り、少なくとも一つのプロセッサがコンピュータプログラムを実行することにより電子機器が上記いずれかの一つの実施例が提供した技術案を実行する。
機器80における複数の部品はI/Oインタフェース805に接続され、例えばキーボード、マウス等の入力手段806と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段807と、例えば磁気ディスク、光ディスク等の記憶手段808と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段809と、含む。通信手段809は、機器80が例えばインターネット等のコンピュータネットワーク及び/又は各種の電気通信網を介して他の機器と情報/データを送受信することを許可する。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。
本開示の実施例によれば、本開示は、コンピュータプログラムをさらに提供し、コンピュータプログラムは、可読記憶媒体に記憶されるコンピュータプログラムであり、電子機器の少なくとも一つのプロセッサは、可読記憶媒体からコンピュータプログラムを読み取り、少なくとも一つのプロセッサがコンピュータプログラムを実行することにより電子機器が上記いずれかの一つの実施例が提供した技術案を実行する。
電子機器80における複数の部品はI/Oインタフェース805に接続され、例えばキーボード、マウス等の入力手段806と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段807と、例えば磁気ディスク、光ディスク等の記憶手段808と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段809と、含む。通信手段809は、電子機器80が例えばインターネット等のコンピュータネットワーク及び/又は各種の電気通信網を介して他の機器と情報/データを送受信することを許可する。
Claims (21)
- それぞれ第1の検索テキスト及び前記第1の検索テキストに対応する第1の候補テキストが含まれる複数の第1のサンプルペア、及び各前記第1のサンプルペアの前記第1の検索テキストと前記第1の候補テキストとの間の第1の関連性スコアを説明するためのタグ情報を取得することと、
前記各第1のサンプルペアについて、前記第1のサンプルペアにおける第1の候補テキストに対応する第1の目標要約を決定し、前記第1の検索テキスト、前記第1の候補テキストの第1のタイトルテキスト、及び前記第1の目標要約を初期言語モデルに入力し、前記第1のサンプルペアに対応する第2の関連性スコアを取得することと、
前記各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新することと、を含む
ことを特徴とするソートモデルのトレーニング方法。 - 前記第1の検索テキスト、前記第1の候補テキストの第1のタイトルテキスト、及び前記第1の目標要約を初期言語モデルに入力し、前記第1のサンプルペアに対応する第2の関連性スコアを取得することは、
前記第1の検索テキスト、前記第1のタイトルテキスト、及び前記第1の目標要約を初期言語モデルに入力し、前記第1のタイトルテキストと前記第1の検索テキストに対応するベクトル表示、及び前記第1の目標要約に対応するベクトル表示をそれぞれ取得することと、
前記第1のタイトルテキストと前記第1の検索テキストに対応するベクトル表示、および前記第1の目標要約に対応するベクトル表示に基づいて、前記第1のサンプルペアに対応する第2の関連性スコアを決定することと、を含む
請求項1に記載の方法。 - 前記初期言語モデルは、要約符号化モデル、及びタイトルと検索テキスト符号化モデルを含み、
前記第1の検索テキスト、前記第1のタイトルテキスト、及び前記第1の目標要約を初期言語モデルに入力し、前記第1のタイトルテキストと前記第1の検索テキストに対応するベクトル表示、及び前記第1の目標要約に対応するベクトル表示をそれぞれ取得することは、
前記第1のタイトルテキスト及び前記第1の検索テキストを前記タイトルと検索テキスト符合化モデルに入力し、前記第1のタイトルテキスト及び前記第1の検索テキストに対応するベクトル表示を取得することと、
前記第1の目標要約を前記要約符号化モデルに入力し、前記第1の目標要約に対応するベクトル表示を取得することと、を含む
請求項2に記載の方法。 - 前記初期言語モデルは総括符号化モデルをさらに含み、
前記第1のタイトルテキストと前記第1の検索テキストに対応するベクトル表示、および前記第1の目標要約に対応するベクトル表示に基づいて、前記第1のサンプルペアに対応する第2の関連性スコアを決定することは、
前記第1のタイトルテキストと前記第1の検索テキストに対応するベクトル表示、および前記第1の目標要約に対応するベクトル表示を前記総括符号化モデルに入力し、前記第1のサンプルペアに対応する第2の関連性スコアを取得することを含む
請求項2又は3に記載の方法。 - 前記第1のサンプルペアにおける第1の候補テキストに対応する第1の目標要約を決定することは、
前記第1の候補テキストに分割処理を行い、前記第1の候補テキストに対応する複数の候補センテンスを取得することと、
各候補センテンスに対して、前記候補センテンスに単語分割処理を行い、前記候補センテンスに対応する複数の分割単語を取得し、前記複数の分割単語から、前記第1の検索テキストに含まれる分割単語と同じである複数の目標分割単語を決定し、各目標分割単語に対応する重要度値と、前記各目標分割単語の前記センテンスに占める重みに基づいて、前記候補センテンスに対応する初期スコアを決定することと、
前記各候補センテンスに対応する初期スコアに基づいて、前記第1の候補テキストに対応する前記第1の目標要約を決定することと、を含む
請求項1~4のいずれか一項に記載の方法。 - 前記各候補センテンスに対応する初期スコアに基づいて、前記第1の候補テキストに対応する前記第1の目標要約を決定することは、
前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを、前記第1の候補テキストに対応する前記第1の目標要約として決定することと、
又は、
前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを第1の候補センテンスとして決定し、前記各目標分割単語の前記センテンスに占める重みを減少させ、前記各目標分割単語に対応する重要度値と、前記各目標分割単語が減少した後の重みとに基づいて、前記候補センテンスに対応する目標スコアを決定し、目標点数が最も高い候補センテンスを第2の候補センテンスとして決定し、前記第1の候補センテンスと前記第2の候補センテンスを前記第1の候補テキストに対応する前記第1の目標要約として決定することと、を含む
請求項5に記載の方法。 - 前記各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新することは、
前記各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、前記各第1のサンプルペアに対応する第1の損失関数を構築することと、
前記第1の平均損失関数が収束するまで、前記各第1のサンプルペアに対応する第1の損失関数の第1の平均損失関数に基づいて、前記初期言語モデルのネットワークパラメータを更新し、収束する際の言語モデルをソートモデルとして決定することと、を含む
請求項1~6のいずれか一項に記載の方法。 - それぞれ第2の検索テキスト及び前記第2の検索テキストに対応する第2の候補テキスト及び第3の候補テキストが含まれる複数の第2のサンプルペア、及び各前記第2のサンプルペアの前記第2の検索テキストと前記第2の候補テキストとの間の第3の関連性スコアを説明するための第1のタグ情報及び前記第2の検索テキストと前記第3の候補テキストとの間の第4の関連性スコアを説明するための第2のタグ情報を取得することと、
前記各第2のサンプルペアについて、前記第2の候補テキストに対応する第2の目標要約及び前記第3の候補テキストに対応する第3の目標要約をそれぞれ決定し、前記第2の検索テキスト、前記第2の候補テキストの第2のタイトルテキスト、及び前記第2の目標要約を初期言語モデルに入力し、前記第2の検索テキスト、前記第2のタイトルテキスト及び前記第2の目標要約の間の第5の関連性スコアを取得し、前記第2の検索テキスト、前記第3の候補テキストの第3のタイトルテキスト、及び前記第3の目標要約を初期言語モデルに入力し、前記第2の検索テキスト、前記第3のタイトルテキスト及び前記第3の目標要約の間の第6の関連性スコアを取得することと、
前記各第2のサンプルペアに対応する第3の関連性スコア、第4の相関性スコア、第5の相関性スコア及び第6の関連性スコアに基づいて、前記ソートモデルのネットワークパラメータを最適化することと、をさらに含む
請求項7に記載の方法。 - 前記各第2のサンプルペアに対応する第3の関連性スコア、第4の相関性スコア、第5の相関性スコア及び第6の相関性スコアに基づいて、前記ソートモデルのネットワークパラメータを最適化することは、
前記各第2のサンプルペアについて、前記第2のサンプルペアに対応する第3の関連性スコア及び前記第5の相関性スコアに基づいて、点に基づく第2の損失関数を決定し、前記第2のサンプルペアに対応する第4の相関性スコア及び前記第6の相関性スコアに基づいて、点に基づく第3の損失関数を決定し、前記第2のサンプルペアに対応する第5の相関性スコア及び前記第6の相関性スコアに基づいて、対に基づく第4の損失関数を決定することと、
前記各第2のサンプルペアに対応する第2の損失関数、第3の損失関数及び第4の損失関数に基づいて、前記各第2のサンプルペアに対応する損失関数を決定することと、
前記第2の平均損失関数が収束するまで、前記各第2のサンプルペアに対応する損失関数の第2の平均損失関数に基づいて、前記ソートのネットワークパラメータを更新し、収束する際のソートモデルを目標ソートモデルとして決定することと、を含む
請求項8に記載の方法。 - それぞれ第1の検索テキスト及び前記第1の検索テキストに対応する第1の候補テキストが含まれる複数の第1のサンプルペア、及び各前記第1のサンプルペアの前記第1の検索テキストと前記第1の候補テキストとの間の第1の関連性スコアを説明するためのタグ情報を取得する第1の取得手段と、
前記各第1のサンプルペアに対して、前記第1のサンプルペアにおける第1の候補テキストに対応する第1の目標要約を決定し、前記第1の検索テキスト、前記第1の候補テキストの第1のタイトルテキスト、及び前記第1の目標要約を初期言語モデルに入力し、前記第1のサンプルペアに対応する第2の関連性スコアを取得するために用いられる第1の処理手段と、
前記各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、前記初期言語モデルのネットワークパラメータを更新するために用いられる更新手段と、を含む
ことを特徴とするソートモデルのトレーニング装置。 - 前記第1の処理手段は、第1の処理モジュール及び第2の処理モジュールを含み、
前記第1の処理モジュールは、前記第1の検索テキスト、前記第1のタイトルテキスト、及び前記第1の目標要約を初期言語モデルに入力し、前記第1のタイトルテキストと前記第1の検索テキストに対応するベクトル表示、及び前記第1の目標要約に対応するベクトル表示をそれぞれ取得するために用いられ、
前記第2の処理モジュールは、前記第1のタイトルテキストと前記第1の検索テキストに対応するベクトル表示、および前記第1の目標要約に対応するベクトル表示に基づいて、前記第1のサンプルペアに対応する第2の関連性スコアを決定するために用いられる
ことを特徴とする請求項10に記載の装置。 - 前記初期言語モデルは、要約符号化モデル、及びタイトルと検索テキスト符号化モデルを含み、前記第1の処理モジュールは、第1の処理サブモジュール及び第2の処理サブモジュールを含み、
前記第1の処理サブモジュールは、前記第1のタイトルテキスト及び前記第1の検索テキストを前記タイトルと検索テキスト符合化モデルに入力し、前記第1のタイトルテキスト及び前記第1の検索テキストに対応するベクトル表示を取得するために用いられ、
前記第2の処理サブモジュールは、前記第1の目標要約を前記要約符号化モデルに入力し、前記第1の目標要約に対応するベクトル表示を取得するために用いられる
ことを特徴とする請求項11に記載の装置。 - 前記初期言語モデルは、総括符号化モデルをさらに含み、前記第2の処理モジュールは、第3の処理サブモジュールを含み、
前記第3の処理サブモジュールは、前記第1のタイトルテキストと前記第1の検索テキストに対応するベクトル表示、および前記第1の目標要約に対応するベクトル表示を前記総括符号化モデルに入力し、前記第1のサンプルペアに対応する第2の関連性スコアを取得するために用いられる
ことを特徴とする請求項11又は12に記載の装置。 - 前記第1の処理モジュールは、第3の処理モジュール、第4の処理モジュール及び第5の処理モジュールをさらに含み、
前記第3の処理モジュールは、前記第1の候補テキストに分割処理を行い、前記第1の候補テキストに対応する複数の候補センテンスを取得するために用いられ、
前記第4の処理モジュールは、各候補センテンスに対して、前記候補センテンスに単語分割処理を行い、前記候補センテンスに対応する複数の分割単語を取得し、前記複数の分割単語から、前記第1の検索テキストに含まれる分割単語と同じである複数の目標分割単語を決定し、各目標分割単語に対応する重要度値と、前記各目標分割単語の前記センテンスに占める重みに基づいて、前記候補センテンスに対応する初期スコアを決定するために用いられ、
前記第5の処理モジュールは、前記各候補センテンスに対応する初期スコアに基づいて、前記第1の候補テキストに対応する前記第1の目標要約を決定するために用いられる
ことを特徴とする請求項10~13のいずれか一項に記載の装置。 - 前記第5の処理モジュールは、第4の処理サブモジュール及び第5の処理サブモジュールを含み、
前記第4の処理サブモジュールは、前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを、前記第1の候補テキストに対応する前記第1の目標要約として決定するために用いられ、
又は、
前記第5の処理サブモジュールは、前記各候補センテンスに対応する初期スコアに基づいて、初期スコアが最も高い候補センテンスを第1の候補センテンスとして決定し、前記各目標分割単語の前記センテンスに占める重みを減少させ、かつ前記各目標分割単語に対応する重要度値と、前記各目標単語分割が減少した後の重みとに基づいて、前記候補センテンスに対応する目標スコアを決定し、目標スコアが最も高い候補センテンスを第2の候補センテンスとして決定し、前記第1の候補センテンスと前記第2の候補センテンスを前記第1の候補テキストに対応する前記第1の目標要約として決定するために用いられる
ことを特徴とする請求項14に記載の装置。 - 前記更新手段は、第1の更新モジュール及び第2の更新モジュールを含み、
前記第1の更新モジュールは、前記各第1のサンプルペアに対応する第1の関連性スコア及び第2の関連性スコアに基づいて、前記各第1のサンプルペアに対応する第1の損失関数を構築するために用いられ、
前記第2の更新モジュールは、前記第1の平均損失関数が収束するまで、前記各第1のサンプルペアに対応する第1の損失関数の第1の平均損失関数に基づいて、前記初期言語モデルのネットワークパラメータを更新し、収束する際の言語モデルをソートモデルとして決定するために用いられる
ことを特徴とする請求項10~15のいずれか一項に記載の装置。 - 前記装置は、第2の取得手段、第2の処理手段及び最適化手段をさらに含み、
前記第2の取得手段は、複数の第2のサンプルペア、及び各第2のサンプルペアの第1のタグ情報及び第2のタグ情報を取得するために用いられ、ここで、前記各第2のサンプルペアは、第2の検索テキスト及び前記第2の検索テキストに対応する第2の候補テキスト及び第3の候補テキストを含み、前記第1のタグ情報は、前記第2の検索テキストと前記第2の候補テキストとの間の第3の関連性スコアを説明するために用いられ、前記第2のタグ情報は、前記第2の検索テキストと前記第3の候補テキストとの間の第4の関連性スコアを説明し、
前記第2の処理手段は、前記各第2のサンプルペアに対して、前記第2の候補テキストに対応する第2の目標要約及び前記第3の候補テキストに対応する第3の目標要約をそれぞれ決定し、前記第2の検索テキスト、前記第2の候補テキストの第2のタイトルテキスト、及び前記第2の目標要約を初期言語モデルに入力し、前記第2の検索テキスト、前記第2のタイトルテキスト及び前記第2の目標要約の間の第5の関連性スコアを取得し、前記第2の検索テキスト、前記第3の候補テキストの第3のタイトルテキスト、及び前記第3の目標要約を初期言語モデルに入力し、前記第2の検索テキスト、前記第3のタイトルテキスト及び前記第3の目標要約の間の第6の関連性スコアを取得するために用いられ、
前記最適化手段は、前記各第2のサンプルペアに対応する第3の関連性スコア、第4の関連性スコア、第5の相関性スコア及び第6の関連性スコアに基づいて、前記ソートモデルのネットワークパラメータを最適化するために用いられる
ことを特徴とする請求項16に記載の装置。 - 前記最適化手段は、第1の最適化モジュール、第2の最適化モジュール及び第3の最適化モジュールを含み、
前記第1の最適化モジュールは、前記各第2のサンプルペアに対して、前記第2のサンプルペアに対応する第3の関連性スコア及び前記第5の相関性スコアに基づいて、点に基づく第2の損失関数を決定し、前記第2のサンプルペアに対応する第4の相関性スコア及び前記第6の相関性スコアに基づいて、点に基づく第3の損失関数を決定し、前記第2のサンプルペアに対応する第5の相関性スコア及び前記第6の相関性スコアに基づいて、対に基づく第4の損失関数を決定するために用いられ、
前記第2の最適化モジュールは、前記各第2のサンプルペアに対応する第2の損失関数、第3の損失関数及び第4の損失関数に基づいて、前記各第2のサンプルペアに対応する損失関数を決定するために用いられ、
前記第3の最適化モジュールは、前記第2の平均損失関数が収束するまで、前記各第2のサンプルペアに対応する損失関数の第2の平均損失関数に基づいて、前記ランキングのネットワークパラメータを更新し、収束する際のソートモデルを目標ソートモデルとして決定するために用いられる
ことを特徴とする請求項17に記載の装置。 - 少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサにより実行されることにより、前記少なくとも一つのプロセッサが請求項1~9のいずれか一項に記載のソートモデルのトレーニング方法を実行可能である
ことを特徴とする電子機器。 - コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、前記コンピュータに請求項1~9のいずれか一項に記載のソートモデルのトレーニング方法を実行させるために用いられる、
ことを特徴とするコンピュータ可読記憶媒体。 - プロセッサにより実行される時に請求項1~9のいずれか一項に記載のソートモデルのトレーニング方法を実現するコンピュータプログラムを含む、
ことを特徴とするコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110893524.8 | 2021-08-04 | ||
CN202110893524.8A CN113590796B (zh) | 2021-08-04 | 2021-08-04 | 排序模型的训练方法、装置和电子设备 |
PCT/CN2022/080007 WO2023010847A1 (zh) | 2021-08-04 | 2022-03-09 | 排序模型的训练方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023541742A true JP2023541742A (ja) | 2023-10-04 |
JP7430820B2 JP7430820B2 (ja) | 2024-02-13 |
Family
ID=78255127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022559445A Active JP7430820B2 (ja) | 2021-08-04 | 2022-03-09 | ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4155973A4 (ja) |
JP (1) | JP7430820B2 (ja) |
CN (1) | CN113590796B (ja) |
WO (1) | WO2023010847A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113590796B (zh) * | 2021-08-04 | 2023-09-05 | 百度在线网络技术(北京)有限公司 | 排序模型的训练方法、装置和电子设备 |
CN114547417A (zh) * | 2022-02-25 | 2022-05-27 | 北京百度网讯科技有限公司 | 一种媒体资源排序方法及电子设备 |
CN115439219A (zh) * | 2022-09-13 | 2022-12-06 | 中债金科信息技术有限公司 | 违约风险检测模型的训练方法及装置 |
CN115879421B (zh) * | 2023-02-16 | 2024-01-09 | 之江实验室 | 一种增强bart预训练任务的句子排序方法及装置 |
CN116664335B (zh) * | 2023-07-24 | 2023-10-03 | 创域智能(常熟)网联科技有限公司 | 基于智能监控的半导体生产系统运行分析方法及系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8984398B2 (en) * | 2008-08-28 | 2015-03-17 | Yahoo! Inc. | Generation of search result abstracts |
CN104615767B (zh) * | 2015-02-15 | 2017-12-29 | 百度在线网络技术(北京)有限公司 | 搜索排序模型的训练方法、搜索处理方法及装置 |
CN105930314B (zh) | 2016-04-14 | 2019-02-05 | 清华大学 | 基于编码-解码深度神经网络的文本摘要生成系统及方法 |
US10606847B2 (en) * | 2016-05-31 | 2020-03-31 | Microsoft Technology Licensing, Llc | Generation of training data for ideal candidate search ranking model |
JP6789860B2 (ja) | 2017-03-14 | 2020-11-25 | ヤフー株式会社 | 情報提供装置、情報提供方法、および情報提供プログラム |
CN111597800B (zh) * | 2019-02-19 | 2023-12-12 | 百度在线网络技术(北京)有限公司 | 同义句的获取方法及装置、设备及存储介质 |
CN111026849B (zh) * | 2019-12-17 | 2023-09-19 | 北京百度网讯科技有限公司 | 数据处理方法和装置 |
CN112052308A (zh) * | 2020-08-21 | 2020-12-08 | 腾讯科技(深圳)有限公司 | 一种摘要文本提取方法、装置、存储介质和电子设备 |
CN112100529B (zh) * | 2020-11-17 | 2021-03-19 | 北京三快在线科技有限公司 | 搜索内容排序方法、装置、存储介质和电子设备 |
CN112328783A (zh) | 2020-11-24 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 一种摘要确定方法和相关装置 |
CN112560496B (zh) * | 2020-12-09 | 2024-02-02 | 北京百度网讯科技有限公司 | 语义分析模型的训练方法、装置、电子设备及存储介质 |
CN112988969B (zh) * | 2021-03-09 | 2024-05-10 | 北京百度网讯科技有限公司 | 用于文本检索的方法、装置、设备以及存储介质 |
CN113590796B (zh) * | 2021-08-04 | 2023-09-05 | 百度在线网络技术(北京)有限公司 | 排序模型的训练方法、装置和电子设备 |
-
2021
- 2021-08-04 CN CN202110893524.8A patent/CN113590796B/zh active Active
-
2022
- 2022-03-09 WO PCT/CN2022/080007 patent/WO2023010847A1/zh active Application Filing
- 2022-03-09 JP JP2022559445A patent/JP7430820B2/ja active Active
- 2022-03-09 EP EP22773577.6A patent/EP4155973A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7430820B2 (ja) | 2024-02-13 |
EP4155973A1 (en) | 2023-03-29 |
CN113590796A (zh) | 2021-11-02 |
WO2023010847A1 (zh) | 2023-02-09 |
EP4155973A4 (en) | 2023-09-20 |
CN113590796B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7127106B2 (ja) | 質問応答処理、言語モデルの訓練方法、装置、機器および記憶媒体 | |
JP7430820B2 (ja) | ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム | |
US20210312139A1 (en) | Method and apparatus of generating semantic feature, method and apparatus of training model, electronic device, and storage medium | |
US20210342549A1 (en) | Method for training semantic analysis model, electronic device and storage medium | |
CN113326420B (zh) | 问题检索方法、装置、电子设备和介质 | |
JP2023031322A (ja) | 問答処理方法、問答モデルのトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
CN112506359B (zh) | 输入法中候选长句的提供方法、装置及电子设备 | |
WO2024098623A1 (zh) | 跨媒体检索及模型训练方法、装置、设备、菜谱检索系统 | |
WO2023045184A1 (zh) | 一种文本类别识别方法、装置、计算机设备及介质 | |
US20230094730A1 (en) | Model training method and method for human-machine interaction | |
CN115062718A (zh) | 语言模型训练方法、装置、电子设备及存储介质 | |
US20220198358A1 (en) | Method for generating user interest profile, electronic device and storage medium | |
CN113033194B (zh) | 语义表示图模型的训练方法、装置、设备和存储介质 | |
CN114218951A (zh) | 实体识别模型的训练方法、实体识别方法及装置 | |
CN113919424A (zh) | 文本处理模型的训练、文本处理方法、装置、设备和介质 | |
CN113360683A (zh) | 训练跨模态检索模型的方法以及跨模态检索方法和装置 | |
JP2024003752A (ja) | 検索結果ソートモデルの訓練方法、検索結果ソート方法、検索結果ソートモデルの訓練装置、検索結果ソート装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム | |
CN115510193A (zh) | 查询结果向量化方法、查询结果确定方法及相关装置 | |
CN114817476A (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
CN112925912A (zh) | 文本处理方法、同义文本召回方法及装置 | |
CN116069914B (zh) | 训练数据的生成方法、模型训练方法以及装置 | |
CN116383491B (zh) | 信息推荐方法、装置、设备、存储介质和程序产品 | |
CN113011177B (zh) | 模型训练和词向量确定方法、装置、设备、介质和产品 | |
CN116244432B (zh) | 语言模型的预训练方法、装置及电子设备 | |
CN115510203B (zh) | 问题答案确定方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7430820 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |