JP7247441B2 - セマンティック表現モデルの処理方法、装置、電子機器、及び記憶媒体 - Google Patents
セマンティック表現モデルの処理方法、装置、電子機器、及び記憶媒体 Download PDFInfo
- Publication number
- JP7247441B2 JP7247441B2 JP2020095744A JP2020095744A JP7247441B2 JP 7247441 B2 JP7247441 B2 JP 7247441B2 JP 2020095744 A JP2020095744 A JP 2020095744A JP 2020095744 A JP2020095744 A JP 2020095744A JP 7247441 B2 JP7247441 B2 JP 7247441B2
- Authority
- JP
- Japan
- Prior art keywords
- training
- model
- semantic representation
- semantic
- representation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/268—Morphological analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Machine Translation (AREA)
Description
複数のトレーニング言語材料を含むトレーニングコーパスを採集するステップと、
トレーニングコーパスを用いて、形態論、文法、及びセマンティックの少なくとも1つに基づいて、セマンティック表現モデルをトレーニングするステップと、を含む。
トレーニングコーパスを用いて、単語、短句及び/又はエンティティのマスキング策略に基づいて、セマンティック表現モデルをトレーニングすることと、
トレーニングコーパスを用いてセマンティック表現モデルをトレーニングすることで、異なる言語環境で語彙の頭文字を大文字にする必要があるかどうかを分析する能力を学習するようにすることと、
トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、トレーニング言語材料における語彙が元のドキュメントの他の断片に出現するかどうかを予測する能力を学習するようにすることとの少なくとも一つを含む以上に記載の方法である。
トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、トレーニング言語材料における異なる断片の順序関係を認識する能力を学習するようにすることと、
トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、いずれか二つの語句ペアの位置関係を認識する能力を学習するようにすることとの少なくとも一つを含む以上に記載の方法である。
トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、連続する二つの語句間の論理的な関係を認識する能力を学習するようにすることと、
トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、トレーニング言語材料における検索語句とウェブページのトピックとの間の相関性を認識する能力を学習するようにすることとの少なくとも一つを含む以上に記載の方法である。
予め採集された自然言語処理のタスクコーパスに基づいて、セマンティック表現モデルをトレーニングすることで、相応する自然言語処理のタスクモデルを得て、
自然言語処理のタスクモデルに基づいて、自然言語処理のタスクを実行することを含む以上に記載の方法である。
複数のトレーニング言語材料を含むトレーニングコーパスを採集するための採集モジュールと、
トレーニングコーパスを用いて、形態論、文法、及びセマンティックの少なくとも1つに基づいて、セマンティック表現モデルをトレーニングするためのセマンティック表現モデルトレーニングモジュールと、を含む。
電子機器であって、
少なくとも一つのプロセッサーと、
少なくとも一つのプロセッサーに通信接続されるメモリと、を含んでおり、
メモリには、少なくとも一つのプロセッサーによって実行可能なコマンドが記憶されており、コマンドが少なくとも一つのプロセッサーによって実行されることで、以上のいずれか一項に記載の方法を少なくとも一つのプロセッサーに実行させることができる。
(a)トレーニングコーパスを用いて、単語、短句及び/又はエンティティのマスキング策略に基づいてセマンティック表現モデルをトレーニングすることと、
(b)トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、異なる言語環境で語彙の頭文字を大文字にする必要があるかどうかを分析する能力を学習するようにすることと、
(c)トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、トレーニング言語材料における語彙が元のドキュメントの他の断片に出現するかどうかを予測する能力を学習するようにすることとの少なくとも一つを含む。
(A)トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、トレーニング言語材料における異なる断片の順序関係を認識する能力を学習するようにすることと、
(B)トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、いずれか二つの語句ペアの位置関係を認識する能力を学習するようにすることとの少なくとも一つを含む。
(1)トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、連続する二つの語句間の論理的な関係を認識する能力を学習するようにすることと、
(2)トレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、トレーニング言語材料における検索語句(Query)とウェブページのトピック(Title)との間の相関性を認識する能力を学習するようにすることとの少なくとも一つを含む。
複数のトレーニング言語材料を含むトレーニングコーパスを採集するための採集モジュール601、
採集モジュール601によって採集されたトレーニングコーパスを用いて、形態論、文法、及びセマンティックの少なくとも1つに基づいて、セマンティック表現モデルをトレーニングするためのセマンティック表現モデルトレーニングモジュール602と、を含む。
採集モジュール601によって採集されたトレーニングコーパスを用いて、単語、短句及び/又はエンティティのマスキング策略に基づいて、セマンティック表現モデルをトレーニングすることと、
採集モジュール601によって採集されたトレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、異なる言語環境で語彙の頭文字を大文字にする必要があるかどうかを分析する能力を学習するようにすることと、
採集モジュール601によって採集されたトレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、トレーニング言語材料における語彙が元のドキュメントの他の断片に出現するかどうかを予測する能力を学習するようにすることとの少なくとも一つを実行するために用いられる。
採集モジュール601によって採集されたトレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、トレーニング言語材料における異なる断片の順序関係を認識する能力を学習するようにすることと、
採集モジュール601によって採集されたトレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、いずれか二つの語句ペアの位置関係を認識する能力を学習するようにすることと少なくとも一つを実行するために用いられる。
採集モジュール601によって採集されたトレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、連続する二つの語句間の論理的な関係を認識する能力を学習するようにすることと、
採集モジュール601によって採集されたトレーニングコーパスを用いて、セマンティック表現モデルをトレーニングすることで、知識トレーニング言語材料における検索語句とウェブページのトピックとの間の相関性を認識する能力を学習するようにすることとの少なくとも一つを実行するために用いられる。
予め採集された自然言語処理のタスクコーパスに基づいて、セマンティック表現モデルトレーニングモジュール602がトレーニングして得られたセマンティック表現モデルをトレーニングすることで、相応する自然言語処理のタスクモデルを得るためのタスクモデルトレーニングモジュール704と、
タスクモデルトレーニングモジュール704がトレーニングして得られた自然言語処理のタスクモデルに基づいて、自然言語処理のタスクを実行するための実行モジュール705をさらに含む。
Claims (15)
- セマンティック表現モデルの処理方法であって、
プロセッサーにより、複数のトレーニング言語材料を含むトレーニングコーパスを採集するステップと、
前記プロセッサーにより、前記トレーニングコーパスを用いて、形態論に基づいて、セマンティック表現モデルをトレーニングするステップと、を含み、
前記トレーニングコーパスを用いて、形態論に基づいてセマンティック表現モデルをトレーニングすることは、
前記トレーニングコーパスから語彙の頭文字が大文字であるトレーニング言語材料、及び語彙の頭文字が小文字であるトレーニング言語材料を取得し、取得された言語材料を用いて前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが語彙の頭文字を大文字にする必要があるかどうかを予測するモデルであることと、
前記トレーニングコーパスから各語彙が元のドキュメントの他の断片に出現したか否かがラベリングされているトレーニング言語材料を取得し、取得された言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが前記トレーニング言語材料における語彙が元のドキュメントの他の断片に出現するかどうかを予測するモデルであることとの中の少なくとも一つを含み、
前記セマンティック表現モデルは、Transformerを基底層とするEncoder構造を使用し、Task Embedding(タスク埋め込み)を使用して異なるトレーニングタスクをモデリングし、異なるトレーニングタスクが0からNまでのIDで示される方法。 - 前記トレーニングコーパスを用いて、形態論に基づいて、セマンティック表現モデルをトレーニングしたことの後に、
前記プロセッサーにより、予め採集された自然言語処理のタスクコーパスに基づいて、前記セマンティック表現モデルをトレーニングすることで、相応する自然言語処理のタスクモデルを得て、
前記プロセッサーにより、前記自然言語処理のタスクモデルに基づいて、前記自然言語処理のタスクを実行することを含む請求項1に記載の方法。 - セマンティック表現モデルの処理方法であって、
プロセッサーにより、複数のトレーニング言語材料を含むトレーニングコーパスを採集するステップと、
前記プロセッサーにより、前記トレーニングコーパスを用いて、文法に基づいて、セマンティック表現モデルをトレーニングするステップと、を含み、
前記トレーニングコーパスを用いて、文法に基づいてセマンティック表現モデルをトレーニングすることは、
前記トレーニングコーパスから順序関係が既知である複数の断片が含まれるトレーニング言語材料を取得し、取得されたトレーニング言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが前記トレーニング言語材料における異なる断片の順序関係を認識するモデルであることと、
前記トレーニングコーパスから位置関係が既知であるセンテンスペアが含まれるトレーニング言語材料を取得し、取得されたトレーニング言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルがいずれか二つの語句ペアの位置関係を認識するモデルであることとの中の少なくとも一つを含み、
前記セマンティック表現モデルは、Transformerを基底層とするEncoder構造を使用し、Task Embedding(タスク埋め込み)を使用して異なるトレーニングタスクをモデリングし、異なるトレーニングタスクが0からNまでのIDで示される方法。 - 前記トレーニングコーパスを用いて、文法に基づいて、セマンティック表現モデルをトレーニングしたことの後に、
前記プロセッサーにより、予め採集された自然言語処理のタスクコーパスに基づいて、前記セマンティック表現モデルをトレーニングすることで、相応する自然言語処理のタスクモデルを得て、
前記プロセッサーにより、前記自然言語処理のタスクモデルに基づいて、前記自然言語処理のタスクを実行することを含む請求項3に記載の方法。 - セマンティック表現モデルの処理方法であって、
プロセッサーにより、複数のトレーニング言語材料を含むトレーニングコーパスを採集するステップと、
前記プロセッサーにより、前記トレーニングコーパスを用いて、セマンティックに基づいて、セマンティック表現モデルをトレーニングするステップと、を含み、
前記トレーニングコーパスを用いて、セマンティックに基づいてセマンティック表現モデルをトレーニングすることは、
前記トレーニングコーパスから論理的な関係が既知である語句ペアが含まれるトレーニング言語材料を取得し、取得されたトレーニング言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが連続する二つの語句間の論理的な関係を認識するモデルであることと、
前記トレーニングコーパスから相関性が既知である検索語句とウェブページのトピックが含まれるトレーニング言語材料を取得し、取得されたトレーニング言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが前記トレーニング言語材料における検索語句とウェブページのトピックとの間の相関性を認識するモデルであることとの少なくとも一つを含み、
前記セマンティック表現モデルは、Transformerを基底層とするEncoder構造を使用し、Task Embedding(タスク埋め込み)を使用して異なるトレーニングタスクをモデリングし、異なるトレーニングタスクが0からNまでのIDで示される方法。 - 前記トレーニングコーパスを用いて、セマンティックに基づいて、セマンティック表現モデルをトレーニングしたことの後に、
前記プロセッサーにより、予め採集された自然言語処理のタスクコーパスに基づいて、前記セマンティック表現モデルをトレーニングすることで、相応する自然言語処理のタスクモデルを得て、
前記プロセッサーにより、前記自然言語処理のタスクモデルに基づいて、前記自然言語処理のタスクを実行することを含む請求項5に記載の方法。 - セマンティック表現モデルの処理装置であって、プロセッサーを含み、
前記プロセッサーが、採集モジュールとして、複数のトレーニング言語材料を含むトレーニングコーパスを採集するために用いられ、
前記プロセッサーが、セマンティック表現モデルトレーニングモジュールとして、前記トレーニングコーパスを用いて、形態論に基づいて、セマンティック表現モデルをトレーニングするために用いられ、
前記セマンティック表現モデルトレーニングモジュールは、
前記トレーニングコーパスから語彙の頭文字が大文字であるトレーニング言語材料、及び語彙の頭文字が小文字であるトレーニング言語材料を取得し、取得された言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが異なる言語環境で語彙の頭文字を大文字にする必要があるかどうかを予測するモデルであることと、
前記トレーニングコーパスから各語彙が元のドキュメントの他の断片に出現したか否かがラベリングされているトレーニング言語材料を取得し、取得された言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが前記トレーニング言語材料における語彙が元のドキュメントの他の断片に出現するかどうかを予測するモデルであることとの中の少なくとも一つを実行するために用いられ、
前記セマンティック表現モデルは、Transformerを基底層とするEncoder構造を使用し、Task Embedding(タスク埋め込み)を使用して異なるトレーニングタスクをモデリングし、異なるトレーニングタスクが0からNまでのIDで示される装置。 - 前記プロセッサーが、タスクモデルトレーニングモジュールとして、予め採集された自然言語処理のタスクコーパスに基づいて、前記セマンティック表現モデルをトレーニングすることで、相応する自然言語処理のタスクモデルを得るために用いられ、
前記プロセッサーが、実行モジュールとして、前記自然言語処理のタスクモデルに基づいて、前記自然言語処理のタスクを実行するために用いられる、請求項7に記載の装置。 - セマンティック表現モデルの処理装置であって、プロセッサーを含み、
前記プロセッサーが、採集モジュールとして、複数のトレーニング言語材料を含むトレーニングコーパスを採集するために用いられ、
前記プロセッサーが、セマンティック表現モデルトレーニングモジュールとして、前記トレーニングコーパスを用いて、文法に基づいて、セマンティック表現モデルをトレーニングするために用いられ、
前記セマンティック表現モデルトレーニングモジュールは、
前記トレーニングコーパスから順序関係が既知である複数の断片が含まれるトレーニング言語材料を取得し、取得されたトレーニング言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが前記トレーニング言語材料における異なる断片の順序関係を認識するモデルであることと、
前記トレーニングコーパスから位置関係が既知であるセンテンスペアが含まれるトレーニング言語材料を取得し、取得されたトレーニング言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルがいずれか二つの語句ペアの位置関係を認識するモデルであることとの中の少なくとも一つを実行するために用いられ、
前記セマンティック表現モデルは、Transformerを基底層とするEncoder構造を使用し、Task Embedding(タスク埋め込み)を使用して異なるトレーニングタスクをモデリングし、異なるトレーニングタスクが0からNまでのIDで示される装置。 - 前記プロセッサーが、タスクモデルトレーニングモジュールとして、予め採集された自然言語処理のタスクコーパスに基づいて、前記セマンティック表現モデルをトレーニングすることで、相応する自然言語処理のタスクモデルを得るために用いられ、
前記プロセッサーが、実行モジュールとして、前記自然言語処理のタスクモデルに基づいて、前記自然言語処理のタスクを実行するために用いられる、請求項9に記載の装置。 - セマンティック表現モデルの処理装置であって、プロセッサーを含み、
前記プロセッサーが、採集モジュールとして、複数のトレーニング言語材料を含むトレーニングコーパスを採集するために用いられ、
前記プロセッサーが、セマンティック表現モデルトレーニングモジュールとして、前記トレーニングコーパスを用いて、セマンティックに基づいて、セマンティック表現モデルをトレーニングするために用いられ、
前記セマンティック表現モデルトレーニングモジュールは、
前記トレーニングコーパスから論理的な関係が既知である語句ペアが含まれるトレーニング言語材料を取得し、取得されたトレーニング言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが連続する二つの語句間の論理的な関係を認識するモデルであることと、
前記トレーニングコーパスから相関性が既知である検索語句とウェブページのトピックが含まれるトレーニング言語材料を取得し、取得されたトレーニング言語材料を用いて、前記セマンティック表現モデルをトレーニングすることであって、前記セマンティック表現モデルが前記トレーニング言語材料における検索語句とウェブページのトピックとの間の相関性を認識するモデルであることとの中の少なくとも一つを実行するために用いられ、
前記セマンティック表現モデルは、Transformerを基底層とするEncoder構造を使用し、Task Embedding(タスク埋め込み)を使用して異なるトレーニングタスクをモデリングし、異なるトレーニングタスクが0からNまでのIDで示される装置。 - 前記プロセッサーが、タスクモデルトレーニングモジュールとして、予め採集された自然言語処理のタスクコーパスに基づいて、前記セマンティック表現モデルをトレーニングすることで、相応する自然言語処理のタスクモデルを得るために用いられ、
前記プロセッサーが、実行モジュールとして、前記自然言語処理のタスクモデルに基づいて、前記自然言語処理のタスクを実行するために用いられる請求項11に記載の装置。 - 電子機器であって、
前記プロセッサーと、
前記プロセッサーに通信接続されるメモリと、を含んでおり、
前記メモリには、前記プロセッサーによって実行可能なコマンドが記憶されており、前記コマンドが前記プロセッサーによって実行されることで、請求項1から6のいずれか一項に記載の方法を前記プロセッサーに実行させることができる電子機器。 - コンピューターに請求項1から6のいずれか一項に記載の方法を実行させるためのコンピューターコマンドが記憶されている非一時的コンピューター可読記録媒体。
- コンピューターに請求項1から6のいずれか一項に記載の方法を実行させるためのコンピュータープログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911270428.7A CN110717339B (zh) | 2019-12-12 | 2019-12-12 | 语义表示模型的处理方法、装置、电子设备及存储介质 |
CN2019112704287 | 2019-12-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021096812A JP2021096812A (ja) | 2021-06-24 |
JP7247441B2 true JP7247441B2 (ja) | 2023-03-29 |
Family
ID=69216622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020095744A Active JP7247441B2 (ja) | 2019-12-12 | 2020-06-01 | セマンティック表現モデルの処理方法、装置、電子機器、及び記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11520991B2 (ja) |
EP (1) | EP3835996A1 (ja) |
JP (1) | JP7247441B2 (ja) |
KR (1) | KR102350543B1 (ja) |
CN (1) | CN110717339B (ja) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111339250B (zh) | 2020-02-20 | 2023-08-18 | 北京百度网讯科技有限公司 | 新类别标签的挖掘方法及电子设备、计算机可读介质 |
CN111414737B (zh) * | 2020-03-23 | 2022-03-08 | 腾讯科技(深圳)有限公司 | 故事生成模型训练方法、装置、设备及存储介质 |
CN113496122A (zh) * | 2020-04-08 | 2021-10-12 | 中移(上海)信息通信科技有限公司 | 命名实体识别方法、装置、设备及介质 |
CN111539209B (zh) * | 2020-04-15 | 2023-09-15 | 北京百度网讯科技有限公司 | 用于实体分类的方法和装置 |
CN111737994B (zh) * | 2020-05-29 | 2024-01-26 | 北京百度网讯科技有限公司 | 基于语言模型获取词向量的方法、装置、设备及存储介质 |
CN111539223B (zh) * | 2020-05-29 | 2023-08-18 | 北京百度网讯科技有限公司 | 语言模型的训练方法、装置、电子设备及可读存储介质 |
CN111737559B (zh) * | 2020-05-29 | 2024-05-31 | 北京百度网讯科技有限公司 | 资源排序方法、训练排序模型的方法及对应装置 |
CN111709249B (zh) * | 2020-05-29 | 2023-02-24 | 北京百度网讯科技有限公司 | 多语种模型的训练方法、装置、电子设备和存储介质 |
CN111666751B (zh) * | 2020-06-04 | 2023-09-29 | 北京百度网讯科技有限公司 | 训练文本扩充方法、装置、设备以及存储介质 |
CN111680145B (zh) * | 2020-06-10 | 2023-08-15 | 北京百度网讯科技有限公司 | 知识表示学习方法、装置、设备以及存储介质 |
CN111859982B (zh) * | 2020-06-19 | 2024-04-26 | 北京百度网讯科技有限公司 | 语言模型的训练方法、装置、电子设备及可读存储介质 |
CN111950291B (zh) * | 2020-06-22 | 2024-02-23 | 北京百度网讯科技有限公司 | 语义表示模型的生成方法、装置、电子设备及存储介质 |
CN111950293B (zh) * | 2020-06-24 | 2023-06-23 | 北京百度网讯科技有限公司 | 语义表示模型的生成方法、装置、电子设备及存储介质 |
CN111539227B (zh) * | 2020-07-06 | 2020-12-18 | 北京百度网讯科技有限公司 | 训练语义表示模型的方法、装置、设备和计算机存储介质 |
CN112001181B (zh) * | 2020-07-17 | 2024-02-13 | 北京百度网讯科技有限公司 | 多语言语义表示模型的训练方法、装置、设备及存储介质 |
CN112001190B (zh) * | 2020-07-20 | 2024-09-20 | 北京百度网讯科技有限公司 | 自然语言处理模型的训练方法、装置、设备及存储介质 |
CN111914551B (zh) * | 2020-07-29 | 2022-05-20 | 北京字节跳动网络技术有限公司 | 自然语言处理方法、装置、电子设备及存储介质 |
CN112199472B (zh) * | 2020-10-12 | 2021-07-20 | 山东山大鸥玛软件股份有限公司 | 一种基于迁移学习的主观题智能评卷方法、系统及设备 |
CN113641778B (zh) * | 2020-10-30 | 2024-07-12 | 浙江华云信息科技有限公司 | 一种对话文本的主题识别方法 |
CN114501160A (zh) * | 2020-11-12 | 2022-05-13 | 阿里巴巴集团控股有限公司 | 生成字幕的方法和智能字幕系统 |
CN112417856B (zh) * | 2020-11-27 | 2024-06-21 | 北京明略昭辉科技有限公司 | 提升机器写作质量的方法、系统、计算机设备及存储介质 |
CN112560501B (zh) * | 2020-12-25 | 2022-02-25 | 北京百度网讯科技有限公司 | 语义特征的生成方法、模型训练方法、装置、设备及介质 |
CN112860848B (zh) * | 2021-01-20 | 2022-03-25 | 平安科技(深圳)有限公司 | 信息检索方法、装置、设备及介质 |
CN115248855B (zh) * | 2021-04-27 | 2024-06-21 | 腾讯科技(深圳)有限公司 | 文本处理方法及装置、电子设备、计算机可读存储介质 |
CN113255328B (zh) * | 2021-06-28 | 2024-02-02 | 北京京东方技术开发有限公司 | 语言模型的训练方法及应用方法 |
CN113468305B (zh) * | 2021-06-29 | 2023-04-28 | 竹间智能科技(上海)有限公司 | 一种识别口语冗余成分的方法及装置 |
CN113420822B (zh) * | 2021-06-30 | 2022-08-12 | 北京百度网讯科技有限公司 | 模型训练方法和装置、文本预测方法和装置 |
CN113408300B (zh) * | 2021-07-09 | 2024-02-20 | 北京百度网讯科技有限公司 | 模型训练方法、品牌词识别方法、装置及电子设备 |
CN113609305B (zh) * | 2021-07-27 | 2024-04-26 | 三峡大学 | 基于bert的影视作品地域知识图谱构建方法及系统 |
CN113807102B (zh) * | 2021-08-20 | 2022-11-01 | 北京百度网讯科技有限公司 | 建立语义表示模型的方法、装置、设备和计算机存储介质 |
CN113704444B (zh) * | 2021-10-28 | 2022-08-19 | 江西中业智能科技有限公司 | 基于自然语言处理的问答方法、系统、设备及存储介质 |
CN114785606B (zh) * | 2022-04-27 | 2024-02-02 | 哈尔滨工业大学 | 一种基于预训练LogXLNet模型的日志异常检测方法、电子设备及存储介质 |
CN114925757B (zh) * | 2022-05-09 | 2023-10-03 | 中国电信股份有限公司 | 多源威胁情报融合方法、装置、设备和存储介质 |
CN114925185B (zh) * | 2022-05-13 | 2023-02-07 | 北京百度网讯科技有限公司 | 交互方法、模型的训练方法、装置、设备及介质 |
CN114970522B (zh) * | 2022-05-20 | 2023-11-24 | 北京百度网讯科技有限公司 | 语言模型的预训练方法、装置、设备、存储介质 |
CN115168537B (zh) * | 2022-06-30 | 2023-06-27 | 北京百度网讯科技有限公司 | 语义检索模型的训练方法、装置、电子设备及存储介质 |
CN115329749B (zh) * | 2022-10-14 | 2023-01-10 | 成都数之联科技股份有限公司 | 一种语义检索的召回和排序联合训练方法及系统 |
CN115357719B (zh) * | 2022-10-20 | 2023-01-03 | 国网天津市电力公司培训中心 | 基于改进bert模型的电力审计文本分类方法及装置 |
US12019976B1 (en) * | 2022-12-13 | 2024-06-25 | Calabrio, Inc. | Call tagging using machine learning model |
CN118013045B (zh) * | 2024-04-02 | 2024-06-18 | 深圳市奥福德电子科技有限公司 | 基于人工智能的语句情感检测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309267A (zh) | 2019-07-08 | 2019-10-08 | 哈尔滨工业大学 | 基于预训练模型的语义检索方法和系统 |
CN110377905A (zh) | 2019-06-28 | 2019-10-25 | 北京百度网讯科技有限公司 | 语句的语义表示处理方法及装置、计算机设备及可读介质 |
CN110427627A (zh) | 2019-08-02 | 2019-11-08 | 北京百度网讯科技有限公司 | 基于语义表示模型的任务处理方法和装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915448B (zh) * | 2015-06-30 | 2018-03-27 | 中国科学院自动化研究所 | 一种基于层次卷积网络的实体与段落链接方法 |
US10606946B2 (en) * | 2015-07-06 | 2020-03-31 | Microsoft Technology Licensing, Llc | Learning word embedding using morphological knowledge |
CN107220231A (zh) | 2016-03-22 | 2017-09-29 | 索尼公司 | 用于自然语言处理的电子设备和方法以及训练方法 |
CN106776581B (zh) * | 2017-02-21 | 2020-01-24 | 浙江工商大学 | 基于深度学习的主观性文本情感分析方法 |
KR20190040825A (ko) | 2017-10-11 | 2019-04-19 | 주식회사 씨세론 | 데이터 처리 방법 및 장치 |
CN108614855A (zh) * | 2018-03-19 | 2018-10-02 | 众安信息技术服务有限公司 | 一种谣言识别方法 |
US11238226B2 (en) * | 2018-11-15 | 2022-02-01 | Nuance Communications, Inc. | System and method for accelerating user agent chats |
CN110197279B (zh) * | 2019-06-10 | 2021-01-29 | 北京百度网讯科技有限公司 | 变换模型训练方法、装置、设备和存储介质 |
US20210004485A1 (en) * | 2019-07-01 | 2021-01-07 | International Business Machines Corporation | Cognitive Iterative Minimization of Personally Identifiable Information in Electronic Documents |
CA3150031C (en) * | 2019-08-05 | 2024-04-23 | Ai21 Labs | Systems and methods of controllable natural language generation |
US11720757B2 (en) * | 2019-08-19 | 2023-08-08 | Microsoft Technology Licensing, Llc | Example based entity extraction, slot filling and value recommendation |
US11568143B2 (en) * | 2019-11-15 | 2023-01-31 | Intuit Inc. | Pre-trained contextual embedding models for named entity recognition and confidence prediction |
-
2019
- 2019-12-12 CN CN201911270428.7A patent/CN110717339B/zh active Active
-
2020
- 2020-05-26 EP EP20176601.1A patent/EP3835996A1/en not_active Withdrawn
- 2020-05-28 US US16/885,358 patent/US11520991B2/en active Active
- 2020-06-01 JP JP2020095744A patent/JP7247441B2/ja active Active
- 2020-06-05 KR KR1020200068058A patent/KR102350543B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377905A (zh) | 2019-06-28 | 2019-10-25 | 北京百度网讯科技有限公司 | 语句的语义表示处理方法及装置、计算机设备及可读介质 |
CN110309267A (zh) | 2019-07-08 | 2019-10-08 | 哈尔滨工业大学 | 基于预训练模型的语义检索方法和系统 |
CN110427627A (zh) | 2019-08-02 | 2019-11-08 | 北京百度网讯科技有限公司 | 基于语义表示模型的任务处理方法和装置 |
Non-Patent Citations (3)
Title |
---|
DEVLIN, Jacob et.al,BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [online],2018年10月11日,pp.1-14,https://arxiv.org/pdf/1810.04805v1.pdf |
嶋中 宏希 外2名,BERTを用いた機械翻訳の自動評価,言語処理学会第25回年次大会 発表論文集 [online],日本,言語処理学会,2019年03月04日,pp.590-593 |
青嶋 智久, 中川 慧,日本語BERTモデルを用いた経済テキストデータのセンチメント分析,2019年度人工知能学会全国大会(第33回) [online],一般社団法人人工知能学会,2019年06月01日,pp.1-3 |
Also Published As
Publication number | Publication date |
---|---|
US11520991B2 (en) | 2022-12-06 |
CN110717339A (zh) | 2020-01-21 |
KR102350543B1 (ko) | 2022-01-11 |
US20210182498A1 (en) | 2021-06-17 |
JP2021096812A (ja) | 2021-06-24 |
CN110717339B (zh) | 2020-06-30 |
KR20210075825A (ko) | 2021-06-23 |
EP3835996A1 (en) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7247441B2 (ja) | セマンティック表現モデルの処理方法、装置、電子機器、及び記憶媒体 | |
KR102577514B1 (ko) | 텍스트 창작 방법, 텍스트 창작 장치, 전자 기기 및 저장 매체 | |
Lee et al. | Patent claim generation by fine-tuning OpenAI GPT-2 | |
Jain et al. | Sarcasm detection in mash-up language using soft-attention based bi-directional LSTM and feature-rich CNN | |
Hapke et al. | Natural Language Processing in Action: Understanding, analyzing, and generating text with Python | |
EP3920075A1 (en) | Text recognition method and apparatus, electronic device, and storage medium | |
JP7194150B2 (ja) | ドキュメントのベクトル化表現方法、ドキュメントのベクトル化表現装置及びコンピュータ機器 | |
JP7098853B2 (ja) | ラベルラベリングモデルを確立する方法、装置、電子機器、プログラム及び可読記憶媒体 | |
JP7234483B2 (ja) | エンティティリンキング方法、装置、電子デバイス、記憶媒体及びプログラム | |
Xu et al. | Exploiting shared information for multi-intent natural language sentence classification. | |
CN111144507B (zh) | 情感分析模型预训练方法、装置及电子设备 | |
JP2021184255A (ja) | 語義表現モデルの生成方法、語義表現モデルの生成装置、電子機器、記憶媒体及びコンピュータプログラム | |
CN114970522B (zh) | 语言模型的预训练方法、装置、设备、存储介质 | |
CN111738016A (zh) | 多意图识别方法及相关设备 | |
US20220129448A1 (en) | Intelligent dialogue method and apparatus, and storage medium | |
CN110427627A (zh) | 基于语义表示模型的任务处理方法和装置 | |
CN111274764A (zh) | 语言生成方法、装置、计算机设备及存储介质 | |
JP2021131858A (ja) | エンティティワードの認識方法と装置 | |
EP3929768A1 (en) | Method and apparatus for generating triple sample, electronic device and computer storage medium | |
JP7295200B2 (ja) | 汎化処理方法、装置、デバイス、コンピュータ記憶媒体及びプログラム | |
CN111859953A (zh) | 训练数据的挖掘方法、装置、电子设备及存储介质 | |
Wang et al. | Learning morpheme representation for mongolian named entity recognition | |
CN111738015A (zh) | 文章情感极性分析方法、装置、电子设备及存储介质 | |
Galanis et al. | Machine learning meets natural language processing-the story so far | |
CN112015866A (zh) | 用于生成同义文本的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7247441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |