RU2021116658A - Нейронные сети с преобразованием последовательности на основе внимания - Google Patents
Нейронные сети с преобразованием последовательности на основе внимания Download PDFInfo
- Publication number
- RU2021116658A RU2021116658A RU2021116658A RU2021116658A RU2021116658A RU 2021116658 A RU2021116658 A RU 2021116658A RU 2021116658 A RU2021116658 A RU 2021116658A RU 2021116658 A RU2021116658 A RU 2021116658A RU 2021116658 A RU2021116658 A RU 2021116658A
- Authority
- RU
- Russia
- Prior art keywords
- decoder
- output
- input
- specific
- output position
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims 15
- 238000006243 chemical reaction Methods 0.000 title 1
- 230000009466 transformation Effects 0.000 claims 13
- 238000010606 normalization Methods 0.000 claims 6
- 238000000034 method Methods 0.000 claims 5
- 238000000844 transformation Methods 0.000 claims 2
- 230000001131 transforming effect Effects 0.000 claims 2
- 230000004913 activation Effects 0.000 claims 1
- 230000007774 longterm Effects 0.000 claims 1
- 108090000623 proteins and genes Proteins 0.000 claims 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Claims (45)
1. Система, содержащая один или более компьютеров и одно или более запоминающих устройств, хранящих инструкции, которые при их исполнении одним или более компьютерами предписывают одному или более компьютерам реализовывать нейронную сеть с преобразованием последовательности для преобразования входной последовательности, имеющей соответственный сетевой ввод в каждой из множества позиций ввода в порядке ввода, в выходную последовательность, имеющую соответственный сетевой вывод в каждой из множества позиций вывода в порядке вывода, при этом нейронная сеть с преобразованием последовательности содержит:
нейронную сеть декодировщика, выполненную с возможностью принимать ввод декодировщика и обрабатывать ввод декодировщика для генерирования выходной последовательности, при этом ввод декодировщика содержит соответственное представление каждого из сетевых вводов во входной последовательности, при этом нейронная сеть декодировщика содержит последовательность из одной или более подсетей декодировщика, причем каждая подсеть декодировщика выполнена с возможностью, на каждом из множества временных шагов генерирования, (i) принимать соответственный ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, соответствующей текущему временному шагу генерирования, и (ii) генерировать соответственный вывод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и при этом каждая подсеть декодировщика содержит подслой самовнимания декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования, принимать ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и, для каждой из этих конкретных позиций вывода, применять механизм самовнимания к вводам подсети декодировщика в конкретных позициях вывода, предшествующих текущей позиции вывода, чтобы сгенерировать соответственное обновленное представление для конкретной позиции вывода, при этом применение механизма самовнимания содержит: определение запроса из ввода подсети декодировщика в конкретной позиции вывода, определение ключей, полученных из вводов подсети декодировщика в упомянутых конкретных позициях вывода, определение значений, полученных из вводов подсети декодировщика в этих конкретных позициях вывода, и использование упомянутых определенных запроса, ключей и значений для генерирования соответственного обновленного представления для конкретной позиции вывода.
2. Система по п.1, в которой нейронная сеть декодировщика авторегрессионным методом генерирует выходную последовательность посредством того, что, на каждом из множества временных шагов генерирования, генерирует сетевой вывод в позиции вывода, соответствующей этому временному шагу генерирования, обусловленный кодированными представлениями и сетевыми выводами в позициях вывода, предшествующих этой позиции вывода в порядке вывода.
3. Система по п.1, в которой нейронная сеть декодировщика дополнительно содержит слой векторного представления, выполненный с возможностью, на каждом временном шаге генерирования, для каждого сетевого вывода в позициях вывода, предшествующих упомянутой соответствующей позиции вывода в порядке вывода: отображать этот сетевой вывод в векторизованное представление сетевого вывода и объединять векторизованное представление сетевого вывода с позиционным векторным представлением упомянутой соответствующей позиции вывода сетевого вывода в порядке вывода, чтобы сгенерировать объединенное векторизованное представление сетевого вывода; и предоставлять объединенные векторизованные представления сетевого вывода в качестве ввода для первой подсети декодировщика в последовательности подсетей декодировщика.
4. Система по п.1, в которой по меньшей мере одна из подсетей декодировщика содержит слой попозиционного прямого распространения, который выполнен с возможностью, на каждом временном шаге генерирования, для каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода: принимать ввод в этой конкретной позиции вывода и применять последовательность трансформаций к вводу в данной конкретной позиции вывода, чтобы сгенерировать вывод для этой конкретной позиции вывода.
5. Система по п.4, в которой последовательность трансформаций содержит две изученные линейные трансформации, отделенные функцией активации.
6. Система по п.4, в которой упомянутая по меньшей мере одна подсеть декодировщика дополнительно содержит:
слой остаточного соединения, который объединяет выводы слоя попозиционного прямого распространения с вводами для слоя попозиционного прямого распространения, чтобы сгенерировать остаточный вывод, и
слой нормализации слоя, который применяет нормализацию слоя к остаточному выводу.
7. Система по п.1, в которой каждая подсеть декодировщика содержит подслой внимания кодировщика-декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования принимать ввод для каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода, и, для каждой из этих конкретных позиций вывода, применять механизм внимания к кодированным представлениям в позициях ввода с использованием одного или более запросов, извлеченных из ввода для этой конкретной позиции вывода, чтобы сгенерировать обновленное представление для данной конкретной позиции вывода.
8. Система по п.7, в которой каждый подслой внимания кодировщика-декодировщика содержит множество слоев внимания кодировщика-декодировщика, и в которой каждый слой внимания кодировщика-декодировщика выполнен с возможностью, на каждом временном шаге генерирования:
применять изученную линейную трансформацию запроса к вводу в каждой из конкретных позиций вывода, предшествующих упомянутой соответствующей позиции вывода, чтобы сгенерировать соответственный запрос для каждой конкретной позиции вывода,
применять изученную линейную трансформацию ключа к каждому кодированному представлению в каждой позиции ввода, чтобы сгенерировать соответственный ключ для каждой позиции ввода,
применять изученную линейную трансформацию значения к каждому кодированному представлению в каждой позиции ввода, чтобы сгенерировать соответственное значение для каждой позиции ввода, и
для каждой конкретной позиций вывода, предшествующей упомянутой соответствующей позиции вывода,
определять соответственный индивидуальный для позиции вывода вес для каждой из позиций ввода путем применения функции сравнения между запросом для конкретной позиции вывода и ключами, и
определять начальный вывод внимания кодировщика-декодировщика для конкретной позиции вывода путем определения взвешенной суммы значений, взвешенных посредством соответствующих весов, индивидуальных для позиций вывода, для позиции ввода.
9. Система по п.8, в которой слой внимания кодировщика-декодировщика выполнен с возможностью, на каждом временном шаге генерирования, объединять выводы внимания кодировщика-декодировщика, сгенерированные слоями внимания кодировщика-декодировщика, чтобы сгенерировать вывод для подслоя внимания кодировщика-декодировщика.
10. Система по п.8, в которой подслои внимания кодировщика-декодировщика работают параллельно.
11. Система по п.1, в которой каждая подсеть декодировщика содержит:
слой остаточного соединения, который объединяет выводы подслоя внимания кодировщика-декодировщика с вводами для подслоя внимания кодировщика-декодировщика, чтобы сгенерировать остаточный вывод, и
слой нормализации слоя, который применяет нормализацию слоя к остаточному выводу.
12. Система по п.1, в которой каждая подсеть декодировщика содержит подслой самовнимания декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования: принимать ввод для каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода и, для каждой конкретной позиции вывода, применять механизм внимания к вводам в конкретных позициях вывода, предшествующих упомянутой соответствующей позиции вывода, с использованием одного или более запросов, извлеченных из ввода в этой конкретной позиции вывода, чтобы сгенерировать обновленное представление для данной конкретной позиции вывода.
13. Система по п.12, в которой каждый подслой самовнимания декодировщика содержит множество слоев самовнимания декодировщика, и в которой каждый слой самовнимания декодировщика выполнен с возможностью, на каждом временном шаге генерирования:
применять изученную линейную трансформацию запроса к вводу в каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода, чтобы сгенерировать соответственный запрос для каждой конкретной позиции вывода,
применять изученную линейную трансформацию ключа к каждому вводу в каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода, чтобы сгенерировать соответственный ключ для каждой конкретной позиции вывода,
применять изученную линейную трансформацию значения к каждому вводу в каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода, чтобы сгенерировать соответственное значение для каждой конкретной позиции вывода, и
для каждой из конкретных позиций вывода, предшествующих упомянутой соответствующей позиции вывода,
определять соответственный индивидуальный для позиции вывода вес для каждой конкретной позиции вывода путем применения функции сравнения между запросом для этой конкретной позиции вывода и ключами, и
определять начальный вывод внимания декодировщика для данной конкретной позиции вывода путем определения взвешенной суммы значений, взвешенных посредством соответствующих весов, индивидуальных для позиций вывода, для этой конкретной позиции вывода.
14. Система по п.13, в которой подслой самовнимания декодировщика выполнен с возможностью, на каждом временном шаге генерирования, объединять выводы внимания декодировщика, сгенерированные слоями самовнимания декодировщика, чтобы сгенерировать вывод для подслоя самовнимания декодировщика.
15. Система по п.13, в которой слои внимания декодировщика работают параллельно.
16. Система по п.12, в которой каждая подсеть декодировщика дополнительно содержит:
слой остаточного соединения, который объединяет выводы подслоя самовнимания декодировщика с вводами для подслоя самовнимания декодировщика, чтобы сгенерировать остаточный вывод, и
слой нормализации слоя, который применяет нормализацию слоя к остаточному выводу.
17. Один или более долговременных компьютерных носителей информации, хранящих инструкции, которые при их исполнении одним или более компьютерами предписывают одному или более компьютерам реализовывать нейронную сеть с преобразованием последовательности для преобразования входной последовательности, имеющей соответственный сетевой ввод в каждой из множества позиций ввода в порядке ввода, в выходную последовательность, имеющую соответственный сетевой вывод в каждой из множества позиций вывода в порядке вывода, при этом нейронная сеть с преобразованием последовательности содержит:
нейронную сеть декодировщика, выполненную с возможностью принимать ввод декодировщика и обрабатывать ввод декодировщика для генерирования выходной последовательности, при этом ввод декодировщика содержит соответственное представление каждого из сетевых вводов во входной последовательности, при этом нейронная сеть декодировщика содержит последовательность из одной или более подсетей декодировщика, причем каждая подсеть декодировщика выполнена с возможностью, на каждом из множества временных шагов генерирования, (i) принимать соответственный ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, соответствующей текущему временному шагу генерирования, и (ii) генерировать соответственный вывод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и
при этом каждая подсеть декодировщика содержит подслой самовнимания декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования, принимать ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и, для каждой из этих конкретных позиций вывода, применять механизм самовнимания к вводам подсети декодировщика в конкретных позициях вывода, предшествующих текущей позиции вывода, чтобы сгенерировать соответственное обновленное представление для конкретной позиции вывода, при этом применение механизма самовнимания содержит: определение запроса из ввода подсети декодировщика в конкретной позиции вывода, определение ключей, полученных из вводов подсети декодировщика в упомянутых конкретных позициях вывода, определение значений, полученных из вводов подсети декодировщика в этих конкретных позициях вывода, и использование упомянутых определенных запроса, ключей и значений для генерирования соответственного обновленного представления для конкретной позиции вывода.
18. Долговременные компьютерные носители информации по п.17, при этом нейронная сеть декодировщика авторегрессионным методом генерирует выходную последовательность посредством того, что, на каждом из множества временных шагов генерирования, генерирует сетевой вывод в позиции вывода, соответствующей этому временному шагу генерирования, обусловленный кодированными представлениями и сетевыми выводами в позициях вывода, предшествующих этой позиции вывода в порядке вывода.
19. Способ, содержащий этапы, на которых:
принимают входную последовательность, имеющую соответственный ввод в каждой из множества позиций ввода в порядке ввода;
обрабатывают входную последовательность посредством нейронной сети декодировщика, чтобы сгенерировать выходную последовательность, имеющую соответственный сетевой вывод в каждой из множества позиций вывода в порядке вывода,
при этом нейронная сеть декодировщика содержит последовательность из одной или более подсетей декодировщика, причем каждая подсеть декодировщика выполнена с возможностью, на каждом из множества временных шагов генерирования, (i) принимать соответственный ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, соответствующей текущему временному шагу генерирования, и (ii) генерировать соответственный вывод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода,
при этом каждая подсеть декодировщика содержит подслой самовнимания декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования, принимать ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и, для каждой из этих конкретных позиций вывода, применять механизм самовнимания к вводам подсети декодировщика в конкретных позициях вывода, предшествующих текущей позиции вывода, чтобы сгенерировать соответственное обновленное представление для конкретной позиции вывода, при этом применение механизма самовнимания содержит этапы, на которых: определяют запрос из ввода подсети декодировщика в конкретной позиции вывода, определяют ключи, полученные из вводов подсети декодировщика в упомянутых конкретных позициях вывода, определяют значения, полученные из вводов подсети декодировщика в этих конкретных позициях вывода, и используют упомянутые определенные запрос, ключи и значения для генерирования соответственного обновленного представления для конкретной позиции вывода.
20. Способ по п.19, в котором нейронная сеть декодировщика авторегрессионным методом генерирует выходную последовательность посредством того, что, на каждом из множества временных шагов генерирования, генерирует сетевой вывод в позиции вывода, соответствующей этому временному шагу генерирования, обусловленный кодированными представлениями и сетевыми выводами в позициях вывода, предшествующих этой позиции вывода в порядке вывода.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762510256P | 2017-05-23 | 2017-05-23 | |
| US62/510,256 | 2017-05-23 | ||
| US201762541594P | 2017-08-04 | 2017-08-04 | |
| US62/541,594 | 2017-08-04 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019122632A Division RU2749945C1 (ru) | 2017-05-23 | 2018-05-23 | Нейронные сети с преобразованием последовательности на основе внимания |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2021116658A true RU2021116658A (ru) | 2021-07-05 |
Family
ID=62873574
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2021116658A RU2021116658A (ru) | 2017-05-23 | 2018-05-23 | Нейронные сети с преобразованием последовательности на основе внимания |
| RU2019122632A RU2749945C1 (ru) | 2017-05-23 | 2018-05-23 | Нейронные сети с преобразованием последовательности на основе внимания |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019122632A RU2749945C1 (ru) | 2017-05-23 | 2018-05-23 | Нейронные сети с преобразованием последовательности на основе внимания |
Country Status (12)
| Country | Link |
|---|---|
| US (8) | US10452978B2 (ru) |
| EP (7) | EP4156032A1 (ru) |
| JP (5) | JP6884871B2 (ru) |
| KR (5) | KR102180002B1 (ru) |
| CN (1) | CN110192206A (ru) |
| AU (5) | AU2018271931B2 (ru) |
| BR (1) | BR112019014822B1 (ru) |
| CA (3) | CA3144657C (ru) |
| ES (1) | ES2934313T3 (ru) |
| PL (1) | PL3542316T3 (ru) |
| RU (2) | RU2021116658A (ru) |
| WO (1) | WO2018217948A1 (ru) |
Families Citing this family (90)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4156032A1 (en) | 2017-05-23 | 2023-03-29 | Google LLC | Attention-based sequence transduction neural networks |
| US11205121B2 (en) | 2018-06-20 | 2021-12-21 | Disney Enterprises, Inc. | Efficient encoding and decoding sequences using variational autoencoders |
| US11138392B2 (en) | 2018-07-26 | 2021-10-05 | Google Llc | Machine translation using neural network models |
| US11295739B2 (en) * | 2018-08-23 | 2022-04-05 | Google Llc | Key phrase spotting |
| KR20200067632A (ko) | 2018-12-04 | 2020-06-12 | 삼성전자주식회사 | 뉴럴 네트워크를 구동하기 위한 메모리 공간을 할당하는 방법 및 장치 |
| CN109558605B (zh) * | 2018-12-17 | 2022-06-10 | 北京百度网讯科技有限公司 | 用于翻译语句的方法和装置 |
| KR20200075615A (ko) * | 2018-12-18 | 2020-06-26 | 삼성전자주식회사 | 기계 번역 방법 및 장치 |
| CN109740169B (zh) * | 2019-01-09 | 2020-10-13 | 北京邮电大学 | 一种基于词典和seq2seq预训练机制的中医古籍翻译方法 |
| SG11202107620QA (en) * | 2019-01-17 | 2021-08-30 | Visa Int Service Ass | A deep learning model for learning program embeddings |
| EP3690752A1 (en) * | 2019-01-31 | 2020-08-05 | Avatar Cognition Barcelona, SL | Fractal cognitive computing node and computer-implemented method for learning procedures |
| CN109919358B (zh) * | 2019-01-31 | 2021-03-02 | 中国科学院软件研究所 | 一种基于神经网络时空注意力机制的实时站点流量预测方法 |
| KR102254300B1 (ko) * | 2019-04-19 | 2021-05-21 | 한국과학기술원 | 토론 상황 시 발화된 주장에 대한 근거 문장 제공 엔진 |
| CN110083770B (zh) * | 2019-04-29 | 2023-01-13 | 苏州市职业大学 | 一种基于特征层面更深的自注意力网络的序列推荐方法 |
| CN112037776A (zh) * | 2019-05-16 | 2020-12-04 | 武汉Tcl集团工业研究院有限公司 | 一种语音识别方法、语音识别装置及终端设备 |
| US11657277B2 (en) | 2019-05-23 | 2023-05-23 | Google Llc | Generating neural network outputs using insertion commands |
| JP7357697B2 (ja) * | 2019-05-23 | 2023-10-06 | グーグル エルエルシー | 完全アテンション型コンピュータビジョン |
| CN110175338B (zh) * | 2019-05-31 | 2023-09-26 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
| US11908457B2 (en) * | 2019-07-03 | 2024-02-20 | Qualcomm Incorporated | Orthogonally constrained multi-head attention for speech tasks |
| CN110321961A (zh) * | 2019-07-09 | 2019-10-11 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
| JP7290507B2 (ja) * | 2019-08-06 | 2023-06-13 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、認識モデルならびにプログラム |
| US11600067B2 (en) * | 2019-09-12 | 2023-03-07 | Nec Corporation | Action recognition with high-order interaction through spatial-temporal object tracking |
| US11663444B2 (en) | 2019-09-27 | 2023-05-30 | Microsoft Technology Licensing, Llc | Pipelined neural network processing with continuous and asynchronous updates |
| KR20210044056A (ko) | 2019-10-14 | 2021-04-22 | 삼성전자주식회사 | 중복 토큰 임베딩을 이용한 자연어 처리 방법 및 장치 |
| KR20210043995A (ko) * | 2019-10-14 | 2021-04-22 | 삼성전자주식회사 | 모델 학습 방법 및 장치, 및 시퀀스 인식 방법 |
| CN112751686B (zh) * | 2019-10-29 | 2022-10-18 | 中国移动通信集团浙江有限公司 | 局数据脚本生成方法、装置、计算设备及计算机存储介质 |
| US11246173B2 (en) | 2019-11-08 | 2022-02-08 | Huawei Technologies Co. Ltd. | Systems and methods for multi-user pairing in wireless communication networks |
| KR102430918B1 (ko) * | 2019-11-15 | 2022-08-10 | 고려대학교 산학협력단 | 한국어 맞춤법 교정장치 및 방법 |
| CN114846523A (zh) * | 2019-11-15 | 2022-08-02 | 伟摩有限责任公司 | 使用记忆注意力的多对象跟踪 |
| US11455656B2 (en) * | 2019-11-18 | 2022-09-27 | Walmart Apollo, Llc | Methods and apparatus for electronically providing item advertisement recommendations |
| US11392984B2 (en) | 2019-11-20 | 2022-07-19 | Walmart Apollo, Llc | Methods and apparatus for automatically providing item advertisement recommendations |
| KR102439165B1 (ko) * | 2019-11-26 | 2022-09-01 | 한국과학기술원 | 상식 지식과 언어학적 패턴을 이용한 서술문 신뢰도 평가 시스템 및 그 방법 |
| KR102556096B1 (ko) | 2019-11-29 | 2023-07-18 | 한국전자통신연구원 | 이전 프레임의 정보를 사용한 오디오 신호 부호화/복호화 장치 및 방법 |
| KR20210071471A (ko) * | 2019-12-06 | 2021-06-16 | 삼성전자주식회사 | 뉴럴 네트워크의 행렬 곱셈 연산을 수행하는 장치 및 방법 |
| CN111222343B (zh) * | 2019-12-06 | 2023-12-29 | 深圳市优必选科技股份有限公司 | 一种意图识别方法和意图识别装置 |
| KR102436900B1 (ko) * | 2019-12-12 | 2022-08-26 | 서울대학교산학협력단 | 양방향 언어 모델을 이용한 문장 평가 방법 및 장치 |
| CN111078825A (zh) * | 2019-12-20 | 2020-04-28 | 北京百度网讯科技有限公司 | 结构化处理方法、装置、计算机设备及介质 |
| CN111079450B (zh) * | 2019-12-20 | 2021-01-22 | 北京百度网讯科技有限公司 | 基于顺句驱动的语言转换方法和装置 |
| CN111222562B (zh) * | 2020-01-02 | 2022-04-08 | 南京邮电大学 | 基于空间自注意力机制的目标检测方法 |
| KR20220116039A (ko) | 2020-01-14 | 2022-08-19 | 구글 엘엘씨 | 클라이언트 디바이스에 의한 컴퓨터 자산의 활동 예측, 프리페칭 및 프리로딩을 위한 방법 및 시스템 |
| US11386885B2 (en) | 2020-02-17 | 2022-07-12 | Wipro Limited | Method and system for detecting intent as an ordered sequence from a user query |
| CN111427932B (zh) * | 2020-04-02 | 2022-10-04 | 南方科技大学 | 出行预测方法、装置、设备和存储介质 |
| US10909461B1 (en) * | 2020-05-08 | 2021-02-02 | Google Llc | Attention neural networks with locality-sensitive hashing |
| CN113627135B (zh) * | 2020-05-08 | 2023-09-29 | 百度在线网络技术（北京）有限公司 | 一种招聘岗位描述文本的生成方法、装置、设备及介质 |
| US11806631B2 (en) * | 2020-05-11 | 2023-11-07 | Rovi Guides, Inc. | Gaming content recommendation for a video game |
| KR20210145490A (ko) | 2020-05-25 | 2021-12-02 | 삼성전자주식회사 | 어텐션 기반 시퀀스 투 시퀀스 모델의 성능 향상 방법 및 장치 |
| CN111859927B (zh) * | 2020-06-01 | 2024-03-15 | 北京先声智能科技有限公司 | 一种基于注意力共享Transformer的语法改错模型 |
| CN111460126B (zh) * | 2020-06-12 | 2020-09-25 | 支付宝(杭州)信息技术有限公司 | 一种用于人机对话系统的回复生成方法、装置及电子设备 |
| JP7357291B2 (ja) * | 2020-07-16 | 2023-10-06 | 日本電信電話株式会社 | 翻訳装置、翻訳方法及びプログラム |
| CN111652357B (zh) * | 2020-08-10 | 2021-01-15 | 浙江大学 | 一种利用基于图的特定目标网络解决视频问答问题的方法及其系统 |
| CN112016245A (zh) * | 2020-08-13 | 2020-12-01 | 五邑大学 | 基于自注意力变形网络的磁暴预测方法、装置及存储介质 |
| US11983619B2 (en) * | 2020-08-14 | 2024-05-14 | Micron Technology, Inc. | Transformer neural network in memory |
| US20220058489A1 (en) * | 2020-08-19 | 2022-02-24 | The Toronto-Dominion Bank | Two-headed attention fused autoencoder for context-aware recommendation |
| CN112347104B (zh) * | 2020-11-06 | 2023-09-29 | 中国人民大学 | 一种基于深度强化学习的列存储布局优化方法 |
| CN112580822B (zh) * | 2020-12-16 | 2023-10-17 | 北京百度网讯科技有限公司 | 机器学习模型的对抗训练方法装置、电子设备和介质 |
| CN112580361A (zh) * | 2020-12-18 | 2021-03-30 | 蓝舰信息科技南京有限公司 | 基于统一注意力机制的公式及文字识别模型方法 |
| CN112508625B (zh) * | 2020-12-18 | 2022-10-21 | 国网河南省电力公司经济技术研究院 | 基于多分枝残差注意力网络的智能稽查建模方法 |
| US11741967B2 (en) | 2021-01-04 | 2023-08-29 | Kwai Inc. | Systems and methods for automatic speech recognition based on graphics processing units |
| EP4030355A1 (en) | 2021-01-14 | 2022-07-20 | Naver Corporation | Neural reasoning path retrieval for multi-hop text comprehension |
| KR102628947B1 (ko) * | 2021-02-02 | 2024-01-23 | 숙명여자대학교산학협력단 | 반응 데이터를 예측하는 시스템 및 그 제어방법 |
| US11755973B2 (en) * | 2021-02-12 | 2023-09-12 | Accenture Global Solutions Limited | System and method for intelligent contract guidance |
| CN112966626A (zh) * | 2021-03-16 | 2021-06-15 | 三星（中国）半导体有限公司 | 人脸识别方法和装置 |
| EP4318271A4 (en) | 2021-04-14 | 2024-04-24 | Mitsubishi Electric Corp | LEARNING DEVICE, INFERENCE DEVICE, PROGRAM, LEARNING METHOD AND INFERENCE METHOD |
| CN113095431B (zh) * | 2021-04-27 | 2023-08-18 | 中山大学 | 一种基于注意力机制的图像描述方法、系统及装置 |
| KR102589164B1 (ko) * | 2021-05-25 | 2023-10-13 | 한국과학기술원 | 협업 작업에서 시간적 관계를 활용한 트랜스포머 기반 활동 예측 방법 |
| WO2022250063A1 (ja) | 2021-05-26 | 2022-12-01 | キヤノン株式会社 | 顔認証を行う画像処理装置および画像処理方法 |
| CN113393025A (zh) * | 2021-06-07 | 2021-09-14 | 浙江大学 | 一种基于Informer模型编码结构的非侵入式负荷分解方法 |
| CN113705323B (zh) * | 2021-06-15 | 2022-09-09 | 腾讯医疗健康(深圳)有限公司 | 图像识别方法、装置、设备以及存储介质 |
| CN113379164B (zh) * | 2021-07-16 | 2024-03-26 | 国网江苏省电力有限公司苏州供电分公司 | 基于深度自注意力网络的负荷预测方法及系统 |
| KR20230022005A (ko) * | 2021-08-06 | 2023-02-14 | 주식회사 제이엘케이바이오 | 화합물 정보 추출을 위한 장치 및 방법 |
| KR102388599B1 (ko) * | 2021-08-24 | 2022-04-21 | (주)제로엑스플로우 | 텍스트 및 이미지를 활용한 문장 교정 장치 및 방법 |
| CN113688640B (zh) * | 2021-08-30 | 2023-01-20 | 深译信息科技(珠海)有限公司 | 一种用于医学文档翻译的神经网络机器翻译方法 |
| KR102610431B1 (ko) * | 2021-11-04 | 2023-12-06 | 연세대학교 산학협력단 | 인공지능 분석 기반 프로그램 소스코드의 요약문 생성 장치 및 방법 |
| KR20230073630A (ko) * | 2021-11-19 | 2023-05-26 | 주식회사 제이엘케이바이오 | 화합물 최적화를 위한 장치 및 방법 |
| KR102479817B1 (ko) * | 2021-11-25 | 2022-12-21 | 인하대학교 산학협력단 | 소규모 데이터세트를 위한 비전 트랜스포머 장치 및 그 동작 방법 |
| KR102475316B1 (ko) * | 2021-12-03 | 2022-12-08 | (주)대교씨엔에스 | 복수의 은닉층들로 구성되는 딥러닝 기반의 인공지능을 이용한 학습량 추천 방법 및 장치 |
| KR102405832B1 (ko) * | 2021-12-03 | 2022-06-07 | 주식회사 대교씨엔에스 | 통계적 분석과 딥러닝 기반의 인공지능을 동시에 활용한 학습량 추천 방법 및 장치 |
| KR102405828B1 (ko) * | 2021-12-03 | 2022-06-07 | 주식회사 대교씨엔에스 | 가우시안 혼합 모델을 이용한 클러스터링과 인공지능을 동시에 활용한 학습량 추천 방법 및 장치 |
| WO2023182987A1 (en) | 2022-03-23 | 2023-09-28 | Google Llc | Multi-resolution transformer for video quality assessment |
| US20230325606A1 (en) * | 2022-04-11 | 2023-10-12 | AtomLeap GmbH | Method for extracting information from an unstructured data source |
| WO2023211735A1 (en) | 2022-04-27 | 2023-11-02 | Google Llc | Rendering videos with novel views from near-duplicate photos |
| WO2023211446A1 (en) | 2022-04-28 | 2023-11-02 | Google Llc | Modeling ambiguity in neural machine translation |
| WO2023219275A1 (ko) * | 2022-05-09 | 2023-11-16 | 삼성전자 주식회사 | 영상 처리 장치 및 그 동작 방법 |
| US20230370410A1 (en) | 2022-05-16 | 2023-11-16 | Google Llc | Email Summary and Completion Check |
| CN114758032B (zh) | 2022-06-15 | 2022-09-16 | 之江实验室 | 基于时空注意力模型的多相期ct图像分类系统及构建方法 |
| KR20240014374A (ko) | 2022-07-25 | 2024-02-01 | 삼성전자주식회사 | 트랜스포머 모델을 경량화하는 컴퓨터 시스템 및 그것의 양자화 학습 방법 |
| KR102573643B1 (ko) * | 2022-11-14 | 2023-09-01 | 주식회사 마키나락스 | 인공지능 기반 제어 시뮬레이션 방법 |
| KR102539679B1 (ko) * | 2023-02-01 | 2023-06-02 | (주)피플리 | 사용자의 경로를 이용하여 사용자 맞춤형 장소 추천 방법, 장치 및 시스템 |
| CN115994668B (zh) * | 2023-02-16 | 2023-06-20 | 浙江非线数联科技股份有限公司 | 智慧社区资源管理系统 |
| CN116070676B (zh) * | 2023-03-28 | 2023-06-30 | 南京气象科技创新研究院 | 基于注意力机制和自编码器的高速公路路面温度预报方法 |
| KR102644779B1 (ko) * | 2023-07-10 | 2024-03-07 | 주식회사 스토리컨셉스튜디오 | 온라인 쇼핑몰의 컨셉에 맞는 상품의 추천 방법 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7039621B2 (en) * | 2000-03-22 | 2006-05-02 | Johnson & Johnson Pharmaceutical Research & Development, L.L.C. | System, method, and computer program product for representing object relationships in a multidimensional space |
| US9123343B2 (en) * | 2006-04-27 | 2015-09-01 | Mobiter Dicta Oy | Method, and a device for converting speech by replacing inarticulate portions of the speech before the conversion |
| US9536528B2 (en) * | 2012-07-03 | 2017-01-03 | Google Inc. | Determining hotword suitability |
| US10181098B2 (en) * | 2014-06-06 | 2019-01-15 | Google Llc | Generating representations of input sequences using neural networks |
| US9858524B2 (en) * | 2014-11-14 | 2018-01-02 | Google Inc. | Generating natural language descriptions of images |
| US11080587B2 (en) * | 2015-02-06 | 2021-08-03 | Deepmind Technologies Limited | Recurrent neural networks for data item generation |
| EP3128439A1 (en) * | 2015-08-07 | 2017-02-08 | Google, Inc. | Text classification and transformation based on author |
| US9965705B2 (en) * | 2015-11-03 | 2018-05-08 | Baidu Usa Llc | Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering |
| US10204299B2 (en) * | 2015-11-04 | 2019-02-12 | Nec Corporation | Unsupervised matching in fine-grained datasets for single-view object reconstruction |
| EP3360082B1 (en) * | 2015-11-12 | 2021-06-02 | Deepmind Technologies Limited | Neural programming |
| EP3371807B1 (en) | 2015-11-12 | 2023-01-04 | Google LLC | Generating target phoneme sequences from input speech sequences using partial conditioning |
| KR102170199B1 (ko) * | 2016-05-20 | 2020-10-26 | 딥마인드 테크놀로지스 리미티드 | 비교 세트를 사용한 입력 예시들 분류 |
| CN106372577A (zh) * | 2016-08-23 | 2017-02-01 | 北京航空航天大学 | 一种基于深度学习的交通标志自动识别与标注方法 |
| US10642887B2 (en) * | 2016-12-27 | 2020-05-05 | Adobe Inc. | Multi-modal image ranking using neural networks |
| EP4156032A1 (en) | 2017-05-23 | 2023-03-29 | Google LLC | Attention-based sequence transduction neural networks |
-
2018
- 2018-05-23 EP EP22204647.6A patent/EP4156032A1/en active Pending
- 2018-05-23 AU AU2018271931A patent/AU2018271931B2/en active Active
- 2018-05-23 WO PCT/US2018/034224 patent/WO2018217948A1/en unknown
- 2018-05-23 CA CA3144657A patent/CA3144657C/en active Active
- 2018-05-23 CA CA3144674A patent/CA3144674C/en active Active
- 2018-05-23 EP EP22204636.9A patent/EP4156030A1/en active Pending
- 2018-05-23 CA CA3050334A patent/CA3050334C/en active Active
- 2018-05-23 EP EP18739661.9A patent/EP3542316B1/en active Active
- 2018-05-23 BR BR112019014822-1A patent/BR112019014822B1/pt active IP Right Grant
- 2018-05-23 JP JP2019538514A patent/JP6884871B2/ja active Active
- 2018-05-23 EP EP22204659.1A patent/EP4156034A1/en active Pending
- 2018-05-23 KR KR1020197019186A patent/KR102180002B1/ko active IP Right Grant
- 2018-05-23 KR KR1020207032482A patent/KR102486348B1/ko active IP Right Grant
- 2018-05-23 EP EP22204664.1A patent/EP4156035A1/en active Pending
- 2018-05-23 KR KR1020227033030A patent/KR102592677B1/ko active IP Right Grant
- 2018-05-23 PL PL18739661.9T patent/PL3542316T3/pl unknown
- 2018-05-23 EP EP22204640.1A patent/EP4156031A1/en active Pending
- 2018-05-23 RU RU2021116658A patent/RU2021116658A/ru unknown
- 2018-05-23 EP EP22204654.2A patent/EP4156033A1/en active Pending
- 2018-05-23 ES ES18739661T patent/ES2934313T3/es active Active
- 2018-05-23 KR KR1020237035690A patent/KR20230151047A/ko not_active Application Discontinuation
- 2018-05-23 RU RU2019122632A patent/RU2749945C1/ru active
- 2018-05-23 CN CN201880007309.XA patent/CN110192206A/zh active Pending
- 2018-05-23 KR KR1020207032481A patent/KR102448389B1/ko active IP Right Grant
- 2018-06-28 US US16/021,971 patent/US10452978B2/en active Active
-
2019
- 2019-09-03 US US16/559,392 patent/US10719764B2/en active Active
-
2020
- 2020-07-17 US US16/932,422 patent/US11113602B2/en active Active
- 2020-08-05 AU AU2020213317A patent/AU2020213317B2/en active Active
- 2020-08-05 AU AU2020213318A patent/AU2020213318B2/en active Active
- 2020-08-07 US US16/988,535 patent/US20210019624A1/en not_active Abandoned
- 2020-08-07 US US16/988,518 patent/US10956819B2/en active Active
- 2020-08-07 US US16/988,547 patent/US11893483B2/en active Active
-
2021
- 2021-05-12 JP JP2021080995A patent/JP7214783B2/ja active Active
- 2021-05-12 JP JP2021080996A patent/JP7214784B2/ja active Active
- 2021-09-03 US US17/467,096 patent/US20220051099A1/en active Pending
-
2022
- 2022-08-22 AU AU2022221389A patent/AU2022221389B2/en active Active
-
2023
- 2023-01-18 JP JP2023006053A patent/JP7423828B2/ja active Active
-
2024
- 2024-01-08 US US18/407,299 patent/US20240144006A1/en active Pending
- 2024-01-17 JP JP2024005428A patent/JP2024038420A/ja active Pending
- 2024-04-19 AU AU2024202594A patent/AU2024202594A1/en active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2021116658A (ru) | Нейронные сети с преобразованием последовательности на основе внимания | |
| JP2020506466A5 (ru) | ||
| Zhao et al. | Self-adaptive differential evolution with multi-trajectory search for large-scale optimization | |
| CN108009640A (zh) | 基于忆阻器的神经网络的训练装置及其训练方法 | |
| Han et al. | An improved approximation approach incorporating particle swarm optimization and a priori information into neural networks | |
| JP2021517316A (ja) | ニューラルネットワークのネットワーク表示生成方法及びその装置、コンピュータプログラム並びに機器 | |
| Chen et al. | Finite‐time cooperative‐tracking control for networked Euler–Lagrange systems | |
| CN111386537A (zh) | 基于注意力的仅解码器的序列转换神经网络 | |
| CN107943938A (zh) | 一种基于深度乘积量化的大规模图像相似检索方法及系统 | |
| KR101885593B1 (ko) | 인공 지능을 기반으로 하는 자소 음소 변환 모델 생성 방법 및 장치 | |
| WO2020151310A1 (zh) | 文本生成方法、装置、计算机设备及介质 | |
| CN109710953B (zh) | 一种翻译方法及装置、计算设备、存储介质和芯片 | |
| WO2019163718A1 (ja) | 学習装置、音声認識順位推定装置、それらの方法、およびプログラム | |
| CN111158912A (zh) | 云雾协同计算环境下一种基于深度学习的任务卸载决策方法 | |
| Fu et al. | An experimental study on stability and generalization of extreme learning machines | |
| CN113282707B (zh) | 基于Transformer模型的数据预测方法、装置、服务器及存储介质 | |
| US20190266474A1 (en) | Systems And Method For Character Sequence Recognition | |
| WO2023087656A1 (zh) | 图像生成方法及装置 | |
| CN108459784A (zh) | 在人机交互环境中对输入查询生成自动响应的系统和方法 | |
| CN110506280B (zh) | 神经网络训练系统、方法和计算机可读存储介质 | |
| Zou et al. | New algorithms for the unbalanced generalised birthday problem | |
| Wang et al. | Improved convex incremental extreme learning machine based on enhanced random search | |
| CN110971683B (zh) | 基于强化学习的服务组合方法 | |
| Long et al. | Robust and decentralised output regulation of switched non‐linear systems with switched internal model | |
| Han et al. | A new approach for function approximation incorporating adaptive particle swarm optimization and a priori information |