RU2021116658A - Нейронные сети с преобразованием последовательности на основе внимания - Google Patents

Нейронные сети с преобразованием последовательности на основе внимания Download PDF

Info

Publication number
RU2021116658A
RU2021116658A RU2021116658A RU2021116658A RU2021116658A RU 2021116658 A RU2021116658 A RU 2021116658A RU 2021116658 A RU2021116658 A RU 2021116658A RU 2021116658 A RU2021116658 A RU 2021116658A RU 2021116658 A RU2021116658 A RU 2021116658A
Authority
RU
Russia
Prior art keywords
decoder
output
input
specific
output position
Prior art date
Application number
RU2021116658A
Other languages
English (en)
Inventor
Ноум М. ШЕЙЗИР
Айдан Николас ГОМЕС
Лукаш Мечислав КАЙЗЕР
Якоб Д. УСКОРЕЙТ
Ллайон Оуэн ДЖОНС
Ники Дж. ПАРМАР
Илья ПОЛОСУХИН
Ашиш Теку ВАСВАНИ
Original Assignee
ГУГЛ ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ГУГЛ ЭлЭлСи filed Critical ГУГЛ ЭлЭлСи
Publication of RU2021116658A publication Critical patent/RU2021116658A/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Claims (45)

1. Система, содержащая один или более компьютеров и одно или более запоминающих устройств, хранящих инструкции, которые при их исполнении одним или более компьютерами предписывают одному или более компьютерам реализовывать нейронную сеть с преобразованием последовательности для преобразования входной последовательности, имеющей соответственный сетевой ввод в каждой из множества позиций ввода в порядке ввода, в выходную последовательность, имеющую соответственный сетевой вывод в каждой из множества позиций вывода в порядке вывода, при этом нейронная сеть с преобразованием последовательности содержит:
нейронную сеть декодировщика, выполненную с возможностью принимать ввод декодировщика и обрабатывать ввод декодировщика для генерирования выходной последовательности, при этом ввод декодировщика содержит соответственное представление каждого из сетевых вводов во входной последовательности, при этом нейронная сеть декодировщика содержит последовательность из одной или более подсетей декодировщика, причем каждая подсеть декодировщика выполнена с возможностью, на каждом из множества временных шагов генерирования, (i) принимать соответственный ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, соответствующей текущему временному шагу генерирования, и (ii) генерировать соответственный вывод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и при этом каждая подсеть декодировщика содержит подслой самовнимания декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования, принимать ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и, для каждой из этих конкретных позиций вывода, применять механизм самовнимания к вводам подсети декодировщика в конкретных позициях вывода, предшествующих текущей позиции вывода, чтобы сгенерировать соответственное обновленное представление для конкретной позиции вывода, при этом применение механизма самовнимания содержит: определение запроса из ввода подсети декодировщика в конкретной позиции вывода, определение ключей, полученных из вводов подсети декодировщика в упомянутых конкретных позициях вывода, определение значений, полученных из вводов подсети декодировщика в этих конкретных позициях вывода, и использование упомянутых определенных запроса, ключей и значений для генерирования соответственного обновленного представления для конкретной позиции вывода.
2. Система по п.1, в которой нейронная сеть декодировщика авторегрессионным методом генерирует выходную последовательность посредством того, что, на каждом из множества временных шагов генерирования, генерирует сетевой вывод в позиции вывода, соответствующей этому временному шагу генерирования, обусловленный кодированными представлениями и сетевыми выводами в позициях вывода, предшествующих этой позиции вывода в порядке вывода.
3. Система по п.1, в которой нейронная сеть декодировщика дополнительно содержит слой векторного представления, выполненный с возможностью, на каждом временном шаге генерирования, для каждого сетевого вывода в позициях вывода, предшествующих упомянутой соответствующей позиции вывода в порядке вывода: отображать этот сетевой вывод в векторизованное представление сетевого вывода и объединять векторизованное представление сетевого вывода с позиционным векторным представлением упомянутой соответствующей позиции вывода сетевого вывода в порядке вывода, чтобы сгенерировать объединенное векторизованное представление сетевого вывода; и предоставлять объединенные векторизованные представления сетевого вывода в качестве ввода для первой подсети декодировщика в последовательности подсетей декодировщика.
4. Система по п.1, в которой по меньшей мере одна из подсетей декодировщика содержит слой попозиционного прямого распространения, который выполнен с возможностью, на каждом временном шаге генерирования, для каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода: принимать ввод в этой конкретной позиции вывода и применять последовательность трансформаций к вводу в данной конкретной позиции вывода, чтобы сгенерировать вывод для этой конкретной позиции вывода.
5. Система по п.4, в которой последовательность трансформаций содержит две изученные линейные трансформации, отделенные функцией активации.
6. Система по п.4, в которой упомянутая по меньшей мере одна подсеть декодировщика дополнительно содержит:
слой остаточного соединения, который объединяет выводы слоя попозиционного прямого распространения с вводами для слоя попозиционного прямого распространения, чтобы сгенерировать остаточный вывод, и
слой нормализации слоя, который применяет нормализацию слоя к остаточному выводу.
7. Система по п.1, в которой каждая подсеть декодировщика содержит подслой внимания кодировщика-декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования принимать ввод для каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода, и, для каждой из этих конкретных позиций вывода, применять механизм внимания к кодированным представлениям в позициях ввода с использованием одного или более запросов, извлеченных из ввода для этой конкретной позиции вывода, чтобы сгенерировать обновленное представление для данной конкретной позиции вывода.
8. Система по п.7, в которой каждый подслой внимания кодировщика-декодировщика содержит множество слоев внимания кодировщика-декодировщика, и в которой каждый слой внимания кодировщика-декодировщика выполнен с возможностью, на каждом временном шаге генерирования:
применять изученную линейную трансформацию запроса к вводу в каждой из конкретных позиций вывода, предшествующих упомянутой соответствующей позиции вывода, чтобы сгенерировать соответственный запрос для каждой конкретной позиции вывода,
применять изученную линейную трансформацию ключа к каждому кодированному представлению в каждой позиции ввода, чтобы сгенерировать соответственный ключ для каждой позиции ввода,
применять изученную линейную трансформацию значения к каждому кодированному представлению в каждой позиции ввода, чтобы сгенерировать соответственное значение для каждой позиции ввода, и
для каждой конкретной позиций вывода, предшествующей упомянутой соответствующей позиции вывода,
определять соответственный индивидуальный для позиции вывода вес для каждой из позиций ввода путем применения функции сравнения между запросом для конкретной позиции вывода и ключами, и
определять начальный вывод внимания кодировщика-декодировщика для конкретной позиции вывода путем определения взвешенной суммы значений, взвешенных посредством соответствующих весов, индивидуальных для позиций вывода, для позиции ввода.
9. Система по п.8, в которой слой внимания кодировщика-декодировщика выполнен с возможностью, на каждом временном шаге генерирования, объединять выводы внимания кодировщика-декодировщика, сгенерированные слоями внимания кодировщика-декодировщика, чтобы сгенерировать вывод для подслоя внимания кодировщика-декодировщика.
10. Система по п.8, в которой подслои внимания кодировщика-декодировщика работают параллельно.
11. Система по п.1, в которой каждая подсеть декодировщика содержит:
слой остаточного соединения, который объединяет выводы подслоя внимания кодировщика-декодировщика с вводами для подслоя внимания кодировщика-декодировщика, чтобы сгенерировать остаточный вывод, и
слой нормализации слоя, который применяет нормализацию слоя к остаточному выводу.
12. Система по п.1, в которой каждая подсеть декодировщика содержит подслой самовнимания декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования: принимать ввод для каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода и, для каждой конкретной позиции вывода, применять механизм внимания к вводам в конкретных позициях вывода, предшествующих упомянутой соответствующей позиции вывода, с использованием одного или более запросов, извлеченных из ввода в этой конкретной позиции вывода, чтобы сгенерировать обновленное представление для данной конкретной позиции вывода.
13. Система по п.12, в которой каждый подслой самовнимания декодировщика содержит множество слоев самовнимания декодировщика, и в которой каждый слой самовнимания декодировщика выполнен с возможностью, на каждом временном шаге генерирования:
применять изученную линейную трансформацию запроса к вводу в каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода, чтобы сгенерировать соответственный запрос для каждой конкретной позиции вывода,
применять изученную линейную трансформацию ключа к каждому вводу в каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода, чтобы сгенерировать соответственный ключ для каждой конкретной позиции вывода,
применять изученную линейную трансформацию значения к каждому вводу в каждой конкретной позиции вывода, предшествующей упомянутой соответствующей позиции вывода, чтобы сгенерировать соответственное значение для каждой конкретной позиции вывода, и
для каждой из конкретных позиций вывода, предшествующих упомянутой соответствующей позиции вывода,
определять соответственный индивидуальный для позиции вывода вес для каждой конкретной позиции вывода путем применения функции сравнения между запросом для этой конкретной позиции вывода и ключами, и
определять начальный вывод внимания декодировщика для данной конкретной позиции вывода путем определения взвешенной суммы значений, взвешенных посредством соответствующих весов, индивидуальных для позиций вывода, для этой конкретной позиции вывода.
14. Система по п.13, в которой подслой самовнимания декодировщика выполнен с возможностью, на каждом временном шаге генерирования, объединять выводы внимания декодировщика, сгенерированные слоями самовнимания декодировщика, чтобы сгенерировать вывод для подслоя самовнимания декодировщика.
15. Система по п.13, в которой слои внимания декодировщика работают параллельно.
16. Система по п.12, в которой каждая подсеть декодировщика дополнительно содержит:
слой остаточного соединения, который объединяет выводы подслоя самовнимания декодировщика с вводами для подслоя самовнимания декодировщика, чтобы сгенерировать остаточный вывод, и
слой нормализации слоя, который применяет нормализацию слоя к остаточному выводу.
17. Один или более долговременных компьютерных носителей информации, хранящих инструкции, которые при их исполнении одним или более компьютерами предписывают одному или более компьютерам реализовывать нейронную сеть с преобразованием последовательности для преобразования входной последовательности, имеющей соответственный сетевой ввод в каждой из множества позиций ввода в порядке ввода, в выходную последовательность, имеющую соответственный сетевой вывод в каждой из множества позиций вывода в порядке вывода, при этом нейронная сеть с преобразованием последовательности содержит:
нейронную сеть декодировщика, выполненную с возможностью принимать ввод декодировщика и обрабатывать ввод декодировщика для генерирования выходной последовательности, при этом ввод декодировщика содержит соответственное представление каждого из сетевых вводов во входной последовательности, при этом нейронная сеть декодировщика содержит последовательность из одной или более подсетей декодировщика, причем каждая подсеть декодировщика выполнена с возможностью, на каждом из множества временных шагов генерирования, (i) принимать соответственный ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, соответствующей текущему временному шагу генерирования, и (ii) генерировать соответственный вывод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и
при этом каждая подсеть декодировщика содержит подслой самовнимания декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования, принимать ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и, для каждой из этих конкретных позиций вывода, применять механизм самовнимания к вводам подсети декодировщика в конкретных позициях вывода, предшествующих текущей позиции вывода, чтобы сгенерировать соответственное обновленное представление для конкретной позиции вывода, при этом применение механизма самовнимания содержит: определение запроса из ввода подсети декодировщика в конкретной позиции вывода, определение ключей, полученных из вводов подсети декодировщика в упомянутых конкретных позициях вывода, определение значений, полученных из вводов подсети декодировщика в этих конкретных позициях вывода, и использование упомянутых определенных запроса, ключей и значений для генерирования соответственного обновленного представления для конкретной позиции вывода.
18. Долговременные компьютерные носители информации по п.17, при этом нейронная сеть декодировщика авторегрессионным методом генерирует выходную последовательность посредством того, что, на каждом из множества временных шагов генерирования, генерирует сетевой вывод в позиции вывода, соответствующей этому временному шагу генерирования, обусловленный кодированными представлениями и сетевыми выводами в позициях вывода, предшествующих этой позиции вывода в порядке вывода.
19. Способ, содержащий этапы, на которых:
принимают входную последовательность, имеющую соответственный ввод в каждой из множества позиций ввода в порядке ввода;
обрабатывают входную последовательность посредством нейронной сети декодировщика, чтобы сгенерировать выходную последовательность, имеющую соответственный сетевой вывод в каждой из множества позиций вывода в порядке вывода,
при этом нейронная сеть декодировщика содержит последовательность из одной или более подсетей декодировщика, причем каждая подсеть декодировщика выполнена с возможностью, на каждом из множества временных шагов генерирования, (i) принимать соответственный ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, соответствующей текущему временному шагу генерирования, и (ii) генерировать соответственный вывод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода,
при этом каждая подсеть декодировщика содержит подслой самовнимания декодировщика, который выполнен с возможностью, на каждом временном шаге генерирования, принимать ввод подсети декодировщика для каждой из конкретных позиций вывода, предшествующих текущей позиции вывода, и, для каждой из этих конкретных позиций вывода, применять механизм самовнимания к вводам подсети декодировщика в конкретных позициях вывода, предшествующих текущей позиции вывода, чтобы сгенерировать соответственное обновленное представление для конкретной позиции вывода, при этом применение механизма самовнимания содержит этапы, на которых: определяют запрос из ввода подсети декодировщика в конкретной позиции вывода, определяют ключи, полученные из вводов подсети декодировщика в упомянутых конкретных позициях вывода, определяют значения, полученные из вводов подсети декодировщика в этих конкретных позициях вывода, и используют упомянутые определенные запрос, ключи и значения для генерирования соответственного обновленного представления для конкретной позиции вывода.
20. Способ по п.19, в котором нейронная сеть декодировщика авторегрессионным методом генерирует выходную последовательность посредством того, что, на каждом из множества временных шагов генерирования, генерирует сетевой вывод в позиции вывода, соответствующей этому временному шагу генерирования, обусловленный кодированными представлениями и сетевыми выводами в позициях вывода, предшествующих этой позиции вывода в порядке вывода.
RU2021116658A 2017-05-23 2018-05-23 Нейронные сети с преобразованием последовательности на основе внимания RU2021116658A (ru)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762510256P 2017-05-23 2017-05-23
US62/510,256 2017-05-23
US201762541594P 2017-08-04 2017-08-04
US62/541,594 2017-08-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2019122632A Division RU2749945C1 (ru) 2017-05-23 2018-05-23 Нейронные сети с преобразованием последовательности на основе внимания

Publications (1)

Publication Number Publication Date
RU2021116658A true RU2021116658A (ru) 2021-07-05

Family

ID=62873574

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2019122632A RU2749945C1 (ru) 2017-05-23 2018-05-23 Нейронные сети с преобразованием последовательности на основе внимания
RU2021116658A RU2021116658A (ru) 2017-05-23 2018-05-23 Нейронные сети с преобразованием последовательности на основе внимания

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2019122632A RU2749945C1 (ru) 2017-05-23 2018-05-23 Нейронные сети с преобразованием последовательности на основе внимания

Country Status (12)

Country Link
US (8) US10452978B2 (ru)
EP (7) EP4156033A1 (ru)
JP (5) JP6884871B2 (ru)
KR (5) KR20230151047A (ru)
CN (1) CN110192206A (ru)
AU (5) AU2018271931B2 (ru)
BR (1) BR112019014822B1 (ru)
CA (3) CA3144657C (ru)
ES (1) ES2934313T3 (ru)
PL (1) PL3542316T3 (ru)
RU (2) RU2749945C1 (ru)
WO (1) WO2018217948A1 (ru)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4156033A1 (en) 2017-05-23 2023-03-29 Google LLC Attention-based sequence transduction neural networks
US11205121B2 (en) * 2018-06-20 2021-12-21 Disney Enterprises, Inc. Efficient encoding and decoding sequences using variational autoencoders
US11138392B2 (en) 2018-07-26 2021-10-05 Google Llc Machine translation using neural network models
US11295739B2 (en) * 2018-08-23 2022-04-05 Google Llc Key phrase spotting
KR20200067632A (ko) 2018-12-04 2020-06-12 삼성전자주식회사 뉴럴 네트워크를 구동하기 위한 메모리 공간을 할당하는 방법 및 장치
CN109558605B (zh) * 2018-12-17 2022-06-10 北京百度网讯科技有限公司 用于翻译语句的方法和装置
KR20200075615A (ko) * 2018-12-18 2020-06-26 삼성전자주식회사 기계 번역 방법 및 장치
CN109740169B (zh) * 2019-01-09 2020-10-13 北京邮电大学 一种基于词典和seq2seq预训练机制的中医古籍翻译方法
SG11202107620QA (en) * 2019-01-17 2021-08-30 Visa Int Service Ass A deep learning model for learning program embeddings
CN109919358B (zh) * 2019-01-31 2021-03-02 中国科学院软件研究所 一种基于神经网络时空注意力机制的实时站点流量预测方法
EP3690752A1 (en) * 2019-01-31 2020-08-05 Avatar Cognition Barcelona, SL Fractal cognitive computing node and computer-implemented method for learning procedures
KR102254300B1 (ko) * 2019-04-19 2021-05-21 한국과학기술원 토론 상황 시 발화된 주장에 대한 근거 문장 제공 엔진
CN110083770B (zh) * 2019-04-29 2023-01-13 苏州市职业大学 一种基于特征层面更深的自注意力网络的序列推荐方法
CN112037776A (zh) * 2019-05-16 2020-12-04 武汉Tcl集团工业研究院有限公司 一种语音识别方法、语音识别装置及终端设备
US20220215654A1 (en) * 2019-05-23 2022-07-07 Google Llc Fully attentional computer vision
US11657277B2 (en) 2019-05-23 2023-05-23 Google Llc Generating neural network outputs using insertion commands
CN110175338B (zh) * 2019-05-31 2023-09-26 北京金山数字娱乐科技有限公司 一种数据处理方法及装置
US11908457B2 (en) * 2019-07-03 2024-02-20 Qualcomm Incorporated Orthogonally constrained multi-head attention for speech tasks
CN110321961A (zh) * 2019-07-09 2019-10-11 北京金山数字娱乐科技有限公司 一种数据处理方法及装置
JP7290507B2 (ja) * 2019-08-06 2023-06-13 本田技研工業株式会社 情報処理装置、情報処理方法、認識モデルならびにプログラム
US11600067B2 (en) * 2019-09-12 2023-03-07 Nec Corporation Action recognition with high-order interaction through spatial-temporal object tracking
US11663444B2 (en) 2019-09-27 2023-05-30 Microsoft Technology Licensing, Llc Pipelined neural network processing with continuous and asynchronous updates
KR20210043995A (ko) * 2019-10-14 2021-04-22 삼성전자주식회사 모델 학습 방법 및 장치, 및 시퀀스 인식 방법
KR20210044056A (ko) 2019-10-14 2021-04-22 삼성전자주식회사 중복 토큰 임베딩을 이용한 자연어 처리 방법 및 장치
CN112751686B (zh) * 2019-10-29 2022-10-18 中国移动通信集团浙江有限公司 局数据脚本生成方法、装置、计算设备及计算机存储介质
US11246173B2 (en) 2019-11-08 2022-02-08 Huawei Technologies Co. Ltd. Systems and methods for multi-user pairing in wireless communication networks
WO2021097429A1 (en) * 2019-11-15 2021-05-20 Waymo Llc Multi object tracking using memory attention
KR102430918B1 (ko) * 2019-11-15 2022-08-10 고려대학교 산학협력단 한국어 맞춤법 교정장치 및 방법
US11455656B2 (en) * 2019-11-18 2022-09-27 Walmart Apollo, Llc Methods and apparatus for electronically providing item advertisement recommendations
US11392984B2 (en) 2019-11-20 2022-07-19 Walmart Apollo, Llc Methods and apparatus for automatically providing item advertisement recommendations
KR102439165B1 (ko) * 2019-11-26 2022-09-01 한국과학기술원 상식 지식과 언어학적 패턴을 이용한 서술문 신뢰도 평가 시스템 및 그 방법
KR102556096B1 (ko) 2019-11-29 2023-07-18 한국전자통신연구원 이전 프레임의 정보를 사용한 오디오 신호 부호화/복호화 장치 및 방법
KR20210071471A (ko) * 2019-12-06 2021-06-16 삼성전자주식회사 뉴럴 네트워크의 행렬 곱셈 연산을 수행하는 장치 및 방법
CN111222343B (zh) * 2019-12-06 2023-12-29 深圳市优必选科技股份有限公司 一种意图识别方法和意图识别装置
KR102436900B1 (ko) * 2019-12-12 2022-08-26 서울대학교산학협력단 양방향 언어 모델을 이용한 문장 평가 방법 및 장치
CN111079450B (zh) 2019-12-20 2021-01-22 北京百度网讯科技有限公司 基于顺句驱动的语言转换方法和装置
CN111078825A (zh) * 2019-12-20 2020-04-28 北京百度网讯科技有限公司 结构化处理方法、装置、计算机设备及介质
CN111222562B (zh) * 2020-01-02 2022-04-08 南京邮电大学 基于空间自注意力机制的目标检测方法
CN114981804A (zh) 2020-01-14 2022-08-30 谷歌有限责任公司 由客户端设备对计算机资产进行活动预测、预取和预加载的方法和系统
US11386885B2 (en) 2020-02-17 2022-07-12 Wipro Limited Method and system for detecting intent as an ordered sequence from a user query
CN111427932B (zh) * 2020-04-02 2022-10-04 南方科技大学 出行预测方法、装置、设备和存储介质
CN113627135B (zh) * 2020-05-08 2023-09-29 百度在线网络技术(北京)有限公司 一种招聘岗位描述文本的生成方法、装置、设备及介质
US10909461B1 (en) * 2020-05-08 2021-02-02 Google Llc Attention neural networks with locality-sensitive hashing
US11806631B2 (en) * 2020-05-11 2023-11-07 Rovi Guides, Inc. Gaming content recommendation for a video game
KR20210145490A (ko) 2020-05-25 2021-12-02 삼성전자주식회사 어텐션 기반 시퀀스 투 시퀀스 모델의 성능 향상 방법 및 장치
CN111859927B (zh) * 2020-06-01 2024-03-15 北京先声智能科技有限公司 一种基于注意力共享Transformer的语法改错模型
CN111460126B (zh) * 2020-06-12 2020-09-25 支付宝(杭州)信息技术有限公司 一种用于人机对话系统的回复生成方法、装置及电子设备
JP7357291B2 (ja) * 2020-07-16 2023-10-06 日本電信電話株式会社 翻訳装置、翻訳方法及びプログラム
CN111652357B (zh) * 2020-08-10 2021-01-15 浙江大学 一种利用基于图的特定目标网络解决视频问答问题的方法及其系统
CN112016245A (zh) * 2020-08-13 2020-12-01 五邑大学 基于自注意力变形网络的磁暴预测方法、装置及存储介质
US11983619B2 (en) 2020-08-14 2024-05-14 Micron Technology, Inc. Transformer neural network in memory
US20220058489A1 (en) * 2020-08-19 2022-02-24 The Toronto-Dominion Bank Two-headed attention fused autoencoder for context-aware recommendation
CN112347104B (zh) * 2020-11-06 2023-09-29 中国人民大学 一种基于深度强化学习的列存储布局优化方法
CN112580822B (zh) * 2020-12-16 2023-10-17 北京百度网讯科技有限公司 机器学习模型的对抗训练方法装置、电子设备和介质
CN112508625B (zh) * 2020-12-18 2022-10-21 国网河南省电力公司经济技术研究院 基于多分枝残差注意力网络的智能稽查建模方法
US11741967B2 (en) 2021-01-04 2023-08-29 Kwai Inc. Systems and methods for automatic speech recognition based on graphics processing units
EP4030355A1 (en) 2021-01-14 2022-07-20 Naver Corporation Neural reasoning path retrieval for multi-hop text comprehension
KR102628947B1 (ko) * 2021-02-02 2024-01-23 숙명여자대학교산학협력단 반응 데이터를 예측하는 시스템 및 그 제어방법
US11755973B2 (en) * 2021-02-12 2023-09-12 Accenture Global Solutions Limited System and method for intelligent contract guidance
CN112966626A (zh) * 2021-03-16 2021-06-15 三星(中国)半导体有限公司 人脸识别方法和装置
CN117157635A (zh) 2021-04-14 2023-12-01 三菱电机株式会社 学习装置、推理装置、程序、学习方法和推理方法
CN113095431B (zh) * 2021-04-27 2023-08-18 中山大学 一种基于注意力机制的图像描述方法、系统及装置
KR102589164B1 (ko) * 2021-05-25 2023-10-13 한국과학기술원 협업 작업에서 시간적 관계를 활용한 트랜스포머 기반 활동 예측 방법
WO2022250063A1 (ja) 2021-05-26 2022-12-01 キヤノン株式会社 顔認証を行う画像処理装置および画像処理方法
CN113393025A (zh) * 2021-06-07 2021-09-14 浙江大学 一种基于Informer模型编码结构的非侵入式负荷分解方法
CN113705323B (zh) * 2021-06-15 2022-09-09 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、设备以及存储介质
CN113379164B (zh) * 2021-07-16 2024-03-26 国网江苏省电力有限公司苏州供电分公司 基于深度自注意力网络的负荷预测方法及系统
KR20230022005A (ko) * 2021-08-06 2023-02-14 주식회사 제이엘케이바이오 화합물 정보 추출을 위한 장치 및 방법
KR102388599B1 (ko) * 2021-08-24 2022-04-21 (주)제로엑스플로우 텍스트 및 이미지를 활용한 문장 교정 장치 및 방법
CN113688640B (zh) * 2021-08-30 2023-01-20 深译信息科技(珠海)有限公司 一种用于医学文档翻译的神经网络机器翻译方法
KR102610431B1 (ko) * 2021-11-04 2023-12-06 연세대학교 산학협력단 인공지능 분석 기반 프로그램 소스코드의 요약문 생성 장치 및 방법
KR20230073630A (ko) * 2021-11-19 2023-05-26 주식회사 제이엘케이바이오 화합물 최적화를 위한 장치 및 방법
KR102479817B1 (ko) * 2021-11-25 2022-12-21 인하대학교 산학협력단 소규모 데이터세트를 위한 비전 트랜스포머 장치 및 그 동작 방법
KR102405832B1 (ko) * 2021-12-03 2022-06-07 주식회사 대교씨엔에스 통계적 분석과 딥러닝 기반의 인공지능을 동시에 활용한 학습량 추천 방법 및 장치
KR102475316B1 (ko) * 2021-12-03 2022-12-08 (주)대교씨엔에스 복수의 은닉층들로 구성되는 딥러닝 기반의 인공지능을 이용한 학습량 추천 방법 및 장치
KR102405828B1 (ko) * 2021-12-03 2022-06-07 주식회사 대교씨엔에스 가우시안 혼합 모델을 이용한 클러스터링과 인공지능을 동시에 활용한 학습량 추천 방법 및 장치
WO2023182987A1 (en) 2022-03-23 2023-09-28 Google Llc Multi-resolution transformer for video quality assessment
US20230325606A1 (en) * 2022-04-11 2023-10-12 AtomLeap GmbH Method for extracting information from an unstructured data source
WO2023211735A1 (en) 2022-04-27 2023-11-02 Google Llc Rendering videos with novel views from near-duplicate photos
WO2023211446A1 (en) 2022-04-28 2023-11-02 Google Llc Modeling ambiguity in neural machine translation
WO2023219275A1 (ko) * 2022-05-09 2023-11-16 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법
US20230370410A1 (en) 2022-05-16 2023-11-16 Google Llc Email Summary and Completion Check
CN114758032B (zh) 2022-06-15 2022-09-16 之江实验室 基于时空注意力模型的多相期ct图像分类系统及构建方法
KR20240014374A (ko) 2022-07-25 2024-02-01 삼성전자주식회사 트랜스포머 모델을 경량화하는 컴퓨터 시스템 및 그것의 양자화 학습 방법
KR102573643B1 (ko) * 2022-11-14 2023-09-01 주식회사 마키나락스 인공지능 기반 제어 시뮬레이션 방법
KR102539679B1 (ko) * 2023-02-01 2023-06-02 (주)피플리 사용자의 경로를 이용하여 사용자 맞춤형 장소 추천 방법, 장치 및 시스템
CN115994668B (zh) * 2023-02-16 2023-06-20 浙江非线数联科技股份有限公司 智慧社区资源管理系统
CN116070676B (zh) * 2023-03-28 2023-06-30 南京气象科技创新研究院 基于注意力机制和自编码器的高速公路路面温度预报方法
KR102644779B1 (ko) * 2023-07-10 2024-03-07 주식회사 스토리컨셉스튜디오 온라인 쇼핑몰의 컨셉에 맞는 상품의 추천 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039621B2 (en) * 2000-03-22 2006-05-02 Johnson & Johnson Pharmaceutical Research & Development, L.L.C. System, method, and computer program product for representing object relationships in a multidimensional space
ES2359430T3 (es) * 2006-04-27 2011-05-23 Mobiter Dicta Oy Procedimiento, sistema y dispositivo para la conversión de la voz.
US9536528B2 (en) * 2012-07-03 2017-01-03 Google Inc. Determining hotword suitability
US10181098B2 (en) * 2014-06-06 2019-01-15 Google Llc Generating representations of input sequences using neural networks
CN106462802B (zh) * 2014-11-14 2019-08-06 谷歌有限责任公司 生成映像的自然语言描述
US11080587B2 (en) * 2015-02-06 2021-08-03 Deepmind Technologies Limited Recurrent neural networks for data item generation
EP3128439A1 (en) * 2015-08-07 2017-02-08 Google, Inc. Text classification and transformation based on author
US9965705B2 (en) * 2015-11-03 2018-05-08 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering
US10204299B2 (en) * 2015-11-04 2019-02-12 Nec Corporation Unsupervised matching in fine-grained datasets for single-view object reconstruction
EP3360082B1 (en) * 2015-11-12 2021-06-02 Deepmind Technologies Limited Neural programming
EP3371807B1 (en) 2015-11-12 2023-01-04 Google LLC Generating target phoneme sequences from input speech sequences using partial conditioning
CN109478248B (zh) * 2016-05-20 2022-04-05 渊慧科技有限公司 使用比较集对输入样本进行分类的方法、系统和存储介质
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
US10642887B2 (en) * 2016-12-27 2020-05-05 Adobe Inc. Multi-modal image ranking using neural networks
EP4156033A1 (en) 2017-05-23 2023-03-29 Google LLC Attention-based sequence transduction neural networks

Also Published As

Publication number Publication date
KR102592677B1 (ko) 2023-10-23
JP6884871B2 (ja) 2021-06-09
EP4156030A1 (en) 2023-03-29
AU2022221389A1 (en) 2022-09-22
CA3144674C (en) 2023-10-10
JP7214784B2 (ja) 2023-01-30
US20180341860A1 (en) 2018-11-29
KR20200129197A (ko) 2020-11-17
CN110192206A (zh) 2019-08-30
US20220051099A1 (en) 2022-02-17
AU2020213318A1 (en) 2020-08-27
US11113602B2 (en) 2021-09-07
RU2749945C1 (ru) 2021-06-21
ES2934313T3 (es) 2023-02-21
PL3542316T3 (pl) 2023-02-20
AU2020213318B2 (en) 2022-06-02
KR102486348B1 (ko) 2023-01-09
AU2024202594A1 (en) 2024-05-09
CA3144657C (en) 2023-10-10
KR102180002B1 (ko) 2020-11-17
AU2018271931A1 (en) 2019-07-11
KR102448389B1 (ko) 2022-09-28
US10452978B2 (en) 2019-10-22
JP7423828B2 (ja) 2024-01-29
EP4156031A1 (en) 2023-03-29
JP7214783B2 (ja) 2023-01-30
US20200372357A1 (en) 2020-11-26
EP3542316A1 (en) 2019-09-25
EP4156034A1 (en) 2023-03-29
KR20220133323A (ko) 2022-10-04
BR112019014822A2 (pt) 2020-02-27
BR112019014822B1 (pt) 2022-06-07
US20210019624A1 (en) 2021-01-21
AU2020213317A1 (en) 2020-08-27
KR20230151047A (ko) 2023-10-31
JP2024038420A (ja) 2024-03-19
KR20190089980A (ko) 2019-07-31
US20210019623A1 (en) 2021-01-21
JP2021121952A (ja) 2021-08-26
US20190392319A1 (en) 2019-12-26
CA3050334C (en) 2023-04-11
CA3050334A1 (en) 2018-11-29
US20200372358A1 (en) 2020-11-26
AU2022221389B2 (en) 2024-01-25
US11893483B2 (en) 2024-02-06
US10719764B2 (en) 2020-07-21
CA3144657A1 (en) 2018-11-29
EP4156033A1 (en) 2023-03-29
JP2021121951A (ja) 2021-08-26
WO2018217948A1 (en) 2018-11-29
EP4156032A1 (en) 2023-03-29
AU2020213317B2 (en) 2022-06-02
EP3542316B1 (en) 2022-12-07
US10956819B2 (en) 2021-03-23
AU2018271931B2 (en) 2020-05-07
US20240144006A1 (en) 2024-05-02
EP4156035A1 (en) 2023-03-29
CA3144674A1 (en) 2018-11-29
JP2020506466A (ja) 2020-02-27
JP2023052483A (ja) 2023-04-11
KR20200129198A (ko) 2020-11-17

Similar Documents

Publication Publication Date Title
RU2021116658A (ru) Нейронные сети с преобразованием последовательности на основе внимания
JP2020506466A5 (ru)
Zhao et al. Self-adaptive differential evolution with multi-trajectory search for large-scale optimization
CN108009640A (zh) 基于忆阻器的神经网络的训练装置及其训练方法
Han et al. An improved approximation approach incorporating particle swarm optimization and a priori information into neural networks
JP2021517316A (ja) ニューラルネットワークのネットワーク表示生成方法及びその装置、コンピュータプログラム並びに機器
Chen et al. Finite‐time cooperative‐tracking control for networked Euler–Lagrange systems
CN107943938A (zh) 一种基于深度乘积量化的大规模图像相似检索方法及系统
KR101885593B1 (ko) 인공 지능을 기반으로 하는 자소 음소 변환 모델 생성 방법 및 장치
WO2020151310A1 (zh) 文本生成方法、装置、计算机设备及介质
WO2019163718A1 (ja) 学習装置、音声認識順位推定装置、それらの方法、およびプログラム
CN111158912A (zh) 云雾协同计算环境下一种基于深度学习的任务卸载决策方法
Reiner et al. Efficient incremental construction of RBF networks using quasi-gradient method
Fu et al. An experimental study on stability and generalization of extreme learning machines
US20190266474A1 (en) Systems And Method For Character Sequence Recognition
WO2023087656A1 (zh) 图像生成方法及装置
CN108459784A (zh) 在人机交互环境中对输入查询生成自动响应的系统和方法
CN113282707B (zh) 基于Transformer模型的数据预测方法、装置、服务器及存储介质
CN114424208A (zh) 门控注意力神经网络
CN110506280B (zh) 神经网络训练系统、方法和计算机可读存储介质
Zou et al. New algorithms for the unbalanced generalised birthday problem
CN110971683B (zh) 基于强化学习的服务组合方法
Long et al. Robust and decentralised output regulation of switched non‐linear systems with switched internal model
Han et al. A new approach for function approximation incorporating adaptive particle swarm optimization and a priori information
Liang et al. A low complexity decentralized neural net with centralized equivalence using layer-wise learning