RU2020107002A - Способ и система приема метки для цифровой задачи, исполняемой в краудсорсинговой среде - Google Patents

Claims (41)

1. Реализуемый компьютером способ приема метки для цифровой задачи, исполняемой в реализуемой компьютером краудсорсинговой среде, причем способ исполняется сервером и содержит:

прием сервером указания цифровой задачи, которая подлежит обработке в реализуемой компьютером краудсорсинговой среде;

генерирование сервером подмножества примеров, причем подмножество примеров основано на прошлых цифровых задачах, исполненных в реализуемой компьютером краудсорсинговой среде, причем каждый из подмножества примеров подобен цифровой задаче в пределах предопределенной пороговой величины подобия;

подмножество примеров имеет некоторое число примеров, выбранных так, чтобы обеспечить максимальный эталонный охват с минимальным количеством образцов в подмножестве примеров;

ассоциирование сервером подмножества примеров с цифровой задачей, которая подлежит представлению в реализуемой компьютером краудсорсинговой среде;

обеспечение представления цифровой задачи на вычислительном устройстве по меньшей мере одного участвующего в краудсорсинге работника в реализуемой компьютером краудсорсинговой среде для получения метки для цифровой задачи.

2. Способ по п. 1, в котором цифровая задача представляет собой задачу пометки релевантности страницы результатов поиска (SERP).

3. Способ по п. 2, в котором сервер коммуникативно связан с базой данных журнала SERP, причем база данных журнала SERP содержит множество ранее сгенерированных SERP и при этом генерирование подмножества примеров на основе прошлых цифровых задач содержит:

извлечение из базы данных журнала SERP множества SERP;

передачу множества SERP множеству участвующих в краудсорсинге работников в реализуемой компьютером краудсорсинговой среде для оценки уместности каждой из упомянутого множества SERP.

4. Способ по п. 3, дополнительно содержащий:

прием от множества участвующих в краудсорсинге работников множества меток для каждой из упомянутого множества SERP;

ввод множества меток в первый алгоритм машинного обучения (MLA), причем первый MLA выполнен с возможностью генерирования набора меток, соответствующего упомянутому множеству меток, с удалением воспринимаемой предвзятости множества участвующих в краудсорсинге работников.

5. Способ по п. 4, дополнительно содержащий:

отображение множества SERP на шкалу на основе набора меток;

кластеризацию с использованием второго MLA набора меток в один или более кластеров, причем каждый из одного или более кластеров обеспечивает максимальный эталонный охват шкалы, причем каждый кластер содержит минимальное число SERP.

6. Способ по п. 1, в котором цифровая задача содержит генерирование скользящей шкалы пометки, причем скользящая шкала пометки имеет указатели метки, основанные на подмножестве примеров.

7. Способ по п. 6, в котором скользящая шкала выполнена с возможностью обеспечения возможности выбора участвующим в краудсорсинге работником одного из указателей метки.

8. Способ по п. 6, в котором выбор метки осуществляется взаимодействием участвующего в краудсорсинге работника с указателем метки, причем это взаимодействие имеет первый тип.

9. Способ по п. 8, при этом способ дополнительно содержит в ответ на взаимодействие участвующего в краудсорсинге работника с одним из указателей метки с использованием второго типа взаимодействия, обеспечение ассоциированного примера прошлых цифровых задач.

10. Способ по п. 5, дополнительно содержащий обучение второго MLA.

11. Способ по п. 10, в котором обучение второго MLA основано на обучающем наборе, причем обучающий набор включает в себя пару цифровых задач и обучающую метку, указывающую полезность первой задачи из пары цифровых задач в качестве иллюстративного примера для второй задачи из упомянутой пары цифровых задач.

12. Способ по п. 11, в котором обучающая метка назначается обучающими работниками, участвующими в краудсорсинге, в реализуемой компьютером краудсорсинговой среде.

13. Способ по п. 11, в котором обучающая метка дополнительно указывает избыточность пары цифровых задач в качестве иллюстративного примера.

14. Способ по п. 5, в котором способ дополнительно содержит определение шага между каждым из одного или более кластеров.

15. Способ по п. 14, в котором определение шага исполняется вторым MLA.

16. Способ по п. 14, в котором шаг визуально представлен на скользящей шкале пометки как расстояние между образцами в подмножестве примеров.

17. Способ по п. 14, в котором шаг указывает иллюстративную близость между примерами упомянутого подмножества.

18. Система приема метки для цифровой задачи, исполняемой в реализуемой компьютером краудсорсинговой среде, причем система содержит сервер, причем сервер содержит процессор, выполненный с возможностью:

приема указания цифровой задачи, которая подлежит обработке в реализуемой компьютером краудсорсинговой среде;

генерирования подмножества примеров, причем подмножество примеров основано на прошлых цифровых задачах, исполненных в реализуемой компьютером краудсорсинговой среде, причем каждый из подмножества примеров подобен цифровой задаче в пределах предопределенной пороговой величины подобия;

подмножество примеров имеет некоторое число примеров, выбранных так, чтобы обеспечить максимальный эталонный охват с минимальным количеством образцов в подмножестве примеров;

ассоциирования подмножества примеров с цифровой задачей, которая подлежит представлению в реализуемой компьютером краудсорсинговой среде;

обеспечения представления цифровой задачи на вычислительном устройстве по меньшей мере одного участвующего в краудсорсинге работника в реализуемой компьютером краудсорсинговой среде для получения метки для цифровой задачи.

19. Система по п. 18, в которой цифровая задача представляет собой задачу пометки релевантности страницы результатов поиска (SERP).

20. Система по п. 19, в которой сервер коммуникативно связан с базой данных журнала SERP, причем база данных журнала SERP содержит множество ранее сгенерированных SERP и при этом для генерирования подмножества примеров на основе прошлых цифровых задач процессор выполнен с возможностью:

извлечения из базы данных журнала SERP множества SERP;

передачи множества SERP множеству участвующих в краудсорсинге работников в реализуемой компьютером краудсорсинговой среде для оценки уместности каждой из упомянутого множества SERP.

21. Система по п. 20, в которой процессор дополнительно выполнен с возможностью:

приема от множества участвующих в краудсорсинге работников множества меток для каждой из упомянутого множества SERP;

ввода множества меток в первый алгоритм машинного обучения (MLA), причем первый MLA выполнен с возможностью генерирования набора меток, соответствующих упомянутому множеству меток, с удалением воспринимаемой предвзятости множества участвующих в краудсорсинге работников.