RU2019135532A - Способ и система для выбора метки из множества меток для задачи в краудсорсинговой среде - Google Patents

Claims (89)

1. Реализуемый компьютером способ выбора метки из множества меток, принятых для задачи сравнения, исполняемой в реализуемой компьютером краудсорсинговой среде, причем способ исполняется сервером, причем способ содержит:

прием сервером множества меток, выбранных множеством оценщиков реализуемой компьютером краудсорсинговой среды, причем каждая метка, включенная во множество меток, указывает воспринимаемое определенным оценщиком предпочтение первого объекта из задачи сравнения над вторым объектом из задачи сравнения;

анализ сервером задачи сравнения для определения набора скрытых признаков предвзятости, ассоциированных с первым объектом и вторым объектом, причем набор скрытых признаков предвзятости содержит один или более скрытых признаков в задаче сравнения, имеющих возможность влиять на восприятие предпочтения первого объекта над вторым объектом по меньшей мере частью упомянутого множества людей-оценщиков;

исполнение сервером алгоритма машинного обучения (MLA), причем MLA выполнен с возможностью, для определенного оценщика из упомянутого множества людей-оценщиков:

генерирования соответствующего параметра скрытой оценки для первого объекта и второго объекта, причем соответствующий параметр скрытой оценки указывает вероятное смещение между воспринимаемым определенным оценщиком предпочтением и параметром непредвзятого предпочтения первого объекта над вторым объектом, причем вероятное смещение обусловлено по меньшей мере некоторыми из набора скрытых признаков предвзятости;

генерирования прогнозного параметра вероятности предвзятости для определенного оценщика, причем прогнозный параметр вероятности предвзятости указывает вероятность того, что воспринимаемое определенным оценщиком предпочтение является одним из предвзятого и непредвзятого;

генерирования прогнозного параметра степени предвзятости для определенного оценщика, причем прогнозный параметр степени предвзятости указывает степень предвзятости, которую определенный оценщик имеет в пользу набора скрытых признаков предвзятости;

генерирования параметра непредвзятого предпочтения на основе логистической функции соответствующих параметров скрытых оценок;

при этом генерирование соответствующих параметров скрытых оценок, прогнозного параметра вероятности предвзятости и прогнозного параметра степени предвзятости выполняется на основе максимального правдоподобия того, что воспринимаемое определенным оценщиком смещение будет предвзятым как функция соответствующего параметра скрытой оценки, прогнозного параметра вероятности предвзятости и прогнозного параметра степени предвзятости;

использование сервером параметра непредвзятого предпочтения в качестве метки для задачи сравнения для определенного оценщика.

2. Способ по п. 1, в котором MLA выполнен с возможностью исполнения генерирования соответствующих параметров скрытых оценок, прогнозного параметра вероятности предвзятости и прогнозного параметра степени предвзятости на основе логарифмической формулы:

(Уравнение 1)

где:

L - правдоподобие наблюдаемого сравнения при генеративном процессе на основе параметра скрытой оценки объектов, параметра вероятности предвзятости и параметра степени предвзятости для каждого оценщика;

w_k - определенный оценщик;

d_i - первый объект из задачи сравнения для определенного оценщика w_k, которому отдавалось предпочтение над вторым объектом d_j;

P - множество меток, выбранных множеством оценщиков;

Y_k - прогнозный параметр вероятности предвзятости;

s_i и s_j соответствуют параметру скрытой оценки первого и второго объекта соответственно, причем параметром непредвзятого предпочтения является логистическая функция их разности;

x_kij - набор скрытых признаков предвзятости; и r_k - прогнозный параметр степени предвзятости.

3. Способ по п. 2, в котором MLA дополнительно выполнен с возможностью максимизации логарифмической формулы посредством максимизирующей формулы:

где:

T - целевая функция, которая максимизируется;

Λ - параметр регуляризации;

R - регуляризирующий член;

S_o - параметр скрытой оценки виртуального объекта.

4. Способ по п. 1, в котором задача сравнения представляет собой задачу парного сравнения.

5. Способ по п. 1, в котором анализ задачи сравнения исполняется перед приемом множества меток.

6. Способ по п. 2, в котором набор скрытых признаков предвзятости включает в себя по меньшей мере одно из:

размера шрифта, ассоциированного с первым объектом и вторым объектом соответственно;

размера изображения, ассоциированного с первым объектом и вторым объектом соответственно; и

позиционирования, ассоциированного с первым объектом и вторым объектом соответственно.

7. Способ по п. 6, при этом способ дополнительно содержит:

для определенного скрытого признака предвзятости, включенного в набор скрытых признаков предвзятости, генерирование вектора скрытого признака, причем вектор скрытого признака указывает по меньшей мере одно из:

присутствия определенного скрытого признака в задаче сравнения;

отсутствия определенного скрытого признака в задаче сравнения.

8. Способ по п. 7, в котором определенный скрытый признак предвзятости в наборе x_kij скрытых признаков предвзятости соответствует:

первому значению, если определенный скрытый признак присутствует только в первом объекте;

второму значению, если определенный скрытый признак присутствует только во втором объекте;

третьему значению, если определенный скрытый признак присутствует в обоих объектах или отсутствует как в первом объекте, так и во втором объекте.

9. Способ по п. 1, в котором параметр непредвзятого предпочтения указывает фактическое предпочтение определенного оценщика, которое не подвержено влиянию набора скрытых признаков предвзятости.

10. Способ по п. 1, дополнительно содержащий агрегацию одного или более параметров непредвзятых предпочтений, каждый из которых ассоциирован с соответствующим оценщиком из множества людей-оценщиков.

11. Способ по п. 10, в котором MLA является первым MLA, а способ дополнительно содержит использование агрегированных одного или более параметров непредвзятых предпочтений для обучения второго MLA.

12. Способ по п. 1, в котором тот, один из набора скрытых признаков предвзятости, который имеет возможность влиять на восприятие предпочтения первого объекта над вторым объектом, априори не известен.

13. Система для выбора метки из множества меток, принятых для задачи сравнения, исполняемой в реализуемой компьютером краудсорсинговой среде, причем система содержит сервер, причем сервер содержит процессор, выполненный с возможностью:

приема множества меток, выбранных множеством оценщиков реализуемой компьютером краудсорсинговой среды, причем каждая метка, включенная во множество меток, указывает воспринимаемое определенным оценщиком предпочтение первого объекта из задачи сравнения над вторым объектом из задачи сравнения;

анализа задачи сравнения для определения набора скрытых признаков предвзятости, ассоциированных с первым объектом и вторым объектом, причем набор скрытых признаков предвзятости содержит один или более скрытых признаков в задаче сравнения, имеющих возможность влиять на восприятие предпочтения первого объекта над вторым объектом по меньшей мере частью упомянутого множества людей-оценщиков;

исполнения алгоритма машинного обучения (MLA), причем MLA выполнен с возможностью, для определенного оценщика из упомянутого множества людей-оценщиков:

генерирования соответствующего параметра скрытой оценки для первого объекта и второго объекта, причем соответствующий параметр скрытой оценки указывает вероятное смещение между воспринимаемым определенным оценщиком предпочтением и параметром непредвзятого предпочтения первого объекта над вторым объектом, причем вероятное смещение обусловлено по меньшей мере некоторыми из набора скрытых признаков предвзятости;

генерирования прогнозного параметра вероятности предвзятости для определенного оценщика, причем прогнозный параметр вероятности предвзятости указывает вероятность того, что воспринимаемое определенным оценщиком предпочтение является одним из предвзятого и непредвзятого;

генерирования прогнозного параметра степени предвзятости для определенного оценщика, причем прогнозный параметр степени предвзятости указывает степень предвзятости, которую определенный оценщик имеет в пользу набора скрытых признаков предвзятости;

генерирования параметра непредвзятого предпочтения на основе логистической функции соответствующих параметров скрытых оценок;

при этом генерирование соответствующих параметров скрытых оценок, прогнозного параметра вероятности предвзятости и прогнозного параметра степени предвзятости выполняется на основе максимального правдоподобия того, что воспринимаемое определенным оценщиком смещение будет предвзятым как функция соответствующего параметра скрытой оценки, прогнозного параметра вероятности предвзятости и прогнозного параметра степени предвзятости;

использования параметра непредвзятого предпочтения в качестве метки для задачи сравнения для определенного оценщика.

14. Система по п. 13, в которой MLA выполнен с возможностью генерирования соответствующих параметров скрытых оценок, прогнозного параметра вероятности предвзятости и прогнозного параметра степени предвзятости на основе логарифмической формулы:

(Уравнение 1)

где:

L - правдоподобие наблюдаемого сравнения при генеративном процессе на основе скрытых оценок объектов, параметра вероятности предвзятости и параметра степени предвзятости для каждого оценщика;

w_k - определенный оценщик;

d_i - первый объект из задачи сравнения для определенного оценщика w_k, которому отдавалось предпочтение над вторым объектом d_j;

P - множество меток, выбранных множеством оценщиков;

Y_k - прогнозный параметр вероятности предвзятости;

s_i и s_j соответствуют скрытым оценкам первого и второго объекта соответственно, причем параметром непредвзятого предпочтения является логистическая функция их разности;

x_kij - набор скрытых признаков предвзятости; и r_k - прогнозный параметр степени предвзятости.

15. Система по п. 14, в которой MLA дополнительно выполнен с возможностью максимизации логарифмической формулы посредством максимизирующей формулы:

где:

T - целевая функция, которая максимизируется;

Λ - параметр регуляризации;

R - регуляризирующий член;

S_o - параметр скрытой оценки виртуального объекта.

16. Система по п. 13, в которой задача сравнения представляет собой задачу парного сравнения.

17. Система по п. 13, в которой процессор выполнен с возможностью анализа задачи сравнения перед приемом множества меток.

18. Система по п. 17, в которой набор скрытых признаков предвзятости включает в себя по меньшей мере одно из:

размера шрифта, ассоциированного с первым объектом и вторым объектом соответственно;

размера изображения, ассоциированного с первым объектом и вторым объектом соответственно; и

позиционирования, ассоциированного с первым объектом и вторым объектом соответственно.

19. Система по п. 17, причем процессор дополнительно выполнен с возможностью:

для определенного скрытого признака предвзятости, включенного в набор скрытых признаков предвзятости, генерирования вектора скрытого признака, причем вектор скрытого признака указывает по меньшей мере одно из:

присутствия определенного скрытого признака в задаче сравнения;

отсутствия определенного скрытого признака в задаче сравнения.

20. Система по п. 19, в которой определенный скрытый признак предвзятости в наборе x_kij скрытых признаков предвзятости соответствует:

первому значению, если определенный скрытый признак присутствует только в первом объекте;

второму значению, если определенный скрытый признак присутствует только во втором объекте;

третьему значению, если определенный скрытый признак присутствует в обоих объектах или отсутствует как в первом объекте, так и во втором объекте.

21. Система по п. 13, в которой параметр непредвзятого предпочтения указывает фактическое предпочтение определенного оценщика, которое не подвержено влиянию набора скрытых признаков предвзятости.