Claims (64)
1. Способ определения положений элементов в ранжировании посредством системы ранжирования для набора элементов содержимого, причём способ выполняется сервером, причём способ содержит этапы, на которых:1. A method for determining the positions of elements in a ranking by means of a ranking system for a set of content elements, the method being performed by a server, the method comprising the steps of:
получают во время фазы обучения системы ранжирования множество наборов данных, причём каждый набор данных содержит указание предыдущих пользовательских взаимодействий, связанных с интерфейсом, отображающим ранжированный список элементов содержимого, и для каждого набора данных из множества наборов данных:receive during the learning phase of the ranking system a plurality of datasets, each dataset containing an indication of previous user interactions associated with an interface displaying a ranked list of content items, and for each dataset of the plurality of datasets:
определяют последний просмотренный элемент содержимого в соответствующем ранжированном списке элементов содержимого, при этом последний просмотренный элемент содержимого был последним элементом содержимого, с которым взаимодействовал пользователь до того, как соответствующий интерфейс был покинут;determining the last viewed content element in the corresponding ranked list of content elements, where the last viewed content element was the last content element interacted with by the user before the corresponding interface was left;
определяют посредством сервера оценку выигрыша по меньшей мере для одного элемента содержимого из соответствующего ранжированного списка элементов содержимого, который выбрал пользователь;determining by the server a win score for at least one content item from a corresponding ranked list of content items that the user has selected;
определяют оценку проигрыша по меньшей мере для одного элемента содержимого с более низким рангом, чем последний просмотренный элемент содержимого; иdetermining a loss score for at least one content element with a lower rank than the last viewed content element; and
обучают посредством сервера систему ранжирования прогнозированию оценки релевантности для элементов содержимого на основании оценок выигрыша и оценок проигрыша для элементов содержимого из ранжированного списка элементов содержимого; иteaching, by means of the server, a ranking system to predict relevance scores for content items based on win scores and loss scores for content items from the ranked list of content items; and
во время фазы использования системы ранжирования, причём система ранжирования обучена ранжированию элементов содержимого на основании предыдущих пользовательских взаимодействий:during the usage phase of the ranking system, where the ranking system is trained to rank content elements based on previous user interactions:
принимают посредством сервера набор элементов содержимого;receive by the server a set of content elements;
прогнозируют посредством системы ранжирования прогнозируемую оценку релевантности для каждого элемента содержимого из набора элементов содержимого; иpredicting, by means of the ranking system, a predictable relevance score for each content element from the set of content elements; and
определяют на основании прогнозируемой оценки релевантности каждого соответствующего элемента содержимого положения в ранжировании каждого элемента содержимого в наборе элементов содержимого.determining, based on the predicted relevance score of each respective content element, a position in the ranking of each content element in the set of content elements.
2. Способ по п. 1, в котором определение оценки проигрыша по меньшей мере для одного элемента содержимого, имеющего более низкий ранг, чем последний просмотренный элемент содержимого, содержит этапы, на которых:2. The method of claim 1, wherein determining a loss score for at least one content element having a lower rank than the content element last viewed comprises the steps of:
определяют для элемента содержимого, имеющего более низкий ранг, чем последний просмотренный элемент содержимого, количество элементов содержимого, отображаемых между упомянутым элементом содержимого и последним просмотренным элементом содержимого; иdetermining, for a content element having a lower rank than the last viewed content element, the number of content elements displayed between said content element and the last viewed content element; and
определяют на основании количества элементов содержимого оценку проигрыша для упомянутого элемента содержимого.determining, based on the number of content items, a loss score for said content item.
3. Способ по п. 1, в котором определение оценки проигрыша по меньшей мере для одного элемента содержимого, имеющего более низкий ранг, чем последний просмотренный элемент содержимого, содержит этапы, на которых:3. The method of claim 1, wherein determining a loss score for at least one content element having a lower rank than the content element last viewed comprises the steps of:
определяют для первого элемента содержимого, имеющего более низкий ранг, чем последний просмотренный элемент содержимого, первое количество элементов содержимого, отображаемых между первым элементом содержимого и последним просмотренным элементом содержимого;determining, for the first content element having a lower rank than the last viewed content element, the first number of content elements displayed between the first content element and the last viewed content element;
определяют для второго элемента содержимого, имеющего более низкий ранг, чем последний просмотренный элемент содержимого, второе количество элементов содержимого, отображаемых между вторым элементом содержимого и последним просмотренным элементом содержимого;determining, for a second content element having a lower rank than the last viewed content element, a second number of content elements displayed between the second content element and the last viewed content element;
определяют на основании первого количества элементов содержимого первую оценку проигрыша для первого элемента содержимого; иdetermining, based on the first number of content items, a first loss estimate for the first content item; and
определяют на основании второго количества элементов содержимого вторую оценку проигрыша для второго элемента содержимого, при этом вторая оценка проигрыша больше первой оценки проигрыша, и при этом второе количество элементов содержимого меньше первого количества элементов содержимого.determining, based on the second number of content items, a second loss score for the second content item, wherein the second loss score is greater than the first loss score, and wherein the second number of content items is less than the first number of content items.
4. Способ по п. 1, дополнительно содержащий этап, на котором отображают вертикально расположенный набор мозаичных элементов, причем каждый мозаичный содержит элемент содержимого из набора элементов содержимого.4. The method of claim 1, further comprising displaying a vertically stacked set of tiles, each tile containing a content element from the set of content items.
5. Способ по п. 4, в котором вертикально расположенный набор мозаичных элементов отображается в порядке положений ранжирования.5. The method of claim 4, wherein the vertically stacked tile set is displayed in order of ranking positions.
6. Способ по п. 1, в котором для каждого набора данных каждый элемент содержимого в соответствующем ранжированном списке элементов содержимого отображался соответствующему пользователю.6. The method of claim 1, wherein for each set of data, each content element in the corresponding ranked list of content elements is displayed to the corresponding user.
7. Способ по п.1, дополнительно содержащий этап, на котором для каждого набора данных удаляют любые элементы содержимого в соответствующем ранжированном списке элементов содержимого, которые не отображались соответствующему пользователю.7. The method of claim 1, further comprising, for each data set, removing any content elements in the corresponding ranked list of content elements that were not displayed to the corresponding user.
8. Способ по п.1, в котором определение положений элементов в ранжировании каждого элемента содержимого содержит этап, на котором ранжируют набор элементов содержимого в порядке от элемента содержимого с самой высокой оценкой до элемента содержимого с самой низкой оценкой.8. The method of claim 1, wherein determining the positions of the elements in the ranking of each content element comprises ranking the set of content elements in order from the highest rated content element to the lowest rated content element.
9. Способ определения оценок проигрыша для элементов содержимого, отображаемых в интерфейсе, причём способ содержит этапы, на которых:9. A method for determining loss scores for content elements displayed in an interface, the method comprising the steps of:
отображают для пользователя интерфейс, при этом интерфейс включает в себя множество элементов содержимого;displaying an interface to the user, the interface including a plurality of content elements;
принимают указание пользовательских взаимодействий с интерфейсом, при этом пользовательские взаимодействия включают в себя выключение или обновление интерфейса;receiving an indication of user interactions with the interface, the user interactions including turning off or updating the interface;
определяют последний просмотренный элемента содержимого из множества элементов содержимого, при этом последний просмотренный элемент содержимого был последним элементом, с которым взаимодействовал пользователь до выключения или обновления интерфейса;determining the last viewed content element from the plurality of content elements, wherein the last viewed content element was the last element interacted with by the user prior to shutting down or refreshing the interface;
определяют один или более элементов содержимого из множества элементов содержимого, которые отображались для пользователя под последним просмотренным элементом содержимого; иdetermining one or more content elements from a plurality of content elements that were displayed to the user below the last viewed content element; and
определяют для каждого из одного или более элементов содержимого оценку проигрыша, соответствующую соответствующему элементу содержимого, по меньшей мере частично на основании положения соответствующего элемента содержимого под последним просмотренным элементом содержимого.determining, for each of the one or more content elements, a loss score corresponding to the corresponding content element based at least in part on the position of the corresponding content element below the last viewed content element.
10. Способ по п. 9, в котором определение оценки проигрыша, соответствующей соответствующему элементу, содержит этапы, на которых:10. The method of claim 9, wherein determining the loss score corresponding to the corresponding element comprises the steps of:
определяют количество элементов, отображаемых между последним просмотренным элементом содержимого и соответствующим элементом; иdetermining the number of elements displayed between the last viewed content element and the corresponding element; and
определяют на основании упомянутого количества элементов оценку проигрыша для соответствующего элемента.determining, based on said number of elements, a loss estimate for the respective element.
11. Способ по п. 9, в котором один или более элементов содержимого содержат первый элемент содержимого и второй элемент содержимого, и дополнительно содержащий этапы, на которых:11. The method of claim 9, wherein the one or more content elements comprise a first content element and a second content element, and further comprising:
определяют для первого элемента содержимого первое количество элементов содержимого, отображаемых между первым элементом содержимого и последним просмотренным элементом содержимого;determining, for the first content element, a first number of content elements to be displayed between the first content element and the last viewed content element;
определяют для второго элемента содержимого второе количество элементов содержимого, отображаемых между вторым элементом содержимого и последним просмотренным элементом содержимого;determining, for the second content element, a second number of content elements to be displayed between the second content element and the last viewed content element;
определяют на основании первого количества элементов содержимого первую оценку проигрыша для первого элемента содержимого; иdetermining, based on the first number of content items, a first loss estimate for the first content item; and
определяют на основании второго количества элементов содержимого вторую оценку проигрыша для второго элемента содержимого, при этом вторая оценка проигрыша больше, чем первая оценка проигрыша, и при этом второе количество элементов содержимого меньше, чем первое количество элементов содержимого.determining, based on the second number of content items, a second loss score for the second content item, wherein the second loss score is greater than the first loss score, and wherein the second number of content items is less than the first number of content items.
12. Способ по п.9, в котором интерфейс содержит ранжированный список из множества элементов содержимого.12. The method of claim 9, wherein the interface comprises a ranked list of a plurality of content elements.
13. Способ по п.9, в котором указание пользовательских взаимодействий содержит запись пользовательских вводов, принятых при отображении интерфейса.13. The method of claim 9, wherein the indication of user interactions comprises a record of user inputs received when the interface is displayed.
14. Система, содержащая:14. System containing:
по меньшей мере один процессор иat least one processor and
память, в которой сохранено множество исполняемых команд, которые при выполнении по меньшей мере одним процессором побуждают систему:a memory that stores a plurality of executable instructions that, when executed by at least one processor, causes the system to:
в фазе обучения системы ранжирования получать множество наборов данных, причём каждый набор данных содержит указание предыдущих пользовательских взаимодействий, связанных с интерфейсом, отображающим ранжированный список элементов содержимого, и для каждого набора данных из множества наборов данных:in the training phase of the ranking system, receive a set of data sets, with each data set containing an indication of previous user interactions associated with an interface that displays a ranked list of content elements, and for each data set of the set of data sets:
определять последний просмотренный элемент содержимого в соответствующем ранжированном списке элементов содержимого, при этом последний просмотренный элемент содержимого был последним элементом содержимого, выбранным пользователем до того, как соответствующий интерфейс был покинут;determine the last viewed content element in the corresponding ranked list of content elements, wherein the last viewed content element was the last content element selected by the user before the corresponding interface was left;
определять посредством сервера оценку выигрыша по меньшей мере для одного элемента содержимого из соответствующего ранжированного списка элементов содержимого, который выбрал пользователь;determine by the server a win score for at least one content item from a corresponding ranked list of content items that the user has selected;
определять оценку проигрыша по меньшей мере для одного элемента содержимого с более низким рангом, чем последний просмотренный элемент содержимого; иdetermine a loss score for at least one content element with a lower ranking than the last viewed content element; and
обучать посредством сервера систему ранжирования прогнозированию оценки релевантности для элементов содержимого на основании оценок выигрышей и оценок проигрышей для элементов содержимого из ранжированного списка элементов содержимого; иto train, by the server, the ranking system to predict the relevance score for the content items based on the win scores and loss scores for the content items from the ranked list of content items; and
во время фазы использования системы ранжирования, причём система ранжирования обучена ранжированию элементов содержимого на основе предыдущих пользовательских взаимодействий:during the usage phase of the ranking system, where the ranking system is trained to rank content elements based on previous user interactions:
принимать посредством сервера набор элементов содержимого;receive by the server a set of content elements;
прогнозировать посредством системы ранжирования прогнозируемую оценку релевантности для каждого элемента содержимого из набора элементов содержимого; иpredict, by means of the ranking system, a predictable relevance score for each content element of the set of content elements; and
определять на основании прогнозируемой оценки релевантности каждого соответствующего элемента содержимого положения в ранжировании каждого элемента содержимого в наборе элементов содержимого.determine, based on the predicted relevance score of each respective content element, a position in the ranking of each content element in the set of content elements.
15. Система по п. 14, в которой команды, которые побуждают систему определять оценку проигрыша по меньшей мере для одного элемента содержимого, содержат команды, которые побуждают систему: 15. The system of claim 14, wherein the instructions that cause the system to determine a loss score for at least one content element comprise instructions that cause the system to:
определять для элемента содержимого, имеющего более низкий ранг, чем последний просмотренный элемент содержимого, количество элементов содержимого, отображаемых между упомянутым элементом содержимого и последним просмотренным элементом содержимого; иdetermine, for a content element having a lower rank than the last viewed content element, the number of content elements displayed between said content element and the last viewed content element; and
определять на основании упомянутого количества элементов содержимого оценку проигрыша для элемента содержимого.determine, based on said number of content items, a loss score for the content item.
16. Система по п. 14, в которой команды, которые побуждают систему определять оценку проигрыша по меньшей мере для одного элемента содержимого, содержат команды, которые побуждают систему: 16. The system of claim 14, wherein the instructions that cause the system to determine a loss score for at least one content element comprise instructions that cause the system to:
определять для первого элемента содержимого, имеющего более низкий ранг, чем последний просмотренный элемент содержимого, первое количество элементов содержимого, отображаемых между первым элементом содержимого и последним просмотренным элементом содержимого;determine for the first content element having a lower rank than the last viewed content element, the first number of content elements displayed between the first content element and the last viewed content element;
определять для второго элемента содержимого, имеющего более низкий ранг, чем последний просмотренный элемент содержимого, второе количество элементов содержимого, отображаемых между вторым элементом содержимого и последним просмотренным элементом содержимого;determine, for a second content element having a lower rank than the last viewed content element, a second number of content elements displayed between the second content element and the last viewed content element;
определять на основании первого количества элементов содержимого первую оценку проигрыша для первого элемента содержимого; иdetermine, based on the first number of content items, a first loss estimate for the first content item; and
определять на основании второго количества элементов содержимого вторую оценку проигрыша для второго элемента содержимого, при этом вторая оценка проигрыша больше, чем первая оценка проигрыша, и при этом второе количество элементов содержимого меньше, чем первое количество содержимого элементы.determine, based on the second number of content items, a second loss score for the second content item, wherein the second loss score is greater than the first loss score, and wherein the second number of content items is less than the first number of content items.
17. Система по п. 14, в которой команды побуждают систему: 17. The system according to claim 14, in which the commands induce the system:
отображать в порядке положений ранжирования вертикально расположенный набор мозаичных элементов, причём каждый мозаичный элемент содержит элемент содержимого из набора элементов содержимого.display, in order of ranking positions, a vertically stacked set of tiles, with each tile containing a content element from the content item set.
18. Система по п. 14, в которой для каждого набора данных каждый элемент содержимого в соответствующем ранжированном списке элементов содержимого отображался соответствующему пользователю.18. The system of claim 14, wherein for each set of data, each content item in the respective ranked list of content items is displayed to a respective user.
19. Система по п. 14, в которой команды побуждают систему удалять для каждого набора данных любые элементы содержимого в соответствующем ранжированном списке элементов содержимого, которые не отображались соответствующему пользователю.19. The system of claim 14, wherein the commands cause the system to remove, for each data set, any content elements in the corresponding ranked list of content elements that were not displayed to the corresponding user.
20. Система по п. 14, в которой команды, которые побуждают систему определять положения ранжирования каждого элемента содержимого, содержат команды, которые побуждают систему ранжировать набор элементов содержимого в порядке от элемента содержимого с самой высокой оценкой до элемента содержимого с самой низкой оценкой.20. The system of claim 14, wherein the instructions that cause the system to determine the ranking positions of each content item comprise instructions that cause the system to rank a set of content items in order from the highest rated content item to the lowest rated content item.