RU2807642C1

RU2807642C1 - Method and device, server and data media for moderating live broadcast

Info

Publication number: RU2807642C1
Application number: RU2023119048A
Authority: RU
Inventors: Июн ЛИ; Чжунь СУНЬ; Цюши ХУАН; Сюэ ЦЗИН; Вэй СЯН
Original assignee: Биго Текнолоджи Пте. Лтд.
Priority date: 2020-12-30
Filing date: 2021-12-27
Publication date: 2023-11-20

Abstract

FIELD: content moderation.

SUBSTANCE: method includes the following steps: performing, using a high-precision verification model and a high-memory verification model that are cascaded, a preliminary violation check in the current live frame from the studio live broadcast to be verified; and if the current live frame has been pre-tested for violation, inputting into the pre-built behaviour verification model a first violation score in the current live frame from the high-precision verification model, a second violation score in the current live frame from the high-retention verification model, and a multidimensional feature of the behaviour in the current live frame from the above studio live stream to obtain a target violation score in the current live frame.

EFFECT: elimination of erroneous rejection or erroneous approval during the live broadcast process.

10 cl, 8 dwg

Description

[1] Согласно настоящей заявке испрашивается приоритет в соответствии с заявкой на выдачу патента Китая №202011613190.6, поданной 30 декабря 2020 г., которая ссылкой полностью включена в настоящий документ. [1] This application claims priority to Chinese Patent Application No. 202011613190.6, filed on December 30, 2020, which is incorporated by reference in its entirety herein.

Область техники, к которой относится настоящее изобретениеField of technology to which the present invention relates

[2] Настоящее раскрытие связано с областью смягчения контента с нарушением в ресурсах интернета, например, связано со способом и устройством для смягчения прямой трансляции, сервером и носителем данных.[2] The present disclosure is related to the field of mitigating disrupted content on Internet resources, such as a method and apparatus for mitigating live broadcasts, a server, and a storage medium.

Предшествующий уровень техники настоящего изобретенияBACKGROUND OF THE INVENTION

[3] В связи с быстрым развитием технологий интернета в интернете появляется все больше платформ прямой трансляции, так что ресурсы интернета распространяются по миру все более и более интенсивно. В то же самое время, контент потокового вещания некоторых студий прямой трансляции включает в себя темы терроризма, насилия, порнографии, политической бестактности и тому подобное, и большое количество контента прямой трансляции с нарушением быстро распространяется по всему интернету. Следовательно, контент прямой трансляции с нарушением необходимо смягчать в режиме реального времени в таких студиях прямой трансляции, чтобы предотвратить распространение контента прямой трансляции с нарушением.[3] Due to the rapid development of Internet technology, more and more live streaming platforms have appeared on the Internet, so that Internet resources are distributed more and more intensively around the world. At the same time, the streaming content of some live broadcast studios includes themes of terrorism, violence, pornography, political faux pas and the like, and a large amount of violative live broadcast content is quickly spreading throughout the Internet. Therefore, infringing live broadcast content needs to be mitigated in real time in such live broadcast studios to prevent the infringing live broadcast content from spreading.

[4] Анализ контента с нарушением выполняется по визуальным признакам прямой трансляции, включенным во множество видеокадров прямой трансляции, и по звуковым признакам звукового сопровождения прямой трансляции в самом процессе прямой трансляции с помощью обученной по отдельным признакам модели нейронной сети, так что если изображения с нарушением присутствуют во множестве видеокадров прямой трансляции или если определено, что звуковое сопровождение, связанное с терроризмом, насилием, порнографией, политической бестактностью и другими подобными темами, присутствует в прямой трансляции, и с помощью модерации обнаружено подозрительное в отношении контента потоковое вещание студии, то оно помещается на платформу ручной модерации для ручного смягчения контента. В этом случае, в процессе извлечения видеокадров и звукового сопровождения потокового вещания в процессе прямой трансляции, возникает проблема неточных результатов извлечения вследствие нестабильности сети прямого вещания. Следовательно, при проверке возможного присутствия контента с нарушением в студии потокового вещания на основании извлеченных видеокадров и звукового сопровождения прямой трансляции не обеспечиваются высокие точность и процент запоминаемости в студии потокового вещания, и часто возникает ошибочное отбрасывание или ошибочное одобрение.[4] Analysis of disrupted content is performed based on the visual features of the live broadcast included in many video frames of the live broadcast, and on the audio features of the live broadcast audio during the live broadcast itself using a neural network model trained on individual features, so that if the images are violated are present in multiple video frames of the live broadcast, or if audio related to terrorism, violence, pornography, political faux pas, and other similar topics is determined to be present in the live broadcast, and moderation is used to detect suspicious content in the studio's live stream, it is placed to a manual moderation platform to manually moderate content. In this case, in the process of extracting video frames and live audio during live broadcasting, the problem of inaccurate extraction results arises due to the instability of the live broadcasting network. Therefore, when checking the possible presence of infringing content in a live streaming studio based on the extracted video frames and audio of the live broadcast, high accuracy and recall percentage in the streaming studio are not achieved, and false rejection or false approval often occurs.

Краткое раскрытие настоящего изобретенияBrief Disclosure of the Present Invention

[5] Согласно варианту осуществления настоящего раскрытия, предложены способ и устройство для модерации прямой трансляции, сервер и носитель данных, которые могут устранить ошибочное отбрасывание или ошибочное одобрение в процессе прямой трансляции и улучшить точность и процент запоминаемости при модерации прямой трансляции.[5] According to an embodiment of the present disclosure, a live broadcast moderation method and apparatus, a server and a storage medium are provided that can eliminate erroneous rejection or erroneous approval in the live broadcast process and improve the accuracy and recall rate of live broadcast moderation.

[6] Предложен способ для модерации прямой трансляции. В способе предусмотрены следующие стадии:[6] A method has been proposed for moderating live broadcasts. The method includes the following stages:

[7] Выполнение предварительной модерации нарушения в текущем кадре прямой трансляции в подлежащем модерации потоковом вещании студии на основании модели модерации высокой точности и модели модерации с высоким запоминанием, которые каскадированы друг с другом; и[7] Performing pre-moderation of the violation in the current live frame in the studio's stream to be moderated based on a high-precision moderation model and a high-memory moderation model that are cascaded with each other; And

[8] получение целевой балльной оценки нарушения в текущем кадре прямой трансляции с помощью ввода первой балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации высокой точности, второй балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации с высоким запоминанием и многомерного признака поведения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации поведения после прохождения текущим кадром прямой трансляции предварительной модерации нарушения; причем проведение предварительной модерации нарушения в текущем кадре прямой трансляции в подлежащем модерации потоковом вещании студии на основании модели модерации высокой точности и модели модерации с высоким запоминанием, которые каскадированы друг с другом, предусматривает следующие стадии: получение первой балльной оценки нарушения в текущем кадре прямой трансляции с помощью ввода текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации высокой точности; и получение второй балльной оценки нарушения в текущем кадре прямой трансляции с помощью непрерывного ввода текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации с высоким запоминанием после определения, что первая балльная оценка нарушения в текущем кадре прямой трансляции не превышает предварительно определенный порог точности нарушения и вторая балльная оценка нарушения в текущем кадре прямой трансляции не превышает предварительно определенный порог запоминания нарушения.[8] Obtaining a target violation score in the current live frame by inputting the first violation score in the current live frame from a high precision moderation model, the second violation score in the current live frame from a high recall moderation model, and a multidimensional behavior trait in the current frame of the live broadcast from the studio streaming broadcast to be moderated into the pre-built behavior moderation model after the current frame of the live broadcast has passed the preliminary moderation of the violation; wherein carrying out preliminary moderation of a violation in the current frame of a live broadcast in a studio streaming broadcast subject to moderation based on a high-precision moderation model and a high-memory moderation model, which are cascaded with each other, involves the following stages: obtaining a first score for the violation in the current frame of a live broadcast with by inputting the current live frame from the studio stream to be moderated into a pre-built high-fidelity moderation model; and obtaining a second violation score in the current live frame by continuously inputting the current live frame from the studio stream to be moderated into the pre-built high-retention moderation model after determining that the first violation score in the current live frame does not exceed the predetermined the violation accuracy threshold and the second violation score in the current live broadcast frame do not exceed a predetermined violation memory threshold.

[9] Дополнительно предложено устройство для модерации прямой трансляции. Устройство включает в себя:[9] Additionally, a device for moderating live broadcasts is proposed. The device includes:

[10] модуль предварительной модерации, выполненный с возможностью проводить предварительную модерацию нарушения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии с помощью модели модерации высокой точности и модели модерации с высоким запоминанием, которые каскадированы друг с другом; и[10] a pre-moderation module configured to pre-moderate a violation in a current live frame from a studio live stream to be moderated using a high-precision moderation model and a high-memory moderation model that are cascaded with each other; And

[11] модуль определения балльной оценки нарушения, выполненный с возможностью получить целевую балльную оценку нарушения в текущем кадре прямой трансляции с помощью ввода первой балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации высокой точности, второй балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации с высоким запоминанием и многомерного признака поведения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации поведения после прохождения текущим кадром прямой трансляции предварительной модерации нарушения; причем модуль (410) предварительной модерации дополнительно выполнен с возможностью получить первую балльную оценку нарушения в текущем кадре прямой трансляции с помощью ввода текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации высокой точности; и получить вторую балльную оценку нарушения в текущем кадре прямой трансляции с помощью непрерывного ввода текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации с высоким запоминанием после определения, что первая балльная оценка нарушения в текущем кадре прямой трансляции не превышает предварительно определенный порог точности нарушения; причем определяется, что текущий кадр прямой трансляции прошел предварительную модерацию нарушения после определения, что первая балльная оценка нарушения в текущем кадре прямой трансляции не превышает предварительно определенный порог точности нарушения и вторая балльная оценка нарушения в текущем кадре прямой трансляции не превышает предварительно определенный порог запоминания нарушения.[11] module for determining the violation score, configured to obtain a target violation score in the current live broadcast frame by entering the first violation score in the current live broadcast frame from the high-precision moderation model, the second violation score in the current live broadcast frame from moderation models with high recall and multi-dimensional attribute of behavior in the current frame of the live broadcast from the studio's streaming broadcast to be moderated into a pre-built model of behavior moderation after the current frame of the live broadcast has passed the pre-moderation violation; wherein the pre-moderation module (410) is further configured to obtain a first violation score in the current live frame by inputting the current live frame from the studio live stream to be moderated into the pre-built high-fidelity moderation model; and obtain a second violation score in the current live frame by continuously inputting the current live frame from the studio stream to be moderated into a pre-built high-retention moderation model after determining that the first violation score in the current live frame does not exceed the predetermined violation accuracy threshold; wherein it is determined that the current live broadcast frame has undergone preliminary violation moderation after determining that the first violation score in the current live broadcast frame does not exceed a predetermined violation accuracy threshold and the second violation score in the current live broadcast frame does not exceed a predetermined violation storage threshold.

[12] Дополнительно предложен сервер для модерации прямой трансляции. Сервер включает в себя:[12] Additionally, a server for moderating live broadcasts is proposed. Server includes:

[13] один или несколько процессоров; и[13] one or more processors; And

[14] память, выполненную с возможностью хранить одну или несколько программ;[14] a memory configured to store one or more programs;

[15] Причем один или несколько процессоров после загрузки и выполнения одной или нескольких программ заставлены выполнять способ для модерации прямой трансляции согласно любому варианту осуществления настоящего раскрытия.[15] Wherein, one or more processors, after downloading and executing one or more programs, are caused to execute a method for moderating the live broadcast according to any embodiment of the present disclosure.

[16] Дополнительно предложен энергонезависимый машиночитаемый носитель данных, на котором хранится программа для компьютера. Причем программа для компьютера, будучи загруженной в процессор и выполняемой им, заставляет процессор выполнять способ для модерации прямой трансляции согласно любому варианту осуществления настоящего раскрытия.[16] Additionally, a non-volatile computer-readable storage medium on which the computer program is stored is proposed. Moreover, the computer program, when downloaded to and executed by the processor, causes the processor to execute a method for moderating a live broadcast according to any embodiment of the present disclosure.

Краткое описание фигурBrief description of the figures

[17] На фиг. 1А показана блок-схема алгоритма способа для модерации прямой трансляции согласно первому варианту осуществления настоящего раскрытия;[17] In FIG. 1A is a flowchart of a method for moderating live broadcast according to the first embodiment of the present disclosure;

[18] На фиг. 1B показана упрощенная схема процесса модерации прямой трансляции согласно первому варианту осуществления настоящего раскрытия;[18] In FIG. 1B is a simplified diagram of a live broadcast moderation process according to the first embodiment of the present disclosure;

[19] На фиг. 2А показана блок-схема алгоритма способа для модерации прямой трансляции согласно второму варианту осуществления настоящего раскрытия;[19] In FIG. 2A is a flowchart of a method for moderating live broadcast according to the second embodiment of the present disclosure;

[20] На фиг. 2В показана упрощенная схема процесса модерации прямой трансляции согласно второму варианту осуществления настоящего раскрытия;[20] In FIG. 2B is a simplified diagram of a live broadcast moderation process according to a second embodiment of the present disclosure;

[21] На фиг. 3А показана блок-схема алгоритма способа для модерации прямой трансляции согласно третьему варианту осуществления настоящего раскрытия;[21] In FIG. 3A is a flowchart of a method for moderating live broadcast according to a third embodiment of the present disclosure;

[22] На фиг. 3В показана упрощенная схема процесса модерации прямой трансляции согласно третьему варианту осуществления настоящего раскрытия;[22] In FIG. 3B is a simplified diagram of a live broadcast moderation process according to a third embodiment of the present disclosure;

[23] На фиг. 4 показана упрощенная блок-схема устройства для модерации прямой трансляции согласно четвертому варианту осуществления настоящего раскрытия; и[23] In FIG. 4 is a simplified block diagram of a live broadcast moderation apparatus according to a fourth embodiment of the present disclosure; And

[24] На фиг. 5 показана упрощенная блок-схема сервера согласно пятому варианту осуществления настоящего раскрытия.[24] In FIG. 5 is a simplified block diagram of a server according to a fifth embodiment of the present disclosure.

Подробное раскрытие настоящего изобретенияDetailed Disclosure of the Present Invention

[25] Настоящее раскрытие подробно описано далее в настоящем документе со ссылками на прилагаемые фигуры и варианты осуществления. Описанные в настоящем документе варианты осуществления приведены только с целью объяснения настоящего раскрытия и не предназначены для ограничения настоящего раскрытия. Для упрощения описания на прилагаемых фигурах показаны только части, существенные для настоящего раскрытия, а не все части. Кроме того, варианты осуществления и признаки в вариантах осуществления настоящего раскрытия можно комбинировать друг с другом без какого-либо конфликта.[25] The present disclosure is described in detail hereinafter with reference to the accompanying figures and embodiments. The embodiments described herein are provided for the purpose of explaining the present disclosure only and are not intended to limit the present disclosure. To simplify the description, the accompanying figures show only parts essential to the present disclosure and not all parts. Moreover, the embodiments and features in the embodiments of the present disclosure can be combined with each other without any conflict.

[26] Первый вариант осуществления[26] First embodiment

[27] На фиг. 1А показана блок-схема алгоритма способа для модерации прямой трансляции согласно первому варианту осуществления настоящего раскрытия. Этот вариант осуществления применим для модерации нарушения на экранах прямой трансляции в любой студии потокового вещания. Согласно этому варианту осуществления, способ модерации прямой трансляции выполняется с помощью устройства для модерации прямой трансляции согласно вариантам осуществления настоящего раскрытия. Устройство реализовано с помощью программных и/или аппаратных средств и встроено в сервер для выполнения этого способа. Сервер является внутренним сервером, обладающим возможностью модерации видеоданных.[27] In FIG. 1A is a flowchart of a method for moderating live broadcast according to the first embodiment of the present disclosure. This embodiment is applicable to moderating disruption on live screens in any live streaming studio. According to this embodiment, the live broadcast moderation method is performed by a live broadcast moderation device according to embodiments of the present disclosure. The device is implemented using software and/or hardware and is integrated into a server for performing this method. The server is an internal server that has the ability to moderate video data.

[28] Как показано на фиг. 1А, в способе предусмотрены следующие стадии.[28] As shown in FIG. 1A, the method includes the following steps.

[29] На стадии S110 выполняется предварительная модерация нарушения в текущем кадре прямой трансляции в подлежащем модерации потоковом вещании студии на основании модели модерации высокой точности и модели модерации с высоким запоминанием, которые каскадированы друг с другом.[29] In step S110, pre-moderation of the violation in the current live frame in the studio live stream to be moderated is performed based on the high-precision moderation model and the high-memory moderation model, which are cascaded with each other.

[30] Поскольку самые разные аудитории типично принимают участие в студии потокового вещания, в случае, когда контент некоторых студий прямой трансляции включает в себя или намекает на опасные темы, например, на терроризм, насилие, порнографию или политическую бестактность, контент с нарушением быстро распространяется по всему интернету. Следовательно, для предотвращения нежелательного воздействия контента с нарушением на жизнь пользователя, факт присутствия контента с нарушением необходимо проверять в режиме реального времени в процессе прямой трансляции.[30] Because a wide variety of audiences typically participate in live studios, when some live studios' content includes or hints at dangerous topics such as terrorism, violence, pornography, or political insensitivity, offending content quickly spreads all over the Internet. Therefore, to prevent infringing content from having an unwanted impact on the user's life, the presence of infringing content must be verified in real time during the live broadcast.

[31] Согласно варианту осуществления, весь процесс модерации прямой трансляции разделяется на предварительную модерацию нарушения и вторичную модерацию нарушения для обеспечения полноты реализации модерации нарушения в прямой трансляции. В этом случае, в процессе предварительной модерации нарушения, очевидные сцены нарушения в прямой трансляции, которые легко опознаются, могут быть быстро обнаружены с помощью модерации. Во вторичном процессе модерации нарушения используется более строгая модерация нарушения по сравнению с предварительной модерацией нарушения для повторного выполнения модерации нарушения в кадре прямой трансляции, который может содержать контент нарушения, который нельзя точно определить в процессе предварительной модерации нарушения, что позволяет устранить проблемы ошибочного отбрасывания и ошибочного одобрения при модерации прямой трансляции, при этом также обеспечивается более полная модерация нарушения в текущем кадре прямой трансляции в подлежащем модерации потоковом вещании студии.[31] According to an embodiment, the entire live broadcast moderation process is divided into pre-violation moderation and secondary violation moderation to ensure complete implementation of violation moderation in the live broadcast. In this case, during the violation pre-moderation process, obvious scenes of violation in the live broadcast that are easily identified can be quickly detected through moderation. The secondary violation moderation process uses stronger violation moderation than pre-violation moderation to re-perform violation moderation on a live frame that may contain violation content that cannot be accurately determined by the pre-violation moderation process, eliminating the problems of false discards and false approval when moderating a live broadcast, while also providing more complete moderation of the violation in the current frame of the live broadcast in the studio's moderated stream.

[32] Согласно варианту осуществления, две нейронные модели, а именно, модель модерации высокой точности и модель модерации с высоким запоминанием, предварительно построены в процессе предварительной модерации нарушения. Модель модерации высокой точности имеет возможности модерации нарушения с высокой точностью. В случае, когда модерации нарушения выполняется в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии с помощью модели модерации высокой точности, обнаруженный кадр с нарушением прямой трансляции с очень большой вероятностью содержит нарушение, так что устраняется проблема ошибочного отбрасывания при модерации нарушения. Модель модерации с высоким запоминанием имеет возможности модерации нарушения с высоким запоминанием. В случае, когда модерации нарушения выполняется в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии с помощью модели модерации с высоким запоминанием, контент нарушения в текущем кадре прямой трансляции может быть обнаружен, даже если текущий кадр прямой трансляции содержит очень малый контент нарушения, так что можно снизить проблему ошибочного одобрения при модерации нарушения.[32] According to an embodiment, two neural models, namely, a high precision moderation model and a high recall moderation model, are pre-built in a violation pre-moderation process. The high-fidelity moderation model has the ability to moderate violations with high precision. In the case where violation moderation is performed on the current live frame from a studio's live stream to be moderated using a high-fidelity moderation model, the detected violation frame of the live broadcast is very likely to contain the violation, so that the problem of erroneously discarding violation moderation is eliminated. The high-retention moderation model has the capabilities of moderating a high-retention violation. In the case where violation moderation is performed on the current live frame from a studio live stream to be moderated using a high-memory moderation model, the violation content in the current live frame can be detected even if the current live frame contains very little violation content, so that the problem of erroneous approval can be reduced when moderating a violation.

[33] Согласно варианту осуществления, набор тренировочных выборок предварительно построен при обучении модели модерации высокой точности и модели модерации с высоким запоминанием. Набор тренировочных выборок содержит архивные кадры прямой трансляции в архиве видеороликов прямой трансляции для различных типов студий потокового вещания. На основании степени реального нарушения в каждом архивным кадре прямой трансляции и трудности точной модерации нарушения, тренировочные выборки в наборе тренировочных выборок разделены на четыре типа: простые позитивные выборки, простые негативные выборки, трудные позитивные выборки и трудные негативные выборки. Простые позитивные выборки и простые негативные выборки соответственно означают позитивные выборки и негативные выборки, которые просто распознаются на предмет нарушения этими моделями, а трудные позитивные выборки и трудные негативные выборки соответственно означают позитивные выборки и негативные выборки, которые с трудом распознаются на предмет нарушения этими моделями. Таким образом, поскольку модель модерации высокой точности имеет относительно высокие требования к точности модерации нарушения, тренировочные выборки для модели модерации высокой точности содержат простые позитивные выборки и простые негативные выборки в наборе тренировочных выборок, и параметры модели, структура сети и тому подобное модели модерации высокой точностью непрерывно оптимизируются при проверке, содержится ли контент с нарушением в простых позитивных выборках и в простых негативных выборках. Поскольку модель модерации с высоким запоминанием имеет относительно высокие требования к свойству запоминания модерации нарушения, тренировочные выборки для модели модерации с высоким запоминанием содержат трудные позитивные выборки и трудные негативные выборки в наборе тренировочных выборок, и обучение модерации выполняется на основе тренировочных выборок, которые с трудом проверяются на наличие нарушения, так что модель модерации с высоким запоминанием может также проверять и обнаруживать кадры с нарушением в прямой трансляции, которые с трудом находятся при модерации, и при этом обеспечивается свойства высокого запоминания для модерации нарушения с помощью модели модерации с высоким запоминанием.[33] According to an embodiment, a set of training samples is pre-built by training a high precision moderation model and a high recall moderation model. The training set contains archived live broadcast footage in the archive of live broadcast videos for various types of streaming studios. Based on the degree of actual violation in each archived live frame and the difficulty of accurately moderating the violation, the training samples in the training set are divided into four types: easy positive samples, easy negative samples, difficult positive samples, and difficult negative samples. Easy positive samples and easy negative samples respectively mean positive samples and negative samples that are easily recognized for violation by these models, and difficult positive samples and difficult negative samples respectively mean positive samples and negative samples that are difficult to recognize for violation by these models. Therefore, since the high-fidelity moderation model has relatively high requirements for violation moderation accuracy, the training samples for the high-fidelity moderation model contain simple positive samples and simple negative samples in the training sample set, and the model parameters, network structure and the like of the high-fidelity moderation model are continuously optimized by checking whether the offending content is contained in simple positive samples and simple negative samples. Because the high-memory moderation model has relatively high requirements for the violation moderation memory property, the training samples for the high-memory moderation model contain hard positive samples and hard negative samples in the training set, and moderation training is performed based on the training samples, which are difficult to test. for the presence of a violation, so that the high-memory moderation model can also check and detect the violation frames in the live broadcast that are difficult to moderate, while providing high-memory properties for moderating the violation by the high-memory moderation model.

[34] Между тем, поскольку модель модерации высокой точности обучается только для точности модерации нарушения и приводит к серьезным ошибочным одобрениям при модерации нарушения, а модель модерации с высоким запоминанием обладает возможностью высокого запоминания модерации нарушения и вызывает ошибочное одобрение при модерации нарушения в максимально возможной степени, модель модерации высокой точности каскадируется с моделью модерации с высоким запоминанием для обеспечения свойств высокой точности и высокого запоминания при предварительной модерации нарушения согласно варианту осуществления. Как показано на фиг. 1В, модель модерации высокой точности сначала используется для выполнения предварительной модерации нарушения в каждом текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии, а модель модерации с высоким запоминанием непрерывно выполняет модерацию нарушения в текущих кадрах прямой трансляции, в которых не было обнаружено нарушения моделью модерации высокой точности, так что двухслойные каскадированные модели модерации используются для выполнения модерации нарушения для завершения процесса предварительной модерации нарушения согласно варианту осуществления, и при этом обеспечиваются свойства высокой точности и высокого запоминания предварительной модерации нарушения.[34] Meanwhile, because the high precision moderation model only trains for violation moderation accuracy and causes serious false approvals when violating moderation, and the high recall moderation model has the ability to highly remember violation moderation and causes false approval when violating moderation to the maximum extent possible , the high-fidelity moderation model is cascaded with the high-retention moderation model to provide high-precision and high-retention properties in pre-moderating a violation according to an embodiment. As shown in FIG. 1B, the high-precision moderation model is first used to perform violation pre-moderation on each current live frame from the studio live stream to be moderated, and the high-retention moderation model continuously performs violation moderation on the current live frames in which no violation has been detected by the moderation model. high accuracy, such that two-layer cascaded moderation models are used to perform violation moderation to complete the violation pre-moderation process according to the embodiment, and thereby achieve the properties of high accuracy and high memory of violation pre-moderation.

[35] В процессе прямой трансляции видео из подлежащего модерации потокового вещания студии, изображение прямой трансляции захватывается из подлежащего модерации потокового вещания студии через заранее определенный интервал времени (например, через каждые 2 сек) и это изображение определяется в качестве текущего кадра прямой трансляции согласно варианту осуществления, и текущий кадр прямой трансляции вводится в модель модерации высокой точности в каскадной двухслойной сети. Модель модерации высокой точности определяет, присутствует ли контент нарушения в текущем кадре прямой трансляции. В случае, когда текущий кадр прямой трансляции проходит через модерацию нарушения в модели модерации высокой точности, модель модерации высокой точности определяет, что никакого контента нарушения не присутствует в текущем кадре прямой трансляции. Поскольку модель модерации высокой точности вызывает неправильное одобрение при модерации нарушения, текущий кадр прямой трансляции необходимо затем ввести в модель модерации с высоким запоминанием в каскадной двухслойной сети, и модель модерации с высоким запоминанием продолжает определять, присутствует ли контент нарушения в текущем кадре прямой трансляции, так что завершается предварительная модерацию нарушения, выполняемая в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии.[35] In the process of live video broadcast from a studio's moderated live stream, a live broadcast image is captured from the studio's moderated stream at a predetermined time interval (for example, every 2 seconds) and this image is determined as the current frame of the live broadcast according to the option implementation, and the current live frame is input into a high-fidelity moderation model in a cascaded two-layer network. A high-fidelity moderation model determines whether infringing content is present in the current frame of a live broadcast. In the case where the current live frame passes through violation moderation in the high-fidelity moderation model, the high-fidelity moderation model determines that no violation content is present in the current live frame. Because the high-precision moderation model causes incorrect approval when moderating a violation, the current live broadcast frame must then be input into the high-memory moderation model in the cascaded two-layer network, and the high-retention moderation model continues to determine whether the violation content is present in the current live broadcast frame, so that pre-moderation of the violation is completed on the current live frame from the studio's stream to be moderated.

[36] В этом случае модель модерации с высоким запоминанием обладает двумя результатами модерации нарушения в текущем кадре прямой трансляции. 1) В случае, когда текущий кадр прямой трансляции не проходит через модерацию нарушения в модели модерации с высоким запоминанием, модель модерации с высоким запоминанием может определить, что контент нарушения присутствует в текущем кадре прямой трансляции и непосредственно подтвердить, что текущий кадр прямой трансляции из подлежащего модерации потокового вещания студии является кадром с нарушением. 2) В случае, когда текущий кадр прямой трансляции проходит через модерацию нарушения в модели модерации с высоким запоминанием, модель модерации с высоким запоминанием определяет, что никакого контента нарушения не присутствует в текущем кадре прямой трансляции, и предварительно построенную модель модерации поведения необходимо впоследствии использовать для непрерывного выполнения модерации нарушения в текущем кадре прямой трансляции.[36] In this case, the high-memory moderation model has two results for moderating the violation in the current frame of the live broadcast. 1) In the case that the current live broadcast frame does not pass through violation moderation in the high-memory moderation model, the high-memory moderation model can determine that the violation content is present in the current live broadcast frame and directly confirm that the current live broadcast frame is from the subject studio streaming moderation is a frame violation. 2) In the case where the current live frame passes through violation moderation in the high-memory moderation model, the high-memory moderation model determines that no violation content is present in the current live frame, and the pre-built behavior moderation model must subsequently be used to continuously performing violation moderation in the current live broadcast frame.

[37] На стадии S120 целевая балльная оценка нарушения в текущем кадре прямой трансляции получается с помощью ввода первой балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации высокой точности, второй балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации с высоким запоминанием и многомерного признака поведения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации поведения после прохождения текущим кадром прямой трансляции предварительной модерации нарушения.[37] In step S120, the target violation score in the current live broadcast frame is obtained by inputting the first violation score in the current live broadcast frame from the high precision moderation model, the second violation score in the current live broadcast frame from the high memorization moderation model, and multidimensional sign of behavior in the current frame of the live broadcast from the studio's streaming broadcast subject to moderation into a pre-built model of behavior moderation after the current frame of the live broadcast has passed the preliminary moderation of the violation.

[38] Согласно некоторым вариантам осуществления, в случае, когда текущий кадр прямой трансляции из подлежащего модерации потокового вещания студии проходит через модерацию нарушения в модели модерации высокой точности и в модели модерации с высоким запоминанием, текущий кадр прямой трансляции прошел предварительную модерацию нарушения, и необходимо выполнить вторичную модерацию нарушения, чтобы обеспечить точность и полноту реализации модерации нарушения.[38] According to some embodiments, in the case where the current live frame from a studio live stream to be moderated goes through violation moderation in the high precision moderation model and in the high recall moderation model, the current live frame has been pre-moderated by the violation, and it is necessary perform secondary moderation of the violation to ensure the accuracy and completeness of the violation moderation implementation.

[39] При выполнении предварительной модерации нарушения в текущем кадре прямой трансляции с помощью модели модерации высокой точности и модели модерации с высоким запоминанием, которые каскадированы друг с другом, анализ нарушения обычно выполняется по информации визуального изображения прямой трансляции в текущем кадре прямой трансляции. В этом случае модель модерации высокой точности выдает первую балльную оценку нарушения в текущем кадре прямой трансляции, а модель модерации с высоким запоминанием выдает вторую балльную оценку нарушения в текущем кадре прямой трансляции. Обе первая балльная оценка нарушения и вторая балльная оценка нарушения могут представлять признаки визуального изображения в текущем кадре прямой трансляции.[39] When performing pre-moderation of a violation in the current live broadcast frame using a high-precision moderation model and a high-memory moderation model that are cascaded with each other, the violation analysis is usually performed according to the visual image information of the live broadcast in the current live broadcast frame. In this case, the high precision moderation model produces the first violation score in the current live frame, and the high recall moderation model produces the second violation score in the current live frame. Both the first violation score and the second violation score may represent features of a visual image in the current frame of the live broadcast.

[40] Однако контент прямой трансляции в студии потокового вещания является разнообразным, и служба потокового вещания взаимодействует с аудиторией в студии потокового вещания по поводу контента прямой трансляции, например, поощряя потоковое вещание, комментируя его на общедоступном экране, и показывая архив нарушений службы потокового вещания, так что поведение и взаимодействие в студии потокового вещания можно также использовать в качестве образца для определения, присутствует ли контент нарушения в текущем кадре прямой трансляции. Следовательно, согласно вариантам осуществления, после прохождения текущего кадра прямой трансляции через процесс предварительной модерации нарушения, при выполнении вторичной модерации нарушения в текущем кадре прямой трансляции, многомерный признак поведения текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии определяется с помощью анализа множества поведений взаимодействия при прямой трансляции службы потокового вещания и аудитории в студии, потоковое вещание из которой подлежит модерации, непосредственно во время прямой трансляции текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии в дополнение к рассмотрению признаков визуального изображения, представленных первой балльной оценкой нарушения в текущем кадре прямой трансляции из модели модерации высокой точности и второй балльной оценкой нарушения в текущем кадре прямой трансляции из модели модерации с высоким запоминанием. Как показано на фиг. 1В, признаки визуального изображения, представленные первой балльной оценкой нарушения и второй балльной оценкой нарушения в текущем кадре прямой трансляции и многомерным признаком поведения, определенным по множеству поведений взаимодействия при прямой трансляции из подлежащего модерации потокового вещания студии, объединяются вместе и совместно вводятся в предварительно построенную модель модерации поведения. Модель модерации поведения может выполнить анализ методом слияния признаков визуального изображения, представленных первой балльной оценкой нарушения и второй балльной оценкой нарушения и многомерным признаком поведения, определенным по множеству поведений взаимодействия при прямой трансляции из подлежащего модерации потокового вещания студии для единообразного определения, присутствует ли контент нарушения в текущем кадре прямой трансляции, так что выводится целевая балльная оценка нарушения в текущем кадре прямой трансляции. В этом случае вторичная модерация нарушения выполняется по целевой балльной оценке нарушения, основанной на многофакторном анализе признаков методом слияния для признаков визуального изображения и многомерного признака поведения без использования дополнительного устройства модерации, так что снижаются затраты на модерацию нарушения потокового вещания студии и обеспечиваются свойства точности и запоминания.[40] However, live content in a streaming studio is varied, and the streaming service interacts with the audience in the streaming studio about the live content, such as by encouraging streaming, commenting on it on a public screen, and showing an archive of violations of the streaming service , so behavior and interaction in a live broadcast studio can also be used as a template to determine whether offending content is present in the current frame of a live broadcast. Therefore, according to embodiments, after passing the current live frame through the pre-violation moderation process, when performing secondary moderation of the violation in the current live frame, a multi-dimensional feature of the behavior of the current live frame from the studio live stream to be moderated is determined by analyzing a plurality of interaction behaviors at live broadcast of the live streaming service and the audience in the studio from which the stream is subject to moderation, directly during the live broadcast of the current frame of the live broadcast from the studio's stream subject to moderation, in addition to consideration of the visual image cues represented by the first violation score in the current frame of the live broadcast from the high precision moderation model and a second violation score in the current live frame from the high recall moderation model. As shown in FIG. 1B, the visual image features represented by the first violation score and the second violation score in the current live frame and the multi-dimensional behavior feature determined from a plurality of live interaction behaviors from the studio live stream to be moderated are combined together and jointly input into the pre-built model. behavior moderation. The behavior moderation model may perform a fusion analysis of the visual image features represented by the first violation score and the second violation score and the multidimensional behavioral feature determined from multiple live interaction behaviors from a studio live stream to be moderated to uniformly determine whether violation content is present in the current live frame, so that the target violation score in the current live frame is output. In this case, secondary violation moderation is performed on a target violation score based on multivariate fusion feature analysis for visual image features and multidimensional behavioral feature without using an additional moderation device, so that the studio streaming violation moderation costs are reduced and accuracy and memory properties are ensured .

[41] Согласно техническим решениям, предложенным в варианте осуществления, предварительная модерации нарушения выполняется в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии с помощью каскадированных модели модерации высокой точности и модели модерации с высоким запоминанием, так что кадр с нарушением прямой трансляции, который легко различается и имеет очевидное нарушение, быстро обнаруживается и смягчается. В случае текущего кадра прямой трансляции, который прошел через процесс предварительной модерации нарушения, и его сложно различить или он содержит неочевидное нарушение, для текущего кадра прямой трансляции снова выполняется единообразный анализ признаков, объединяющий признаки визуального изображения и признаки поведения с помощью модели модерации поведения, основанной на первой балльной оценке нарушения в текущем кадре прямой трансляции согласно результатам модели модерации высокой точности и второй балльной оценке нарушения в текущем кадре прямой трансляции согласно результатам модели модерации с высоким запоминанием и в совокупности с многомерным признаком поведения текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии, так что получается целевая балльная оценка нарушения в текущем кадре прямой трансляции, и достигается полнота реализации модерации нарушения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии. Устраняются проблемы ошибочного отбрасывания и ошибочного одобрения при модерации прямой трансляции, и точность и процент запоминания при модерации прямой трансляции улучшаются совместно со снижением расходов на модерацию нарушения.[41] According to the technical solutions proposed in the embodiment, pre-violation moderation is performed on the current live broadcast frame from the studio live broadcast to be moderated by cascaded high-precision moderation model and high-memory moderation model, so that the frame with violation of the live broadcast that easily distinguished and has an obvious violation, quickly detected and mitigated. In the case of the current live frame that has gone through the violation pre-moderation process and is difficult to distinguish or contains a non-obvious violation, uniform feature analysis is again performed on the current live frame, combining visual features and behavioral features using the behavior moderation model based on the first violation score in the current live frame according to the results of a high-precision moderation model and the second violation score in the current live frame according to the results of a high-memory moderation model and in conjunction with a multi-dimensional behavior indicator of the current live frame from the studio streaming subject to moderation , so that the target violation score in the current live broadcast frame is obtained, and the completeness of the implementation of violation moderation in the current live broadcast frame from the studio live broadcast to be moderated is achieved. The problems of false rejection and false approval in live broadcast moderation are eliminated, and the accuracy and retention rate in live broadcast moderation are improved along with the reduction in violation moderation costs.

[42] Второй вариант осуществления[42] Second embodiment

[43] На фиг. 2А показана блок-схема алгоритма способа для модерации прямой трансляции согласно второму варианту осуществления настоящего раскрытия и на фиг. 2В показана упрощенная схема процесса модерации прямой трансляции согласно второму варианту осуществления настоящего раскрытия. Этот вариант осуществления объясняется на основе описанного выше варианта осуществления. Как показано на фиг. 2А, в этом варианте осуществления объясняются вторичный процесс модерации нарушения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии и процесс построения модели модерации поведения.[43] In FIG. 2A is a flowchart of a method for moderating live broadcast according to the second embodiment of the present disclosure, and FIG. 2B is a simplified diagram of a live broadcast moderation process according to a second embodiment of the present disclosure. This embodiment is explained based on the above-described embodiment. As shown in FIG. 2A, this embodiment explains the secondary violation moderation process in the current live frame from the studio live stream to be moderated and the behavior moderation model construction process.

[44] Согласно некоторым вариантам осуществления, как показано на фиг. 2А, в варианте осуществления предусмотрены следующие стадии.[44] According to some embodiments, as shown in FIG. 2A, in the embodiment, the following steps are provided.

[45] На стадии S210 выполняется предварительная модерация нарушения в текущем кадре прямой трансляции в подлежащем модерации потоковом вещании студии на основании модели модерации высокой точности и модели модерации с высоким запоминанием, которые каскадированы друг с другом.[45] In step S210, pre-moderation of the violation in the current live frame in the studio live stream to be moderated is performed based on the high-precision moderation model and the high-memory moderation model, which are cascaded with each other.

[46] На стадии S220 признак поведения прямой трансляции текущего кадра прямой трансляции получается с помощью комбинирования первой балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации высокой точности, второй балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации с высоким запоминанием и многомерного признака поведения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии после прохождения текущим кадром прямой трансляции предварительной модерации нарушения.[46] In step S220, the live broadcast behavior feature of the current live broadcast frame is obtained by combining the first violation score in the current live broadcast frame from the high-precision moderation model, the second violation score in the current live broadcast frame from the high-memory moderation model, and the multivariate a sign of behavior in the current frame of a live broadcast from a studio streaming broadcast subject to moderation after the current frame of a live broadcast has undergone preliminary moderation of the violation.

[47] Согласно некоторым вариантам осуществления, в случае, когда текущий кадр прямой трансляции проходит через предварительную модерацию нарушения, обе модели, модель модерации высокой точности и модель модерации с высоким запоминанием, определяют, что никакого контента нарушения не присутствует в текущем кадре прямой трансляции. Следовательно, вторичная модерация нарушения выполняется для текущего кадра прямой трансляция на основании признаков визуального изображения текущего кадра прямой трансляции и признаков поведения текущего кадра прямой трансляции, чтобы обеспечить точность модерации прямой трансляции и избежать ошибочного одобрения при модерации нарушения. В этом случае определяются первая балльная оценка нарушения в текущем кадре прямой трансляции с помощью модели модерации высокой точности и вторая балльная оценка нарушения в текущем кадре прямой трансляции с помощью модели модерации с высоким запоминанием. Первая балльная оценка нарушения и вторая балльная оценка нарушения определяются как признаки визуального изображения, соответствующего текущему кадру прямой трансляции. В то же самое время многомерный признак поведения текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии определяется на основании множества поведений взаимодействия при прямой трансляции подлежащего модерации потокового вещания студии во время прямой трансляции текущего кадра прямой трансляции. Признак поведения при прямой трансляции текущего кадра прямой трансляции получается с помощью комбинирования первой балльной оценки нарушения, второй балльной оценки нарушения и многомерного признака поведения, и он определяется как многофакторный признак в методе слияния во время вторичной модерации нарушения. Признак поведения при прямой трансляции впоследствии используется для определения, присутствует ли контент нарушения в текущем кадре прямой трансляции, так что можно обеспечить полноту реализации и точность модерации нарушения при прямой трансляции.[47] According to some embodiments, in the case where the current live frame goes through pre-violation moderation, both the high precision moderation model and the high recall moderation model determine that no violation content is present in the current live frame. Therefore, secondary violation moderation is performed on the current live broadcast frame based on the visual image features of the current live broadcast frame and the behavioral features of the current live broadcast frame to ensure the accuracy of live broadcast moderation and avoid erroneous approval in violation moderation. In this case, the first violation score in the current live frame is determined using a high precision moderation model, and the second violation score in the current live frame is determined using a high recall moderation model. The first violation score and the second violation score are determined as features of the visual image corresponding to the current frame of the live broadcast. At the same time, a multi-dimensional feature of the behavior of the current live frame from the studio streaming to be moderated is determined based on a plurality of live interaction behaviors of the studio streaming to be moderated during the live broadcast of the current live frame. The live broadcast behavior feature of the current live broadcast frame is obtained by combining the first violation score, the second violation score, and the multi-dimensional behavior feature, and it is determined as a multi-dimensional feature in the fusion method during the secondary violation moderation. The live broadcast behavior sign is subsequently used to determine whether violation content is present in the current live broadcast frame, so that the implementation completeness and moderation accuracy of the live broadcast violation can be ensured.

[48] Например, параметр поведения при прямой трансляции согласно варианту осуществления обозначается как X=(x1, х2, …, x11). Здесь x1 обозначает первую балльную оценку нарушения в текущем кадре прямой трансляции, полученную моделью модерации высокой точности, х2 обозначает вторую балльную оценку нарушения в текущем кадре прямой трансляции, полученную моделью модерации с высоким запоминанием, х3 обозначает число человек в аудитории в реальном времени при подлежащем модерации потоковом вещании студии в многомерном признаке поведения, х4 обозначает число комментариев, опубликованных пользователями на общедоступном экране при подлежащем модерации потоковом вещании студии, в многомерном признаке поведения, х5 обозначает число комментариев о нарушении на общедоступном экране при подлежащем модерации потоковом вещании студии в многомерном признаке поведения, х6 обозначает процентное отношение числа комментариев о насилии на общедоступном экране ко всем комментариям на общедоступном экране при подлежащем модерации потоковом вещании студии в многомерном признаке поведения, х7 обозначает число поощрений прямой трансляции при подлежащем модерации потоковом вещании студии в многомерном признаке поведения, х8 обозначает число архивных нарушений службы потокового вещания при подлежащем модерации потоковом вещании студии в многомерном признаке поведения, х9 обозначает процентное отношение архивных нарушений службы потокового вещания при подлежащем модерации потоковом вещании студии в многомерном признаке поведения, х10 обозначает число архивных голосовых нарушений службы потокового вещания при подлежащем модерации потоковом вещании студии в многомерном признаке поведения и x11 обозначает процентное отношение архивных голосовых нарушений службы потокового вещания при подлежащем модерации потоковом вещании студии в многомерном признаке поведения.[48] For example, the live broadcast behavior parameter according to the embodiment is denoted as X=(x1, x2, ..., x11). Here, x1 denotes the first violation score in the current live frame obtained by the high precision moderation model, x2 denotes the second violation score in the current live frame obtained by the high recall moderation model, x3 denotes the number of people in the real-time audience to be moderated studio streaming in the multi-dimensional behavior trait, x4 denotes the number of comments posted by users on the public screen in the moderated studio streaming in the multi-dimensional behavior trait, x5 denotes the number of violation comments on the public screen in the moderated studio streaming in the multi-dimensional behavior trait, x6 denotes the percentage of the number of violent comments on a public screen to all comments on a public screen in a moderated studio stream in the multivariate behavior trait, x7 denotes the number of live stream encouragements in a moderated studio stream in the multivariate behavior trait, x8 denotes the number of archived violations streaming services on moderated studio streaming in the multivariate behavior trait, x9 denotes the percentage of archived streaming service violations on moderated studio streaming in the multidimensional behavior trait, x10 denotes the number of archived voice violations of streaming service on moderated studio streaming in multidimensional behavior trait and x11 denotes the percentage of archived voice violations of the streaming service in a moderated studio stream in the multidimensional behavior trait.

[49] Многомерный признак поведения, согласно варианту осуществления, динамически настраивается для обеспечения точности модерации нарушения при прямой трансляции, это никак не ограничивается в настоящем раскрытии.[49] The multi-dimensional behavior attribute, according to an embodiment, is dynamically adjusted to ensure the accuracy of moderation of the violation during live broadcasting, this is not limited in any way in the present disclosure.

[50] На стадии S230 целевая балльная оценка нарушения в текущем кадре прямой трансляции получается с помощью ввода признака поведения прямой трансляции в модель модерации поведения.[50] In step S230, the target violation score in the current live broadcast frame is obtained by inputting the live broadcast behavior attribute into the behavior moderation model.

[51] Согласно некоторым вариантом осуществления, после получения признака поведения прямой трансляции, признак поведения при прямой трансляции определяется как многофакторный признак нарушения в методе слияния, и он вводится в предварительно построенную модель модерации поведения. Анализ по методу слияния выполняется по значению признака для каждой размерности признака поведения при прямой трансляции с помощью модели модерации поведения для определения, присутствует ли в информации контент нарушения, выводится целевая балльная оценка нарушения в текущем кадре прямой трансляции, и затем на основании целевой балльной оценки нарушения определяется, присутствует ли контент нарушения в текущем кадре прямой трансляции, так что улучшается точность модерации прямой трансляции.[51] According to some embodiments, after obtaining the live broadcast behavior feature, the live broadcast behavior feature is determined as a multi-factor violation feature in the fusion method, and it is input into a pre-built behavior moderation model. Fusion analysis is performed on the feature value for each dimension of the live broadcast behavior feature, using the behavior moderation model to determine whether there is violation content in the information, outputting the target violation score in the current live broadcast frame, and then based on the target violation score it is determined whether the violation content is present in the current frame of the live broadcast, so that the moderation accuracy of the live broadcast is improved.

[52] Например, согласно варианту осуществления, построение модели модерации поведения проводится с помощью: извлечения соответствующего архивного кадра прямой трансляции из каждого архивного видео прямой трансляции в набор архивных видео прямой трансляции и определения многомерного архивного признака поведения для каждого архивного кадра прямой трансляции из студии прямого вещания, в которой расположен каждый архивный кадр прямой трансляции и метка нарушения для архивного кадра прямой трансляции; получения архивной балльной оценки нарушения архивного кадра прямой трансляции с помощью ввода первой архивной балльной оценки нарушения архивного кадра прямой трансляции в модель модерации высокой точности, второй архивной балльной оценки нарушения архивного кадра прямой трансляции в модель модерации с высоким запоминанием, и многомерного архивного признака поведения архивного кадра прямой трансляции из студии потокового вещания в заранее построенную модель модерации поведения для каждого архивного кадра прямой трансляции; и непрерывной оптимизации модели модерации поведения для минимизации разницы между архивной балльной оценкой нарушения и меткой нарушения для каждого архивного кадра прямой трансляции.[52] For example, according to an embodiment, building a behavioral moderation model is accomplished by: extracting the corresponding archived live frame from each archived live video into a set of archived live videos, and determining a multi-dimensional archived behavior feature for each archived live frame from the live studio broadcast, in which each archived frame of the live broadcast and a violation mark for the archived frame of the live broadcast are located; obtaining an archived archived live frame violation score by inputting a first archived live archived frame violation score into a high-precision moderation model, a second archived live archived frame violation score into a high-recall moderation model, and a multi-dimensional archived archived frame behavior feature live broadcast from the live broadcast studio into a pre-built behavior moderation model for each archived frame of the live broadcast; and continuously optimizing the behavior moderation model to minimize the difference between the archived violation score and the violation label for each archived live frame.

[53] Построение набора архивных видео прямой трансляции для построения модели проводится с помощью поиска архивных видео прямой трансляции во множестве студий потокового вещания. Поскольку модерации нарушения в основном выполняется по кадрам прямой трансляции в процессе прямой трансляции во время модерации нарушения в студиях потокового вещания, необходимо выполнить извлечение видеокадра из каждого архивного видео прямой трансляции в наборе архивных видео прямой трансляции. Например, архивное изображение прямой трансляции захватывается из каждого архивного видео через каждый заранее определенный интервал времени, и оно определяется в качестве архивного кадра прямой трансляции, извлеченного из архивного видео прямой трансляции. В этом случае все извлеченные архивные кадры прямой трансляции образуют выборки построения модели для модели модерации поведения.[53] Constructing a set of archived live videos to build the model is done by searching archived live videos from a variety of streaming studios. Since violation moderation is primarily performed on live frames during the live broadcast process, during violation moderation in live streaming studios, it is necessary to perform video frame extraction from each archived live video in a set of archived live videos. For example, a live archive image is captured from each archive video at every predetermined time interval, and it is defined as a live archive frame extracted from the live archive video. In this case, all extracted archived live broadcast frames form model building samples for the behavior moderation model.

[54] В этом случае для успешного построения модели модерации поведения необходимо настроить множество признаков построения модели для использования в качестве образца в процессе построения модели и для достижения цели оптимизации построения модели модерации поведения, так что фактические условия построения модели с учетом множества признаков построения модели будут оптимизированы с учетом цели оптимизации построения модели. Например, согласно варианту осуществления, признаки построения модели обозначаются как X=(x1, х2, x11). Здесь x1 обозначает первую архивную балльную оценку нарушения в архивном кадре прямой трансляции, полученную моделью модерации высокой точности, х2 обозначает вторую архивную балльную оценку нарушения в архивном кадре прямой трансляции, полученную моделью модерации с высоким запоминанием, х3 обозначает число человек в аудитории в реальном времени в студии потокового вещания в архивном кадре прямой трансляции в многомерном архивном признаке поведения, х4 обозначает число комментариев, опубликованных пользователями на общедоступном экране в студии потокового вещания в архивном кадре прямой трансляции, в многомерном архивном признаке поведения, х5 обозначает число комментариев о нарушении на общедоступном экране в студии потокового вещания в архивном кадре прямой трансляции в многомерном архивном признаке поведения, x6 обозначает процентное отношение числа комментариев о нарушении на общедоступном экране ко всем комментариям на общедоступном экране в студии потокового вещания в архивном кадре прямой трансляции в многомерном архивном признаке поведения, х7 обозначает число поощрений прямой трансляции в студии потокового вещания в архивном кадре прямой трансляции в многомерном архивном признаке поведения, х8 обозначает число архивных нарушений службы потокового вещания в студии потокового вещания в архивном кадре прямой трансляции в многомерном архивном признаке поведения, х9 обозначает процентное отношение архивных нарушений службы потокового вещания в архивном кадре прямой трансляции в студии потокового вещания в многомерном архивном признаке поведения, х10 обозначает число архивных голосовых нарушений службы потокового вещания в студии потокового вещания в архивном кадре прямой трансляции в многомерном архивном признаке поведения и x11 обозначает процентное отношение архивных голосовых нарушений службы потокового вещания в студии потокового вещания в архивном кадре прямой трансляции в многомерном архивном признаке поведения.[54] In this case, to successfully build a behavior moderation model, it is necessary to configure a set of model building features to use as a sample in the model building process and to achieve the goal of optimizing the construction of a behavior moderation model, so that the actual model building conditions taking into account the set of model building features will be optimized taking into account the goal of optimizing model construction. For example, according to an embodiment, the model building features are denoted as X=(x1, x2, x11). Here x1 denotes the first archived violation score in the archived live frame obtained by the high precision moderation model, x2 denotes the second archived violation score in the archived live frame obtained by the high recall moderation model, x3 denotes the number of people in the audience in real time in streaming studio in the live archived frame in the multi-dimensional archived behavior feature, x4 denotes the number of comments posted by users on the public screen in the live streaming studio in the live archived frame in the multi-dimensional archived behavior feature, x5 denotes the number of comments about the violation on the public screen in streaming studio in archived live footage in a multi-dimensional archived behavior tag, x6 denotes the percentage of the number of infraction comments on the public screen to all comments on the public screen in the streaming studio in archived live footage in a multi-dimensional archived behavior tag, x7 denotes the number of incentives live broadcast in the streaming studio in the archived frame of the live broadcast in the multi-dimensional archived behavior feature, x8 denotes the number of archived violations of the streaming service in the streaming studio in the archived frame of the live broadcast in the multi-dimensional archived behavior feature, x9 denotes the percentage of archived violations of the streaming service in archived frame of a live broadcast in a streaming studio in a multivariate archived behavior feature, x10 denotes the number of archived voice violations of a streaming service in a streaming studio in an archived frame of a live broadcast in a multivariate archived behavior feature, and x11 denotes the percentage of archived voice violations of a streaming service in a studio streaming in an archived frame of a live broadcast in a multi-dimensional archived behavior feature.

[55] Поскольку многомерные архивные признаки поведения во множестве признаков построения модели в архивных кадрах прямой трансляции в студиях потокового вещания определяются в ходе архивного процесса прямого вещания, после извлечения соответствующего архивного кадра прямой трансляции из каждого архивного видео прямой трансляции многомерный архивный признак поведения каждого архивного кадра прямой трансляции в студии потокового вещания определяется с помощью определения архивных поведений взаимодействия при прямой трансляции архивного кадра прямой трансляции в студии потокового вещания. В то же самое время определяется метка нарушения каждого архивного кадра прямой трансляции, как показано на фиг. 2В, так что непрерывная оптимизации построения модели впоследствии выполняется с учетом цели оптимизации построения модели. При обработке каждого архивного кадра прямой трансляции каждый архивный кадр прямой трансляции, согласно варианту осуществления, вводится в модель модерации высокой точности и в модель модерации с высоким запоминанием, так что для каждого архивного кадра прямой трансляции получаются первая архивная балльная оценка нарушения и вторая архивная балльная оценка нарушения. Согласно вышеуказанному, первая архивная балльная оценка нарушения каждого архивного кадра прямой трансляции, вторая архивная балльная оценка нарушения каждого архивного кадра прямой трансляции и многомерный архивный признак поведения в каждом архивном кадре прямой трансляции из потокового вещания студии объединяются для образования признаков построения модели, соответствующей каждому архивному кадру прямой трансляции, и архивные балльные оценки нарушения в каждом архивным кадре прямой трансляции получаются с помощью непрерывного ввода признаков модели построения, соответствующих каждому архивному кадру прямой трансляции в модели модерации поведения.[55] Since multi-dimensional archival behavior cues in multiple model building features in live archive footage in streaming studios are determined during the live archive archival process, after extracting the corresponding live archive frame from each live archive video, the multi-dimensional archive behavior cue of each archive frame of a live broadcast in a streaming studio is defined by defining the archived interaction behaviors of a live broadcast of archived footage of a live broadcast in a streaming studio. At the same time, the violation mark of each live archive frame is determined, as shown in FIG. 2B, such that continuous model building optimization is subsequently performed taking into account the model building optimization goal. When processing each archived live frame, each archived live frame, according to an embodiment, is input into the high precision moderation model and the high recall moderation model such that for each archived live frame, a first archived violation score and a second archived violation score are obtained. violations. According to the above, the first archived violation score of each archived live frame, the second archived violation score of each archived live frame, and the multi-dimensional archived behavioral feature in each archived live frame from the studio's live stream are combined to form features to build a model corresponding to each archived frame. live broadcast, and archived violation scores in each archived live broadcast frame are obtained by continuously inputting the design model features corresponding to each archived live broadcast frame into the behavior moderation model.

[56] В этом случае, согласно варианту осуществления, цель оптимизации построения модели для модели модерации поведения заключается в минимизации разницы между архивной балльной оценкой нарушения и меткой нарушения в каждом архивном кадре прямой трансляции. Следовательно, разница между архивной балльной оценкой нарушения каждого архивного кадра прямой трансляции и меткой нарушения каждого архивного кадра прямой трансляции непрерывно анализируется в ходе процесса оптимизации построения модели и эта разница непрерывно уменьшается с помощью оптимизации математических параметров модели модерации поведения, так что достигается цель минимизации разницы между архивной балльной оценкой нарушения и меткой нарушения в архивном кадре прямой трансляции, и получается окончательно оптимизированная модель модерации поведения. В этом случае, окончательно оптимизированная модель модерации поведения имеет возможности модерации нарушения с высокой точностью.[56] In this case, according to an embodiment, the model building optimization goal for the behavior moderation model is to minimize the difference between the archived violation score and the violation label in each archived frame of the live broadcast. Therefore, the difference between the archived violation score of each archived live frame and the violation label of each archived live frame is continuously analyzed during the model building optimization process, and this difference is continuously reduced by optimizing the mathematical parameters of the behavior moderation model, so that the goal of minimizing the difference between archived violation score and violation label in the archived live broadcast frame, resulting in a final optimized behavior moderation model. In this case, the finally optimized behavior moderation model has the ability to moderate the violation with high accuracy.

[57] Например, согласно варианту осуществления, цель оптимизации построения модели для модели модерации поведения выражается формулой:[57] For example, according to an embodiment, the model building optimization goal for a behavior moderation model is expressed by:

. Здесь xⁱ обозначает признак построения модели для i-го архивного кадра прямой трансляции, yⁱ обозначает метку нарушения для i-го архивного кадра прямой трансляции, yⁱ=1 указывает присутствие контента нарушения, yⁱ=0 указывает отсутствие какого-либо контента нарушения, обозначает архивную балльную оценку нарушения, определенную моделью модерации для i-го архивного кадра прямой трансляции, V=(x¹,x²,L,x^m) указывает выборку для построения модели, включающую архивные кадры прямой трансляции, m обозначает количество выборок, а p(xⁱ) обозначает величину вероятности предсказания xⁱ, полученную с помощью модели модерации поведения. . Here x ⁱ denotes the attribute of building a model for the i-th archived frame of the live broadcast, y ⁱ denotes the violation label for the i-th archived frame of the live broadcast, y ⁱ =1 indicates the presence of violation content, y ⁱ =0 indicates the absence of any violation content , denotes the archived violation score determined by the moderation model for the i-th archived live frame, V=(x ¹ ,x ² ,L,x ^m ) indicates the sample to build the model including archived live frames, m denotes the number of samples, and p(x ⁱ ) denotes the probability value of predicting x ⁱ obtained using the behavior moderation model.

[58] Согласно техническим решениям, предложенным в варианте осуществления, модель модерации поведения построена на основании цели оптимизации построения модели, заключающейся в минимизации разницы между архивной балльной оценкой нарушения и меткой нарушения в каждом архивном кадре прямой трансляции, так что на основании модели модерации поведения можно обеспечить точность модерации нарушения. Признак поведения прямой трансляции текущего кадра прямой трансляции впоследствии получается с помощью комбинирования первой балльной оценки нарушения в текущем кадре прямой трансляции в подлежащем модерации потоковом вещании студии из модели модерации высокой точности, второй балльной оценки нарушения в текущем кадре прямой трансляции в подлежащем модерации потоковом вещании студии из модели модерации с высоким запоминанием и многомерного признака поведения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии, и анализ многофакторного признака нарушения выполняется по признаку поведения в прямой трансляции с помощью построенной модели модерации поведения, так что улучшаются точность и процент запоминаемости при модерации прямого трансляции.[58] According to the technical solutions proposed in the embodiment, the behavior moderation model is built based on the model building optimization goal of minimizing the difference between the archived violation score and the violation label in each archived frame of the live broadcast, so that based on the behavior moderation model it is possible ensure the accuracy of violation moderation. The live broadcast behavior feature of the current live frame is subsequently obtained by combining the first violation score in the current live frame in the studio's moderated stream from the high-fidelity moderation model, the second violation score in the current live frame in the studio's moderated stream from moderation model with high recall and multivariate behavior attribute in the current live broadcast frame from the studio's live broadcast to be moderated, and multivariate violation attribute analysis is performed on the behavior attribute of the live broadcast using the constructed behavior moderation model, so that the accuracy and memorability percentage of live moderation are improved broadcasts.

[59] Третий вариант осуществления[59] Third embodiment

[60] На фиг. 3А показана блок-схема алгоритма способа для модерации прямой трансляции согласно третьему варианту осуществления настоящего раскрытия и на фиг. 3В показана упрощенная схема процесса модерации прямой трансляции согласно третьему варианту осуществления настоящего раскрытия. Этот вариант осуществления объясняется на основе описанного выше варианта осуществления. Как показано на фиг. 3А, в этом варианте осуществления объясняется общий процесс модерации нарушения из подлежащего модерации потокового вещания студии.[60] In FIG. 3A is a flowchart of a method for moderating live broadcast according to the third embodiment of the present disclosure, and FIG. 3B is a simplified diagram of a live broadcast moderation process according to a third embodiment of the present disclosure. This embodiment is explained based on the above-described embodiment. As shown in FIG. 3A, this embodiment explains the general process of moderating a violation from a studio streaming subject to moderation.

[61] Согласно некоторым вариантам осуществления, как показано на фиг. 3А, в варианте осуществления предусмотрены следующие стадии.[61] According to some embodiments, as shown in FIG. 3A, in the embodiment, the following steps are provided.

[62] На стадии S310 первая балльная оценка нарушения в текущем кадре прямой трансляции получается при вводе текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации высокой точности.[62] In step S310, the first violation score in the current live frame is obtained by inputting the current live frame from the studio live stream to be moderated into the pre-built high-fidelity moderation model.

[63] Согласно некоторым вариантам осуществления, при выполнении модерации нарушения в подлежащем модерации потоковом вещании студии, факт присутствия контента нарушения в изображении прямой трансляции проверяется в режиме реального времени в ходе процесса прямой трансляции, так что модерацию нарушения необходимо выполнить для текущего кадра прямой трансляции в ходе процесса прямой трансляции в режиме реального времени. Текущий кадр прямой трансляции вводится в предварительно построенную модель модерации высокой точности, над изображением прямой трансляции в текущем кадре прямой трансляции с помощью модели модерации высокой точности проводится предварительная модерация нарушения, так что выводится первая балльная оценка нарушения в текущем кадре прямой трансляции. Затем факт присутствия контента нарушения в текущем кадре прямой трансляции определяется в дальнейшем с помощью определения того, превышает ли первая балльная оценка нарушения предварительно определенный порог точности нарушения.[63] According to some embodiments, when performing violation moderation on a studio live stream to be moderated, the presence of violation content in the live broadcast image is verified in real time during the live broadcast process, such that violation moderation must be performed on the current frame of the live broadcast in during the live broadcast process in real time. The current live broadcast frame is input into the pre-built high-precision moderation model, and the violation is pre-moderated on the live broadcast image in the current live broadcast frame using the high-precision moderation model, so that the first violation score in the current live broadcast frame is output. The presence of violation content in the current live frame is then further determined by determining whether the first violation score exceeds a predetermined violation accuracy threshold.

[64] На стадии S320 определяется, превышает ли первая балльная оценка нарушения предварительно определенный порог точности нарушения; и если она превышает, то выполняется стадия S380, а если не превышает, выполняется стадия S330.[64] At step S320, it is determined whether the first violation score exceeds a predetermined violation accuracy threshold; and if it exceeds, then step S380 is executed, and if it does not exceed, then step S330 is executed.

[65] На стадии S330 вторая балльная оценка нарушения в текущем кадре прямой трансляции получается при непрерывном вводе текущего кадра прямой трансляции в предварительно построенную модель модерации с высоким запоминанием.[65] In step S330, the second violation score in the current live frame is obtained by continuously inputting the current live frame into the pre-built high-memory moderation model.

[66] Согласно некоторым вариантам осуществления, в случае, когда первая балльная оценка нарушения не превышает предварительно определенный порог точности нарушения, модель модерации высокой точности определяет, что никакого контента нарушения не присутствует в текущем кадре прямой трансляции. Однако, поскольку модель модерации высокой точностью имеет ошибочное одобрение при модерации нарушения, текущий кадр прямой трансляции необходимо непрерывным вводить в предварительно построенную модель модерации с высоким запоминанием. Как показано на фиг. 3В, соответствующая модерации нарушения непрерывно выполняется над изображением прямой трансляции в текущем кадре прямой трансляции с помощью модели модерации с высоким запоминанием, так что выводится вторая балльная оценка нарушения в текущем кадре прямой трансляции. Затем факт присутствия контента нарушения в текущем кадре прямой трансляции определяется снова с помощью последующего определения того, превышает ли вторая балльная оценка нарушения предварительно определенный порог запоминания нарушения.[66] In some embodiments, when the first violation score does not exceed a predetermined violation accuracy threshold, the high accuracy moderation model determines that no violation content is present in the current frame of the live broadcast. However, since the high-precision moderation model has erroneous approval when moderating a violation, the current live broadcast frame needs to be continuously input into the pre-built high-memory moderation model. As shown in FIG. 3B, the corresponding violation moderation is continuously performed on the live broadcast image in the current live broadcast frame by the high-memory moderation model, so that a second violation score in the current live broadcast frame is output. The presence of violation content in the current live frame is then determined again by subsequently determining whether the second violation score exceeds a predetermined violation memory threshold.

[67] На стадии S340 определяется, превышает ли вторая балльная оценка нарушения предварительно определенный порог запоминания нарушения; и если она превышает, то выполняется стадия S380, а если не превышает, выполняется стадия S350.[67] In step S340, it is determined whether the second violation score exceeds a predetermined violation memory threshold; and if it exceeds, then step S380 is executed, and if it does not exceed, then step S350 is executed.

[68] В случае, когда вторая балльная оценка нарушения не превышает предварительно определенный порог запоминания нарушения, модель модерации с высоким запоминанием также определяет, что никакого контента нарушения не присутствует в текущем кадре прямой трансляции. Таким образом, текущий кадр прямой трансляции проходит через модерацию нарушения в модели модерации высокой точности и в модели модерации с высоким запоминанием, а именно, текущий кадр прямой трансляции прошел предварительную модерацию нарушения. Вторичная модерация нарушения непрерывно выполняется над текущим кадром прямой трансляции при помощи модели поведения. Текущий кадр прямой трансляции определяется как прошедший предварительную модерацию нарушения в случае, когда первая балльная оценка нарушения в текущем кадре прямой трансляции не превышает предварительно определенный порог точности нарушения, и вторая балльная оценка нарушения в текущем кадре прямой трансляции не превышает предварительно определенный порог запоминания нарушения.[68] In the case where the second violation score does not exceed the predetermined violation memory threshold, the high memory moderation model also determines that no violation content is present in the current frame of the live broadcast. Thus, the current live broadcast frame goes through violation moderation in the high precision moderation model and in the high recall moderation model, namely, the current live broadcast frame has passed violation pre-moderation. Secondary violation moderation is continuously performed on the current live frame using the behavior model. The current live broadcast frame is determined to have passed pre-moderation of the violation in the case when the first violation score in the current live broadcast frame does not exceed the predetermined violation accuracy threshold, and the second violation score in the current live broadcast frame does not exceed the predetermined violation memory threshold.

[69] На стадии S350 целевая балльная оценка нарушения в текущем кадре прямой трансляции получается с помощью ввода первой балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации высокой точности, второй балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации с высоким запоминанием и многомерного признака поведения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации поведения.[69] In step S350, the target violation score in the current live frame is obtained by inputting the first violation score in the current live frame from the high precision moderation model, the second violation score in the current live frame from the high memorization moderation model, and a multidimensional feature of behavior in the current frame of a live broadcast from a studio live stream to be moderated into a pre-built behavior moderation model.

[70] На стадии S360 определяется, превышает ли целевая балльная оценка нарушения предварительно определенный порог поведения нарушения; и если она превышает, то выполняется стадия S380, а если не превышает, выполняется стадия S370.[70] At step S360, it is determined whether the target violation score exceeds a predetermined violation behavior threshold; and if it exceeds, then step S380 is executed, and if it does not exceed, then step S370 is executed.

[71] Согласно некоторым вариантам осуществления, после вывода целевой балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации поведения, окончательно проверяется, присутствует ли в текущем кадре прямой трансляции контент нарушения с помощью определения, превышает ли целевая балльная оценка нарушения предварительно определенный порог поведения нарушения, так что выполняются различные процессы обработки прямой трансляции.[71] In some embodiments, after deriving the target violation score in the current live frame from the behavior moderation model, it is finally checked whether violation content is present in the current live frame by determining whether the target violation score exceeds a predetermined behavior threshold violations, so that various live broadcast processing processes are performed.

[72] На стадии S370 новый текущий кадр прямой трансляции извлекается из подлежащего модерации потокового вещания студии через период времени с предварительно определенной длительностью прямой трансляции, и модерация нарушения непрерывно выполняется над новым текущим кадром прямой трансляции.[72] In step S370, a new live broadcast current frame is retrieved from the studio live broadcast to be moderated after a time period of a predetermined live broadcast duration, and violation moderation is continuously performed on the new live broadcast current frame.

[73] Согласно некоторым вариантам осуществления, в случае, когда целевая балльная оценка нарушения не превышает предварительно определенный порог поведения нарушения, модель модерации поведения определяет, что никакого контента нарушения не присутствует в текущем кадре прямой трансляции. В этом случае, согласно варианту осуществления, все три модели определили, что никакого контента нарушения не присутствует в текущем кадре прямой трансляции, и определено, что текущий кадр прямой трансляции является кадром без нарушения, что указывает, что никакого контента нарушения не присутствует в подлежащем модерации потоковом вещании студии в данный момент. В этом случае, для получения мгновенности модерации нарушения в студии потокового вещания, через интервал с предварительно определенной длительностью прямой трансляции (например, через каждые 2 сек), новое изображение прямой трансляции непрерывно захватывается из подлежащего модерации потокового вещания студии в текущее время прямой трансляции, и оно определяется как новый полученный текущий кадр прямой трансляции. Модерация нарушения непрерывно выполняется над новым текущим кадром прямой трансляции согласно стадиям от S310 до S380 варианта осуществления, так что модерации в реальном времени выполняется над подлежащим модерации потоковым вещанием студии, пока не закончится прямая трансляция или в прямой трансляции не будет найден кадр с нарушением.[73] In some embodiments, when the target violation score does not exceed a predetermined violation behavior threshold, the behavior moderation model determines that no violation content is present in the current frame of the live broadcast. In this case, according to an embodiment, all three models have determined that no violation content is present in the current live broadcast frame, and it is determined that the current live broadcast frame is a non-violation frame, which indicates that no violation content is present in the subject to moderation streaming studio at the moment. In this case, in order to obtain instantaneous violation moderation in the live broadcast studio, at an interval of a predetermined live broadcast duration (for example, every 2 seconds), a new live broadcast image is continuously captured from the studio live broadcast to be moderated at the current live broadcast time, and it is defined as the new received current live frame. Violation moderation is continuously performed on the new current live broadcast frame according to steps S310 to S380 of the embodiment, so that real-time moderation is performed on the studio live stream to be moderated until the live broadcast ends or a violation frame is found in the live broadcast.

[74] На стадии S380 информация прямой трансляции из подлежащего модерации потокового вещания студии помещается на платформу ручной модерации.[74] In step S380, the live broadcast information from the studio's live stream to be moderated is placed on the manual moderation platform.

[75] Согласно некоторым вариантам осуществления, в случае, когда первая балльная оценка нарушения превышает предварительно определенный порог точности нарушения или вторая балльная оценка нарушения превышает предварительно определенный порог запоминания нарушения, или целевая балльная оценка нарушения превышает предварительно определенный порог поведения нарушения, используемая для текущей модерации модель определяет, что в текущем кадре прямой трансляции присутствует контент нарушения. Как показано на фиг. 3В, согласно варианту осуществления, дополнительно предложена дополнительная платформа ручной модерации для устранения ложного отбрасывания при модерации нарушения. В случае, когда при выполнении модерации в текущем кадре прямой трансляции найден контент нарушения, информация прямой трансляции из подлежащего модерации потокового вещания студии о текущем кадре прямой трансляции помещается на платформу ручной модерации для дальнейшего выполнения ручной модерации по контенту прямой трансляции из подлежащего модерации потокового вещания студии, так что обеспечивается точность модерации прямой трансляции.[75] According to some embodiments, in the case where the first violation score exceeds a predetermined violation accuracy threshold, or the second violation score exceeds a predetermined violation memory threshold, or the target violation score exceeds a predetermined violation behavior threshold, used for ongoing moderation the model determines that the current frame of the live broadcast contains violation content. As shown in FIG. 3B, according to an embodiment, an additional manual moderation platform is further provided for eliminating false rejections when moderating a violation. In the event that when performing moderation, violation content is found in the current live broadcast frame, the live broadcast information from the studio's live stream subject to moderation about the current live broadcast frame is placed on the manual moderation platform to further perform manual moderation on the live broadcast content from the studio's stream subject to moderation , so that the accuracy of live broadcast moderation is ensured.

[76] Согласно варианту осуществления, информация прямой трансляции из подлежащего модерации потокового вещания студии является адресом прямой трансляции из подлежащего модерации потокового вещания студии, изображением из потокового видео или тому подобным, это никак не ограничивается в настоящем раскрытии.[76] According to an embodiment, the live broadcast information from a studio streaming subject to moderation is a live broadcast address from a studio streaming subject to moderation, an image from a streaming video, or the like, and is not limited in any way in the present disclosure.

[77] На стадии S390 элементы взаимодействия при прямой трансляции в подлежащем модерации потоковом вещании студии отслеживаются в режиме реального времени, информация прямой трансляции из подлежащего модерации потокового вещания студии помещается на платформу ручной модерации после определения, что элементы взаимодействия при прямой трансляции превышают предварительно определенный порог взаимодействия, и останавливается модерация нарушения, выполнявшаяся над текущим кадром прямой трансляции из подлежащего модерации потокового вещания студии.[77] In step S390, the live broadcast interaction items in the studio live stream to be moderated are monitored in real time, the live broadcast information from the studio live stream to be moderated is placed on the manual moderation platform after determining that the live broadcast interaction items exceed a predetermined threshold interaction, and the violation moderation that was in progress on the current live frame from the studio's stream subject to moderation is stopped.

[78] Согласно некоторым вариантам осуществления, необходимость непосредственно поместить информацию прямой трансляции на платформу ручной модерации для проведения ручной модерации определяется с помощью отслеживания элементов взаимодействия при прямой трансляции в подлежащем модерации потоковом вещании студии в режиме реального времени при условии достижения модерации прямой трансляции с помощью построенных моделей для устранения аномалий в модерации нарушения и обеспечения высокого процента запоминаемости при модерации прямой трансляции, и ручная модерация определяется как аномальная модерация, обеспечивающая решение для модерации прямой трансляции. В этом случае элементы взаимодействия при прямой трансляции включают в себя некоторое число видов прямой трансляции, некоторое число поощрений прямой трансляции и тому подобное в подлежащем модерации потоковом вещании студии, так что анализируется степень одобрения в подлежащем модерации потоковом вещании студии. В случае, когда элементы взаимодействия при прямой трансляции превышают предварительно определенный порог взаимодействия, степень одобрения подлежащего модерации потокового вещания студии является очень высокой. Контент нарушения быстро распространяется после того, как он появился. Следовательно, информацию прямой трансляции из подлежащего модерации потокового вещания студии необходимо непосредственно поместить на платформу ручной модерации для выполнения ручной модерации с целью обеспечения высокой эффективности модерации нарушения при прямой трансляции. В то же самое время останавливается модерация нарушения, выполнявшаяся над текущим кадром прямой трансляции в подлежащем модерации потоковом вещании студии с помощью нескольких построенных моделей.[78] According to some embodiments, the need to directly place live broadcast information on a manual moderation platform to conduct manual moderation is determined by tracking live broadcast interaction elements in the studio live stream to be moderated in real time, subject to achieving moderation of the live broadcast using the constructed models to eliminate anomalies in violation moderation and ensure a high percentage of recall in live broadcast moderation, and manual moderation is defined as an anomalous moderation that provides a solution for live broadcast moderation. In this case, the live broadcast interaction elements include a number of live broadcast types, a number of live broadcast incentives and the like in the studio's moderated live stream, so that the degree of approval in the studio's moderated stream is analyzed. In the event that the interaction elements of a live broadcast exceed a predetermined interaction threshold, the approval rate of the studio's live stream subject to moderation is very high. Infringing content spreads quickly after it appears. Therefore, the live broadcast information from the studio's live broadcast to be moderated needs to be directly put into the manual moderation platform to perform manual moderation in order to achieve high efficiency in moderating the violation of live broadcast. At the same time, the violation moderation that was being performed on the current live frame in the studio's stream to be moderated using several built models is stopped.

[79] Согласно техническим решениям, предложенным в варианте осуществления, после обнаружения контента нарушения в текущем кадре прямой трансляции, информация прямой трансляции из подлежащего модерации потокового вещания студии о текущем кадре прямой трансляции непосредственно помещается на платформу ручной модерации для выполнения ручной модерации, так что исключается ложное отбрасывание при модерации нарушения и улучшается точность модерации нарушения при прямой трансляции. В то же самое время аномальное решение, обеспечивающее выполнение модерации прямой трансляции, дополнительно настраивается на основании элементов взаимодействия при прямой трансляции в подлежащем модерации потоковом вещании студии, и обеспечивается полнота выполнения модерации нарушения при прямой трансляции.[79] According to the technical solutions proposed in the embodiment, after detecting the violation content in the current live broadcast frame, the live broadcast information from the studio live broadcast to be moderated about the current live broadcast frame is directly placed on the manual moderation platform to perform manual moderation, so that it is eliminated false rejection during violation moderation and improves the accuracy of violation moderation during live broadcast. At the same time, the anomalous solution for performing the live broadcast moderation is further adjusted based on the live broadcast interaction elements in the studio live stream to be moderated, and the completeness of the moderation of the live broadcast violation is ensured.

[80] Четвертый вариант осуществления[80] Fourth Embodiment

[81] На фиг. 4 показана упрощенная блок-схема устройства для модерации прямой трансляции согласно четвертому варианту осуществления настоящего раскрытия. Как показано на фиг. 4, устройство для модерации прямой трансляции включает в себя:[81] In FIG. 4 is a simplified block diagram of a live broadcast moderation apparatus according to a fourth embodiment of the present disclosure. As shown in FIG. 4, Live broadcast moderation device includes:

[82] модуль 410 предварительной модерации, выполненный с возможностью проводить предварительную модерацию нарушения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии с помощью модели модерации высокой точности и модели модерации с высоким запоминанием, которые каскадированы друг с другом; и[82] a pre-moderation module 410, configured to pre-moderate a violation in a current live frame from a studio live stream to be moderated using a high-precision moderation model and a high-memory moderation model that are cascaded with each other; And

[83] модуль 420 определения балльной оценки нарушения, выполненный с возможностью получить целевую балльную оценку нарушения в текущем кадре прямой трансляции с помощью ввода первой балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации высокой точности, второй балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации с высоким запоминанием и многомерного признака поведения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации поведения после прохождения текущим кадром прямой трансляции предварительной модерации нарушения.[83] a violation scoring module 420, configured to obtain a target violation score in the current live frame by inputting a first violation score in the current live frame from a high-fidelity moderation model, a second violation score in the current live frame from a high-memory moderation model and a multi-dimensional feature of behavior in the current live frame from the studio's live stream to be moderated into a pre-built behavior moderation model after the current live frame has passed the pre-moderation violation.

[84] Согласно техническим решениям, предложенных в вариантах осуществления, предварительная модерации нарушения выполняется в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии с помощью каскадированных модели модерации высокой точности и модели модерации с высоким запоминанием, так что кадр с нарушением прямой трансляции, который легко различается и имеет очевидное нарушения, быстро обнаруживается и смягчается. В случае текущего кадра прямой трансляции, который прошел через процесс предварительной модерации нарушения, и его сложно различить или он содержит неочевидное нарушение, для текущего кадра прямой трансляции снова выполняется единообразный анализ признаков, объединяющий признаки визуального изображения и признаки поведения с помощью модели модерации поведения, основанной на первой балльной оценке нарушения в текущем кадре прямой трансляции согласно результатам модели модерации высокой точности и второй балльной оценке нарушения в текущем кадре прямой трансляции согласно результатам модели модерации с высоким запоминанием и в совокупности с многомерным признаком поведения текущего кадра прямой трансляции из подлежащего модерации потокового вещания студии, так что получается целевая балльная оценка нарушения в текущем кадре прямой трансляции, и достигается полнота реализации модерации нарушения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии. Устраняются проблемы ошибочного отбрасывания и ошибочного одобрения при модерации прямой трансляции и точность и процент запоминания при модерации прямой трансляции улучшаются совместно со снижением расходов на модерацию нарушения.[84] According to the technical solutions proposed in the embodiments, pre-violation moderation is performed on the current live broadcast frame from the studio live stream to be moderated by cascaded high precision moderation model and high memorization moderation model, such that the frame with violation of the live broadcast that easily distinguished and obviously impaired, quickly detected and mitigated. In the case of the current live frame that has gone through the violation pre-moderation process and is difficult to distinguish or contains a non-obvious violation, uniform feature analysis is again performed on the current live frame, combining visual features and behavioral features using the behavior moderation model based on the first violation score in the current live frame according to the results of a high-precision moderation model and the second violation score in the current live frame according to the results of a high-memory moderation model and in conjunction with a multi-dimensional behavior indicator of the current live frame from the studio streaming subject to moderation , so that the target violation score in the current live broadcast frame is obtained, and the completeness of the implementation of violation moderation in the current live broadcast frame from the studio live broadcast to be moderated is achieved. The problems of false rejection and false approval in live broadcast moderation are eliminated, and the accuracy and retention rate in live broadcast moderation are improved along with the reduction in violation moderation costs.

[85] Согласно варианту осуществления, устройство для модерации прямой трансляции применимо для выполнения способа модерации прямой трансляции согласно любому вышеупомянутому варианту осуществления, и обладает соответствующими функциями и действиями.[85] According to an embodiment, the live broadcast moderation apparatus is applicable to performing the live broadcast moderation method according to any of the above-mentioned embodiment, and has corresponding functions and operations.

[86] Пятый вариант осуществления[86] Fifth Embodiment

[87] На фиг. 5 показана упрощенная блок-схема сервера согласно пятому варианту осуществления настоящего раскрытия. Как показано на фиг. 5, сервер включает в себя процессор 50, память 51 и устройство передачи данных 52. Количество процессоров 50 в сервере равно одному или нескольким, и в качестве примера, на фиг. 5 показан один процессор 50. Процессор 50, память 51 и устройство передачи данных 52 в сервере соединены друг с другом с помощью шины или другими средствами, и в качестве примера, они соединены шиной на фиг. 5.[87] In FIG. 5 is a simplified block diagram of a server according to a fifth embodiment of the present disclosure. As shown in FIG. 5, the server includes a processor 50, a memory 51, and a data communication device 52. The number of processors 50 in the server is one or more, and as an example, in FIG. 5 shows one processor 50. The processor 50, memory 51, and data transfer device 52 in the server are connected to each other by a bus or other means, and as an example, they are connected by a bus in FIG. 5.

[88] Согласно варианту осуществления, сервер применим для выполнения способа модерации прямой трансляции согласно любому вышеупомянутому варианту осуществления, и обладает соответствующими функциями и действиями.[88] According to an embodiment, the server is applicable to executing the live broadcast moderation method according to any of the above-mentioned embodiment, and has corresponding functions and actions.

[89] Шестой вариант осуществления[89] Sixth Embodiment

[90] Согласно шестому варианту осуществления настоящего раскрытия дополнительно предложен энергонезависимый машиночитаемый носитель данных, на котором хранится программа для компьютера. Причем программа для компьютера, будучи загруженной в процессор и выполняемой им, заставляет процессор выполнять способ согласно любому из вышеупомянутых вариантов осуществления. В способе предусмотрены следующие стадии:[90] According to a sixth embodiment of the present disclosure, there is further provided a non-volatile computer-readable storage medium on which a computer program is stored. Moreover, the computer program, being loaded into the processor and executed by it, causes the processor to execute the method according to any of the above-mentioned embodiments. The method includes the following stages:

[91] Выполнение предварительной модерации нарушения в текущем кадре прямой трансляции в подлежащем модерации потоковом вещании студии на основании модели модерации высокой точности и модели модерации с высоким запоминанием, которые каскадированы друг с другом; и[91] Performing pre-moderation of a violation in a current frame of a live broadcast in a studio live stream to be moderated based on a high-precision moderation model and a high-memory moderation model that are cascaded with each other; And

[92] получение целевой балльной оценки нарушения в текущем кадре прямой трансляции с помощью ввода первой балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации высокой точности, второй балльной оценки нарушения в текущем кадре прямой трансляции из модели модерации с высоким запоминанием и многомерного признака поведения в текущем кадре прямой трансляции из подлежащего модерации потокового вещания студии в предварительно построенную модель модерации поведения после прохождения текущим кадром прямой трансляции предварительной модерации нарушения.[92] obtain a target violation score in the current live frame by inputting the first violation score in the current live frame from a high precision moderation model, the second violation score in the current live frame from a high recall moderation model, and a multidimensional behavior trait in the current frame of the live broadcast from the studio's streaming broadcast to be moderated into the pre-built behavior moderation model after the current frame of the live broadcast has passed the pre-moderation violation.

[93] Согласно вариантам осуществления настоящего раскрытия, предложен носитель данных, на котором содержатся выполняемые компьютером команды. Выполняемые компьютером команды не ограничены выполнением операций вышеупомянутого способа, а также могут выполнять сопутствующие операции, относящиеся к способу для модерации прямой трансляции согласно любому варианту осуществления настоящего раскрытия. Носитель данных может быть энергонезависимым носителем данных.[93] According to embodiments of the present disclosure, there is provided a storage medium that contains computer-executable instructions. The computer-executed instructions are not limited to performing the operations of the above method, but may also perform related operations related to the method for moderating a live broadcast according to any embodiment of the present disclosure. The storage medium may be a non-volatile storage medium.

[94] Настоящее раскрытие может быть реализовано с помощью программного обеспечения, аппаратного обеспечения общего назначения или аппаратуры. Технические решения настоящего раскрытия реализованы в виде программного продукта. Программный продукт для компьютера хранится на машиночитаемом носителе данных, например, на гибкой дискете, в постоянном запоминающем устройстве (ПЗУ), в оперативном запоминающем устройстве (ОЗУ), во флеш-памяти, на жестком диске или на оптическом диске компьютера, и может содержать в себе несколько команд для указания вычислительному устройству (которое может быть персональным компьютером, сервером, сетевым устройством или тому подобным), как выполнить способ для модерации прямой трансляции согласно вариантам осуществления настоящего раскрытия.[94] The present disclosure may be implemented in software, general purpose hardware, or hardware. The technical solutions of the present disclosure are implemented in the form of a software product. The computer software product is stored on a machine-readable storage medium, such as a floppy diskette, read-only memory (ROM), random access memory (RAM), flash memory, a hard disk drive, or an optical disk of the computer, and may contain itself a plurality of commands for instructing a computing device (which may be a personal computer, a server, a network device, or the like) how to execute a method for moderating a live broadcast according to embodiments of the present disclosure.

[95] Согласно вышеупомянутым вариантам осуществления устройства для модерации прямой трансляции множество его блоков и модулей разделены только согласно функциональной логике, но они не ограничены вышеупомянутым разделением, при условии обеспечения реализации соответствующих функций. Кроме того, названия множества функциональных блоков указаны только для удобства различения их друг от друга, и они не предназначены для ограничения объема правовой охраны настоящего раскрытия.[95] According to the above-mentioned embodiments of the live broadcast moderation apparatus, a plurality of units and modules thereof are divided only according to functional logic, but they are not limited to the above-mentioned division as long as the corresponding functions are realized. In addition, the names of the plurality of functional blocks are provided only for convenience of distinguishing them from each other and are not intended to limit the scope of the present disclosure.

Claims

1. A method for moderating a live broadcast, involving the following stages:

performing pre-moderation of a violation in the current live frame of the studio live stream to be moderated based on a high-precision moderation model and a high-memory moderation model that are cascaded with each other; And

obtaining a target violation score in the current live frame by inputting the first violation score in the current live frame from the high-precision moderation model, the second violation score in the current live frame from the high-recall moderation model, and the multi-dimensional behavior attribute in the current frame live broadcast from the studio's streaming broadcast subject to moderation to a pre-built behavior moderation model after the current frame of the live broadcast has passed the pre-moderation violation;

wherein performing pre-moderation of a violation in a current frame of a live broadcast in a studio stream to be moderated based on a high-precision moderation model and a high-memory moderation model, which are cascaded with each other, involves the following steps:

obtaining a first violation score in the current live frame by inputting the current live frame from the studio live stream to be moderated into a pre-built high-fidelity moderation model; And

obtaining a second violation score in the current live frame by continuously inputting the current live frame into a pre-built high-memory moderation model after determining that the first violation score does not exceed a predetermined violation accuracy threshold;

wherein the current live broadcast frame is determined as having passed preliminary moderation of the violation in the case when the first violation score in the current live broadcast frame does not exceed a predetermined violation accuracy threshold and the second violation score in the current live broadcast frame does not exceed a predetermined violation storage threshold.

2. The method according to claim 1, characterized in that obtaining a target violation score in the current live broadcast frame by entering the first violation score in the current live broadcast frame from a high-precision moderation model, the second violation score in the current live broadcast frame from moderation model with high recall and multi-dimensional behavior attribute in the current frame of a live broadcast from a studio stream to be moderated into a pre-built behavior moderation model involves the following stages:

obtaining the live broadcast behavior attribute of the current live frame by combining the first violation score in the current live frame from the high precision moderation model, the second violation score in the current live frame from the high recall moderation model, and the multidimensional behavior attribute in the current live frame broadcasts from a studio's stream subject to moderation; And

obtaining a target violation score in the current live broadcast frame by entering the live broadcast behavior attribute into the behavior moderation model.

3. The method according to claim 1, characterized in that the construction of a behavior moderation model is carried out using:

extracting the corresponding archived live frame from each archived live video into a set of archived live videos and determining a multi-dimensional archived behavior signature for each archived live frame from the live studio in which each archived live frame and a violation label for the archived live frame are located broadcasts;

obtaining an archived archived frame violation score by inputting a first archived live frame violation score into a high-precision moderation model, a second archived live archived frame violation score into a high-memory moderation model, and a multidimensional archival feature of the live archived frame behavior broadcasts from the streaming studio to a pre-built behavior moderation model for each archived frame of the live broadcast; And

continuous optimization of the behavior moderation model to minimize the difference between the archived violation score and the violation label for each archived frame of the live broadcast.

4. The method according to claim 1, characterized in that after receiving the target violation score in the current live broadcast frame by entering the first violation score in the current live broadcast frame from the high-precision moderation model, the second violation score in the current live broadcast frame from a high-memory moderation model and a multi-dimensional behavioral feature in a current live frame from a studio live stream to be moderated into a pre-built behavior moderation model, the method further includes the following steps:

placing live broadcast information from a studio's subject to moderation livestream on a manual moderation platform upon determining that the subject to moderation violation score exceeds a predetermined threshold of violation behavior; And

retrieving a new current live frame from the studio's to-be-moderated stream over a period of time with a predetermined duration of the live stream after determining that the target violation score does not exceed a predetermined violation behavior threshold; And

Continuously perform violation moderation in the new current frame of the live broadcast.

5. The method according to claim 4, further comprising the step of:

tracking live interaction elements in a moderated studio stream in real time, placing live information from a moderated studio stream into a manual moderation platform upon determining that live interaction elements exceed a predetermined interaction threshold, and stopping moderation of the violation , performed on the current live frame from the studio's moderated stream.

6. The method according to claim 1, further comprising the step of:

placing live feed information from a studio's moderated livestream into a manual moderation platform in the event that the first violation score exceeds a predetermined violation accuracy threshold, or the second violation score exceeds a predetermined violation memory threshold.

7. Method according to any one of paragraphs. 1-6, characterized in that the training samples for the high precision moderation model contain easy positive samples and easy negative samples in the set of training samples, and the training samples for the high recall moderation model contain hard positive samples and hard negative samples in the set of training samples.

8. A live broadcast moderation device containing:

a pre-moderation module configured to pre-moderate a violation in a current live frame from a studio live stream to be moderated using a high-precision moderation model and a high-memory moderation model that are cascaded with each other; And

module for determining the violation score, configured to obtain a target violation score in the current live broadcast frame by entering the first violation score in the current live broadcast frame from the high-precision moderation model, the second violation score in the current live broadcast frame from the moderation model with high memorization and multidimensional sign of behavior in the current frame of the live broadcast from the studio streaming broadcast subject to moderation into a pre-built behavior moderation model after the current frame of the live broadcast has passed the preliminary moderation of the violation;

wherein the pre-moderation module (410) is further configured to obtain a first violation score in the current live frame by inputting the current live frame from the studio live stream to be moderated into the pre-built high-fidelity moderation model; and obtain a second violation score in the current live frame by continuously inputting the current live frame from the studio stream to be moderated into a pre-built high-retention moderation model after determining that the first violation score in the current live frame does not exceed the predetermined violation accuracy threshold;

wherein it is determined that the current live broadcast frame has undergone preliminary violation moderation after determining that the first violation score in the current live broadcast frame does not exceed a predetermined violation accuracy threshold and the second violation score in the current live broadcast frame does not exceed a predetermined violation storage threshold.

9. Live broadcast moderation server, containing:

one or more processors; And

a memory configured to store one or more programs;

wherein the one or more processors, after downloading and executing the one or more programs, are caused to execute a method for moderating the live broadcast as defined in any one of paragraphs. 1-7.

10. A non-transitory computer-readable storage medium in which a computer program is stored, wherein the computer program, when loaded and executed by the processor, causes the processor to execute a method for moderating the live broadcast as defined in any one of paragraphs. 1-7.