WO2023115968A1 - 用户端识别违规数据的方法、设备、介质及程序产品 - Google Patents

用户端识别违规数据的方法、设备、介质及程序产品 Download PDF

Info

Publication number
WO2023115968A1
WO2023115968A1 PCT/CN2022/110664 CN2022110664W WO2023115968A1 WO 2023115968 A1 WO2023115968 A1 WO 2023115968A1 CN 2022110664 W CN2022110664 W CN 2022110664W WO 2023115968 A1 WO2023115968 A1 WO 2023115968A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
recognition model
target
target data
client
Prior art date
Application number
PCT/CN2022/110664
Other languages
English (en)
French (fr)
Inventor
任涛林
官祥臻
郑一飞
于永生
Original Assignee
工赋(青岛)科技有限公司
海尔数字科技(青岛)有限公司
卡奥斯工业智能研究院(青岛)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 工赋(青岛)科技有限公司, 海尔数字科技(青岛)有限公司, 卡奥斯工业智能研究院(青岛)有限公司 filed Critical 工赋(青岛)科技有限公司
Publication of WO2023115968A1 publication Critical patent/WO2023115968A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Definitions

  • the present application relates to the field of intelligent electronic products, and specifically relates to a method, device, medium and program product for a user terminal to identify illegal data.
  • the dissemination of illegal data may be involved in the process of using the smart client.
  • the server After the data is uploaded to the server, the server conducts identification or the background operation and maintenance personnel conducts data review to identify illegal data.
  • This application provides a method, device, medium, and program product for identifying illegal data at the client end, so as to solve the problem that in the prior art, when the data is uploaded to the server for centralized illegal identification, the load is too large to effectively and accurately identify, and A technical problem that increases the burden of data traffic on the user end.
  • target data corresponding to the operation instruction the target data meets the requirements of the preset format, and the target data includes: data already stored in the user terminal and/or new data created by the operation instruction;
  • the target data is identified by the target recognition model, and the prompt information is determined and output according to the recognition result, and/or the target data is shielded.
  • the target recognition model is determined according to the target data and the pre-configured recognition model library on the client side, including:
  • the target data is non-violating data.
  • the user end includes an electronic device based on the iOS system architecture.
  • the present application provides a food storage device, including:
  • the obtaining module is configured to obtain target data corresponding to the operation instruction in response to the received operation instruction, the target data meets the requirements of the preset format, and the target data includes: stored data and/or new data created by the operation instruction;
  • Processing modules for:
  • a processing module for:
  • the above features include: a format type of the target data.
  • the processing module is also used to:
  • the processing module is also used to:
  • the acquisition module is also used to acquire preset training models and training data
  • the processing module is also used to train each initial recognition model according to the preset training model and training data, so as to determine each candidate recognition model in the recognition model library.
  • the device includes a device based on the iOS system architecture.
  • the present application provides an electronic device, including:
  • a memory for storing executable instructions of the processor
  • the processor is configured to execute any possible method for the user terminal to identify violation data provided in the first aspect by executing the executable instruction.
  • the present application provides a washing machine, including: at least one of a display or a speaker, and the electronic device provided in the third aspect;
  • the display or the speaker is used to output guide information or response information, so as to realize any possible method for the user terminal to identify the illegal data provided in the first aspect.
  • the present application further provides a storage medium, where a computer program is stored in the readable storage medium, and the computer program is used to execute any possible method for identifying illegal data at a user end provided in the first aspect.
  • the present application further provides a computer program product, including a computer program.
  • a computer program product including a computer program.
  • This application provides a method, device, medium, and program product for a client to identify illegal data.
  • the target data By responding to an operation instruction received by the client, the target data corresponding to the operation instruction is obtained.
  • the target data meets the preset format requirements, and the target
  • the data includes: data already stored on the user end and/or new data created by operating instructions; then, determine the target recognition model based on the target data and the pre-configured recognition model library on the user end; then identify the target data through the target recognition model, and according to The recognition result is determined and prompt information is output, and/or, the target data is masked.
  • FIG. 1 is a schematic diagram of an application scenario of a method for identifying illegal data provided by a client in this application;
  • FIG. 2 is a schematic flowchart of a method for a client to identify illegal data provided by an embodiment of the present application
  • FIG. 3 is a schematic flowchart of another method for a client to identify illegal data provided by an embodiment of the present application
  • FIG. 4 is a schematic structural diagram of a device for identifying violation data provided by the present application.
  • FIG. 5 is a schematic structural diagram of an electronic device provided by the present application.
  • the centralized identification and supervision method consumes a lot of computing resources on the server, which also makes supervision loopholes may appear, and the user needs to use the
  • the data is first sent to the server for review, which increases the data traffic and the bandwidth pressure of data transmission, which undoubtedly increases resource consumption virtually.
  • FIG. 2 is a schematic flowchart of a method for a user terminal to identify illegal data provided by an embodiment of the present application. As shown in Figure 2, the specific steps of the method for the client to identify illegal data include:
  • the target data meets the requirements of the preset format, that is, the format of the target data is within the range of the preset format, and the target data includes: data already stored on the user end and/or new data created by operating instructions,
  • the range of preset formats includes: pictures, videos, web links, text related to sensitive content, etc.
  • the operation instruction includes: any one of shooting, storing, viewing, sending, uploading and the like.
  • the embodiment of this application puts the identification of violation data on the client side, as long as it is recognized that the user is generating new data Or operate the original data, and as long as the data is within the range of the preset format, it is necessary to identify whether it is illegal data, so as to contain the illegal data at the source and prevent its spread.
  • the existing technology generally directly saves the video or picture, but in the embodiment of this application, the video or picture will be set as the target data first, and then S202-S203 will be executed to perform Violation data identification.
  • this step first extract the characteristics of the target data; then judge whether there is at least one candidate recognition model corresponding to the feature in the recognition model library according to the characteristics; if it exists, select from each candidate recognition model according to the preset selection requirements Determine the object recognition model.
  • the above features include: the format type of the target data, key content fragments and so on.
  • the target data is a picture
  • at least one image recognition model is selected from the recognition model library
  • at least one video content recognition model is selected from the recognition model library
  • At least one web page recognition model is selected from the recognition model library.
  • the recognition model library can be updated regularly, managed uniformly by relevant regulatory agencies, and transmitted to each client through the network.
  • S203 Recognize the target data by using the target recognition model, and determine and output prompt information according to the recognition result, and/or block the target data.
  • the target recognition model is a recognition model that has been pre-trained on big data for a certain data format and/or a certain content, such as a neural network model that recognizes pictures containing sensitive and illegal content.
  • the target recognition model determines that the target data is illegal data, it will shield the target data in a preset manner, such as replacing the display of the target data with an "X”, and move the data into the isolation area, and at the same time Initiate a pop-up prompt to the user, such as "This picture contains sensitive and illegal content, and dissemination is prohibited.”
  • the method for identifying illegal data provided by the client in this embodiment is to obtain the target data corresponding to the operation instruction by responding to the operation instruction received by the client.
  • the target data meets the requirements of the preset format.
  • the target data includes: data and/or new data created through operating instructions; then determine the target recognition model based on the target data and the pre-configured recognition model library on the client side; then identify the target data through the target recognition model, and determine and output prompt information based on the recognition results, And/or, mask the target data.
  • FIG. 3 is a schematic flowchart of another method for a client to identify illegal data provided by an embodiment of the present application. As shown in Figure 3, the specific steps of the method for the user terminal to identify illegal data include:
  • the infrastructure platform includes: a Firebase platform
  • the client includes: an electronic device based on an iOS system architecture.
  • the first is the installation of the infrastructure platform to facilitate the subsequent loading of the corresponding recognition model library.
  • the library management tools include: cocoapods tool
  • the identification tool library includes: Firebase basic library and various function libraries, such as yellow identification library.
  • this step in order to improve the logical versatility of various recognition tools in the recognition tool library, it can be written in a non-object-oriented language such as C language, while in the smart client, such as iOS client, generally It operates based on the object-oriented architecture, so it is necessary to encapsulate the recognition tool library to make it have object-oriented features, such as encapsulating with object-C language. After encapsulation, each object-oriented initial recognition model can be obtained.
  • the initial recognition model has been trained in the server of the regulatory agency or the server of the operator, it can be directly added to the recognition model library as a candidate recognition model. If the initial recognition model has not been trained, or there is no Targeted training has been carried out for the user type corresponding to the client, and the preset training model and training data need to be imported for training.
  • This training process may last for a period of time, such as days or even weeks to collect the local data of the client for training. The collection of user habits, of course, this process can be performed in the background, and does not affect the daily use of the client.
  • the target data meets the requirements of the preset format, and the target data includes: data already stored on the user end and/or new data created through operation instructions.
  • the characteristics include: the format type of the target data.
  • step S308 if it exists, execute step S308; if not, execute step S310.
  • S309 Recognize the target data by using the target recognition model, and determine and output prompt information according to the recognition result, and/or block the target data.
  • the library management tool connects to the server of the regulatory agency or the central server of the operator through the infrastructure platform, downloads the latest identification tool, then encapsulates it, and updates the failure model library, or directly downloads the latest version of the identification model library . Then execute step S307 again.
  • the target data is non-violating data.
  • the method for identifying illegal data provided by the client in this embodiment is to obtain the target data corresponding to the operation instruction by responding to the operation instruction received by the client.
  • the target data meets the requirements of the preset format.
  • the target data includes: data and/or new data created through operating instructions; then determine the target recognition model based on the target data and the pre-configured recognition model library on the client side; then identify the target data through the target recognition model, and determine and output prompt information based on the recognition results, And/or, mask the target data.
  • FIG. 4 is a schematic structural diagram of a device for identifying illegal data provided by the present application.
  • the food storage device can be realized by software, hardware or a combination of both.
  • the device 400 for identifying violation data provided in this embodiment includes:
  • the obtaining module 401 is configured to obtain target data corresponding to the operation instruction in response to the received operation instruction, the target data meets the preset format requirements, and the target data includes: stored data and/or new data created by the operation instruction;
  • Processing module 402 for:
  • the target data is identified by the target recognition model, and the prompt information is determined and output according to the recognition result, and/or the target data is shielded.
  • the processing module 402 is configured to:
  • the target recognition model is determined from each candidate recognition model according to the preset selection requirements.
  • the above features include: a format type of the target data.
  • processing module 402 is also used to:
  • the target data is non-violating data.
  • processing module 402 is also used to:
  • the obtaining module 401 is also used to obtain preset training models and training data;
  • the processing module 402 is further configured to train each initial recognition model according to the preset training model and training data, so as to determine each candidate recognition model in the recognition model library.
  • the device includes a device based on the iOS system architecture.
  • FIG. 5 is a schematic structural diagram of an electronic device provided by the present application.
  • the electronic device 500 may include: at least one processor 501 and a memory 502 .
  • FIG. 5 shows an electronic device with a processor as an example.
  • the memory 502 is used to store programs.
  • the program may include program code, and the program code includes computer operation instructions.
  • the memory 502 may include a high-speed RAM memory, and may also include a non-volatile memory (non-volatile memory), such as at least one disk memory.
  • the processor 501 is configured to execute the computer-executed instructions stored in the memory 502, so as to implement the methods described in the above method embodiments.
  • the processor 501 may be a central processing unit (central processing unit, referred to as CPU), or a specific integrated circuit (application specific integrated circuit, referred to as ASIC), or is configured to implement one or more of the embodiments of the present application. multiple integrated circuits.
  • CPU central processing unit
  • ASIC application specific integrated circuit
  • the memory 502 can be independent or integrated with the processor 501 .
  • the electronic device 500 may further include:
  • the bus 503 is used to connect the processor 501 and the memory 502 .
  • the bus may be an industry standard architecture (ISA) bus, a peripheral component interconnect (PCI) bus, or an extended industry standard architecture (EISA) bus, etc.
  • ISA industry standard architecture
  • PCI peripheral component interconnect
  • EISA extended industry standard architecture
  • the bus can be divided into address bus, data bus, control bus, etc., but it does not mean that there is only one bus or one type of bus.
  • the memory 502 and the processor 501 may communicate through an internal interface.
  • the embodiment of the present application also provides a computer-readable storage medium
  • the computer-readable storage medium may include: U disk, mobile hard disk, read-only memory (read-only memory, ROM), random access memory (random access memory) , RAM), a magnetic disk or an optical disk, and other media that can store program codes.
  • the computer-readable storage medium stores program instructions, and the program instructions are used in the methods in the above-mentioned method embodiments.
  • An embodiment of the present application further provides a computer program product, including a computer program, and when the computer program is executed by a processor, the methods in the foregoing method embodiments are implemented.
  • the embodiment of the present application also provides a computer program, including program code.
  • program code executes the methods in the above method embodiments.

Abstract

本申请提供了一种用户端识别违规数据的方法、设备、介质及程序产品，通过响应于用户端接收到的操作指令，获取与操作指令对应的目标数据，目标数据包括：已存储在用户端的数据和/或通过操作指令创建的新数据；根据目标数据以及用户端预先配置的识别模型库，确定目标识别模型；通过目标识别模型识别目标数据，并根据识别结果确定并输出提示信息，和/或屏蔽目标数据。解决了现有技术将数据上传至服务器进行集中式违规识别时，存在负荷量过大导致无法有效精准识别，且给用户端增加了数据流量负担的技术问题。利用分布式识别的方式，在用户端操作违规数据时即可离线识别并进行拦截或屏蔽，达到了既提高识别准确性又节省数据流量的技术效果。

Description

用户端识别违规数据的方法、设备、介质及程序产品
本申请要求于2021年12月22日提交中国专利局、申请号为202111583305.6、申请名称为“用户端识别违规数据的方法、设备、介质及程序产品”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及智能电子产品领域，具体涉及一种用户端识别违规数据的方法、设备、介质及程序产品。
背景技术
随着科技的发展和社会的进步，以及人们生活水平的提高，智能用户端如手机、电脑、平板电脑等智能电子产品已经得到了广泛的普及。
目前，在智能用户端使用的过程中，可能会涉及到违规数据的传播问题。现有技术一般都是通过将数据上传到服务器后，由服务器进行鉴别或者是由后台运维人员进行数据审查来识别出违规数据。
但是随着互联网的不断发展，网络上传播的数据量呈爆发式增长，这就给服务器或者审查人员带来了严重的审核负担，这就导致很多违规数据依旧泛滥互联网，为互联网的健康安全使用带来了严重的威胁。即现有技术将数据上传至服务器进行集中式违规识别时，存在负荷量过大导致无法有效精准识别，且给用户端增加了数据流量负担的技术问题。
发明内容
本申请提供了一种用户端识别违规数据的方法、设备、介质及程序产品，以解决现有技术将数据上传至服务器进行集中式违规识别时，存在负荷量过大导致无法有效精准识别，且给用户端增加了数据流量负担的技术问题。
第一方面，本申请提供了一种用户端识别违规数据的方法，包括：
响应于用户端接收到的操作指令，获取与操作指令对应的目标数据，目标数据满足预设格式要求，目标数据包括：已存储在用户端的数据和/或通过操作指令创建的新数据；
根据目标数据以及用户端预先配置的识别模型库，确定目标识别模型；
通过目标识别模型识别目标数据，并根据识别结果确定并输出提示信息，和/或屏蔽目标数据。
在一种可能的设计中，根据目标数据以及用户端预先配置的识别模型库，确定目标识别模型，包括：
提取目标数据的特征；
根据该特征判断识别模型库中是否存在至少一个与特征对应的待选识别模型；
若存在，则根据预设选用要求从各个待选识别模型中确定目标识别模型。
在一种可能的设计中，上述特征包括：目标数据的格式类型。
在一种可能的设计中，在根据特征判断识别模型库中是否存在至少一个与特征对应的待选识别模型之后，还包括：
若不存在，则通过库管理工具更新识别模型库；
再次判断更新后的识别模型库中是否存在至少一个与特征对应的待选识别模型；若存在，则根据预设选用要求从各个待选识别模型中确定目标识别模型；
若仍不存在，则确定目标数据为非违规数据。
在一种可能的设计中，在获取与操作指令对应的目标数据之前，还包括：
安装基础架构平台，并通过基础架构平台的库管理工具导入识别工具库；
利用预设封装程序封装识别工具库中的各个识别工具，以确定各个初始识别模型；
根据获取的预设训练模型以及训练数据，对各个初始识别模型进行训练，以确定识别模型库中的各个待选识别模型。
可选的，用户端包括基于iOS系统架构的电子设备。
第二方面，本申请提供一种食材存储装置，包括：
获取模块，用于响应于接收到的操作指令，获取与操作指令对应的目标数据，目标数据满足预设格式要求，目标数据包括：已存储的数据和/或通过操作指令创建的新数据；
处理模块，用于：
根据目标数据以及预先配置的识别模型库，确定目标识别模型；
通过目标识别模型识别目标数据，并根据识别结果确定并输出提示信息，和/或屏蔽目标数据。
在一种可能的设计中，处理模块，用于：
提取目标数据的特征；
根据特征判断识别模型库中是否存在至少一个与特征对应的待选识别模型；
若存在，则根据预设选用要求从各个待选识别模型中确定目标识别模型。
在一种可能的设计中，上述特征包括：目标数据的格式类型。
在一种可能的设计中，处理模块，还用于：
若不存在，则通过库管理工具更新识别模型库；
再次判断更新后的识别模型库中是否存在至少一个与特征对应的待选识别模型；若存在，则根据预设选用要求从各个待选识别模型中确定目标识别模型；
若仍不存在，则确定目标数据为非违规数据。
在一种可能的设计中，处理模块，还用于：
安装基础架构平台，并通过基础架构平台的库管理工具导入识别工具库；
利用预设封装程序封装识别工具库中的各个识别工具，以确定各个初始识别模型；
获取模块，还用于获取预设训练模型以及训练数据；
处理模块，还用于根据预设训练模型以及训练数据，对各个初始识别模型进行训练，以确定识别模型库中的各个待选识别模型。
可选的，该装置包括基于iOS系统架构的装置。
第三方面，本申请提供一种电子设备，包括：
处理器；以及，
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令，执行第一方面所提供的任意一种可能的用户端识别违规数据的方法。
第四方面，本申请提供一种洗衣机，包括：显示器或扬声器中的至少一个，以及第三方面所提供的电子设备；
其中，显示器或扬声器用于输出导引信息或响应信息，以实现第一方面所提供的任意一种可能的用户端识别违规数据的方法。
第五方面，本申请还提供一种存储介质，所述可读存储介质中存储有计算机程序，该计算机程序用于执行第一方面所提供的任意一种可能的用户端识别违规数据的方法。
第六方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所提供的任意一种可能的用户端识别违规数据的方法。
本申请提供了一种用户端识别违规数据的方法、设备、介质及程序产品，通过响应于用户端接收到的操作指令，获取与操作指令对应的目标数据，目标数据满足预设格式要求，目标数据包括：已存储在用户端的数据和/或通过操作指令创建的新数据；然后根据目标数据以及用户端预先配置的识别模型库，确定目标识别模型；再通过目标识别模型识别目标数据，并根据识别结果确定并输出提示信息，和/或，屏蔽目标数据。解决了现有技术将数据上传至服务器进行集中式违规识别时，存在负荷量过大导致无法有效精准识别，且给用户端增加了数据流量负担的技术问题。利用分布式识别的方式，在用户端操作违规数据时即可离线识别并进行拦截或屏蔽，达到了既提高识别准确性又节省数据流量的技术效果。
附图说明
图1为本申请提供的一种用户端识别违规数据的方法的应用场景示意图；
图2为本申请实施例提供的一种用户端识别违规数据的方法的流程示意图；
图3为本申请实施例提供的另一种用户端识别违规数据的方法的流程示意图；
图4为本申请提供的一种识别违规数据的装置的结构示意图；
图5为本申请提供的一种电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，包括但不限于对多个实施例的组合，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
互联网的快速发展以及智能电子产品的普及，促使人类社会的信息大爆炸的程度愈演 愈恶劣。在便于人们信息交互的同时，也给信息的监管带来了巨大的压力。一些对于社会和谐稳定不利的信息，这些违规信息或者违规数据层出不穷，为了维护人们的心理健康，比如防止误导未成年人，以及避免人们上当受骗，致使受骗者遭受到财产损失，各大网络公司或者政府部门都建立的违规数据监管体制，其一般采用中心集中式的违规数据识别监管方式。但是由于数据监管与用户的正常使用之间存在着一些制约，并且由于数据量巨大，中心集中式的识别监管方式对于服务器的运算资源消耗巨大，也使得监管可能会出现漏洞，并且用户端需要将数据先发送给服务器进行审核，又加大了数据流量以及数据传输的带宽压力，这无疑也是在无形中增加了资源消耗量。
总的来说，现有技术将数据上传至服务器进行集中式违规识别时，存在负荷量过大导致无法有效精准识别，且给用户端增加了数据流量负担的技术问题。
为解决上述技术问题，本申请的发明构思是：
将中心集中式的违规数据识别监管方式转变为分布式的方式，即将违规数据的识别打散到每个用户端上来，从违规数据产生的源头上就开始对其识别和监管。这样既可以让用户端节省数据上传的流量，也减轻了中央服务器的资源消耗，并且，由于在用户端的数据量不大，对用户端的影响也会比较小，通过化整为零的方式，将违规数据的识别和管控分散到了各个用户端。
下面结合几个实施例，对本申请所提供的用户端识别违规数据的方法的具体步骤进行详细介绍。
图1为本申请提供的一种用户端识别违规数据的方法的应用场景示意图。如图1所示，用户10在对任意一种用户端11进行操作时，无论是产生新的数据还是对已有数据进行操作，如拍摄照片或视频、编辑文字、发送链接等等，都会优先触发违规数据识别，对于被识别为违规数据的目标数据，会被打上相应的标签。用户端11包括：手机、台式电脑、笔记本电脑、平板电脑等等。进一步的，可以对用户屏蔽这些违规数据，使其无法传播这些数据、甚至禁止这些数据的保存。
下面对本申请提供的用户端识别违规数据的方法的具体步骤进行介绍：
图2为本申请实施例提供的一种用户端识别违规数据的方法的流程示意图。如图2所示，该用户端识别违规数据的方法的具体步骤，包括：
S201、响应于用户端接收到的操作指令，获取与操作指令对应的目标数据。
在本步骤中，目标数据满足预设格式要求，即目标数据的格式在预设的格式范围之内，并且该目标数据包括：已存储在用户端的数据和/或通过操作指令创建的新数据，预设的格式范围包括：图片、视频、网页链接、敏感内容相关的文字等等。
操作指令包括：拍摄、存储、查看、发送、上传等等中的任意一项。
具体的，不同于现有技术需要将目标数据上传到服务器后，由服务器再进行违规审核或鉴别，本申请实施例则是将违规数据的识别放到了用户端，只要识别到用户在产生新数据或者是操作原有的数据，而这些数据只要在预设的格式范围之内，则需要对其进行是否属于违规数据的识别，以将违规数据遏制在源头，防止其传播。
例如，用户在用手机拍摄视频或者是图片后，现有技术一般会直接保存视频或者图片，而在本申请实施例中，则会先把视频或图片设置为目标数据，然后执行S202～S203进行违规数据识别。
S202、根据目标数据以及用户端预先配置的识别模型库，确定目标识别模型。
在本步骤中，首先提取目标数据的特征；然后根据该特征判断识别模型库中是否存在至少一个与特征对应的待选识别模型；若存在，则根据预设选用要求从各个待选识别模型中确定目标识别模型。
需要说明的是，上述特征包括：目标数据的格式类型、关键内容片段等等。
例如，若目标数据为图片，则在识别模型库中筛选出至少一个图像识别模型，对于视频，则在识别模型库中筛选出至少一个视频内容识别模型，对于链接，在识别模型库中筛选出至少一个网页识别模型。
进一步的，还可以先把图片或视频中所识别到的特定内容，比如人像、场景等以便于筛选敏感违规内容识别模型。
需要说明的是，识别模型库可以定期更新，由相关的监管机构进行统一的管理，通过网络传输给各个用户端。
S203、通过目标识别模型识别目标数据，并根据识别结果确定并输出提示信息，和/或屏蔽目标数据。
在本步骤中，目标识别模型是经过大数据预先训练好的，针对某种数据格式和/或某种内容的识别模型，例如识别含敏感违规内容的图片的神经网络模型。
在本实施例中，目标识别模型在确定目标数据是违规数据后，将会以预设方式屏蔽该目标数据，比如以“X”代替该目标数据的显示，并将该数据移入隔离区，同时向用户发起弹窗提示，如“该图片包含敏感违规内容，禁止传播”。
本实施例提供的用户端识别违规数据的方法，通过响应于用户端接收到的操作指令，获取与操作指令对应的目标数据，目标数据满足预设格式要求，目标数据包括：已存储在用户端的数据和/或通过操作指令创建的新数据；然后根据目标数据以及用户端预先配置的识别模型库，确定目标识别模型；再通过目标识别模型识别目标数据，并根据识别结果确定并输出提示信息，和/或，屏蔽目标数据。解决了现有技术将数据上传至服务器进行集中式违规识别时，存在负荷量过大导致无法有效精准识别，且给用户端增加了数据流量负担的技术问题。利用分布式识别的方式，在用户端操作违规数据时即可离线识别并进行拦截或屏蔽，达到了既提高识别准确性又节省数据流量的技术效果。
图3为本申请实施例提供的另一种用户端识别违规数据的方法的流程示意图。如图3所示，该用户端识别违规数据的方法的具体步骤包括：
S301、在用户端安装基础架构平台。
在本步骤中，基础架构平台包括：Firebase平台，用户端包括：基于iOS系统架构的电子设备。
在本实施例中，为了使得用户端能够无需上传数据即可实现违规数据的离线识别，需要对用户端进行适当的更新。首先就是基础架构平台的安装，以便于后续加载对应的识别模型库。
具体的，例如，将用户端的bundleid在Firebase上注册，并将生成的GoogleService-Info.plist位置文件导入用户端。
S302、通过基础架构平台的库管理工具导入识别工具库。
在本步骤中，库管理工具包括：cocoapods工具，识别工具库包括：Firebase基础库和 各种功能库，如鉴黄库。
S303、利用预设封装程序封装识别工具库中的各个识别工具，以确定各个初始识别模型。
在本步骤中，为了提高识别工具库中各种识别类工具的逻辑通用性，可以采用如C语言这样的非面向对象语言对其进行编写，而在智能用户端，如iOS用户端，一般都是基于面向对象的架构进行运行的，这样就需要对识别工具库进行封装，使其具备面向对象的特性，如采用object-C语言进行封装。封装后，即可得到面向对象的各个初始识别模型。
S304、根据获取的预设训练模型以及训练数据，对各个初始识别模型进行训练，以确定识别模型库中的各个待选识别模型。
在本步骤中，如果初始识别模型已经在监管机构的服务器或者运营商的服务器中训练过，则直接就可以作为待选识别模型加入识别模型库，如果初始识别模型还没有进行训练，或者是没有针对用户端对应的用户类型进行过针对性的训练，则需要导入预设训练模型以及训练数据进行训练，这个训练过程可能会持续一段时间，如几天甚至几周来采集用户端本地的数据进行用户习惯的收集，当然这个过程可以是在后台执行的，并不影响用户端的日常使用。
S305响应于用户端接收到的操作指令，获取与操作指令对应的目标数据。
在本步骤中，目标数据满足预设格式要求，目标数据包括：已存储在用户端的数据和/或通过操作指令创建的新数据。
S306、提取目标数据的特征。
在本步骤中，特征包括：目标数据的格式类型。
S307、根据该特征判断识别模型库中是否存在至少一个与特征对应的待选识别模型。
在本步骤中，若存在，则执行步骤S308，若不存在，则执行步骤S310。
S308、根据预设选用要求从各个待选识别模型中确定目标识别模型。
本步骤的实现原理及名词解释可以参考S202，在此不再赘述。
S309、通过目标识别模型识别目标数据，并根据识别结果确定并输出提示信息，和/或屏蔽目标数据。
本步骤的实现原理及名词解释可以参考S203，在此不再赘述。
S310、通过库管理工具更新识别模型库。
在本步骤中，库管理工具通过基础架构平台连接监管机构的服务器或运营商的中央服务器，下载最新的识别工具，然后进行封装，并更新失败模型库，或者是直接下载最新版本的识别模型库。然后重新执行步骤S307。
即若不存在，则通过库管理工具更新识别模型库；
再次判断更新后的识别模型库中是否存在至少一个与特征对应的待选识别模型；若存在，则根据预设选用要求从各个待选识别模型中确定目标识别模型；
若仍不存在，则确定目标数据为非违规数据。
本实施例提供的用户端识别违规数据的方法，通过响应于用户端接收到的操作指令，获取与操作指令对应的目标数据，目标数据满足预设格式要求，目标数据包括：已存储在用户端的数据和/或通过操作指令创建的新数据；然后根据目标数据以及用户端预先配置的识别模型库，确定目标识别模型；再通过目标识别模型识别目标数据，并根据识别结果确 定并输出提示信息，和/或，屏蔽目标数据。解决了现有技术将数据上传至服务器进行集中式违规识别时，存在负荷量过大导致无法有效精准识别，且给用户端增加了数据流量负担的技术问题。利用分布式识别的方式，在用户端操作违规数据时即可离线识别并进行拦截或屏蔽，达到了既提高识别准确性又节省数据流量的技术效果。
图4为本申请提供的一种识别违规数据的装置的结构示意图。该食材存储装置可以通过软件、硬件或者两者的结合实现。
如图4所示，本实施例提供的识别违规数据的装置400，包括：
获取模块401，用于响应于接收到的操作指令，获取与操作指令对应的目标数据，目标数据满足预设格式要求，目标数据包括：已存储的数据和/或通过操作指令创建的新数据；
处理模块402，用于：
根据目标数据以及预先配置的识别模型库，确定目标识别模型；
通过目标识别模型识别目标数据，并根据识别结果确定并输出提示信息，和/或屏蔽目标数据。
在一种可能的设计中，处理模块402，用于：
提取目标数据的特征；
根据特征判断识别模型库中是否存在至少一个与特征对应的待选识别模型；
若存在，则根据预设选用要求从各个待选识别模型中确定目标识别模型。
在一种可能的设计中，上述特征包括：目标数据的格式类型。
在一种可能的设计中，处理模块402，还用于：
若不存在，则通过库管理工具更新识别模型库；
再次判断更新后的识别模型库中是否存在至少一个与特征对应的待选识别模型；若存在，则根据预设选用要求从各个待选识别模型中确定目标识别模型；
若仍不存在，则确定目标数据为非违规数据。
在一种可能的设计中，处理模块402，还用于：
安装基础架构平台，并通过基础架构平台的库管理工具导入识别工具库；
利用预设封装程序封装识别工具库中的各个识别工具，以确定各个初始识别模型；
获取模块401，还用于获取预设训练模型以及训练数据；
处理模块402，还用于根据预设训练模型以及训练数据，对各个初始识别模型进行训练，以确定识别模型库中的各个待选识别模型。
可选的，该装置包括基于iOS系统架构的装置。
值得说明的是，图4所示实施例提供的装置，可以执行上述任一方法实施例中所提供的方法，其具体实现原理、技术特征、专业名词解释以及技术效果类似，在此不再赘述。
图5为本申请提供的一种电子设备的结构示意图。如图5所示，该电子设备500可以包括：至少一个处理器501和存储器502。图5示出的是以一个处理器为例的电子设备。
存储器502，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器502可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器501用于执行存储器502存储的计算机执行指令，以实现以上各方法实施例所 述的方法。
其中，处理器501可能是一个中央处理器(central processing unit，简称为CPU)，或者是特定集成电路(application specific integrated circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地，存储器502既可以是独立的，也可以跟处理器501集成在一起。当所述存储器502是独立于处理器501之外的器件时，所述电子设备500，还可以包括：
总线503，用于连接所述处理器501以及所述存储器502。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheral component，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器502和处理器501集成在一块芯片上实现，则存储器502和处理器501可以通过内部接口完成通信。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述各方法实施例中的方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的方法。
本申请实施例还提供一种计算机程序，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如上述各方法实施例中的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由本申请的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

  1. 一种用户端识别违规数据的方法，其特征在于，包括：
    响应于用户端接收到的操作指令，获取与所述操作指令对应的目标数据，所述目标数据满足预设格式要求，所述目标数据包括：已存储在所述用户端的数据和/或通过所述操作指令创建的新数据；
    根据所述目标数据以及所述用户端预先配置的识别模型库，确定目标识别模型；
    通过所述目标识别模型识别所述目标数据，并根据识别结果确定并输出提示信息，和/或屏蔽所述目标数据。
  2. 根据权利要求1所述的用户端识别违规数据的方法，其特征在于，所述根据所述目标数据以及所述用户端预先配置的识别模型库，确定目标识别模型，包括：
    提取所述目标数据的特征；
    根据所述特征判断所述识别模型库中是否存在至少一个与所述特征对应的待选识别模型；
    若存在，则根据预设选用要求从各个所述待选识别模型中确定所述目标识别模型。
  3. 根据权利要求2所述的用户端识别违规数据的方法，其特征在于，所述特征包括：所述目标数据的格式类型。
  4. 根据权利要求2或3所述的用户端识别违规数据的方法，其特征在于，在所述根据所述特征判断所述识别模型库中是否存在至少一个与所述特征对应的待选识别模型之后，还包括：
    若不存在，则通过库管理工具更新所述识别模型库；
    再次判断更新后的所述识别模型库中是否存在至少一个与所述特征对应的待选识别模型；若存在，则根据预设选用要求从各个所述待选识别模型中确定所述目标识别模型；
    若仍不存在，则确定所述目标数据为非违规数据。
  5. 根据权利要求1-4中任意一项所述的用户端识别违规数据的方法，其特征在于，在所述获取与所述操作指令对应的目标数据之前，还包括：
    安装基础架构平台，并通过所述基础架构平台的库管理工具导入识别工具库；
    利用预设封装程序封装所述识别工具库中的各个识别工具，以确定各个初始识别模型；
    根据获取的预设训练模型以及训练数据，对各个所述初始识别模型进行训练，以确定所述识别模型库中的各个待选识别模型。
  6. 根据权利要求1-5中任意一项所述的用户端识别违规数据的方法，其特征在于，所述用户端包括基于iOS系统架构的电子设备。
  7. 一种识别违规数据的装置，包括：
    响应于接收到的操作指令，获取与所述操作指令对应的目标数据，所述目标数据满足预设格式要求，所述目标数据包括：已存储的数据和/或通过所述操作指令创建的新数据；
    根据所述目标数据以及预先配置的识别模型库，确定目标识别模型；
    通过所述目标识别模型识别所述目标数据，并根据识别结果确定并输出提示信息，和/或屏蔽所述目标数据。
  8. 一种电子设备，其特征在于，包括：
    处理器；以及，
    存储器，用于存储所述处理器的可执行计算机程序；
    其中，所述处理器配置为经由执行所述可执行计算机程序来执行权利要求1至6任一项所述的用户端识别违规数据的方法。
  9. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的用户端识别违规数据的方法。
  10. 一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的用户端识别违规数据的方法。
  11. 一种计算机程序，其特征在于，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如权利要求1至6任一项所述的用户端识别违规数据方法。
PCT/CN2022/110664 2021-12-22 2022-08-05 用户端识别违规数据的方法、设备、介质及程序产品 WO2023115968A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111583305.6A CN114266906A (zh) 2021-12-22 2021-12-22 用户端识别违规数据的方法、设备、介质及程序产品
CN202111583305.6 2021-12-22

Publications (1)

Publication Number Publication Date
WO2023115968A1 true WO2023115968A1 (zh) 2023-06-29

Family

ID=80829537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/110664 WO2023115968A1 (zh) 2021-12-22 2022-08-05 用户端识别违规数据的方法、设备、介质及程序产品

Country Status (2)

Country Link
CN (1) CN114266906A (zh)
WO (1) WO2023115968A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266906A (zh) * 2021-12-22 2022-04-01 工赋(青岛)科技有限公司 用户端识别违规数据的方法、设备、介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325067A (zh) * 2018-12-14 2020-06-23 北京金山云网络技术有限公司 违规视频的识别方法、装置及电子设备
CN111738011A (zh) * 2020-05-09 2020-10-02 完美世界(北京)软件科技发展有限公司 违规文本的识别方法及装置、存储介质、电子装置
CN113449506A (zh) * 2021-06-29 2021-09-28 未鲲(上海)科技服务有限公司 一种数据检测方法、装置、设备及可读存储介质
CN114266906A (zh) * 2021-12-22 2022-04-01 工赋(青岛)科技有限公司 用户端识别违规数据的方法、设备、介质及程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325067A (zh) * 2018-12-14 2020-06-23 北京金山云网络技术有限公司 违规视频的识别方法、装置及电子设备
CN111738011A (zh) * 2020-05-09 2020-10-02 完美世界(北京)软件科技发展有限公司 违规文本的识别方法及装置、存储介质、电子装置
CN113449506A (zh) * 2021-06-29 2021-09-28 未鲲(上海)科技服务有限公司 一种数据检测方法、装置、设备及可读存储介质
CN114266906A (zh) * 2021-12-22 2022-04-01 工赋(青岛)科技有限公司 用户端识别违规数据的方法、设备、介质及程序产品

Also Published As

Publication number Publication date
CN114266906A (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
US11546270B2 (en) Methods and apparatus to throttle media access by web crawlers
US9349006B2 (en) Method and device for program identification based on machine learning
CN104486140B (zh) 一种检测网页被劫持的装置及其检测方法
CN101950296B (zh) 云数据审计的方法及系统
CN108667840B (zh) 注入漏洞检测方法及装置
CN111737692B (zh) 应用程序的风险检测方法及装置、设备、存储介质
KR101977178B1 (ko) 블록체인 기반의 파일 위변조 검사 방법 및 이를 적용한 컴퓨터로 읽을 수 있는 저장매체
CN105357204B (zh) 生成终端识别信息的方法及装置
CN111402120B (zh) 一种标注图像处理方法及装置
US11822698B2 (en) Privacy transformations in data analytics
CN110909229A (zh) 一种基于模拟浏览器访问的网页数据获取和存储的系统
US20180107686A1 (en) Search method and apparatus
US20230418943A1 (en) Method and device for image-based malware detection, and artificial intelligence-based endpoint detection and response system using same
WO2023115968A1 (zh) 用户端识别违规数据的方法、设备、介质及程序产品
CN104680065A (zh) 病毒检测方法、装置及设备
CN109344614A (zh) 一种Android恶意应用在线检测方法
CN112866279B (zh) 网页安全检测方法、装置、设备及介质
CN113810375B (zh) webshell检测方法、装置、设备及可读存储介质
JP2012182737A (ja) 秘密資料流出防止システム、判定装置、秘密資料流出防止方法およびプログラム
CN115544558A (zh) 敏感信息检测方法、装置、计算机设备及存储介质
CN113888760B (zh) 基于软件应用的违规信息监控方法、装置、设备及介质
CN115511645A (zh) 理赔图片的检测方法、装置、设备及存储介质
CN111221803B (zh) 一种特征库管理方法及协处理器
CN114625622A (zh) 数据处理方法以及水印处理装置
CN114463585A (zh) 针对内容社区的违规旗帜识别方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22909298

Country of ref document: EP

Kind code of ref document: A1