WO2017166512A1 - 视频分类模型的训练方法和视频分类方法 - Google Patents

视频分类模型的训练方法和视频分类方法 Download PDF

Info

Publication number
WO2017166512A1
WO2017166512A1 PCT/CN2016/089246 CN2016089246W WO2017166512A1 WO 2017166512 A1 WO2017166512 A1 WO 2017166512A1 CN 2016089246 W CN2016089246 W CN 2016089246W WO 2017166512 A1 WO2017166512 A1 WO 2017166512A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
category
attribute
classified
text content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/089246
Other languages
English (en)
French (fr)
Inventor
张立宁
余婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Le Holdings Beijing Co Ltd
LeCloud Computing Co Ltd
Original Assignee
Le Holdings Beijing Co Ltd
LeCloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Le Holdings Beijing Co Ltd, LeCloud Computing Co Ltd filed Critical Le Holdings Beijing Co Ltd
Publication of WO2017166512A1 publication Critical patent/WO2017166512A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Definitions

  • the present disclosure belongs to the field of Internet technologies, and in particular, to a training method and a video classification method for a video classification model.
  • the classified storage of video plays an important role in the management of video and the recommendation of interest.
  • some professional category video playing websites for example, an educational platform for playing teaching videos
  • it has its own set of video management system to classify and store videos on the website.
  • the category video playback website due to the limited capacity of the category video playback website, it does not have long-distance transcoding capability.
  • the video service provider such as LeEco Cloud Platform
  • the ID is distributed to the video service provider's CDN platform.
  • it needs to play the video it only needs to obtain the network address of the video from the video service provider's CDN platform to play.
  • the ID is generally composed of a series of meaningless letters and numbers (the ID of each video is unique), for the video service provider, the content tag of the video stored in its cloud platform is only a string of Meaning letters and numbers. Therefore, it is very difficult for video service providers to classify this type of video in their cloud platform.
  • the purpose of the present disclosure is to enable an accurate classification of video stored by a video service provider (eg, LeEco Cloud Platform) in a cluster of cloud platform servers that it is built.
  • a video service provider eg, LeEco Cloud Platform
  • the present disclosure provides a training method for a video classification model, including the following steps:
  • a Bayesian model is established, and a set of attribute words and an existing category label of each video in the domain video set are input to a Bayesian model to train the Bayesian model to obtain a video classification model.
  • the training method of the video classification model after the step of acquiring the text content of each video in the video collection of a certain domain and the existing category label, further includes:
  • a category directory of the video collection of the domain is established according to the existing category label.
  • the training method of the video classification model wherein the input parameter of the video classification model is an attribute word, and the output parameter is: a plurality of category probability values; wherein each category probability value indicates that the attribute word belongs to the The probability of a category in the category catalog.
  • the training method of the video classification model wherein the step of acquiring the text content and the category label of each video in the video collection of a certain domain comprises:
  • the text content and category labels of the current video are extracted from each video play page network.
  • the training method of the video classification model wherein the step of segmenting the text content of each video to obtain a set of attribute words of each video comprises:
  • the first level keyword set is filtered to obtain a set of attribute words.
  • the training method of the video classification model wherein the text content includes a title and/or a content introduction of a current video.
  • the training method of the video classification model wherein the Bayesian model is a naive Bayesian model.
  • a video classification method comprising the following steps:
  • the attribute word in the step of obtaining a category probability value of each attribute word of the video to be classified, includes at least one category probability value.
  • the step of classifying the video to be classified according to the category probability value of each attribute word includes the following steps:
  • the one with the largest value is selected as the optimal category probability value of the attribute word
  • a computer storage medium is further provided, wherein the computer storage medium can store a program, and when the program is executed, each implementation manner of a training method of a video classification model provided by the present invention can be implemented. Part or all of the steps.
  • a computer storage medium may store a program that, when executed, may implement portions of various implementations of a video classification method provided by the present invention or All steps.
  • the present disclosure enables efficient classification of video by high efficiency, simplicity, and high accuracy.
  • 1 is a flow chart showing the steps of a training method of the video classification model of the present disclosure
  • FIG. 2 is a flow chart showing steps of acquiring text content and category tags of a video in a training method of the video classification model of the present disclosure
  • 3 is a flow chart showing the steps of segmenting the text content of each video in the training method of the video classification model of the present disclosure
  • FIG. 5 is a flow chart showing the steps of classifying a video to be classified according to a category probability value of each attribute word in the video classification method of the present disclosure.
  • 1 is a flow chart showing the steps of a training method of the video classification model of the present disclosure.
  • a training method for a video classification model includes the following steps:
  • step S1 the text content and the existing category label of each video in the video collection in a certain domain are obtained.
  • the video playing page on the website includes text content that is edited in natural language and describes the content of the video, the text content including the current video. Title and / or content introduction.
  • a field can be in the fields of education, news, entertainment, and so on.
  • these professional category video playing websites generally establish their own set of category directories, wherein the set of category directories includes multiple category names, and each video is divided into corresponding categories. Under the category name, use the category name as the category label for the video.
  • the existing category label described in the present disclosure refers to the category label of the video in the professional category video playing website.
  • the method further includes: step of establishing a category directory of the video collection of the domain according to the existing category label.
  • the video source of a certain field stored in the video service provider's cloud platform for example, LeEco Cloud Platform
  • the video source is not only a video playing website, but may be derived from a large amount of video. Playing the website, therefore, since the existing category directory of each video playing website may not be comprehensive and cannot cover all the videos in the video collection of a certain domain, the present disclosure needs to re-create the video of the field based on the existing category label.
  • the category directory of the collection is not only a video playing website, but may be derived from a large amount of video. Playing the website, therefore, since the existing category directory of each video playing website may not be comprehensive and cannot cover all the videos in the video collection of a certain domain, the present disclosure needs to re-create the video of the field based on the existing category label.
  • the category directory of the collection is not only a video playing website, but may be derived from
  • the present disclosure takes the field of education as an example, and the category names in the catalogue of the re-established video collections of the educational field mainly include: pre-school, elementary school, junior high school, junior high school, senior high school entrance examination, high school, college entrance examination, university, study abroad, civil servant, and judicial , IT, finance and finance, international study tours, management, life skills, sports, summer camps, interests, arts, language training, pregnancy and baby counseling, vocational skills, and others.
  • step S2 the text content of each video is segmented to obtain a set of attribute words for each video.
  • the text content of each video can be segmented by using a word segmentation algorithm in the prior art to obtain a set of attribute words for each video.
  • the set of attribute words of each video includes at least one attribute word.
  • Step S3 a Bayesian model is established, and the attribute word set of each video in the domain video set and the existing category label are input to the Bayesian model to train the Bayesian model to obtain a video classification model.
  • the Bayesian model is a naive Bayesian model.
  • the input parameter of the video classification model is an attribute word
  • the output parameter is: a plurality of category probability values.
  • each category probability value indicates a probability that the attribute word belongs to a category in the category catalog.
  • FIG. 2 is a flow chart showing the steps of acquiring text content and category tags of a video in a training method of the video classification model of the present disclosure.
  • the step of acquiring the text content and the category label of each video in the video collection of a certain domain includes:
  • Step S11 Obtain a network address of each video in a video collection of a certain domain stored in the cloud server.
  • the professional category video playing website using the long-range transcoding service provided by the cloud platform server cluster Prior to step S1, the professional category video playing website using the long-range transcoding service provided by the cloud platform server cluster generates the long-range transcoding function provided by the video service provider (for example, LeEco Cloud Platform) on the video on the website.
  • the ID of the video is then distributed to one or more servers (ie, cloud servers) in the CDN platform of the video service provider, and the cloud server stores the video.
  • the video service provider usually provides long-distance transcoding services for a large number of video playing websites, the video service provider's cloud server stores a large amount of video, an ID of each video, and a network of each video. address. Therefore, in step S11, only the network address of the video needs to be acquired.
  • Step S12 Obtain a broadcast of each video by using a webpage crawling algorithm according to the network address of the video. Put the page.
  • the web crawling algorithm refers to an algorithm based on the prior art web crawler.
  • the web crawler is a program for automatically extracting web pages, which is a search engine for downloading web pages from the World Wide Web, and is an important component of the search engine.
  • the traditional crawler starts from the URL of one or several initial webpages and obtains the URL on the initial webpage.
  • the new URL is continuously extracted from the current page into the queue until a certain stop condition of the system is satisfied.
  • step S13 the text content and the category label of the current video are extracted from each video playpage network.
  • the video playing page on the website includes text content that is edited in natural language and describes the content of the video, the text content including the current video. Title and / or content introduction.
  • these professional category video playing websites generally establish their own set of category directories, wherein the set of category directories includes multiple category names, and each video is divided into corresponding categories. Under the category name, use the category name as the category label for the video.
  • the existing category label described in the present disclosure refers to the category label of the video in the professional category video playing website.
  • FIG. 3 is a flow chart showing the steps of word segmentation of the text content of each video in the training method of the video classification model of the present disclosure.
  • step S2 the text content of each video is segmented, and the step of obtaining the attribute word set of each video includes:
  • Step S21 performing segmentation on the text content, obtaining a word segmentation result, performing part-of-speech tagging on each word in the word segmentation result according to the part-of-speech tagging algorithm, and screening the words in the segmentation result according to the tagging result to obtain a Level keyword collection.
  • the first level keyword set includes multiple first level keywords.
  • the method further includes storing the participle part-of-speech table in the cloud server, and updating the participle part-of-speech table from time to time.
  • Step S22 filtering the first-level keyword set according to the stop word table to obtain an attribute word set.
  • the attribute word set includes a plurality of attribute words.
  • the method further includes storing the stop word table in the cloud server, and updating the stop word table from time to time.
  • the stop word list uses the stop word list in the prior art. Filtering the first-level keyword set refers to filtering out the stop words in the primary keyword set.
  • FIG. 4 is a flow chart of the steps of the video classification method of the present disclosure.
  • a video classification method includes the following steps:
  • step S01 the text content of the video to be classified is obtained.
  • Obtaining a video to be classified is a new video, which is a new video uploaded to the cloud server.
  • Step S02 Perform word segmentation on the text content of the classified video to obtain a set of attribute words of the video to be classified.
  • Step S03 Enter each attribute word in the attribute word set of the video to be classified into the video classification model according to any one of claims 1-4 to obtain a category probability value of each attribute word of the video to be classified.
  • the attribute word includes at least one category probability value.
  • FIG. 5 is a flow chart showing the steps of classifying a video to be classified according to a category probability value of each attribute word in the video classification method of the present disclosure.
  • the step of classifying the video to be classified according to the category probability value of each attribute word includes the following steps:
  • Step S031 Select one of the plurality of category probability values of each attribute word as the optimal category probability value of the attribute word.
  • Step S032 Perform a product operation on the optimal category probability value of each attribute word in the attribute word set of the classified video to obtain a class probability of the to-be-classified video.
  • Step S033 Determine, according to the category probability of the video to be classified, a category label of the to-be-categorized video in the category directory.
  • the embodiment of the invention further provides a computer storage medium, wherein the computer storage medium can be stored There is a program, which can implement some or all of the implementation steps of the training method of the video classification model provided by the embodiment shown in FIG. 1 to FIG.
  • the embodiment of the present invention further provides a computer storage medium, wherein the computer storage medium can store a program, and the program can be implemented in each implementation manner of a video classification method provided by the embodiment shown in FIG. 4-5. Part or all of the steps.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种视频分类模型的训练方法以及基于训练好的视频分类模型对视频进行分类的方法，其中，视频分类模型的训练方法，包括获取某领域视频集合中每个视频的文本内容和已有类别标签（S1）；对每个视频的文本内容进行分词，得到每个视频的属性词集合（S2）；建立贝叶斯模型，将该领域视频集合中每个视频的属性词集合和已有类别标签输入至贝叶斯模型以对所述贝叶斯模型进行训练，得到视频分类模型（S3）。对视频进行分类的方法包括对待分类视频的文本内容进行分词，得到待分类视频的属性词集合（S02），将属性词集合中的每个属性词输入视频分类模型，从而确定所述待分类视频在所述类别目录中的类别标签，能够高效、简便和高准确率地实现对视频的分类。

Description

视频分类模型的训练方法和视频分类方法
本申请要求于2016年03月31日提交中国专利局、申请号为2016102024974、发明名称为“视频分类模型的训练方法和视频分类方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开属于互联网技术领域，尤其涉及一种视频分类模型的训练方法和视频分类方法。
背景技术
在大数据的环境下，视频的分类存储对于实现视频的管理以及兴趣推荐具有十分重要的作用。现有技术中，对于一些专业性的类别视频播放网站(例如播放教学视频的教育平台)，具有自己的一套视频管理系统，对网站上的视频进行分类存储。但由于类别视频播放网站自身能力有限，不具备长程转码能力，当其想上传一个视频时，需要利用视频服务提供商(例如乐视云平台)提供的长程转码功能生成该视频的ID，再将该ID分发至视频服务提供商的CDN平台上，当其需要播放该视频时，只需要从视频服务提供商的CDN平台上取到该视频的网络地址即可实现播放。由于ID一般由一串无意义的字母、数字构成(每个视频的ID是唯一的)，因此对于视频服务提供商来讲，存储于其云平台中的该视频的内容标签仅仅为一串无意义的字母、数字。因此，若视频服务提供商想对其云平台中这种类型的视频进行分类十分困难。
发明内容
本公开的目的是为了实现视频服务提供商(例如乐视云平台)对存储于其所搭建的云平台服务器群集中的视频的准确分类。
为了实现本公开的目的，本公开提供一种视频分类模型的训练方法，包括以下步骤：
获取某领域视频集合中每个视频的文本内容和已有类别标签；
对每个视频的文本内容进行分词，得到每个视频的属性词集合；
建立贝叶斯模型，将该领域视频集合中每个视频的属性词集合和已有类别标签输入至贝叶斯模型以对所述贝叶斯模型进行训练，得到视频分类模型。
进一步，所述的视频分类模型的训练方法，其中，在获取某领域视频集合中每个视频的文本内容和已有类别标签的步骤之后，还包括：
根据所述已有类别标签，建立该领域视频集合的类别目录。
进一步，所述的视频分类模型的训练方法，其中，所述视频分类模型的输入参数为属性词，输出参数为：多个类别概率值；其中，每个类别概率值表示该属性词属于所述类别目录中某个类别的概率。
进一步，所述的视频分类模型的训练方法，其中，所述获取某领域的视频集合中每个视频的文本内容和类别标签的步骤包括：
获取存储于云服务器中的某领域的视频集合中每个视频的网络地址；
根据所述视频的网络地址，通过网页爬取算法获取每个视频的播放网页；
从每个视频播放页网中提取当前视频的文本内容和类别标签。
进一步，所述的视频分类模型的训练方法，其中，所述对每个视频的文本内容进行分词，得到每个视频的属性词集合的步骤包括：
对所述文本内容进行分词，得到分词结果；
根据词性标注算法对所述分词结果中的每个词语进行词性标注，并根据标注结果对所述分词结果中的词语进行筛选，得到一级关键词集合；
根据停用词表，对所述一级关键词集合进行过滤，得到属性词集合。
进一步，所述的视频分类模型的训练方法，其中，所述文本内容包括当前视频的标题和/或内容简介。
进一步，所述的视频分类模型的训练方法，其中，所述，所述贝叶斯模型为朴素贝叶斯模型。
根据本公开的另一个方面，还提供了一种视频分类方法，包括以下步骤：
获取待分类视频的文本内容；
对待分类视频的文本内容进行分词，得到待分类视频的属性词集合；
将待分类视频的属性词集合中的每个属性词输入权利要求1-4任一项所述的视频分类模型，得到待分类视频的每个属性词的类别概率值；
根据所述每个属性词的类别概率值，确定所述待分类视频在所述类别目录中的类别标签。
进一步，所述的视频分类方法，所述得到待分类视频的每个属性词的类别概率值的步骤中，所述每个属性词包括至少一个类别概率值。
进一步，所述的视频分类方法，所述根据所述每个属性词的类别概率值，对待分类视频进行分类的步骤包括以下步骤：
从每个属性词的多个类别概率值中，选取数值最大的一个作为该属性词的最优类别概率值；
对待分类视频的属性词集合中的各个属性词的最优类别概率值进行乘积运算，得到所述待分类视频的类别概率；
根据待分类视频的类别概率，确定所述待分类视频在所述类别目录中的类别标签。
根据本公开的又一个方面，还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可实现本发明提供的一种视频分类模型的训练方法的各实现方式中的部分或全部步骤。
根据本公开的又一个方面，还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可实现本发明提供的一种视频分类方法的各实现方式中的部分或全部步骤。
本公开能够高效、简便和高准确率的实现对视频的分类。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
图1是本公开视频分类模型的训练方法的步骤流程图；
图2是本公开视频分类模型的训练方法中获取视频的文本内容和类别标签的步骤流程图；
图3是本公开视频分类模型的训练方法中对每个视频的文本内容进行分词的步骤流程图；
图4是本公开视频分类方法的步骤流程图；
图5是本公开视频分类方法中根据每个属性词的类别概率值，对待分类视频进行分类的步骤流程图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本公开进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
图1是本公开视频分类模型的训练方法的步骤流程图。
如图1所示，一种视频分类模型的训练方法，包括以下步骤：
步骤S1，获取某领域视频集合中每个视频的文本内容和已有类别标签。
在一些专业性的类别视频播放网站(例如播放教学视频的教育平台)，网站上的视频播放页中包括以自然语言编辑的对视频的内容进行描述的文本内容，所述文本内容包括当前视频的标题和/或内容简介。某领域可以是教育、新闻、娱乐等领域。另外，这些专业性的类别视频播放网站为了便于对视频的管理，一般都会建立自己的一套类别目录，其中，所述一套类别目录包括多个类别名称，每个视频都会被划分到相应的类别名称下，并将该类别名称作为该视频的类别标签。本公开中所述的已有类别标签指的视频在专业性的类别视频播放网站中的类别标签。
在获取某领域视频集合中每个视频的文本内容和已有类别标签的步骤之后，还包括：根据所述已有类别标签，建立该领域视频集合的类别目录的步骤。需要说明的是，由于视频服务提供商的云平台(例如乐视云平台)中所存储的某一领域的视频集合中，其中的视频来源不仅仅于一个视频播放网站，可能是来源于海量的视频播放网站，因此，由于每个视频播放网站的已有的类别目录可能不全面，不能覆盖到某领域视频集合中的所有的视频，因此，本公开需要基于已有类别标签，重新建立该领域视频集合的类别目录。
具体的，本公开以教育领域为例，重新建立的教育领域视频集合的类别目录中的类别名称主要包括：学前、小学、小升初、初中、中考、高中、高考、大学、出国留学、公务员、司法、IT、财经金融、国际游学、管理、生活技能、体育、夏令营、兴趣、艺术、语言培训、孕婴辅导、职业技能、其他。
步骤S2，对每个视频的文本内容进行分词，得到每个视频的属性词集合。
本步骤中，可以采用现有技术中的分词算法对每个视频的文本内容进行分词，得到每个视频的属性词集合。其中，每个视频的属性词集合包括至少一个属性词。
步骤S3，建立贝叶斯模型，将该领域视频集合中每个视频的属性词集合和已有类别标签输入至贝叶斯模型以对所述贝叶斯模型进行训练，得到视频分类模型。
所述贝叶斯模型为朴素贝叶斯模型。所述视频分类模型的输入参数为属性词，输出参数为：多个类别概率值。其中，每个类别概率值表示该属性词属于所述类别目录中某个类别的概率。
图2是本公开视频分类模型的训练方法中获取视频的文本内容和类别标签的步骤流程图。
如图2所示，所述获取某领域的视频集合中每个视频的文本内容和类别标签的步骤包括：
步骤S11，获取存储于云服务器中的某领域的视频集合中每个视频的网络地址。
在步骤S1之前，使用云平台服务器群集所提供的长程转码服务的专业性的类别视频播放网站，将其网站上的视频利用视频服务提供商(例如乐视云平台)提供的长程转码功能生成该视频的ID，再将该ID分发至视频服务提供商的CDN平台中的一台或多台服务器(即云服务器)，所述云服务器对所述视频进行存储。需要说明的是，由于视频服务提供商通常为大量的视频播放网站提供长程转码的服务，因此视频服务提供商的云服务器中存储有海量的视频、每个视频的ID以及每个视频的网络地址。因此，在步骤S11中，仅仅需要将所述视频的网络地址获取到即可。
步骤S12，根据所述视频的网络地址，通过网页爬取算法获取每个视频的播 放网页。
所是述网页爬取算法，指的基于现有技术中的网络爬虫的算法，网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
步骤S13，从每个视频播放页网中提取当前视频的文本内容和类别标签。
在一些专业性的类别视频播放网站(例如播放教学视频的教育平台)，网站上的视频播放页中包括以自然语言编辑的对视频的内容进行描述的文本内容，所述文本内容包括当前视频的标题和/或内容简介。另外，这些专业性的类别视频播放网站为了便于对视频的管理，一般都会建立自己的一套类别目录，其中，所述一套类别目录包括多个类别名称，每个视频都会被划分到相应的类别名称下，并将该类别名称作为该视频的类别标签。本公开中所述的已有类别标签指的视频在专业性的类别视频播放网站中的类别标签。
图3是本公开视频分类模型的训练方法中对每个视频的文本内容进行分词的步骤流程图。
如图3所示，所述步骤S2，对每个视频的文本内容进行分词，得到每个视频的属性词集合的步骤包括：
步骤S21，对所述文本内容进行分词，得到分词结果，根据词性标注算法对所述分词结果中的每个词语进行词性标注，并根据标注结果对所述分词结果中的词语进行筛选，得到一级关键词集合。其中，所述一级关键词集合中包含多个一级关键词。
由于文本内容是以自然语言进行描述的，包括很多词语，其中有些词语可能是不需要的一些词语，需要对文本内容采用预定的算法进行关键字提取，以过滤掉一些不需要的词语。在本步骤中，仅仅是根据分词词性表中词语的词性对所述文本内容进行分词，一方面将词语分割，另一方面过滤掉一些结构词、语气词等词语，如的、呢、啊。另外，在本步骤之前，还包括将分词词性表存储于云服务器中，并时时更新所述分词词性表。
步骤S22，根据停用词表，对所述一级关键词集合进行过滤，得到属性词集 合。其中，所述属性词集合中包含多个属性词。
在本步骤之前，还包括将停用词表存储于云服务器中，并时时更新所述停用词表。其中，停用词表采用现有技术中的停用词表。对所述一级关键词集合进行过滤指的是将一级关键词集合中的停用词过滤掉。
图4是本公开视频分类方法的步骤流程图。
如图4所示，一种视频分类方法，包括以下步骤：
步骤S01，获取待分类视频的文本内容。
获取待分类视频即一个新的视频，该视频是新上传至云服务器中的视频。
步骤S02，对待分类视频的文本内容进行分词，得到待分类视频的属性词集合。
步骤S03，将待分类视频的属性词集合中的每个属性词输入权利要求1-4任一项所述的视频分类模型，得到待分类视频的每个属性词的类别概率值。
根据所述每个属性词的类别概率值，确定所述待分类视频在所述类别目录中的类别标签。所述得到待分类视频的每个属性词的类别概率值的步骤中，所述每个属性词包括至少一个类别概率值。
图5是本公开视频分类方法中根据每个属性词的类别概率值，对待分类视频进行分类的步骤流程图。
如图5所示，所述根据所述每个属性词的类别概率值，对待分类视频进行分类的步骤包括以下步骤：
步骤S031，从每个属性词的多个类别概率值中，选取数值最大的一个作为该属性词的最优类别概率值。
步骤S032，对待分类视频的属性词集合中的各个属性词的最优类别概率值进行乘积运算，得到所述待分类视频的类别概率。
步骤S033，根据待分类视频的类别概率，确定所述待分类视频在所述类别目录中的类别标签。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储 有程序，该程序执行时可实现图1-图3所示实施例提供的一种视频分类模型的训练方法的各实现方式中的部分或全部步骤。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可实现图4-图5所示实施例提供的一种视频分类方法的各实现方式中的部分或全部步骤。
应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

  1. 一种视频分类模型的训练方法，包括：
    获取某领域视频集合中每个视频的文本内容和已有类别标签；
    对每个视频的文本内容进行分词，得到每个视频的属性词集合；
    建立贝叶斯模型，将该领域视频集合中每个视频的属性词集合和已有类别标签输入至贝叶斯模型以对所述贝叶斯模型进行训练，得到视频分类模型。
  2. 根据权利要求1所述的方法，其中，在获取某领域视频集合中每个视频的文本内容和已有类别标签之后，还包括：
    根据所述已有类别标签，建立该领域视频集合的类别目录。
  3. 根据权利要求2所述的方法，其中，所述视频分类模型的输入参数为属性词，输出参数为：多个类别概率值；其中，每个类别概率值表示该属性词属于所述类别目录中某个类别的概率。
  4. 根据权利要求1-3任一项所述的方法，其中，所述获取某领域的视频集合中每个视频的文本内容和类别标签包括：
    获取存储于云服务器中的某领域的视频集合中每个视频的网络地址；
    根据所述视频的网络地址，获取每个视频的播放网页；
    从每个视频播放页网中提取当前视频的文本内容和类别标签。
  5. 根据权利要求1-3任一项所述的方法，其中，所述对每个视频的文本内容进行分词，得到每个视频的属性词集合包括：
    对所述文本内容进行分词，得到分词结果；
    根据词性标注算法对所述分词结果中的每个词语进行词性标注，并根据标注结果对所述分词结果中的词语进行筛选，得到一级关键词集合；
    根据停用词表，对所述一级关键词集合进行过滤，得到属性词集合。
  6. 根据权利要求1-3任一项所述的方法，其中，所述文本内容包括当前视频的标题和/或内容简介。
  7. 根据权利要求1-3任一项所述的方法，其中，所述，所述贝叶斯模 型为朴素贝叶斯模型。
  8. 一种视频分类方法，包括：
    获取待分类视频的文本内容；
    对待分类视频的文本内容进行分词，得到待分类视频的属性词集合；
    将待分类视频的属性词集合中的每个属性词输入权利要求1-4任一项所述的视频分类模型，得到待分类视频的每个属性词的类别概率值；
    根据所述每个属性词的类别概率值，确定所述待分类视频在所述类别目录中的类别标签。
  9. 根据权利要求8所述的视频分类方法，其中，所述每个属性词包括至少一个类别概率值。
  10. 根据权利要求9所述的视频分类方法，其中，所述根据所述每个属性词的类别概率值，对待分类视频进行分类包括：
    从每个属性词的多个类别概率值中，选取数值最大的一个作为该属性词的最优类别概率值；
    对待分类视频的属性词集合中的各个属性词的最优类别概率值进行乘积运算，得到所述待分类视频的类别概率；
    根据待分类视频的类别概率，确定所述待分类视频在所述类别目录中的类别标签。
PCT/CN2016/089246 2016-03-31 2016-07-07 视频分类模型的训练方法和视频分类方法 Ceased WO2017166512A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610202497.4A CN105913072A (zh) 2016-03-31 2016-03-31 视频分类模型的训练方法和视频分类方法
CN201610202497.4 2016-03-31

Publications (1)

Publication Number Publication Date
WO2017166512A1 true WO2017166512A1 (zh) 2017-10-05

Family

ID=56745144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/089246 Ceased WO2017166512A1 (zh) 2016-03-31 2016-07-07 视频分类模型的训练方法和视频分类方法

Country Status (2)

Country Link
CN (1) CN105913072A (zh)
WO (1) WO2017166512A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488489A (zh) * 2020-03-26 2020-08-04 腾讯科技（深圳）有限公司 视频文件的分类方法、装置、介质及电子设备
CN111666452A (zh) * 2020-07-09 2020-09-15 腾讯科技（深圳）有限公司 用于对视频进行聚类的方法和装置
CN111753790A (zh) * 2020-07-01 2020-10-09 武汉楚精灵医疗科技有限公司 一种基于随机森林算法的视频分类方法
CN111950360A (zh) * 2020-07-06 2020-11-17 北京奇艺世纪科技有限公司 一种识别侵权用户的方法及装置
CN112270192A (zh) * 2020-11-23 2021-01-26 科大国创云网科技有限公司 一种基于词性和停用词过滤的语义识别方法及系统
CN112749299A (zh) * 2019-10-31 2021-05-04 北京国双科技有限公司 确定视频类型的方法、装置、电子设备及可读存储介质
CN113536778A (zh) * 2020-04-14 2021-10-22 北京沃东天骏信息技术有限公司 标题的生成方法、装置和计算机可读存储介质
CN115359402A (zh) * 2022-08-25 2022-11-18 广州市百果园信息技术有限公司 视频标注方法及其装置、设备、介质、产品
CN115706837A (zh) * 2021-08-13 2023-02-17 云丁网络技术(北京)有限公司 安防信息处理方法、装置及相关设备
CN117093747A (zh) * 2023-07-28 2023-11-21 北京多点在线科技有限公司 一种基于ChatGPT与预训练模型的网红分类方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194419A (zh) * 2017-05-10 2017-09-22 百度在线网络技术（北京）有限公司 视频分类方法及装置、计算机设备与可读介质
CN108932252A (zh) * 2017-05-25 2018-12-04 合网络技术（北京）有限公司 视频聚合方法及装置
CN108959323B (zh) * 2017-05-25 2021-12-07 腾讯科技（深圳）有限公司 视频分类方法和装置
CN108563722B (zh) * 2018-04-03 2021-04-02 有米科技股份有限公司 文本信息的行业分类方法、系统、计算机设备和存储介质
CN108804598A (zh) * 2018-05-29 2018-11-13 王妃 云图分布式视频分类方法
CN108960316B (zh) * 2018-06-27 2020-10-30 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN108965920A (zh) * 2018-08-08 2018-12-07 北京未来媒体科技股份有限公司 一种视频内容拆条方法及装置
CN111104545A (zh) * 2018-10-26 2020-05-05 阿里巴巴集团控股有限公司 背景音乐的配置方法、设备、客户端装置及电子设备
CN111131899A (zh) * 2018-10-31 2020-05-08 中国移动通信集团浙江有限公司 一种多站点的视频播放记录整合方法和装置
CN110110143B (zh) * 2019-04-15 2021-08-03 厦门网宿有限公司 一种视频分类方法及装置
CN110851607A (zh) * 2019-11-19 2020-02-28 中国银行股份有限公司 资讯分类模型的训练方法及装置
CN111935499B (zh) * 2020-08-17 2021-04-20 深圳市前海多晟科技股份有限公司 一种基于分布式存储技术的超高清视频网关系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060173916A1 (en) * 2004-12-22 2006-08-03 Verbeck Sibley Timothy J R Method and system for automatically generating a personalized sequence of rich media
CN102184262A (zh) * 2011-06-15 2011-09-14 悠易互通（北京）广告有限公司 基于web的文本分类挖掘系统及方法
CN103955703A (zh) * 2014-04-25 2014-07-30 杭州电子科技大学 一种基于朴素贝叶斯的医疗影像疾病分类方法
CN104219575A (zh) * 2013-05-29 2014-12-17 酷盛(天津）科技有限公司 相关视频推荐方法及系统
CN104834640A (zh) * 2014-02-10 2015-08-12 腾讯科技（深圳）有限公司 网页的识别方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201835A (zh) * 2007-12-21 2008-06-18 四川大学 应急联动警情自动分类系统
CN104199933B (zh) * 2014-09-04 2017-07-07 华中科技大学 一种多模态信息融合的足球视频事件检测与语义标注方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060173916A1 (en) * 2004-12-22 2006-08-03 Verbeck Sibley Timothy J R Method and system for automatically generating a personalized sequence of rich media
CN102184262A (zh) * 2011-06-15 2011-09-14 悠易互通（北京）广告有限公司 基于web的文本分类挖掘系统及方法
CN104219575A (zh) * 2013-05-29 2014-12-17 酷盛(天津）科技有限公司 相关视频推荐方法及系统
CN104834640A (zh) * 2014-02-10 2015-08-12 腾讯科技（深圳）有限公司 网页的识别方法及装置
CN103955703A (zh) * 2014-04-25 2014-07-30 杭州电子科技大学 一种基于朴素贝叶斯的医疗影像疾病分类方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749299A (zh) * 2019-10-31 2021-05-04 北京国双科技有限公司 确定视频类型的方法、装置、电子设备及可读存储介质
CN111488489A (zh) * 2020-03-26 2020-08-04 腾讯科技（深圳）有限公司 视频文件的分类方法、装置、介质及电子设备
CN111488489B (zh) * 2020-03-26 2023-10-24 腾讯科技（深圳）有限公司 视频文件的分类方法、装置、介质及电子设备
CN113536778A (zh) * 2020-04-14 2021-10-22 北京沃东天骏信息技术有限公司 标题的生成方法、装置和计算机可读存储介质
CN111753790B (zh) * 2020-07-01 2023-12-12 武汉楚精灵医疗科技有限公司 一种基于随机森林算法的视频分类方法
CN111753790A (zh) * 2020-07-01 2020-10-09 武汉楚精灵医疗科技有限公司 一种基于随机森林算法的视频分类方法
CN111950360A (zh) * 2020-07-06 2020-11-17 北京奇艺世纪科技有限公司 一种识别侵权用户的方法及装置
CN111950360B (zh) * 2020-07-06 2023-08-18 北京奇艺世纪科技有限公司 一种识别侵权用户的方法及装置
CN111666452A (zh) * 2020-07-09 2020-09-15 腾讯科技（深圳）有限公司 用于对视频进行聚类的方法和装置
CN112270192A (zh) * 2020-11-23 2021-01-26 科大国创云网科技有限公司 一种基于词性和停用词过滤的语义识别方法及系统
CN112270192B (zh) * 2020-11-23 2023-12-19 科大国创云网科技有限公司 一种基于词性和停用词过滤的语义识别方法及系统
CN115706837A (zh) * 2021-08-13 2023-02-17 云丁网络技术(北京)有限公司 安防信息处理方法、装置及相关设备
CN115359402A (zh) * 2022-08-25 2022-11-18 广州市百果园信息技术有限公司 视频标注方法及其装置、设备、介质、产品
CN117093747A (zh) * 2023-07-28 2023-11-21 北京多点在线科技有限公司 一种基于ChatGPT与预训练模型的网红分类方法

Also Published As

Publication number Publication date
CN105913072A (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
WO2017166512A1 (zh) 视频分类模型的训练方法和视频分类方法
CN108694223B (zh) 一种用户画像库的构建方法及装置
AU2011326430B2 (en) Learning tags for video annotation using latent subtags
CN105975558B (zh) 建立语句编辑模型的方法、语句自动编辑方法及对应装置
CN105868317B (zh) 一种数字教育资源推荐方法及系统
CN107590232B (zh) 一种基于网络学习环境的资源推荐系统及方法
CN104537065A (zh) 一种搜索结果的推送方法及系统
CN112052414A (zh) 一种数据处理方法、装置以及可读存储介质
CN105045931A (zh) 一种基于Web挖掘的视频推荐方法和系统
CN103207917B (zh) 标注多媒体内容的方法、生成推荐内容的方法及系统
CN107885793A (zh) 一种微博热点话题分析预测方法及系统
CN111723256A (zh) 一种基于信息资源库的政务用户画像构建方法及其系统
CN104035972B (zh) 一种基于微博的知识推荐方法与系统
CN110457579B (zh) 基于模板和分类器协同工作的网页去噪方法及系统
CN113742496B (zh) 一种基于异构资源融合的电力知识学习系统及方法
CN105893571A (zh) 一种视频内容标签的建立方法和系统
CN112036659A (zh) 基于组合策略的社交网络媒体信息流行度预测方法
CN112015907A (zh) 一种学科知识图谱快速构建方法、装置及存储介质
Alshehri et al. Think before your click: Data and models for adult content in arabic twitter
KR101780237B1 (ko) 온라인 상에 공개된 질의응답 데이터를 기초로 한 사용자 질의에 대한 응답 방법 및 장치
CN104598561A (zh) 一种基于文本的农业视频智能分类方法及装置
CN106777140B (zh) 用于非结构化文档搜索的方法及装置
WO2015044934A1 (en) A method for adaptively classifying sentiment of document snippets
CN109241438B (zh) 基于要素的跨通道热点事件发现方法、装置及存储介质
CN115410158B (zh) 一种基于监控摄像头的地标提取方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16896284

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16896284

Country of ref document: EP

Kind code of ref document: A1