WO2017016059A1 - 基于文本挖掘的互联网媒体用户属性分析方法 - Google Patents

基于文本挖掘的互联网媒体用户属性分析方法 Download PDF

Info

Publication number
WO2017016059A1
WO2017016059A1 PCT/CN2015/090747 CN2015090747W WO2017016059A1 WO 2017016059 A1 WO2017016059 A1 WO 2017016059A1 CN 2015090747 W CN2015090747 W CN 2015090747W WO 2017016059 A1 WO2017016059 A1 WO 2017016059A1
Authority
WO
WIPO (PCT)
Prior art keywords
corpus
noise value
noise
analysis
threshold
Prior art date
Application number
PCT/CN2015/090747
Other languages
English (en)
French (fr)
Inventor
王飞
张国鸿
张何君
Original Assignee
成都云堆移动信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 成都云堆移动信息技术有限公司 filed Critical 成都云堆移动信息技术有限公司
Publication of WO2017016059A1 publication Critical patent/WO2017016059A1/zh
Priority to US15/782,830 priority Critical patent/US10664539B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Definitions

  • the invention relates to an internet user attribute analysis method, in particular to a text mining based internet media user attribute analysis method.
  • the Internet has formed a scale in the world, Internet applications are diversified, and the Internet has profoundly changed people's learning, work and lifestyle.
  • the methods for identifying user attributes in the current Internet are all based on user article samples, that is, it is first necessary to collect the user's full historical sample, and organize the sample user's data, sample library, and label corpus classification of the sample library. For example, a corpus represents "shopping", “fashion”, "dress” and so on; then, based on the sample library and the Internet user's sample library to match, to identify user attributes.
  • the traditional method of identifying user attributes in the Internet is based on sample data, through machine learning, coupled with a data model for training and user attribute judgment.
  • the traditional method can only roughly analyze the known attributes in the sample user attributes, and can not identify and mine the unknown attributes, which is far from meeting the needs of the present people.
  • the object of the present invention is to provide a text mining-based Internet media user attribute analysis method capable of comprehensively analyzing the attributes of Internet users in order to solve the above problems.
  • an internet media based on text mining Body user attribute analysis method including the following steps:
  • step (1) specifically includes the following steps:
  • step (a5) comparing the noise value M with the threshold a, if the noise value M is less than the threshold a, then jump to step (a6), if the noise value M is greater than or equal to the threshold a, then jump to step (a3);
  • step (a7) comparing the noise value N with the threshold a, if the noise value N is less than the threshold a, then jump to step (a8), otherwise, then modify the tag library and then jump to step (a6);
  • the "create feature corpus" described in step (1) specifically includes the following steps:
  • the “update and maintenance of the label main corpus and the feature corpus respectively” described in the step (1) specifically includes the following steps:
  • step (3) Collect new tags, extract samples with new tag articles, go to step (1), clean noise data, sample classification, and update tag subject corpus.
  • noise value A noise value B
  • noise value M noise value M
  • noise value N noise value N
  • the local reachability of object o is:
  • the invention can form the browsing sample article attribute of each Internet user, can accurately analyze the weight of the favorite category, and can deeply identify, analyze and mine the user attribute of the user, that is, can not only analyze and mine the basic attribute of the user.
  • the scope of application for identifying user attributes is greatly expanded, and the basic attributes of the entire Internet user can also be analyzed.
  • the tag corpus library of the present invention covers various industries, and can not only analyze user attributes in a targeted manner, but also analyze user preferences, and can provide support for all-round attributes of Internet users.
  • the present invention not only has a wide range of commercial application values, but also indicates the research direction for the mining algorithm and knowledge map application of Internet user tags.
  • the present invention establishes a tagged corpus, and the corpus has multiple functions, including a subject corpus and a feature corpus, and multiple iterations and noise value corrections when creating a corpus, through multiple iterations and noise value corrections,
  • the accuracy of the corpus is constantly revised; at the same time, after the clustering, the noise processing according to the model can more closely fit the model to meet the needs of the business.
  • the present invention can acquire multiple iterative clusters when acquiring user attribute sets, correct noise value parameters, and classify patterns with semantic analysis and class feature analysis to achieve accurate portraits through a combination of manual supervision and machine learning. purpose.
  • Figure 1 is a schematic overall flow chart of the present invention
  • FIG. 2 is a schematic flow chart of creating a label main corpus in the present invention
  • FIG. 3 is a schematic flow chart of creating a feature corpus in the present invention.
  • FIG. 4 is a schematic flowchart of updating and maintaining a corpus in the present invention.
  • the text mining-based Internet user attribute analysis method of the present invention mainly includes the following steps:
  • step (a7) comparing the noise value N with the threshold a, if the noise value N is less than the threshold a, then jump to step (a8), otherwise, then modify the tag library and then jump to step (a6);
  • FIG. 3 The process of creating a feature corpus is as shown in FIG. 3, which includes the following steps:
  • (b3) Create a mapping model of the feature word and the tag class library to form a feature corpus.
  • the feature word is an effective supplement to the tag library, which can classify the text more accurately.
  • tag class library For example, the tag class library:
  • step (3) Collect new tags, extract samples with new tag articles, go to step (1), clean noise data, sample classification, and update tag subject corpus.
  • the noise value A is compared with the threshold a. If the noise value A is smaller than the threshold a, the process jumps to step (5), otherwise, returns to step (3).
  • the threshold a has a value range of 0 ⁇ threshold a ⁇ 0.4.
  • the threshold a has a value range of 0 ⁇ threshold a ⁇ 0.4.
  • the threshold a is a dynamic value and is manually set. It is determined by factors such as service needs, mining efficiency, and analysis effect. Generally, the value is preferably 0.1.
  • the noise value A, the noise value B, the noise value M and the noise value N are all calculated by the following unified algorithm, namely:
  • the k-distance of object o is recorded as disk k(o), which is the distance dist(o,p) between o and another object p ⁇ D, such that:
  • reachdist k(o ⁇ o’) max ⁇ distk(o), dist(o,o’) ⁇ ,
  • the local reachability of object o is:
  • noise value A, noise value B, noise value M and noise value N are all criteria for judging whether the sample satisfies the business requirements, and are not directly related to text processing.
  • the tag class library refers to a class library formed by a class of custom tags. Each tag points to a thing of the same class attribute. There are obvious feature differences between different class tags, and the principle of high clustering and low coupling is followed.
  • the cluster parameter refers to: when clustering by clustering algorithm, according to the number of label types of the label library and the similarity of the article, the number of groups is artificially set, and the similarity of the samples of the same group is higher. The sample similarity is low, and this parameter is used as the basis of grouping in clustering, and the parameter is continuously adjusted by manual supervision to achieve the best matching with the tag class library.
  • Semantic analysis includes: first, manual analysis: after clustering the samples, manually analyzing the samples by manual sampling, judging the similarity between the samples, and as the basis for modifying the cluster parameters;
  • Machine analysis When classifying samples, the process of classifying samples by matching algorithm with corpus is also used as the basis for corpus correction.
  • the cluster feature analysis includes: through semantic analysis, using the algorithm of extracting the main features, the feature extraction and identification process of the clustered clusters.
  • the modified cluster parameter means that when the corpus is constructed, after the first clustering of the sample, the clustering feature analysis is used to adjust the clustering group class to achieve the best match with the label class library. This process of adjusting the number of group classes is to correct the cluster parameters.
  • Density noise reduction processing means that in the process of cluster feature analysis, noise processing is needed on the data, and points farther away from the main feature scatter distribution map are removed to form a category set of reactive main features, and the noise removal point is removed.
  • the process is the density noise reduction process.
  • Class feature analysis After the first cluster noise reduction, feature extraction and labeling of the reduced noise class set The process of knowing.
  • the modified class parameter refers to: when constructing the corpus, after the second clustering of the sample, through the method of artificial supervised learning, using the feature analysis of the class, the number of group classes of the cluster is adjusted to achieve the best match with the tag class library.
  • the process of adjusting the number of group classes is to correct the class parameters.
  • Classification based on model After two noise reduction processes, a sample-based classification model is formed, which is used as a cold start correction algorithm, and then the sample to be classified is classified based on the model.
  • Dynamic Clustering Find sample vocabulary that matches the category by qualified category.
  • Fuzzy clustering fuzzy attribution categories according to sample lexical semantics.
  • Model clustering first assume a category, then find the sample vocabulary that matches the category, and achieve the best fit for the given category and sample vocabulary.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于文本挖掘的互联网媒体用户属性分析方法，其特征在于：包括以下(1)依次创建标签主语料库和特征语料库，并分别对标签主语料库和特征语料库进行更新维护；(2)抽取互联网用户全量历史文章样本，并清洗掉该样本中的视频、音频和图片等步骤。本发明可形成每个互联网用户的浏览样本文章属性，能准确的分析出喜好类别的权重，从而能深度的识别、分析和挖掘出用户的用户属性，即不仅能分析挖掘用户基本属性，识别用户属性的应用范围大大扩大，而且还可以分析整个互联网用户的基本属性。

Description

基于文本挖掘的互联网媒体用户属性分析方法 技术领域
本发明涉及一种互联网用户属性分析方法，尤其涉及一种基于文本挖掘的互联网媒体用户属性分析方法。
背景技术
目前，全世界互联网已经形成规模，互联网应用走向多元化，互联网越来越深刻地改变着人们的学习、工作以及生活方式。在网络数据分析中，能准确知道互联网用户的习惯、需求等属性是精确内容推广或广告投放的重要前提。然而，在目前互联网中识别用户属性的方法都是基于用户文章样本来实现的，即首先需要收集用户全量历史样本，并整理该样本用户的数据、样本库，以及对样本库进行标签语料库分类，比如，某个语料库代表“购物”、“时尚”、“服饰”等内容；然后再根据样本库和互联网用户的样本库进行匹配，来识别用户属性。比如：如果一个男性用户喜欢访问“军事”、“理财”内容的样本文章，那么所有访问“军事”，“理财”类样本的用户都是男性的概率较大。即，传统的互联网中识别用户属性的方法是基于样本数据，通过机器学习，再配以数据模型进行训练并进行用户属性判断的。而该传统方法只能粗略的分析样本用户属性中的已知属性，对未知的属性无法识别和挖掘，远不能满足现在人们的需求。
发明内容
本发明的目的就在于为了解决上述问题而提供一种能对互联网用户的属性进行全方位分析的基于文本挖掘的互联网媒体用户属性分析方法。
本发明通过以下技术方案来实现上述目的：一种基于文本挖掘的互联网媒 体用户属性分析方法，包括以下步骤：
(1)依次创建标签主语料库和特征语料库，并分别对标签主语料库和特征语料库进行更新维护；
(2)抽取互联网用户全量历史文章样本，并清洗掉该样本中的视频、音频和图片；
(3)先对样本进行动态聚类和模糊聚类同步处理，并依次进行词频分析、语义分析、类特征分析、修正类参数和密度降噪处理生成第一有序分类文本，然后再根据该第一有序分类文本的结果计算出噪音值A；
(4)将噪音值A与阈值a作比较，如果噪音值A小于阈值a，则跳转至步骤(5)，否则，则返回步骤(3)；
(5)依次进行模型聚类、语义分析、类特征分析和密度降噪处理生成第二有序分类文本，然后根据第二有序分类文本的结果计算出噪音值B；
(6)将噪音值B与阈值a作比较，如果噪音值B小于阈值a，则跳转至步骤(7)；否则，便进行修正类参数处理后再跳转至步骤(5)；
(7)进行模型分类形成互联网用户属性集合；其中，上述阈值a的取值范围为：0＜阈值a＜0.4。
进一步地，步骤(1)中所述的“创建标签主语料库”具体包括以下步骤：
(a1)抽取文章样本，对样本进行清洗，清洗掉音频、视频、图片和残缺文章、乱码、非法字符；
(a2)根据标签类库人工分类；
(a3)对样本同时进行动态聚类和模糊聚类，设置簇参数；
(a4)依次进行语义分析、簇特征分析、修正簇参数和密度降噪处理生成第一主语料有序分类文本，并根据该主语料有序分类文本的结果计算出噪音值 M；
(a5)将噪音值M与阈值a作比较，如果噪音值M小于阈值a，则跳转至步骤(a6)，如果噪音值M大于或等于阈值a，则跳转至步骤(a3)；
(a6)依次进行模型聚类、语义分析、类特征分析、修正类参数和密度降噪处理生成第二主语料有序分类文本，并根据该第二主语料有序分类文本的结果计算出噪音值N；
(a7)将噪音值N与阈值a作比较，如果噪音值N小于阈值a，则跳转至步骤(a8)，否则，则进行修正标签类库后再跳转至步骤(a6)；
(a8)进行模型分类形成标签主语料库。
而步骤(1)中所述的“创建特征语料库”则具体包括以下步骤：
(b1)对标签主语料库依次进行样本词频分析、语义分析；
(b2)进行高词频分类；
(b3)创建特征词与标签类库的映射模型，形成特征语料库。
为确保本发明的使用效果，步骤(1)中所述的“分别对标签主语料库和特征语料库进行更新维护”具体包括以下步骤：
(c1)抽取全量已分类文章样本；
(c2)依次进行词频分析、语义分析、密度降噪处理和清洗噪音数据，样本分类，更新标签主语料库或者特征语料库；
(c3)搜集新增标签，抽取带新增标签文章样本，进入步骤(1)，清洗噪音数据，样本分类，更新标签主语料库。
为便于计算，上述噪音值A、噪音值B、噪音值M和噪音值N的算法均如下：
考虑给定对象集D，对象o的k-距离记为disk k(o)，是o与另一个对象p ∈D之间的距离dist(o,p)，使得：
至少有K个对象o’∈D，使得disk(o,o’)≤dist(o,p)，
至少有K-1个对象o’∈D，使得disk(o,o’)≤dist(o,p)，
记：
Nk(o)＝{o’|o’∈D,dist(o,o’)≤distk(o)}，
对于两个对象o，o’，如果dist(o,o’)>distk(o)，则从o’到o的可达距离是dist(o,o’)，否则是distk(o)，
即：
reachdist k(o←o’)＝max{distk(o),dist(o,o’)}，
对象o的局部可达密度为：
Figure PCTCN2015090747-appb-000001
则定义o的局部离群点因子为：
Figure PCTCN2015090747-appb-000002
若LOF k(o)远小于1，则对象o为离群点，LOF k(o)即为噪音值。
本发明较现有技术相比，具有以下优点及有益效果：
(1)本发明可形成每个互联网用户的浏览样本文章属性，能准确的分析出喜好类别的权重，从而能深度的识别、分析和挖掘出用户的用户属性，即不仅能分析挖掘用户基本属性，识别用户属性的应用范围大大扩大，而且还可以分析整个互联网用户的基本属性。
(2)本发明的标签语料库库涵盖了各个行业，不仅可以很有针对性地分析用户的属性，而且还能分析用户的偏好，能对互联网用户的全方位属性提供支持。
(3)本发明不仅具有广泛的商业应用价值，同时也为互联网用户标签的挖掘算法和知识图谱的应用指明了研究方向。
(4)本发明建立带标签的语料库，同时语料库带有多重功能，包括主语料库和特征语料库，以及在创建语料库时的多次迭代和噪音值修正，通过多次迭代和噪音值修正，可以在已有模型的基础上，不断修正语料库的精准度；同时在聚类后再根据模型进行噪音处理，可以更加精准的贴合模型，以满足业务的需要。
(5)本发明能将获取用户属性集合时的多次迭代聚类，修正噪音值参数，带语义分析和类特征分析的分类模式，以通过人工监督和机器学习相结合的方式达到精准画像的目的。
附图说明
图1为本发明的整体流程示意图；
图2为本发明中创建标签主语料库的流程示意图；
图3为本发明中创建特征语料库的流程示意图；
图4为本发明中对语料库进行更新维护的流程示意图。
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的实施方式并不限于此。
实施例：
如图1所示，本发明所述的基于文本挖掘的互联网用户属性分析方法，其主要包括以下步骤：
(1)依次创建标签主语料库和特征语料库，并分别对标签主语料库和特征语料库进行更新维护。其中，“创建标签主语料库”的具体流程步骤如图2 所示，即其包括：
(a1)抽取文章样本，对样本进行清洗，清洗掉音频、视频、图片和残缺文章、乱码、非法字符。
(a2)根据标签类库人工分类。
(a3)对样本同时进行动态聚类和模糊聚类，设置簇参数。
(a4)依次进行语义分析、簇特征分析、修正簇参数和密度降噪处理生成第一主语料有序分类文本，并根据该主语料有序分类文本的结果计算出噪音值M。
(a5)将噪音值M与阈值a作比较，如果噪音值M小于阈值a，则跳转至步骤(a6)，如果噪音值M大于或等于阈值a，则跳转至步骤(a3)。
(a6)依次进行模型聚类、语义分析、类特征分析、修正类参数和密度降噪处理生成第二主语料有序分类文本，并根据该第二主语料有序分类文本的结果计算出噪音值N；；
(a7)将噪音值N与阈值a作比较，如果噪音值N小于阈值a，则跳转至步骤(a8)，否则，则进行修正标签类库后再跳转至步骤(a6)；
(a8)进行模型分类形成标签主语料库。
所述创建特征语料库的流程如图3所示，即包括以下步骤：
(b1)对标签主语料库依次进行样本词频分析、语义分析；
(b2)进行高词频分类；
(b3)创建特征词与标签类库的映射模型，形成特征语料库。其中，该特征词作为标签类库的有效补充，可以更精准的对文本进行分类。
例如，标签类库：
{汽车：‘轮胎’，‘引擎盖’，‘发动机’，‘A柱’，‘驾驶室’，‘方向盘’，‘叶 子板’，‘尾灯’，‘大灯’，‘尾气’}
{化妆品：‘美容’，‘护肤’，‘美白’，‘彩妆’，‘防晒’，‘美颜’，‘打扮’，‘补水’，‘润肤’}
特征词：
{汽车：‘一汽大众’，‘雪弗莱’，‘北京现代’}
{化妆品：‘欧莱雅’，‘兰蔻’，‘Dreamtimes’，‘倩碧’}。
为确保数据的准确性，在创建完标签主语料库和特征语料库后，还需要对其进行如图4所示的更新维护，其具体步骤如下：
(c1)抽取全量已分类文章样本；
(c2)依次进行词频分析、语义分析、密度降噪处理和清洗噪音数据，样本分类，更新标签主语料库或者特征语料库；
(c3)搜集新增标签，抽取带新增标签文章样本，进入步骤(1)，清洗噪音数据，样本分类，更新标签主语料库。
(2)抽取互联网用户全量历史文章样本，并清洗掉该样本中的视频、音频和图片。
(3)先对样本进行动态聚类和模糊聚类同步处理，并依次进行词频分析、语义分析、类特征分析、修正类参数和密度降噪处理生成有序分类文本，然后再根据该有序分类文本的结果计算出噪音值A。
(4)将噪音值A与阈值a作比较，如果噪音值A小于阈值a，则跳转至步骤(5)，否则，则返回步骤(3)。其中，该阈值a的取值范围为：0＜阈值a＜0.4。
(5)依次进行模型聚类、语义分析、类特征分析和密度降噪处理生成第二有序分类文本，然后根据第二有序分类文本的结果计算出噪音值B。
(6)将噪音值B与阈值a作比较，如果噪音值B小于阈值a，则跳转至步骤(7)；否则，便进行修正类参数处理后再跳转至步骤(5)。其中，该阈值a的取值范围为0＜阈值a＜0.4。
(7)进行模型分类形成互联网用户属性集合。
其中，阈值a为动态取值，人工设定，由业务需要、挖掘效率、分析效果等因素确定，通常情况其取值优先为0.1。
由于本发明需要不断的将所生成的噪音值A、噪音值B、噪音值M和噪音值N与阈值a进行比较，以判定所生成的文本是否符合要求，因此，为了计算数值的准确性，本发明对噪音值A、噪音值B、噪音值M和噪音值N均采用以下统一的算法来计算，即：
考虑给定对象集D，对象o的k-距离记为disk k(o)，是o与另一个对象p∈D之间的距离dist(o,p)，使得：
至少有K个对象o’∈D，使得disk(o,o’)≤dist(o,p)，
至少有K-1个对象o’∈D，使得disk(o,o’)≤dist(o,p)，
记：Nk(o)＝{o’|o’∈D,dist(o,o’)≤distk(o)}，
对于两个对象o，o’，如果dist(o,o’)>distk(o)，则从o’到o的可达距离是dist(o,o’)，否则是distk(o)，
即：reachdist k(o←o’)＝max{distk(o),dist(o,o’)}，
对象o的局部可达密度为：
Figure PCTCN2015090747-appb-000003
则定义o的局部离群点因子为：
Figure PCTCN2015090747-appb-000004
若LOF k(o)远小于1，则对象o为离群点，LOF k(o)即为M值。其中，上述的噪音值A、噪音值B、噪音值M和噪音值N均是判断样本是否满足业务要求的一个标准，与文本处理无直接关系。
为便于理解本发明，本发明对上述方法中所涉及到的技术用语解释如下：
标签类库是指：由一类自定义标签形成的类库，每一个标签均指向同一类属性的事物，不同类标签之间有明显特征区别，遵循高聚类、低耦合的原则。
簇参数是指：用聚类算法进行聚类时，根据标签类库的标签种类数量及文章的相似度人为设定的一个组类数量，同组类的样本相似度较高，异组类的样本相似度较低，聚类时以此参数作为分组的依据，并通过人工监督的方式不断调整该参数，以达到与标签类库最佳匹配的目的。
语义分析包括：第一，人工分析：对样本进行聚类后，通过人工抽样的方式，对样本进行人工理解，判断样本之间的相似度的过程，同时作为簇参数的修改依据；第二，机器分析：对样本进行分类时，通过与语料库的匹配算法，对样本进行分类的过程，同时作为语料库修正的依据。
簇特征分析包括：通过语义分析，利用提取主特征的算法，对已聚类的簇进行特征提取和标识的过程。
修正簇参数是指：在构建语料库时，对样本进行第一次聚类后，通过人工监督学习的方式，利用簇特征分析，调整聚类的组类数量以达到与标签类库的最佳匹配，这个调整组类数量的过程即为修正簇参数。
密度降噪处理是指：在簇特征分析过程中，需要对数据进行噪音处理，将主特征散点分布图中距离较远的点去掉，以形成可反应主特征的类别集合，这个去除噪音点的过程，即为密度降噪处理。
类特征分析：经过第一次簇降噪，对降噪后的类别集合进行特征提取和标 识的过程。
修正类参数是指：在构建语料库时，对样本进行第二次聚类后，通过人工监督学习的方式，利用类特征分析，调整聚类的组类数量以达到与标签类库的最佳匹配，这个调整组类数量的过程即为修正类参数。
修正标签类库：在第二次聚类的过程中，由于已经进行过一次降噪处理，样本分类模型已初步满足高聚类、低耦合的原则，再基于此模型进行第二次降噪处理后，基本可以达到业务要求，此时的分类模型已经确定，需要通过调整标签类库来达到与分类的最佳匹配，此调整过程即为修正标签类库。
基于模型分类：经过两次降噪处理后，形成一个基于样本的分类模型，作为冷启动的修正算法，再对需要分类的样本基于该模型进行分类的过程。
动态聚类：按照限定类别去发现符合类别的样本词汇。
模糊聚类：按照样本词汇语义模糊归属类别。
模型聚类：先假设一个类别，再去发现符合类别的样本词汇，将给定类别和样本词汇达到最佳拟合。
本发明所举实施例对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

  1. 一种基于文本挖掘的互联网媒体用户属性分析方法，其特征在于：包括以下步骤：
    (1)依次创建标签主语料库和特征语料库，并分别对标签主语料库和特征语料库进行更新维护；
    (2)抽取互联网用户全量历史文章样本，并清洗掉该样本中的视频、音频和图片；
    (3)先对样本进行动态聚类和模糊聚类同步处理，并依次进行词频分析、语义分析、类特征分析、修正类参数和密度降噪处理生成第一有序分类文本，然后再根据该第一有序分类文本的结果计算出噪音值A；
    (4)将噪音值A与阈值a作比较，如果噪音值A小于阈值a，则跳转至步骤(5)，否则，则返回步骤(3)；
    (5)依次进行模型聚类、语义分析、类特征分析和密度降噪处理生成第二有序分类文本，然后根据第二有序分类文本的结果计算出噪音值B；
    (6)将噪音值B与阈值a作比较，如果噪音值B小于阈值a，则跳转至步骤(7)；否则，便进行修正类参数处理后再跳转至步骤(5)；
    (7)进行模型分类形成互联网用户属性集合；
    其中，上述阈值a的取值范围为：0＜阈值a＜0.4。
  2. 根据权利要求1所述的一种基于文本挖掘的互联网媒体用户属性分析方法，其特征在于：步骤(1)中所述的“创建标签主语料库”具体包括以下步骤：
    (a1)抽取文章样本，对样本进行清洗，清洗掉音频、视频、图片和残缺文章、乱码、非法字符；
    (a2)根据标签类库人工分类；
    (a3)对样本同时进行动态聚类和模糊聚类，设置簇参数；
    (a4)依次进行语义分析、簇特征分析、修正簇参数和密度降噪处理生成第一主语料有序分类文本，并根据该主语料有序分类文本的结果计算出噪音值M；
    (a5)将噪音值M与阈值a作比较，如果噪音值M小于阈值a，则跳转至步骤(a6)，如果噪音值M大于或等于阈值a，则跳转至步骤(a3)；
    (a6)依次进行模型聚类、语义分析、类特征分析、修正类参数和密度降噪处理生成第二主语料有序分类文本，并根据该第二主语料有序分类文本的结果计算出噪音值N；
    (a7)将噪音值N与阈值a作比较，如果噪音值N小于阈值a，则跳转至步骤(a8)，否则，则进行修正标签类库后再跳转至步骤(a6)；
    (a8)进行模型分类形成标签主语料库。
  3. 根据权利要求1或2所述的一种基于文本挖掘的互联网媒体用户属性分析方法，其特征在于：步骤(1)中所述的“创建特征语料库”具体包括以下步骤：
    (b1)对标签主语料库依次进行样本词频分析、语义分析；
    (b2)进行高词频分类；
    (b3)创建特征词与标签类库的映射模型，形成特征语料库。
  4. 根据权利要求1或2所述的一种基于文本挖掘的互联网媒体用户属性分析方法，其特征在于：步骤(1)中所述的“分别对标签主语料库和特征语料库进行更新维护”具体包括以下步骤：
    (c1)抽取全量已分类文章样本；
    (c2)依次进行词频分析、语义分析、密度降噪处理和清洗噪音数据，样 本分类，更新标签主语料库或者特征语料库；
    (c3)搜集新增标签，抽取带新增标签文章样本，进入步骤(1)，清洗噪音数据，样本分类，更新标签主语料库。
  5. 根据权利要求4所述的基于文本挖掘的互联网媒体用户属性分析方法，其特征在于：上述噪音值A、噪音值B、噪音值M和噪音值N的算法均如下：
    考虑给定对象集D，对象o的k-距离记为disk k(o)，是o与另一个对象p∈D之间的距离dist(o,p)，使得：
    至少有K个对象o’∈D，使得disk(o,o’)≤dist(o,p)，
    至少有K-1个对象o’∈D，使得disk(o,o’)≤dist(o,p)，
    记：
    Nk(o)＝{o’|o’∈D,dist(o,o’)≤distk(o)}，
    对于两个对象o，o’，如果dist(o,o’)>distk(o)，则从o’到o的可达距离是dist(o,o’)，否则是distk(o)，
    即：
    reachdist k(o←o’)＝max{distk(o),dist(o,o’)}，
    对象o的局部可达密度为：
    Figure PCTCN2015090747-appb-100001
    则定义o的局部离群点因子为：
    Figure PCTCN2015090747-appb-100002
    若LOF k(o)远小于1，则对象o为离群点，LOF k(o)即为噪音值。
PCT/CN2015/090747 2015-07-24 2015-09-25 基于文本挖掘的互联网媒体用户属性分析方法 WO2017016059A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/782,830 US10664539B2 (en) 2015-07-24 2017-10-12 Text mining-based attribute analysis method for internet media users

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510444180.7A CN104991968B (zh) 2015-07-24 2015-07-24 基于文本挖掘的互联网媒体用户属性分析方法
CN201510444180.7 2015-07-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/782,830 Continuation US10664539B2 (en) 2015-07-24 2017-10-12 Text mining-based attribute analysis method for internet media users

Publications (1)

Publication Number Publication Date
WO2017016059A1 true WO2017016059A1 (zh) 2017-02-02

Family

ID=54303783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/090747 WO2017016059A1 (zh) 2015-07-24 2015-09-25 基于文本挖掘的互联网媒体用户属性分析方法

Country Status (3)

Country Link
US (1) US10664539B2 (zh)
CN (1) CN104991968B (zh)
WO (1) WO2017016059A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647654A (zh) * 2019-08-19 2020-01-03 广州荔支网络技术有限公司 基于音频内容画像的音频主播评级方法、系统及存储介质
CN113222697A (zh) * 2021-05-11 2021-08-06 湖北三赫智能科技有限公司 商品信息推送方法、装置计算机设备及可读存储介质
CN114201973A (zh) * 2022-02-15 2022-03-18 深圳博士创新技术转移有限公司 基于人工智能的资源池对象数据挖掘方法及系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279266B (zh) * 2015-10-26 2018-07-10 电子科技大学 一种基于移动互联网社交图片预测用户上下文信息的方法
CN105893407A (zh) * 2015-11-12 2016-08-24 乐视云计算有限公司 个体用户画像方法和系统
CN106339409A (zh) * 2016-08-10 2017-01-18 乐视控股（北京）有限公司 用户语料信息的获取方法及装置
TWI771284B (zh) * 2017-01-23 2022-07-21 香港商阿里巴巴集團服務有限公司 基於資料驅動預測使用者問題的方法及裝置
CN107766553A (zh) * 2017-11-02 2018-03-06 成都金川田农机制造有限公司 基于文本挖掘的受重群体画像方法
CN107908707A (zh) * 2017-11-09 2018-04-13 程杰 一种图片素材库的建立方法及其图片查找方法
CN109978575B (zh) * 2017-12-27 2021-06-04 中国移动通信集团广东有限公司 一种挖掘用户流量经营场景的方法及装置
CN108133393A (zh) * 2017-12-28 2018-06-08 新智数字科技有限公司 数据处理方法及系统
US10419773B1 (en) * 2018-03-22 2019-09-17 Amazon Technologies, Inc. Hybrid learning for adaptive video grouping and compression
CN108960296B (zh) * 2018-06-14 2022-03-29 厦门大学 一种基于连续潜在语义分析的模型拟合方法
CN109189926B (zh) * 2018-08-28 2022-04-12 中山大学 一种科技论文语料库的构建方法
CN109492098B (zh) * 2018-10-24 2022-05-06 北京工业大学 基于主动学习和语义密度的目标语料库构建方法
CN110097080B (zh) * 2019-03-29 2021-04-13 广州思德医疗科技有限公司 一种分类标签的构建方法及装置
CN111797076A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 数据清理方法、装置、存储介质及电子设备
CN110245684B (zh) * 2019-05-14 2023-02-03 杭州米雅信息科技有限公司 数据处理方法、电子设备和介质
CN110910168A (zh) * 2019-11-05 2020-03-24 北京洪泰文旅科技股份有限公司 一种文旅行业获客方法及设备
CN111309903B (zh) * 2020-01-20 2023-06-16 北京大米未来科技有限公司 一种数据处理方法、装置、存储介质和电子设备
CN111797291A (zh) * 2020-06-02 2020-10-20 成都方未科技有限公司 一种轨迹数据进行社会功能挖掘的方法、系统及存储介质
CN113837512A (zh) * 2020-06-23 2021-12-24 中国移动通信集团辽宁有限公司 异常用户的识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309990A (zh) * 2013-06-18 2013-09-18 上海晶樵网络信息技术有限公司 基于互联网用户公开信息的用户多维度分析与监测方法
CN104615779A (zh) * 2015-02-28 2015-05-13 云南大学 一种Web文本个性化推荐方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099388A (ja) * 2004-09-29 2006-04-13 Hitachi Software Eng Co Ltd テキストマイニングサーバ及びテキストマイニングシステム
US7617530B2 (en) * 2005-04-22 2009-11-10 Microsoft Corporation Rights elevator
US7577246B2 (en) * 2006-12-20 2009-08-18 Nice Systems Ltd. Method and system for automatic quality evaluation
US9461876B2 (en) * 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US9047347B2 (en) * 2013-06-10 2015-06-02 Sap Se System and method of merging text analysis results
US10496729B2 (en) * 2014-02-25 2019-12-03 Siemens Healthcare Gmbh Method and system for image-based estimation of multi-physics parameters and their uncertainty for patient-specific simulation of organ function

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309990A (zh) * 2013-06-18 2013-09-18 上海晶樵网络信息技术有限公司 基于互联网用户公开信息的用户多维度分析与监测方法
CN104615779A (zh) * 2015-02-28 2015-05-13 云南大学 一种Web文本个性化推荐方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647654A (zh) * 2019-08-19 2020-01-03 广州荔支网络技术有限公司 基于音频内容画像的音频主播评级方法、系统及存储介质
CN113222697A (zh) * 2021-05-11 2021-08-06 湖北三赫智能科技有限公司 商品信息推送方法、装置计算机设备及可读存储介质
CN114201973A (zh) * 2022-02-15 2022-03-18 深圳博士创新技术转移有限公司 基于人工智能的资源池对象数据挖掘方法及系统

Also Published As

Publication number Publication date
US10664539B2 (en) 2020-05-26
US20180032623A1 (en) 2018-02-01
CN104991968A (zh) 2015-10-21
CN104991968B (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
WO2017016059A1 (zh) 基于文本挖掘的互联网媒体用户属性分析方法
CN107633007B (zh) 一种基于层次化ap聚类的商品评论数据标签化系统和方法
CN104462053B (zh) 一种文本内的基于语义特征的人称代词指代消解方法
Caiado et al. A periodogram-based metric for time series classification
Qi et al. Recognizing driving styles based on topic models
CN102289522B (zh) 一种对于文本智能分类的方法
Murala et al. Expert content-based image retrieval system using robust local patterns
CN108197144B (zh) 一种基于BTM和Single-pass的热点话题发现方法
CN109815987B (zh) 一种人群分类方法和分类系统
CN102663447B (zh) 基于判别相关分析的跨媒体检索方法
de Arruda et al. A complex networks approach for data clustering
CN107330412B (zh) 一种基于深度稀疏表示的人脸年龄估计方法
CN105912525A (zh) 基于主题特征的半监督学习情感分类方法
Deng et al. Semi-supervised learning based fake review detection
Genussov et al. Musical genre classification of audio signals using geometric methods
CN111368125B (zh) 一种面向图像检索的距离度量方法
Maddumala A Weight Based Feature Extraction Model on Multifaceted Multimedia Bigdata Using Convolutional Neural Network.
Lawal et al. Face-based gender recognition analysis for Nigerians using CNN
US20210240737A1 (en) Identifying anonymized resume corpus data pertaining to the same individual
Zheng et al. Deep learning with PCANet for human age estimation
Godara et al. Support vector machine classifier with principal component analysis and k mean for sarcasm detection
Abd Al-Aziz et al. Recognition for old Arabic manuscripts using spatial gray level dependence (SGLD)
Zhang et al. Research on SVM plant leaf identification method based on CSA
CN103761433A (zh) 一种网络服务资源分类方法
Guo et al. A Multicenter Soft Supervised Classification Method for Modeling Spectral Diversity in Multispectral Remote Sensing Data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15899411

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06.04.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 15899411

Country of ref document: EP

Kind code of ref document: A1