WO2016115895A1 - 一种基于视觉行为的网上用户类型识别方法及系统 - Google Patents

一种基于视觉行为的网上用户类型识别方法及系统 Download PDF

Info

Publication number
WO2016115895A1
WO2016115895A1 PCT/CN2015/087701 CN2015087701W WO2016115895A1 WO 2016115895 A1 WO2016115895 A1 WO 2016115895A1 CN 2015087701 W CN2015087701 W CN 2015087701W WO 2016115895 A1 WO2016115895 A1 WO 2016115895A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
eye movement
user type
data
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2015/087701
Other languages
English (en)
French (fr)
Inventor
吕胜富
栗觅
马理旺
钟宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Publication of WO2016115895A1 publication Critical patent/WO2016115895A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Definitions

  • the invention relates to the field of user type automatic identification technology, in particular to a method and system for online type recognition based on visual behavior.
  • the network has become an indispensable communication tool and information exchange platform for people's life, study, work, etc.
  • the network can only passively accept users through the keyboard, mouse, touch screen, etc. of computer hardware.
  • the information request slowly receives the user's manual input, but the user can quickly obtain a large amount of information from the computer interface and audio, thereby causing a problem of unbalanced human-computer interaction bandwidth.
  • research on computer network intelligence has attracted widespread attention.
  • Eye tracking technology provides a way for the realization of network intelligence. Eye tracking technology (referred to as eye movement technology) can record the user's eye movements, enabling users to directly operate the interface through the visual channel. The problem of overlapping bandwidth imbalance.
  • the existing online user type identification is mainly through questionnaires, online click-through rate and other methods, so it is difficult to obtain psychological activities in the process of online users online, the recognition accuracy is low, and the credibility is not high.
  • the object of the present invention is to provide a method and system for identifying online users based on visual behavior, which can actively record eye movement data of online users, identify users according to different eye movement data, and extract data is simple and reliable, and the recognition accuracy is high and reliable. High degree.
  • a method for recognizing an online user type based on visual behavior is provided.
  • eye movement data of one or more different types of users is collected and processed to obtain a data set F including a gaze information and a user.
  • one or more eye movement feature data are obtained according to the gaze information in the gaze information data set F to form a sample data set;
  • the eye movement feature data input support vector machine is selected from the sample data set, and the user type classifier is trained to complete the machine learning process to obtain the classifier;
  • the collected eye movement data of any user on the network is input to the trained user type classifier, and the user type of any user on the network is identified according to the classifier.
  • t fk is the time of the browsing
  • n fk is the number of gaze points of the browsing in t fk time
  • d lk is the diameter of the left pupil
  • d rk is the diameter of the right pupil.
  • the plurality of eye movement characteristic data forming the sampling data set includes the following steps:
  • training to obtain the classifier includes the following steps:
  • a basic sampling unit Mi ⁇ fq fi , SD i, D i , c q ⁇ ;
  • the second step is to extract the eye movement characteristic data, that is, the training sample characteristic parameters fq fi , SD i and D i to form a feature parameter vector;
  • the user type identification is implemented by the following steps:
  • the first step is to input the eye movement data of any user on the network into the trained user type classifier
  • the user type of any user on the network is identified according to the classifier.
  • a visual behavior based online user type identification system comprising an acquisition processing unit, an acquisition unit, a training unit and an identification unit connected in sequence; wherein the collection processing unit is used for one or more The eye movement data of different types of users are collected and processed to obtain a gaze information data set and a user type set; the obtaining unit is configured to obtain one or more eye movement characteristic data according to the gaze information in the gaze information data set F, to form a sampling data set; the training unit is configured to select an eye movement feature data input support vector machine from the sample data set, train a user type classifier to complete the machine learning process to obtain a classifier; and the identification unit is configured to collect the eye of any user on the network.
  • the dynamic data is input to the trained user type classifier, and the user type of any user on the network is identified according to the classifier.
  • the obtaining unit further includes:
  • Extracting the eye movement feature data that is, the training sample feature parameters fq fi , S Di and D i to form a feature parameter vector;
  • the identifying unit further includes: inputting the collected eye movement data of any user on the network to the trained user type classifier;
  • the user type of any user on the network is identified according to the classifier.
  • the invention discloses a visual behavior-based online user type recognition method and system, which mainly utilizes an eye tracking technology to identify an online user type according to an online user visual mode and a plurality of eye movement features. It is used in the eye-moving human-computer interaction environment, and three kinds of eye movements are obtained by calculating the user browsing the webpage. The data is collected, and the type of online users is determined according to the difference of the eye movement characteristic data.
  • User recognition based on visual behavior can actively record eye movement data of online users, and the data is simple and reliable, with high accuracy and high credibility.
  • FIG. 1 is a flow chart of an embodiment of a visual behavior based online user type identification method according to the present invention
  • FIG. 2 is a schematic diagram of an embodiment of eye movement data
  • FIG. 3 is a schematic structural diagram of an embodiment of a visual behavior based online user type identification system according to the present invention.
  • FIG. 1 is a flowchart of an embodiment of a visual behavior-based online user type identification method of the present invention, and an embodiment of the method of the present invention is described in conjunction with an embodiment of the eye movement data shown in FIG. .
  • the visual behavior based online user type identification method may mainly include the following steps:
  • Visual behavior the sensitivity of people to the information of graphic symbols and the way of thinking reflected by visual senses (the behavior of eyeballs based on visual senses), here refers to the characteristics of different types of online users when browsing the web, such as when the elderly browse the web More attention is paid to the central area of the webpage, and young people present an irregular free browsing strategy.
  • Eye movement data here refers to data related to eye movements, including but not limited to data related to eye movements (or eye movement patterns) such as gaze, saccade, and follow-up.
  • a method for collecting eye movement data can be realized by a combination of an optical system, a pupil center coordinate extraction system, a vision and pupil coordinate superposition system, and an image and data recording and analysis system.
  • the camera's eye tracker, etc. can collect the eye movement data of the online user, and can also eliminate the abnormal data to obtain a correct gaze information data set.
  • the eye tracker can collect and record the eye movement data.
  • Eye movement data and user types are used as learning sets to learn eye movement patterns (eye movement patterns) of different users. Among them, according to the eye movement data, the sensitivity of the user who browses the webpage to different graphic symbol information and/or the behavior of visual sensory reflection and the like can be known.
  • the information data here refers to the data related to such eye movement information of the "observed" object being observed in the eye movement data.
  • User type here refers to the type of network access user corresponding to the collected eye movement data.
  • the types that need to be divided can be preset, such as types by age (elderly, young people), types by gender (men, women), and so on.
  • the online user type is pre-set to the age type
  • 52 different types can be collected and recorded at a sampling frequency of 120 Hz by using a sensing device including an eye tracker device (eg, an infrared camera of a Tobii T120 non-invasive eye tracker manufactured in Sweden).
  • an eye tracker device eg, an infrared camera of a Tobii T120 non-invasive eye tracker manufactured in Sweden
  • each user performs 10 times of eye movement data generated by the visual behavior of the task in the web interface.
  • the gaze information data set F ⁇ f 1 , f 2 , f 3 , f 4 , .
  • f k is a four-element array, which may contain
  • the four kinds of information (t fk , n fk , d lk , d rk ) can in turn represent the browsing time t fk of the kth user, the number of gaze points browsed during the t fk time, and the diameter of the left pupil at this time. The diameter of the right pupil at this time.
  • the gaze point may refer to a point at which the eye does not move at the position of the web page when browsing the webpage.
  • the gaze information data f 1 at the time of the first browsing of the first user includes four kinds of information (t f1 , n f1 , d l1 , d r1 ), where t f1 is the first browsing of the first user.
  • Time; n f1 is the number of gaze points viewed in the t f1 time;
  • d l1 is the left pupil diameter (left eye pupil diameter);
  • d r1 is the right pupil diameter (right eye pupil diameter).
  • step S2 one or more eye movement feature data (or at least one eye movement feature data) is obtained based on the gaze information in the gaze information data set F to form a sample data set.
  • a specific method is as follows: extracting the gaze information included in the gaze information data set F, and calculating, by calculating, the saccade distance S Dk , the gaze frequency fq fk , the pupil diameter d fk , and the like for each user browsing task Dynamic feature data (ie, feature data that characterizes eye movements).
  • the eye hop distance refers to the Euclidean distance of the two gaze points when each user performs a browsing task and the position of the gaze point changes.
  • a method for calculating the saccade distance S Dk may be: when the first user browses the task for the first time, the coordinates of the ith gaze point are (x i , y i ), and the i+1th gaze The coordinates of the point are (x i+1 , y i+1 ), and the average value of the i-th eye-jump distance is taken as the feature of the current eye-jump distance (S D1 ).
  • the calculation formula is:
  • the gaze frequency refers to the number of gaze points per unit time each time the user performs a browsing task.
  • the gaze frequency data set (set) of all 52 users performing 10 browsing tasks ie, 520 times
  • the pupil diameter d fk may refer to the diameter value of the pupil of a certain fixation point of each user at a certain browsing.
  • the left and right pupil diameter data d lk and d rk collected in the set are extracted, and the pupil diameter can be calculated.
  • Each of the rows represents the pupil diameter value of each gaze point of the same user under a certain browsing task, and there are a total of n gaze points, so each row has n pupil diameter values;
  • the element Di in the pupil diameter matrix is the average value of each row of the pupil matrix, which is:
  • a d ⁇ 1.2523, 1.3799, ..., -1.2757 ⁇ .
  • the three eye movement characteristic data of the gaze frequency fq fn , the pupil diameter D m and the saccade distance S Di are selected, and the saccade distance S Di and the gaze frequency fq fi of each of the above-mentioned users each time browsing tasks are performed.
  • step S3 the eye movement feature data input support vector machine is selected from the sampled data set, and the user type classifier is trained. Thereby completing the machine learning process to obtain the classifier.
  • the eye movement feature data is selected from the sampled data set in step S2, that is, a set of numerical values of the gaze frequency array, the pupil diameter array, and the squint distance array are input to the support vector machine SVM for training, thereby training the user.
  • Type classifier a set of numerical values of the gaze frequency array, the pupil diameter array, and the squint distance array are input to the support vector machine SVM for training, thereby training the user.
  • the kernel function is selected as a Gaussian (radial basis) function, and the existing decomposition type algorithm can be used for the corresponding user type (eg, elderly or young people).
  • step S4 the collected eye movement data of any user on the network is input to the trained user type classifier, and the user type of any user on the network is identified according to the classifier.
  • the eye movement data is any collected eye movement data of the online user (such as captured or acquired by the eye tracker), and may include, for example, all that has been collected (eg, all collected in step S1). Eye tracking data), and/or real-time (or current) eye movement data that is further tracked when the user browses the Internet in real time, etc., that is, any eye movement data of the user who browses online, And enter this data into the trained user type classifier.
  • one way may be to determine the corresponding type of online user through the output decision function, thereby identifying the type of user of the online user corresponding to any eye movement data (for example: young people or elderly people, women or men, luxury Product users or general item users, etc.).
  • FIG. 1 a block diagram of an embodiment of a visual behavior based online user type identification system in accordance with the present invention is shown in FIG.
  • the visual behavior based online user type identification system 300 includes an acquisition processing unit 301, an acquisition unit 302, a training unit 303, and an identification unit 304.
  • the unit can use various eye movement data collection devices such as an eye tracker to collect eye movement data of the online user, and then can also cull the abnormal data to obtain a correct set of gaze information data sets, such as step S1.
  • the example of distinguishing user types by age records the eye movement data when the user browses the webpage in the interface, and the eye movement data and the user type are used as learning sets to learn the eye movements of different users.
  • the gaze information data set F ⁇ f 1 , f 2 , f 3 , f 4 ,...f m ⁇
  • user type set C ⁇ c 1 , c 2 , c 3 ,...c q ⁇ .
  • the gaze information data set F ⁇ f 1 , f 2 , f 3 , f 4 , . . .
  • f m ⁇ contains all the gaze information
  • f k is a quaternary array containing four kinds of information (t fk , n fk , d Lk , d rk ), t fk is the time of the browsing; n fk is the number of gaze points for browsing in t fk time; d lk is the diameter of the left pupil; d rk is the diameter of the right pupil.
  • step S1 For the specific processing and function of the acquisition processing unit 301, refer to the description of step S1.
  • the obtaining unit 302 is configured to obtain one or more eye movement feature data (or obtain at least one eye movement feature data) according to the gaze information in the gaze information data set F to form a sample data set. For example, in the example of step S2, it is possible to extract and calculate a plurality of eye movement characteristic data based on the gaze information data set from the acquisition processing unit 301 to constitute a sample data set.
  • the eye movement characteristic data includes the eye movement distance S Dk , the fixation frequency fq fk , the pupil diameter d fk , and the like.
  • the sampled eye movement data set can be normalized to obtain an optimized new sample data set M".
  • step S2 For the specific processing and function of the obtaining unit 302, refer to the description of step S2.
  • the training unit 303 is configured to select an eye movement feature data input support vector machine from the sample data set, and obtain a user type classifier. Thereby completing the machine learning process to obtain the classifier.
  • the eye movement feature data of the acquisition data set of the acquisition unit 2 that is, the gaze frequency array, the pupil diameter array, and the set of values in the eye hop distance array are selected, and the support vector machine SVM is input, and the user type classifier is trained.
  • the SVM training can select the elderly and young people's eye movement feature data sentences as training samples from the eye movement feature array; select one of the user types as the recognition target, and extract the characteristic parameters for the i-th eye movement data statement.
  • the feature parameter vector and SVM output of the training sample are used as the training set, and the kernel function is a Gaussian (radial basis) function.
  • the existing decomposition algorithm is used to train the user type support vector machine to obtain support of the training set.
  • step S3 The specific processing and function of the training unit 303 is described in the description of step S3.
  • the identification unit 304 is configured to input the collected eye movement data of any user on the network to the trained user type classifier, and identify the user type of any user on the network according to the classifier.
  • the eye movement data may be eye movement data (current, past, real-time, etc.) of any online user captured or collected by the eye tracker, including: all collected (eg, collected in step S1) All eye movement data, and/or real-time (or current) eye movement data, etc., which are further tracked when the user browses the Internet in real time. That is, any eye movement data of the user who browses on the Internet is obtained, and the data is input to the trained user type classifier.
  • one way may be that the classifier determines the corresponding online user type through the output decision function, thereby identifying the type of user of the online user corresponding to any eye movement data (for example: young or elderly, woman or Men, luxury users or general goods users, etc.).
  • eye movement data for example: young or elderly, woman or Men, luxury users or general goods users, etc.
  • step S4 The specific processing and function of the identification unit 304 is described in the description of step S4.
  • 52 users were recorded at a sampling frequency of 120 Hz by using the Tobii T120 non-invasive eye tracker produced in Sweden, including 26 senior citizens and 26 young people, respectively, 10 times.
  • the eye movement data of the task is used to learn the eye movement mode when different types of users browse the webpage.
  • the collected eye movement data of the 52 users and the corresponding user type data divide all the records into two basic data sets: the gaze information data set of the eye movement data of the user including all the gaze information.
  • FQ F ⁇ 437.9683, 230.3333, ..., 584.2778 ⁇ .
  • the basic sampling unit is:
  • the resulting sample data set is:
  • the sampled data set to be identified is input (extracting the sample training and obtaining the classifier) and judged by the output decision function, that is, selecting the gaze frequency, the pupil diameter, and the saccade distance.
  • the classification function selects a linear function, inputs the eye movement data of the user to be identified into the trained classifier, and outputs the identified user type.
  • the line jump distance, the fixation frequency, the pupil diameter, and the feature combination are respectively classified by the Liner function, the Polynomial function, the Rbf kernel function, and the Sigmoid function.
  • Table 1 shows the classification results as follows:
  • the present invention is directed to a visual behavior based online user type identification method and system for eye movement
  • a visual behavior based online user type identification method and system for eye movement In the interactive environment, by obtaining three kinds of eye movement characteristic data when the user browses the webpage, according to the difference of the eye movement characteristic data, the identification of the visual behavior of the online user type is determined, and the eye movement data of the online user can be actively recorded, and the data is simple and reliable. , high accuracy and high credibility.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于视觉行为的网上用户类型识别方法及系统，对一个或多个不同类型用户的眼动数据进行采集和处理，获得注视信息数据集与用户类型集，根据注视信息数据集中的注视信息，获得一个或多个眼动特征数据，以形成采样数据集，从中选择眼动特征数据输入支持向量机，训练得到用户类型分类器，完成机器学习过程获得分类器，将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器，根据所分类器识别网上任意用户的用户类型。主要利用眼动追踪技术，获取计算用户浏览网页时三种眼动特征数据，根据眼动特征数据的不同，判断网上用户类型。基于视觉行为的用户识别，够主动记录网上用户的眼动数据，提取数据简便可靠，准确率高，可信度高。

Description

一种基于视觉行为的网上用户类型识别方法及系统 技术领域
本发明涉及用户类型自动识别技术领域，具体是指一种基于视觉行为的网上用类型识别方法及系统。
背景技术
随着科技的发展和网络的普及，网络已经成为人们生活、学习、工作等不可缺少的通讯工具和信息交流平台，目前，网络只能通过计算机硬件的键盘、鼠标、触摸屏等被动的接受用户的信息请求，缓慢接收用户手动输入，而用户却能够快速从计算机界面和音频等得到大量的信息，由此就会造成一种人机交互带宽不平衡的问题。在计算机网络被广泛使用的同时以及大众需求标准日益提高的情况下，计算机网络智能的研究已经引起了广泛的重视。
网络智能不但要实现信息处理智能，而且还要做到人机交互智能，而网页是作为人和网络进行信息交互的重要的人机界面，其中，网上用户类型识别实现智能化尤为重要。眼动跟踪技术对网络智能的实现提供了一种途径，眼动追踪技术(简称眼动技术)能够记录用户眼球运动情况，使用户得以通过视觉通道直接对界面进行操作，以此可以解决人机交互带宽不平衡的问题。
比较容易知道，不同类型网上用户通过眼动技术对界面进行操作时，其视觉性模式会不同。例如，老年人由于年龄的增长，视力下降，眼睛的调节能力下降，视野变窄，认知功能减退，信息加工能力降低，其视觉行为与青年 人明显不同。在浏览网页时，老年人比青年人从网页上获取和加工信息时需要付出更多的心理努力。研究表明老年人视觉浏览时更多的关注网页中心区域，浏览策略呈现一种中心特性，而青年人视觉浏览时采用无明显规律的自由浏览策略。
而现有的网上用户类型识别主要是通过问卷调查、网上点击率等方法，如此很难获得网上用户上网过程中的心理活动，识别准确率低，可信度不高。
因此，有必要提供一种新的基于视觉行为的网上用户类型识别方法及系统，以解决上述技术问题。
发明内容
本发明的目的是提供一种基于视觉行为的网上用户类型识别方法及系统，能够主动记录网上用户的眼动数据，根据眼动数据的不同识别用户，提取数据简便可靠，识别准确率高、可靠度高。
根据本发明的一个方面，提供一种基于视觉行为的网上用户类型识别方法，第一步，对一个或多个不同类型用户的眼动数据进行采集和处理，获得包括注视信息数据集F与用户类型集C；
第二步，根据注视信息数据集F中的注视信息，获得一个或多个眼动特征数据，以形成采样数据集；
第三步，从采样数据集中选择眼动特征数据输入支持向量机，训练得到用户类型分类器,从而完成机器学习过程获得分类器；
第四步，将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器，根据所述分类器识别网上任意用户的用户类型。
在上述技术方案中，注视信息数据集F＝{f1,f2,f3,f4,…fm}中fm是一个四元数组(tfk,nfk,dlk,drk)，tfk为此次浏览的时间；nfk为tfk时间内的浏览的注视点个数；dlk为左瞳孔直径；drk为右瞳孔直径。
在上述技术方案中，多个眼动特征数据形成采样数据集包括步骤：
第一步、通过计算公式
Figure PCTCN2015087701-appb-000001
计算出所有m个SDk构成眼跳距离数据组S＝{SD1,SD2,SD3,…,SDm},其中(xk,yk)和(xk+1,yk+1)分别是第k、k+1个注视点的坐标,i表示某一用户某次浏览任务的注视点个数；
第二步、通过计算公式注视频率fqfk＝nfk/tfk，计算出所有m个fqfk构成注视频率数据组ff＝{ff1,ff2,ff3,…,ffm}；
第三步、通过计算公式
Figure PCTCN2015087701-appb-000002
计算出所有m个Di集合构成瞳孔直径数组Ad＝[D1,D2,D3,…,Dm],其中dij为第i个用户进行每一次任务时第j个注视点的瞳孔直径值；
第四步、选用上述第i个注视频率fqfi、瞳孔直径Di和眼跳距离SDi三个眼动特征以及对应的用户类型Cq构成一个基本采样单元Mi＝{fqfi,SDi,Di,cq}，所有m个基本采样单元构成采样数据集：M’m＝{M1,M2,…….Mm}。
在上述技术方案中，训练获得所述分类器包括以下步骤：
第一步、选出一个基本采样单元Mi＝{fqfi,SDi,Di,cq}；
第二步、提取其眼动特征数据即训练用样本特征参数fqfi,SDi以及Di构成一个特征参数向量；
第三步、以采样符号函数作为判断语句，如果该条语句属于此特征参数对应的用户类型cq，则令SVM输出yi＝1,否则yi＝-1，如此训练获得所述分类器。
在上述技术方案中，通过以下步骤实现用户类型识别：
第一步、将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器；
第二步、根据所述分类器识别网上任意用户的用户类型。
根据本发明的另一个方面，提供一种基于视觉行为的网上用户类型识别系统，包括依次连接的采集处理单元、获取单元、训练单元以及识别单元；其中，采集处理单元用于对一个或多个不同类型用户的眼动数据进行采集和处理，获得包括注视信息数据集与用户类型集；获取单元用于根据注视信息数据集F中的注视信息，获得一个或多个眼动特征数据，以形成采样数据集；训练单元用于从采样数据集中选择眼动特征数据输入支持向量机，训练得到用户类型分类器，从而完成机器学习过程获得分类器；识别单元用于将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器，根据所述分类器识别网上任意用户的用户类型。
在上述技术方案中，采集处理单元还包括：注视信息数据集F＝{f1,f2,f3,f4,…fm}，其中fm是一个四元数组(tfk,nfk,dlk,drk)，tfk为此次浏览的时间；nfk为tfk时间内的浏览的注视点个数；dlk为左瞳孔直径；drk为右瞳孔直径。
在上述技术方案中，获取单元还包括：
通过计算公式
Figure PCTCN2015087701-appb-000003
计算出所有m个SDk构成眼 跳距离数据组S＝{SD1,SD2,SD3,…,SDm},其中(xk,yk)和(xk+1,yk+1)分别是第k、k+1个注视点的坐标,i表示某一用户某次浏览任务的注视点个数；
通过计算公式注视频率fqfk＝nfk/tfk，计算出所有m个fqfk构成注视频率数据组ff＝{ff1,ff2,ff3,…,ffm}；
通过计算公式
Figure PCTCN2015087701-appb-000004
计算出所有m个Di集合构成瞳孔直径数组Ad＝[D1,D2,D3,…,Dm],其中dij为第i个用户进行每一次任务时第j个注视点的瞳孔直径值；
选用上述第i个注视频率fqfi、瞳孔直径Di和眼跳距离SDi三个眼动特征以及对应的用户类型Cq构成一个基本采样单元Mi＝{fqfi,SDi,Di,cq}，所有m个基本采样单元构成采样数据集：M’m＝{M1,M2,…….Mm}。
在上述技术方案中，训练单元还包括：选出一个基本采样单元Mi＝{fqfi,SDi,Di,cq}，
提取其眼动特征数据即训练用样本特征参数fqfi,SDi以及Di构成一个特征参数向量；
以采样符号函数作为判断语句，如果该条语句属于此特征参数对应的用户类型cq，则令SVM输出yi＝1,否则yi＝-1，如此训练获得所述分类器。
在上述技术方案中，识别单元还包括：将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器；
根据所述分类器识别网上任意用户的用户类型。
本发明公开的一种基于视觉行为的网上用户类型识别方法及系统，主要利用眼动追踪技术，根据网上用户视觉模式和多项眼动特征识别网上用户类型。其用于眼动人机交互环境中，通过获取计算用户浏览网页时三种眼动特 征数据，根据眼动特征数据的不同，判断出网上用户类型。基于视觉行为的用户识别，能够主动记录网上用户的眼动数据，提取数据简便可靠，准确率高，可信度高。
附图说明
图1是本发明基于视觉行为的网上用户类型识别方法的一实施例的流程图；
图2是眼动数据构成的一实施例的示意图；
图3本发明基于视觉行为的网上用户类型识别系统的一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
下面，参见图1所示本发明基于视觉行为的网上用户类型识别方法的一实施例的流程图，并结合图2所示眼动数据构成的一个实施例，描述本发明的方法的一实施方式。
在一个实施方式中，基于视觉行为的网上用户类型识别方法，主要可以包括以下步骤：
在步骤S1，对一个或多个不同类型用户的眼动数据(m个眼动数据)进行采集和处理，获得包括注视信息数据集F＝{f1,f2,f3,f4,…fm}与用户类型集C＝{c1,c2,c3,…cq}等集合。
视觉行为，人产生对图形符号信息的敏感性和视觉感官反射出的思考方式(眼球根据视觉感官产生运动的行为)，这里指不同类型网上用户浏览网页时的特点，例如老年人浏览网页时更多的关注网页中心区域，青年人则呈现无规律的自由浏览策略。
眼动数据，这里是指与眼球运动相关的数据，包括但不限于与注视、眼跳和追随等眼球运动(或说眼球运动模式)等相关的数据。一类眼动数据的采集方式，例如可以通过包括光学系统、瞳孔中心坐标提取系统、视景与瞳孔坐标叠加系统和图像与数据的记录分析系统共同实现采集，常见的这类采集设备如具有红外摄影机的眼动仪等，其可以对网上用户的眼动数据进行采集、进而还可以对异常数据进行剔除，获得正确的注视信息数据集，例如：眼动仪可以采集并记录其眼动数据，并将眼动数据和用户类型作为学习集合来学习不同用户的眼动模式(眼球运动模式)。其中，根据眼动数据可以了解诸如浏览网页的用户的对于不同图形符号信息的敏感性和/或视觉感官反射的行为等。
注视信息数据，这里指眼动数据中，与“注视”被观察的对象的这类眼球运动信息相关的数据。
用户类型，这里是指与采集的眼动数据相对应的网络访问用户的类型。其中，可以预设需要划分的类型，比如：以年龄划分的类型(老年人、青年人)，以性别划分的类型(男人、女人)，等等。
采集用户的眼动数据，可以根据需要稍做处理，比如，可以通过集合、数组、矩阵等方式整理保存，并将所有记录分为几类基本数据集，主要的包括例如：注视信息数据集合F＝{f1,f2,f3,f4,…fm}、用户类型集合C＝{c1,c2,c3,…cq}、等等。
在一个将网上用户类型预设为以年龄划分类型的例子中，可以采集不同年龄的网上用户(如：老年人和青年人)在浏览器界面中进行网页浏览的视觉行为。如一种具体的方式为：可以通过使用一种感知设备包括眼动仪装置(例：瑞典生产的Tobii T120非侵入式眼动仪的红外摄像机)，以120Hz的采样频率采集并记录52名不同类型用户(包括26名老年人和26名青年人)中，每名用户在网页界面中分别进行10次浏览任务所表现的视觉行为从而产生的眼动数据。在所采集的52名用户分别进行10次浏览任务时的上述眼动数据中，注视信息数据集F＝{f1,f2,f3,f4,…fm}可以是F＝{f1,f2,f3,f4,…f520}， 即此例的m个眼动数据为52*10＝520个，即注视信息数据集F＝{f1,f2,f3,f4,…f520}包含所有注视信息。与上述眼动数据对应的52名(p＝52)不同类型用户的用户类型的数据集合C＝{c1,c2,c3,…c52}，的一个例子：可以预设类型标记是青年人标记为1，老年人标记为2，如此，C＝{1,2,2,1……2}。
对于注视信息的数据集合F集合{f1,f2,f3,f4,…fm}来说，其中任一元素如用fk表示，则fk是一个四元数组，其可以包含四种信息(tfk,nfk,dlk,drk)，依次可以表示第k个用户某次的浏览时间tfk、该tfk时间内浏览的注视点个数、此时的左瞳孔直径、此时的右瞳孔直径。其中，注视点可以是指浏览网页时眼睛不动位于网页位置的点。如上述例子：第1个用户第1次浏览时的注视信息数据f1包含四种信息(tf1,nf1,dl1,dr1),其中，tf1为第1个用户第1次浏览的时间；nf1为所述tf1时间内浏览的注视点个数；dl1为左瞳孔直径(左眼瞳孔直径)；dr1为右瞳孔直径(右眼瞳孔直径)。
在步骤S2，根据注视信息数据集F中的注视信息，获得一个或多个眼动特征数据(或者获得至少一个眼动特征数据)，以形成采样数据集。
一个具体的方式如：提取注视信息数据集F中所包含的注视信息，通过计算，得出每一用户每一次浏览任务时的眼跳距离SDk、注视频率fqfk、瞳孔直径dfk等眼动特征数据(即表现眼球运动特点的特征数据)。
其中，眼跳距离，是指每个用户每次进行浏览任务，所述注视点位置发生变化时，两注视点的欧氏距离。如步骤S1的例子中，可根据52名用户分别进行10次浏览任务时的注视信息数据集F＝{f1,f2,f3,f4,…f520}中的信息进行计算。
本发明中，一种计算眼跳距离SDk的方式可以是：如第1个用户第1次浏览任务时第i个注视点的坐标为(xi，yi)，第i+1个注视点的坐标为(xi+1，yi+1)，第i次眼跳距离的平均值作为此次眼跳距离(SD1)特征，计算公式为：计算公式为：
Figure PCTCN2015087701-appb-000005
其中，(xk,yk)和(xk+1,yk+1)分别是第k、k+1个注视点的坐标,i表示某一用户某次浏览任务的注视点个数，从而计算出SD1＝0.7552。进而，依次提取注视信息数据集F＝{f1,f2,f3,f4,…f520}中的信息，一一计算出对应的：SD2＝0.9119；…；SD520＝1.0004。以获得全部52名用户分别进行10次浏览任务(即520次)眼跳距离数据组(集合)：
S＝{0.7552,0.9119,…,1.0004}
其中，注视频率，是指每个用户每次进行浏览任务时单位时间内的注视点个数。同样，如步骤S1的例子中，可根据52名用户分别进行10次浏览任务时的注视信息数据集F＝{f1,f2,f3,f4,…f520}中的信息进行计算。
本发明中，一种计算注视频率的方式可以是：注视频率fqfk＝nfk/tfk，如上述例子中，假设采集的第1个用户第1次浏览任务时tf1＝24，注视点个数nf1＝10511，其单位时间内的注视点个数的计算(即注视频率)为：fqf1＝nf1/tf1＝10511/24＝437.9583,进而，依次提取注视信息数据集F＝{f1,f2,f3,f4,…f520}中的信息计算出：fqf2＝nf2/tf2＝10365/45＝230.3333；…；fqf520＝nf520/tf520＝10517/18＝584.2778。从而得到全部52名用户分别进行10次浏览任务(即520次)的注视频率数据组(集合)：
FQf＝{437.9683,230.3333,…,584.2778}；
其中，瞳孔直径dfk，可以指每个用户在某次浏览时的某个注视点的瞳孔的直径值。比如：以步骤S1中所采集的注视信息数据集为例，提取该集合中采集到的左右瞳孔直径数据dlk、drk，可以计算得到瞳孔直径。一种计算方式，例如：可以计算左右瞳孔直径的平均值以代表某个用户在某次浏览时其对应的瞳孔直径值，即瞳孔直径值dfk＝(dlk+drk)/2。由此，可以得到的全部的瞳孔直径，并设置瞳孔直径矩阵。例如，假设第q个用户进行浏览任务，每个任务中选择n个注视点，则构成了q×n的瞳孔直径矩阵Sd：
Figure PCTCN2015087701-appb-000006
其中每一行代表同一个用户在某一浏览任务下的每一个注视点的瞳孔直径值，一共有n个注视点，所以每一行有n个瞳孔直径值；
瞳孔直径矩阵中各元素Di为瞳孔矩阵每行的平均值，即为：
Figure PCTCN2015087701-appb-000007
所有m个Di集合构成瞳孔直径数组Ad＝[D1,D2,D3,…,Dm]，其中dij为第i个用户进行每一次任务时第j个注视点的瞳孔直径值；
承步骤S1中52人分别10次浏览的例子：根据其采集的注视信息数据集F＝{f1,f2,f3,f4,…f520}中的信息按照上述计算方式可以依次计算出D1＝1.2523；D2＝1.3799；…；D520＝-0.986，从而得到52名用户分别进行10次浏览任务即520次共同构成的瞳孔直径数据组：
Ad＝{1.2523,1.3799,…,-1.2757}。
承上述例子，选用注视频率fqfn、瞳孔直径Dm和眼跳距离SDi三个眼动特征数据，上述的每一个用户每一次进行浏览任务时的眼跳距离SDi、注视频率fqfi、瞳孔直径Di以及此次该用户类型ci可以组成一个基本采样单元(即采样数据集，也就是眼动特征数据的组合)：Mi＝{fqfi,SDi,Di,cq}。因此q名用户如52名用户分别进行n次如10次浏览任务的采样数据集为：M’q× n＝{M1,M2,…，Mq×n}，如M’520＝{M1,M2,…….M520}。
进一步，还可以对采样数据集M’进行常规的归一化处理得到M”，以改善数值或优化后续处理等。
在步骤S3，从采样数据集中选择眼动特征数据输入支持向量机，训练得到用户类型分类器。从而完成机器学习过程获得分类器。
在一个实施方式中，从步骤S2中的采样数据集中选择眼动特征数据，即注视频率数组、瞳孔直径数组和眼跳距离数组中的一组数值输入支持向量机SVM进行训练，从而训练得到用户类型分类器。
以上述52名用户10次浏览任务为例：采用SVM训练时，从眼动特征数据中选择老年人、青年人眼动特征数据语句作为训练样本，选择其中一种用户类型作为识别目标进行训练。具体地，可以从52名用户分别进行10次浏览任务所构成的采样数据集M’520＝{M1,M2,…….M520}中选出一个基本采样单元，如选择第1个用户类型为青年人进行第1浏览任务时的第一个基本采样单元M1＝{fqf1,SD1,D1,1}，具体数值即为M1＝{437.9583,0.7552，1.2523,1}，提取其眼动特征数据即训练用样本特征参数fqf1＝437.9583,SD1＝0.7552以及D1＝1.2523构成一个特征参数向量，采样符号函数作为判断语句，如果该条语句属于此特征参数对应的用户类型1，则令SVM输出yi＝1,否则yi＝-1， (其中，i＝1,2,3…n)；如选择第52个用户类型为老年人进行第10浏览任务时的最后一个基本采样单元M520＝{fqf520,SD520,D520,2}，具体数值即为
M520＝{584.2778,1.0004，-0.986,2}，
提取其特征参数fqf520＝584.2778,SD520＝1.0004以及D520＝-0.986构成一个特征参数向量，采样符号函数作为判断语句，如果该条语句属于此特征参数对应的用户类型2，则令SVM输出yi＝1,否则yi＝-1，(其中，i＝1,2,3…n)。如此，利用训练样本的特征参数向量和SVM输出作为训练集，选择核函数为高斯(径向基)函数，可以采用已有的分解算法对该相应用户类型(例：老年人或青年人)的支持向量机SVM进行训练，得到该训练集的支持向量xi(i＝1,2,3…n)、支持向量权值系数a和偏移系数；例如：训练成老年人和青年人用户类型分类器。
在步骤S4，将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器，根据所述分类器识别网上任意用户的用户类型。
在一个实施例中，眼动数据是采集到的(如眼动仪捕捉或采集到的)任意的网上用户的眼动数据，比如可以包括：所有已经采集的(例：步骤S1中采集的所有眼动数据)、和/或用户实时进行网上浏览时进一步被追踪采集到的实时(或者说当前)的眼动数据、等等，即得到的任意的在网上进行浏览的用户的眼动数据，并将这些数据输入到训练好的用户类型分类器。
在分类器中，一种方式可以是经输出判决函数判断对应的网上用户类型，从而识别出对应该任意眼动数据的网上用户的用户类型(比如：青年人或老年人、女人或男人、奢侈品用户或普通物品用户、等等)。
根据本发明另一方面，参见图3所示根据本发明基于视觉行为的网上用户类型识别系统的一实施例的结构示意图，对该系统进行具体的说明。
在该例子中，基于视觉行为的网上用户类型识别系统300，包括采集处理单元301、获取单元302、训练单元303以及识别单元304。
其中，采集处理单元301，用于对一个或多个不同类型用户的眼动数据(m个眼动数据)进行采集和处理，获得包括注视信息数据集F＝{f1,f2,f3,f4,…fm}与用户类型集C＝{c1,c2,c3,…cq}等集合。该单元可以利用各种眼动数据采集设备如眼动仪等，对网上用户的眼动数据进行采集、进而还可以对异常数据进行剔除，获得正确的注视信息数据集等集合，如步骤S1所述的以年龄(老年人和青年人)区分用户类型的例子，在用户在界面中进行浏览网页时，记录其眼动数据，其眼动数据和用户类型作为学习集合来学习不同用户的眼动模式，采集用户的眼动数据后，稍作处理并根据需要将所有记录分为两类基本数据集，分别为注视信息数据集F＝{f1,f2,f3,f4,…fm}与用户类型集C＝{c1,c2,c3,…cq}。其中，注视信息数据集F＝{f1,f2,f3,f4,…fm}包含所有的注视信息，fk是一个四元数组包含四种信息(tfk,nfk,dlk,drk),tfk为此次浏览的时间；nfk为tfk时间内的浏览的注视点个数；dlk为左瞳孔直径；drk为右瞳孔直径。其中，用户类型集C＝{c1,c2,c3,…cn}包含青年人和老年人，用户类型是青年人，则标记为1，用户类型为老年人，则标记为2。
采集处理单元301的具体处理和功能参见步骤S1的描述。
其中，获取单元302，用于根据注视信息数据集F中的注视信息，获得一个或多个眼动特征数据(或者获得至少一个眼动特征数据)，以形成采样数据集。例如步骤S2中的例子，其可以根据来自采集处理单元301的注视信息数据集提取计算得出多个眼动特征数据从而构成采样数据集。眼动特征数 据包括眼跳距离SDk、注视频率fqfk、瞳孔直径dfk等。各眼动特征数据有相应的数据组：眼跳距离数据组S＝{SD1,SD2,SD3,…,SDm}、注视频率数据组FQ＝{ff1,ff2,ff3,…,ffm}、瞳孔直径数据组Ad＝[D1,D2,D3,…,Dm]、等等。并由注视频率fqfk，眼跳距离SDi，瞳孔直径Di以及用户类型Cq构成一个基本采样单元，Mi＝{fqfi,SDi,Di,cq}，从而得到采样数据集为：M’q×n＝{M1,M2,…，Mq×n}，如M’520＝{M1,M2,…….M520}。进而，还可以对采样眼动数据集进行归一化处理，得到优化后的新的采样数据集M”。
获取单元302具体处理和功能参见步骤S2的描述。
其中，训练单元303，用于从所述采样数据集中选择眼动特征数据输入支持向量机，训练得到用户类型分类器。从而完成机器学习过程获得分类器。
例如：选择获取单元2的采集数据集中的眼动特征数据，即注视频率数组、瞳孔直径数组和眼跳距离数组中的一组数值，输入支持向量机SVM，训练得到用户类型分类器。具体的，SVM训练可以从眼动特征数组中选择老年人、青年人眼动特征数据语句作为训练样本；选择其中一种用户类型作为识别目标，对于第i条眼动数据语句，提取其特征参数构成一个特征参数向量，采样符号函数作为判断语句，如果该条语句属于此用户类型，则令SVM输出yi＝1,否则yi＝-1。如此，利用训练样本的特征参数向量和SVM输出作为训练集，核函数为高斯(径向基)函数，采用已有的分解算法对该用户类型的支持向量机进行训练，得到该训练集的支持向量xi(i＝1,2,3…n)、支持向量权值系数a和偏移系数，由老年人和青年人分别训练两个分类器。
训练单元303具体处理和功能参见步骤S3的描述。
其中，识别单元304用于将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器，根据所述分类器识别网上任意用户的用户类型。
比如，眼动数据可以是眼动仪捕捉或采集到的任意的网上用户的眼动数据(当前的、过去的、实时的等等)，包括：所有已经采集的(例：步骤S1中采集的所有眼动数据)、和/或用户实时进行网上浏览时进一步被追踪采集到的实时(或者说当前)的眼动数据、等等。即得到的任意的在网上进行浏览的用户的眼动数据，并将这些数据输入到训练好的用户类型分类器。
在分类器中，一种方式可以是由分类器经输出判决函数判断对应的网上用户类型，从而识别出对应该任意眼动数据的网上用户的用户类型(比如：青年人或老年人、女人或男人、奢侈品用户或普通物品用户、等等)。
识别单元304具体处理和功能参见步骤S4的描述。
由于本实施例的系统所实现的处理及功能基本相应于前述图1～图2所示的方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
下面，是本发明的识别方法及系统的一应用实例：
承前述52人10次例，通过使用瑞典生产的Tobii T120非侵入式眼动仪，以120Hz的采样频率记录了52名用户，其中包括26名老年人和26名青年人，分别进行10次浏览任务的眼动数据，用以学习不同类型用户浏览网页时的眼动模式。采集的52名用户的眼动数据以及对应的用户类型数据，将所有记录分为两类基本数据集：包含所有注视信息的用户的眼动数据的注视信息数据集
F＝{f1,f2,f3,f4,…f520}，以及，
相应的用户类型数据集
C＝{c1,c2,c3,…c52}＝{1,1,…,2}。
由注视信息，计算用户的眼跳距离:SD1＝0.7552，SD2＝0.9119，…，SD520＝1.0004，得到眼跳距离数据组：
S＝{0.7552,0.9119,…,1.0004}。
由注视信息，计算用户注视频率:fqf1＝nf1/tf1＝10511/24＝437.9583，fqf2＝nf2/tf2＝10365/45＝230.3333，…，fqf520＝nf520/tf520＝10517/18＝584.2778，得到注视频率数据组：
FQF＝{437.9683,230.3333,…,584.2778}。
由注视信息，计算用户瞳孔直径：D1＝1.2523，D2＝1.3799，…，D520＝-0.986，得到瞳孔直径数据组：
Ad＝{1.2523,1.3799,…,-1.2757}。
由此，基本采样单元为:
M1＝{437.9583,1.2523,0.7552,1}；
M2＝{230.3333,1.3799,0.9119,1}；
…
M520＝{584.2778,-0.986,1.0004,2}；
构成的采样数据集为：
Figure PCTCN2015087701-appb-000008
对采样眼动数据集进行归一化处理，可以得到新的采样数据集：
Figure PCTCN2015087701-appb-000009
依据本发明所述方法和系统的上述实施例，将待识别的采样数据集输入(提取样本训练并获得分类器)并经输出判决函数判断，即选择注视频率、瞳孔直径、眼跳距离三个组合特征，分类函数选择线性函数，将待识别用户的眼动数据输入训练的分类器，输出被识别出的用户类型。
例如：分别对眼跳距离、注视频率、瞳孔直径以及特征组合选用Liner函数、Polynomial函数、Rbf核函数、Sigmoid函数分别分类，表1为分类结果如下：
表1：
  Liner Polynomial Rbf Sigmoid
注视频率 0.5537 0.4942 0.5471 0.5537
瞳孔直径 0.8946 0.7910 0.8997 0.8963
眼跳距离 0.5652 0.5652 0.5652 0.5652
特征组合 0.9148 0.6426 0.7426 0.5185
归一化后组合 0.9346 0.8962 0.9346 0.9346
本发明旨基于视觉行为的网上用户类型识别方法及系统，用于眼动人机 交互环境中，通过获取计算用户浏览网页时三种眼动特征数据，根据眼动特征数据的不同，判断出网上用户类型视觉行为的识别，能够主动记录网上用户的眼动数据，提取数据简便可靠，准确率高，可信度高。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

  1. 一种基于视觉行为的网上用户类型识别方法，其特征在于，包括:步骤：
    S1、对一个或多个不同类型用户的眼动数据进行采集和处理，获得包括注视信息数据集F与用户类型集C；
    S2、根据注视信息数据集F中的注视信息，获得一个或多个眼动特征数据，以形成采样数据集；
    S3、从采样数据集中选择眼动特征数据输入支持向量机，训练得到用户类型分类器，从而完成机器学习过程获得分类器；
    S4、将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器，根据所述分类器识别网上任意用户的用户类型。
  2. 根据权利要求1所述的基于视觉行为的网上用户类型识别方法，其中，步骤S1还包括：
    注视信息数据集F＝{f1,f2,f3,f4,…fm}，其中fm是一个四元数组(tfk,nfk,dlk,drk)，tfk为此次浏览的时间；nfk为tfk时间内的浏览的注视点个数；dlk为左瞳孔直径；drk为右瞳孔直径。
  3. 根据权利要求2所述的基于视觉行为的网上用户类型识别方法，其中：所述步骤S2还包括：
    S21、通过计算公式
    Figure PCTCN2015087701-appb-100001
    计算出所有m个SDk构成眼跳距离数据组S＝{SD1,SD2,SD3,…,SDm},其中，(xk,yk)和(xk+1,yk+1)分别是第k、k+1个注视点的坐标,i表示某一用户某次浏览任务的注视点个数；
    S22、通过计算公式注视频率fqfk＝nfk/tfk，计算出所有m个fqfk构成注视频率数据组ff＝{ff1,ff2,ff3,…,ffm}；
    S23、通过计算公式
    Figure PCTCN2015087701-appb-100002
    计算出所有m个Di集合构成瞳孔直径数组Ad＝[D1,D2,D3,…,Dm],其中dij为第i个用户进行每一次任务时第j个注视点的瞳孔直径值；
    S24、选用上述第i个注视频率fqfi、瞳孔直径Di和眼跳距离SDi三个眼动特征以及对应的用户类型Cq构成一个基本采样单元Mi＝{fqfi,SDi,Di,cq}，所有m个基本采样单元构成采样数据集：M’m＝{M1,M2,…….Mm}。
  4. 根据权利要求1-3之一所述的基于视觉行为的网上用户类型识别方法，其中：所述步骤S3还包括：
    S31、选出一个基本采样单元Mi＝{fqfi,SDi,Di,cq}，
    S32、提取其眼动特征数据即训练用样本特征参数fqfi,SDi以及Di构成一个特征参数向量；
    S33、以采样符号函数作为判断语句，如果该条语句属于此特征参数对应的用户类型cq，则令SVM输出yi＝1,否则yi＝-1，如此训练获得所述分类器。
  5. 根据权利要求1-3之一所述的基于视觉行为的网上用户类型识别方法，其中：步骤S4还包括：
    S41、将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器；
    S42、根据所述分类器识别网上任意用户的用户类型。
  6. 一种基于视觉行为的网上用户类型识别系统，特征在于：包括依次连接的数据采集处理单元、获取单元、训练单元单元以及识别单元；其中，
    采集处理单元，用于对一个或多个不同类型用户的眼动数据进行采集和处理，获得包括注视信息数据集F与用户类型集C；
    获取单元，用于根据注视信息数据集中的注视信息，获得一个或多个眼动特征数据，以形成采样数据集；
    训练单元，用于从采样数据集中选择眼动特征数据输入支持向量机，训练得到用户类型分类器，从而完成机器学习过程获得分类器；
    识别单元，用于将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器，根据所述分类器识别网上任意用户的用户类型。
  7. 根据权利要求6所述的系统，其中，采集处理单元还包括：
    注视信息数据集F＝{f1,f2,f3,f4,…fm}，其中fm是一个四元数组(tfk,nfk,dlk,drk)，tfk为此次浏览的时间；nfk为tfk时间内的浏览的注视点个数；dlk为左瞳孔直径；drk为右瞳孔直径。
  8. 根据权利要求7所述的系统，其中，获取单元还包括：
    通过计算公式
    Figure PCTCN2015087701-appb-100003
    计算出所有m个SDk构成眼跳距离数据组S＝{SD1,SD2,SD3,…,SDm},其中(xk,yk)和(xk+1,yk+1)分别是第k、k+1个注视点的坐标,i表示某一用户某次浏览任务的注视点个数；
    通过计算公式注视频率fqfk＝nfk/tfk，计算出所有m个fqfk构成注视频率数据组ff＝{ff1,ff2,ff3,…,ffm}；
    通过计算公式
    Figure PCTCN2015087701-appb-100004
    计算出所有m个Di集合构成瞳孔直径数组Ad＝[D1,D2,D3,…,Dm],其中dij为第i个用户进行每一次任务时第j个注视点的瞳孔直径值；
    选用上述第i个注视频率fqfi、瞳孔直径Di和眼跳距离SDi三个眼动特征以及对应的用户类型Cq构成一个基本采样单元Mi＝{fqfi,SDi,Di,cq}，所有m个基本采样单元构成采样数据集：M’m＝{M1,M2,…….Mm}。
  9. 根据权利要求6-8之一所述的系统，其中，训练单元还包括：
    选出一个基本采样单元Mi＝{fqfi,SDi,Di,cq}，
    提取其眼动特征数据即训练用样本特征参数fqfi,SDi以及Di构成一个特征参数向量；
    以采样符号函数作为判断语句，如果该条语句属于此特征参数对应的用户类型cq，则令SVM输出yi＝1,否则yi＝-1，如此训练获得所述分类器。
  10. 根据权利要求6-8之一所述的系统，其中，识别单元还包括：
    将采集的网上任意用户的眼动数据输入到训练好的用户类型分类器；
    根据所述分类器识别网上任意用户的用户类型。
PCT/CN2015/087701 2015-01-23 2015-08-20 一种基于视觉行为的网上用户类型识别方法及系统 Ceased WO2016115895A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510037404.2A CN104504404B (zh) 2015-01-23 2015-01-23 一种基于视觉行为的网上用户类型识别方法及系统
CN2015100374042 2015-01-23

Publications (1)

Publication Number Publication Date
WO2016115895A1 true WO2016115895A1 (zh) 2016-07-28

Family

ID=52945800

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/087701 Ceased WO2016115895A1 (zh) 2015-01-23 2015-08-20 一种基于视觉行为的网上用户类型识别方法及系统

Country Status (2)

Country Link
CN (1) CN104504404B (zh)
WO (1) WO2016115895A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920251A (zh) * 2016-10-06 2018-04-17 英特尔公司 基于观看者到显示器的距离来调整视频质量的方法和系统
CN109558005A (zh) * 2018-11-09 2019-04-02 中国人民解放军空军工程大学 一种自适应人机界面配置方法
CN109800706A (zh) * 2019-01-17 2019-05-24 齐鲁工业大学 一种眼动视频数据的特征提取方法及系统
EP3671464A1 (en) * 2018-12-17 2020-06-24 Citrix Systems, Inc. Distraction factor used in a/b testing of a web application
CN111882365A (zh) * 2020-08-06 2020-11-03 中国农业大学 一种高效自助售货机商品智能推荐系统及方法
CN111970958A (zh) * 2017-11-30 2020-11-20 思维股份公司 用于检测神经障碍和测量一般认知能力的系统和方法
CN113589742A (zh) * 2021-08-16 2021-11-02 贵州梓恒科技服务有限公司 一种绕线机数控系统
CN113689138A (zh) * 2021-09-06 2021-11-23 北京邮电大学 一种基于眼动追踪和社工要素的网络钓鱼易感性预测方法
CN120406746A (zh) * 2025-07-01 2025-08-01 深圳市科金明电子股份有限公司 一种基于眼动跟踪的电子相框智能交互控制方法及系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504404B (zh) * 2015-01-23 2018-01-12 北京工业大学 一种基于视觉行为的网上用户类型识别方法及系统
CN105138961A (zh) * 2015-07-27 2015-12-09 华南师范大学 基于眼球追踪大数据的心动异性自动识别方法和系统
CN106073805B (zh) * 2016-05-30 2018-10-19 南京大学 一种基于眼动数据的疲劳检测方法和装置
CN106933356A (zh) * 2017-02-28 2017-07-07 闽南师范大学 一种基于眼动仪的远程学习者类型快速确定方法
CN107049329B (zh) * 2017-03-28 2020-04-28 南京中医药大学 一种眨眼频率检测装置及其检测方法
CN107562213A (zh) * 2017-10-27 2018-01-09 网易（杭州）网络有限公司 视疲劳状态的检测方法、装置以及头戴式可视设备
CN107783945B (zh) * 2017-11-13 2020-09-29 山东师范大学 一种基于眼动追踪的搜索结果网页注意力测评方法及装置
CN109255309B (zh) * 2018-08-28 2021-03-23 中国人民解放军战略支援部队信息工程大学 面向遥感图像目标检测的脑电与眼动融合方法及装置
CN109726713B (zh) * 2018-12-03 2021-03-16 东南大学 基于消费级视线追踪仪的用户感兴趣区域检测系统和方法
CN109620259B (zh) * 2018-12-04 2020-10-27 北京大学 基于眼动技术与机器学习对孤独症儿童自动识别的系统
CN109800434B (zh) * 2019-01-25 2023-07-18 陕西师范大学 基于眼动注意力的抽象文本标题生成方法
CN111144379B (zh) * 2020-01-02 2023-05-23 哈尔滨工业大学 基于图像技术的小鼠视动反应自动识别方法
CN111475391B (zh) * 2020-04-03 2024-04-16 中国工商银行股份有限公司 眼动数据处理方法、装置及系统
CN111966223B (zh) * 2020-08-17 2022-06-28 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908152A (zh) * 2010-06-11 2010-12-08 电子科技大学 一种基于用户定制分类器的眼睛状态识别方法
CN103500011A (zh) * 2013-10-08 2014-01-08 百度在线网络技术（北京）有限公司 眼动轨迹规律分析方法和装置
CN104504404A (zh) * 2015-01-23 2015-04-08 北京工业大学 一种基于视觉行为的网上用户类型识别方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146050B2 (en) * 2002-07-19 2006-12-05 Intel Corporation Facial classification of static images using support vector machines
JP5302193B2 (ja) * 2007-06-27 2013-10-02 パナソニック株式会社 ヒト状態推定装置およびその方法
CN103324287B (zh) * 2013-06-09 2016-01-20 浙江大学 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908152A (zh) * 2010-06-11 2010-12-08 电子科技大学 一种基于用户定制分类器的眼睛状态识别方法
CN103500011A (zh) * 2013-10-08 2014-01-08 百度在线网络技术（北京）有限公司 眼动轨迹规律分析方法和装置
CN104504404A (zh) * 2015-01-23 2015-04-08 北京工业大学 一种基于视觉行为的网上用户类型识别方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920251A (zh) * 2016-10-06 2018-04-17 英特尔公司 基于观看者到显示器的距离来调整视频质量的方法和系统
CN111970958A (zh) * 2017-11-30 2020-11-20 思维股份公司 用于检测神经障碍和测量一般认知能力的系统和方法
CN109558005A (zh) * 2018-11-09 2019-04-02 中国人民解放军空军工程大学 一种自适应人机界面配置方法
CN109558005B (zh) * 2018-11-09 2023-05-23 中国人民解放军空军工程大学 一种自适应人机界面配置方法
EP3671464A1 (en) * 2018-12-17 2020-06-24 Citrix Systems, Inc. Distraction factor used in a/b testing of a web application
US11144118B2 (en) 2018-12-17 2021-10-12 Citrix Systems, Inc. Distraction factor used in A/B testing of a web application
CN109800706A (zh) * 2019-01-17 2019-05-24 齐鲁工业大学 一种眼动视频数据的特征提取方法及系统
CN111882365A (zh) * 2020-08-06 2020-11-03 中国农业大学 一种高效自助售货机商品智能推荐系统及方法
CN111882365B (zh) * 2020-08-06 2024-01-26 中国农业大学 一种高效自助售货机商品智能推荐系统及方法
CN113589742A (zh) * 2021-08-16 2021-11-02 贵州梓恒科技服务有限公司 一种绕线机数控系统
CN113589742B (zh) * 2021-08-16 2024-03-29 贵州梓恒科技服务有限公司 一种绕线机数控系统
CN113689138A (zh) * 2021-09-06 2021-11-23 北京邮电大学 一种基于眼动追踪和社工要素的网络钓鱼易感性预测方法
CN113689138B (zh) * 2021-09-06 2024-04-26 北京邮电大学 一种基于眼动追踪和社工要素的网络钓鱼易感性预测方法
CN120406746A (zh) * 2025-07-01 2025-08-01 深圳市科金明电子股份有限公司 一种基于眼动跟踪的电子相框智能交互控制方法及系统

Also Published As

Publication number Publication date
CN104504404B (zh) 2018-01-12
CN104504404A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
WO2016115895A1 (zh) 一种基于视觉行为的网上用户类型识别方法及系统
CN104504390B (zh) 一种基于眼动数据的网上用户状态识别方法和装置
US11762474B2 (en) Systems, methods and devices for gesture recognition
CN119151646B (zh) 面向虚拟数字平台搭建的数据采集方法及系统
Akshay et al. Machine learning algorithm to identify eye movement metrics using raw eye tracking data
CA2883697C (en) Identifying movements using a motion sensing device coupled with an associative memory
CN107210830B (zh) 一种基于生物特征的对象呈现、推荐方法和装置
Creagh et al. Interpretable deep learning for the remote characterisation of ambulation in multiple sclerosis using smartphones
Khatun et al. Human activity recognition using smartphone sensor based on selective classifiers
CN118507033B (zh) 一种医学检验结果自动化解读与诊断支持系统
Singh et al. A robust, real-time camera-based eye gaze tracking system to analyze users’ visual attention using deep learning
KR102062586B1 (ko) 화장품 관련 리뷰 데이터 기반 화장품 추천 시스템 및 화장품 추천 방법
Geronimo et al. Academic stress of students in higher education using machine learning: A systematic literature review
CN108647657A (zh) 一种基于多元行为数据的云端教学过程评价方法
CN109726713B (zh) 基于消费级视线追踪仪的用户感兴趣区域检测系统和方法
Zhang et al. Multimodal fast–slow neural network for learning engagement evaluation
WO2015176417A1 (zh) 一种用于认知状态识别的特征分组归一化方法
CN119557465A (zh) 一种多媒体数据推荐方法、相关装置、设备以及存储介质
Cherian et al. Navigating the New Normal: A Bibliometric Exploration of Masked Face Recognition Research
Ndaba Class imbalance handling techniques used in depression prediction and detection
Koffi et al. Machine learning and feature ranking for impact fall detection event using multisensor data
Shreya et al. Application of Computer Vision in the Diagnosis Parkinson's Disease
Prome et al. Lievis: A visual interactive dashboard for lie detection using machine learning and deep learning techniques
Soleimanidoust et al. Diagnostic study for neurodegenerative disorders based on handwriting analysis
Mirowski et al. Predicting poll trends using twitter and multivariate time-series classification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15878564

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15878564

Country of ref document: EP

Kind code of ref document: A1